blog

Zeven lessen voor evaluatie van pilotprojecten

Supply chain

Pilots, demonstraties, proeftuinen, praktijkproeven, living labs; waar zien we ze niet in de logistiek? Om een idee te geven: de zoekopdracht ‘pilot” genereert 553 hits op deze website en ‘test’ maar liefst 772. Nieuwe ideeën zijn vaak onderhevig aan een testfase. Veel tijd wordt besteed aan ontwerp, voorbereiding en uitvoer. De evaluatie laat echter vaak te wensen over, zegt Susanne Balm van TNO.

Zeven lessen voor evaluatie van pilotprojecten

Is een pilot een succes, dan horen we het gelijk. Is het geen succes, dan hoor je meestal niks. Een enkele keer komt een fout gelopen project groot in het nieuws (zoals bij GreenCab, dec 2013). Een tegenvallend resultaat betekent echter niet noodzakelijk een verloren zaak. Sterker nog, het kan alsnog een stap vooruit betekenen. Immers, weten hoe je iets niet aan moet pakken is ook wat waard!

Evalueren als kennisinstrument

Een goede evaluatie is essentieel om de kansen, voorwaarden en belemmeringen van potentiële oplossingen of werkwijzen vast te stellen. Het draagt bij aan kennisopbouw en -overdracht. Door te evalueren voorkom je dat kennis slechts in de ervaringen van enkele personen blijft zitten. Maar hoe pak je dat aan; evalueren?  Susanne Balm van TNO geeft zeven lessen.

1. Bepaal wat je wilt meten, met het doel voor ogen

Bepaal allereerst welke factoren doorslaggevend zullen zijn voor het wel of niet slagen van het project. Baseer vervolgens daar je criteria en performance indicatoren op. Een wijze les van Einstein is: “not everything that can be counted, counts; not everything that counts can be counted.” Zo is een verandering in geluidsoverlast , de perceptie van geluid, op korte termijn lastig vast te stellen, maar mogelijk relevanter dan een meetbare reductie van het aantal geproduceerde decibel.

2. Zorg voor representatieve metingen

Besteedt geen tijd en geld aan onbetrouwbare metingen. Representativiteit heeft zowel te maken met de omstandigheden, de periode als de frequentie. Het vergelijken van een warme lentedag in jaar 1 met een winterse dag in jaar 2 heeft geen enkele waarde wanneer je de verandering in de transportvraag naar strooizout in kaart wilt brengen. Zorg dat de meetperiode en/of -groep voldoende lang, dan wel groot is, zodat je willekeurige fluctuaties voorkomt.

3. Sta uitvoerig stil bij het waarom

Na het vastleggen van de effecten volgt het beantwoorden van de waarom-vraag. Wat droeg bij aan bepaalde effecten? Deze vraag is juist ook erg belangrijk wanneer resultaten anders waren dan verwacht. Waarom komt dit? Zou het in een andere situatie anders geweest zijn? De antwoorden over de context zijn cruciaal voor de interpretatie van de resultaten (zie ook expert artikel Jack van der Veen), voor kennisoverdracht en om herhaling van fouten te voorkomen.

4. Blik op de toekomst

Testomgevingen zijn vaak geen weerspiegeling van de werkelijke omstandigheden waarin een oplossing ingevoerd zal gaan worden. Projectteams zijn (nog) enthousiast, er is (financiële) support vanuit de gemeente, er zijn incentives voor deelnemers, etc. Daarom is het van belang dat je niet enkel terugkijkt op de testfase, maar met name stilstaat bij de implicaties voor de toekomst, gegeven de verwachte werkelijke omstandigheden.

5. Gedragsverandering is key

Acceptatie en gedragsverandering zijn noodzakelijk voor het succesvol slagen van een nieuwe oplossing of werkwijze. Deze aspecten dienen dan ook – continue – in de evaluatie aanwezig te zijn! Dit begint met het begrijpen van het (on)gewenste gedrag. De effecten op performance indicatoren kunnen nog zo veelzeggend zijn, wanneer het personeel of de klant er niet om geeft (of zich er niet bewust van is), zullen zij de oplossing niet vanzelf overnemen.

6. Wijs verantwoordelijkheden aan

Vaak staan er niet veel mensen in de rij om de taak van dataverzameling bovenop de dagelijkse werkzaamheden op zich te nemen. Om te zorgen dat het goed gebeurt is het belangrijk een “eigenaar” aan te wijzen, die hier tijd voor krijgt of voor kan vrij maken. Zorg dat deze persoon  op de hoogte is van de achterliggende doelstellingen van het project en het belang van de metingen.

7. Maak van evalueren een continue proces

Evalueren kan het beste gezien worden als een continu proces. Wanneer je dit zo toepast, leer je tussendoor en kun je aanpassingen doen waar nodig. Er achteraf achter komen dat bepaalde zaken niet goed zaten, maar wel aan te passen waren, is erg zonde. Geef conclusies niet na, maar voor het einde van het project. Wanneer de resultaten te lang op zich laten wachten is iedereen in de dagelijkse activiteiten waarschijnlijk alweer terug bij het oude.

Reageer op dit artikel