Eind november waren Marieke Brouwer en Sonja Leferink van de Provincie Overijssel te gast. Sonja is senior kwalitatief onderzoeker en houdt zich met name bezig met lerende evaluaties bij programma´s en projecten. Marieke is onderzoeker en adviseur in de richting van de kwaliteit van openbaar bestuur.
Bij een lerende evaluatie kijk je als onderzoeker actief mee tijdens een programma of project. Je faciliteert tijdens een project het leerproces en niet zoals veel gebeurt pas achteraf. Je bent dus heel betrokken bij het project en organiseert kort cyclisch feedback bijeenkomsten. Je maakt korte rapporten en vooral geef je in directe gesprekken feedback aan de projectteamleden. De inzichten die je gedurende het project opdoet, kan je direct gebruiken om het project bij te sturen en wat dus een beter resultaat oplevert.
De lerende evaluatie kan je in principe altijd inzetten, maar vooral bij complexe projecten met veel partijen, veel belangen en nog onduidelijke kaders wordt het ingezet.
Hoe
Bij een lerende evaluatie breng je in kaart waarom iets wel werkt en waarom iets anders niet. Je onderzoekt dit bijvoorbeeld door observaties bij bijeenkomsten of via gesprekken met betrokkenen. Het onderzoek levert een berg aan data op waaruit vervolgens een rode lijn getrokken wordt. Welke terugkerende patronen zijn herkenbaar? Klopt de rapportage? Betrokken partijen wordt via reflectie-sessies gevraagd te reageren op de resultaten. Naar aanleiding van de reflecties kan het project vervolgens eventueel ook weer bijgestuurd worden.
Niveaus van leren
- Bij enkelslag leren probeer je het beter te doen binnen de bestaande kaders.
- Bij dubbelslag leren ga je op zoek naar dieperliggende oorzaken waarbij het mogelijk is de spelregels te veranderen.
- Bij tripelslag leren kan je fundamenteel alles overhoop gooien en je de vraag stellen waarom we doen wat we doen. In de praktijk zie je bij de opgaven waar we voor staan dat vaak dubbelslag leren toegepast wordt.
Hoe in te zetten?
De lerend evalueren kan je op drie niveaus inzetten.
- Je volgt het project of programma op de voet.
- Je volgt op belangrijke momenten, zoals de start, bepaalde fasen en het eind van het project.
- Een eindevaluatie.
Meta-leerpunten
Sonja en Marieke hebben al op veel projecten de lerende evaluatie toegepast binnen de provincie Overijssel, en een aantal leerpunten komen vaak terug:
- Bij bijvoorbeeld gebiedsgericht werken komen meestal de ideeën vanuit de gemeente, terwijl juist bij gebiedsgericht werken het idee is dat de mensen uit het gebied zelf actief worden en ideeën aandragen. Veel procesregisseurs zullen herkennen dat vaak het in beweging krijgen van de inwoners belangrijker is als het per se 100% halen van de doelen. Je ziet vaak dat subsidies gekoppeld zitten aan de verplichting om doelen volledig te halen, terwijl je bij een gebiedsgerichte aanpak je nooit de garantie hebt op de uitkomst. Vooral bij duurzaamheidsprogramma´s en processen zie de dat de gemeente voor 100% wil gaan en dat er daardoor veel weerstand ontstaat en je weinig bereikt. Door voor een resultaat van 70% van je doel te gaan, kan je meestal veel meer bereiken.
- Zorg voor continuïteit binnen je project. Elke paar maanden een andere projectleider of een ander belangrijk projectteamlid bevordert het resultaat niet.
- Zorg voor de juiste centrale plaats van verbinders. Zij kennen zowel de systeemwereld van de overheid en de leefwereld van de inwoners. Pas echter op dat voor de verbinders de spagaat tussen leef- en systeemwereld niet te groot wordt.
- Veel partijen hebben uit het verleden al ervaring met de overheid en zijn vaak bij de start van een project al wantrouwend. Dit zal je als gemeente eerst moeten adresseren en moeten bouwen aan een basis van vertrouwen.
- Iedereen vindt leren belangrijk, maar heeft geen urgentie. Bij drukte wordt het leren vaak als eerste overgeslagen. Zorg ervoor dat het leren een van de doelen wordt om het een plaats te geven binnen je project of programma.
- Bij leren kijkje vaak naar punten die niet goed gaan. Maar benoem ook zeker de punten die wel goed gaan!
Wat levert de lerende evaluatie jou op als project- of programmamanager?
- Je kan even uitzoomen en opnieuw de focus bepalen
- Je hebt een klankbord en krijgt een spiegel voorgehouden.
- Je krijgt nieuwe inzichten
- Je krijgt nieuwe perspectieven
- Je krijgt wederzijds kennen, begrip en vertrouwen tussen de betrokken partijen van je project of programma.
- Je krijgt handvatten om te sturen binnen je project of programma
- Het leerproces en de geleerde lessen worden gedocumenteerd, waardoor je deze weer binnen de gemeente kunt delen.
De complete presentatie van Sonja en Marieke vind je op het forum van de VPNG. De opname van het webinar staat onder de vakgroep Projectbeheersing.