Evalueren voor de toekomst: hoe evaluatief toezicht complexe evaluatielandschappen kan transformeren 

Naarmate het wereldwijde financieringslandschap verandert en de klimaat- en milieuproblemen complexer worden, staan ​​traditionele monitoring- en evaluatiemethoden steeds meer onder druk om snellere inzichten en meer bruikbare leerresultaten te leveren. Twee van onze Ecorys UK-evaluatiespecialisten lopen voorop in deze evolutie en delen hun ervaring en inzichten: 

Gebaseerd op ons werk met de evaluatie van een complexe, door de Britse ODA gefinancierde klimaat- en natuurportefeuille, hebben we de kans gehad om benaderingen te testen die steeds belangrijker worden voor de toekomst van evaluatie. Een daarvan is de rol van evaluatieve monitoring bij complexe portefeuille-evaluaties. 

In deze blog delen we belangrijke lessen uit onze ervaring en onderzoeken we hoe evaluatieve monitoring cruciale inzichten kan opleveren en de besluitvorming in complexe operationele omgevingen kan verbeteren. Onlangs deelden we onze aanpak op het Ecorys Summer Methods Festival, dat een waardevolle gelegenheid bood om ervaringen en inzichten uit te wisselen met collega's in de sector, die onze reflecties verder hebben beïnvloed. 

Waarom evaluatieve monitoring belangrijk is 

In onze ervaring worden monitoring en evaluatie vaak als aparte functies beschouwd in plaats van als onderdeel van een verbonden systeem: 

• Monitoren vergelijkt doorgaans programma's/beleidsmaatregelen met indicatoren om de verwachte resultaten te vergelijken met de behaalde resultaten. 

• Evaluatie, daarentegen, beoordeelt gewoonlijk de effectiviteit en resultaten op een bepaald moment. Dit kan aan het begin (formatief), aan het einde (summatief) of tijdens (ontwikkelings)initiatieven worden uitgevoerd, en kan proces-, impact- en prijs-kwaliteitverhoudingsevaluaties omvatten.  

Deze diepere laag van onderzoek: 

• Maakt op bewijs gebaseerde verbeteringen en aanpassingen in realtime mogelijk 

• Maakt het mogelijk dat reflectie en beoordeling gestructureerder zijn en, in het geval van grote portefeuilles, systematischer over programma's en projecten heen.

In tegenstelling tot traditionele monitoring beperkt evaluatieve monitoring zich niet tot het meten van de voortgang ten opzichte van indicatoren. Het graaft dieper en plaatst data binnen de bredere context van governance, besluitvorming, prikkels en relaties met stakeholders. Dit stelt ons in staat om beter te begrijpen hoe en waarom verandering wel of niet plaatsvindt.

Evaluatieve monitoring is geen geheel nieuwe aanpak, maar is nog steeds in opkomst en wint aan populariteit als waardevol instrument. Ervaringen uit programma's zoals VERSTEVIGD hebben de waarde van deze aanpak aangetoond. In plaats van monitoring puur als een verantwoordingsoefening te beschouwen, bevraagt ​​evaluatieve monitoring ontwerpveronderstellingen en onderzoekt de mechanismen die ten grondslag liggen aan de resultaten. Dit vereist het integreren van evaluatief denken in monitoringprocessen om de wat, Waaromen hoe van verandering.

Belangrijkste drijfveren achter de verschuiving 

We zien een groeiende vraag van donoren en ontwikkelingspartners naar diepere inzichten en genuanceerde benaderingen. Factoren die deze verschuiving stimuleren zijn onder andere: 

• Beperkte details in de programma- en projectrapportage en uitdagingen bij het verkrijgen van toegang tot gegevens van hoge kwaliteit. 

• Budgettaire beperkingen en verminderde interesse in conventionele evaluaties. 

• Een sterkere nadruk op leren, aanpassing en aanbevelingen tijdens de implementatie. 

• Lange tijdsbestekken voor de verwezenlijking van milieu- en klimaatresultaten 

• Beperkingen van traditionele basislijn-, middenlijn- en eindlijn-evaluatieontwerpen voor leren op portfolioniveau. 

Evaluatieve monitoring pakt deze uitdagingen direct aan door: realtime feedback en doorlopende leerlussen—zorgen dat inzichten worden ingebed in de gehele levenscyclus van een programma, en niet alleen aan het einde worden vastgelegd.

Evaluatieve monitoring in de praktijk toepassen 

In ons werk heeft evaluatief toezicht ons in staat gesteld om: diepte en praktisch waarde Verder dan standaard monitoringresultaten. Enkele manieren waarop we het hebben toegepast zijn: 

1. Meer bieden gedetailleerde verhalen op output- en outcomeprestaties. 
2. Redenen voor het schetsen variaties en contextuele uitdagingen. 
3. Het aanbieden van bruikbare, specifieke aanbevelingen voor partners en financiers. 
4. Uitleg waar resultaten ontbreken of niet beschikbaar. 
5. Bezit validatieworkshops met implementatiepartners om bevindingen te verifiëren en ervaringen te delen. 

Een van de manieren waarop we evaluatieve monitoring hebben toegepast, is het routinematig verzamelen van gegevens over de waarschijnlijkheid dat programma's en projecten tot transformationele verandering leiden. Ons team integreerde een raamwerk 'signalen van verandering' om output en outcomes kritisch te onderzoeken. Dit helpt ons de onderliggende factoren te identificeren die systemische, duurzame verandering teweegbrengen en versnellen. Een driver kan bijvoorbeeld capaciteitsopbouw zijn op manieren die onafhankelijkheid, eigenaarschap en institutionalisering bevorderen, ook na de projectlevenscyclus. We verzamelen ook gegevens over mechanismen en factoren die deze drivers ondersteunen, zoals het creëren van prikkels door middel van bewijsdeling of het mogelijk maken van schaalbaarheid en replicatie van innovaties. 

Uitdagingen en overwegingen 

Hoewel evaluatieve monitoring duidelijke voordelen biedt, hebben we ook enkele uitdagingen ondervonden:  

• De reikwijdte moet duidelijk worden gedefinieerd: Evaluatieve monitoring is geen formele evaluatie en er is behoefte aan duidelijkheid over de projectresultaten. Evaluatieve monitoring wordt doorgaans gestuurd door het resultatenkader, en niet door het evaluatiekader zelf. De output kan echter worden gebruikt als basis voor toekomstige evaluaties, evenals voor leerprioriteiten. 

• Beschikbaarheid van bronnen: Evaluatieve monitoring vergt veel middelen en vereist daarom een ​​zorgvuldige budgettering en planning.  

• Gegevensvariabiliteit: Bij complexe portefeuilles kunnen de kwaliteit en beschikbaarheid van gegevens en samenwerking verschillen, waardoor er behoefte is aan flexibele benaderingen. 

Ondanks deze uitdagingen biedt evaluatieve monitoring aanzienlijke waarde voor grote portfolio's en helpt het de kloof tussen traditionele monitoring- en evaluatietijdlijnen te overbruggen. Het ondersteunt continu leren, contextueel inzicht en aanpassing in complexe operationele omgevingen. 

Vooruitkijken: de toekomst van MEL 

Het MEL-landschap wordt steeds meer gevormd door veranderende financieringssituaties en overheidsprioriteiten.  

Krappere budgetten en veranderende prioriteiten: 

De wereldwijde ODA-budgetten krimpen. Zo zal de Britse hulp in 2027 naar verwachting dalen van 0.5% naar 0.3% van het bruto nationaal inkomen (bni). Ook andere donoren, zoals de VS, Frankrijk en Duitsland, hebben in 2024 aanzienlijke bezuinigingen doorgevoerd. Financiers worden selectiever. Ze geven prioriteit aan impactvolle, strategische uitgaven en proberen maximaal te profiteren van beperkte middelen.   

Het Britse hulpbudget in 2025 en 2026 zal zich richten op humanitaire, gezondheids- en klimaatcrises, waarbij de uitgaven worden geprioriteerd via de meest invloedrijke multilaterale organisaties. Dit betekent dat complexe modellen voor portefeuille-evaluatie waarschijnlijk steeds gebruikelijker zullen worden. 

Nu de financiering krapper wordt, worden flexibele en adaptieve MEL-benaderingen cruciaal. De evaluatiestrategie van het FCDO voor 2025 wijst op een groeiende belangstelling voor innovatieve methoden voor het evalueren van diplomatie.  

Leren en bewijsmateriaal integreren: 

Te midden van krimpende budgetten is het belangrijker dan ooit om blijvende impact aan te tonen en leren en bewijs te integreren in de besluitvorming gedurende de gehele levensduur van portfolio's en programma's. Evaluatieve monitoring is een manier waarop we klanten deze realtime inzichten en bruikbare leerervaringen kunnen bieden. Door de scheidslijnen tussen monitoring, evaluatie en leren te doorbreken, maakt evaluatieve monitoring het mogelijk om MEL-kaders op een meer geïntegreerde en strategische manier te ontwerpen en te implementeren. 

Strategische innovatie: 

Kijkend naar de toekomst zal de MEL zowel aanpassing en innovatieNaarmate de financieringsrealiteit verandert en de behoeften van klanten evolueren, moeten we strategisch, flexibel en doelbewust te werk gaan in de manier waarop we MEL-werk ontwerpen en uitvoeren. Evaluatieve monitoring biedt een agile mindset die dit ondersteunt.