Valutare per il futuro: come il monitoraggio valutativo può trasformare scenari di valutazione complessi 

Con il cambiamento del panorama dei finanziamenti globali e la crescente complessità delle sfide climatiche e ambientali, gli approcci tradizionali di monitoraggio e valutazione sono sottoposti a una crescente pressione per fornire informazioni più rapide e un apprendimento più fruibile. Due dei nostri specialisti di valutazione di Ecorys UK sono in prima linea in questa evoluzione e condividono la loro esperienza e i loro insegnamenti: 

Sulla base del nostro lavoro di valutazione di un complesso portafoglio di progetti climatici e naturalistici finanziato dall'APS del Regno Unito, abbiamo avuto l'opportunità di testare approcci che stanno diventando sempre più importanti per il futuro della valutazione. Uno di questi è il ruolo del monitoraggio valutativo nelle valutazioni di portafoglio complesse. 

In questo blog, condividiamo gli insegnamenti chiave della nostra esperienza ed esploriamo come il monitoraggio valutativo possa fornire spunti critici e migliorare il processo decisionale in contesti operativi complessi. Di recente abbiamo condiviso il nostro approccio all'Ecorys Summer Methods Festival, che ha offerto uno spazio prezioso per lo scambio di esperienze e spunti con colleghi del settore, che hanno ulteriormente arricchito le nostre riflessioni. 

Perché il monitoraggio valutativo è importante 

Nella nostra esperienza, il monitoraggio e la valutazione sono spesso trattati come funzioni separate piuttosto che come parte di un sistema connesso: 

• Controllo in genere monitora i programmi/le politiche in base agli indicatori per verificare i risultati attesi rispetto a quelli raggiunti. 

• Valutazione, al contrario, di solito valuta l'efficacia e i risultati in un momento prestabilito. Questa valutazione può essere condotta all'inizio (formativa), alla fine (sommativa) o durante le iniziative (di sviluppo) e può includere valutazioni di processo, impatto e rapporto qualità-prezzo.  

Questo strato più profondo di indagine: 

• Consente miglioramenti e aggiustamenti basati su prove in tempo reale 

• Consente una riflessione e una valutazione più strutturate e, nel caso di portafogli di grandi dimensioni, più sistematiche nei programmi e nei progetti

A differenza del monitoraggio tradizionale, il monitoraggio valutativo non si limita a misurare i progressi rispetto agli indicatori. Approfondisce e colloca i dati nel contesto più ampio di governance, processo decisionale, incentivi e relazioni con gli stakeholder. Questo ci permette di comprendere meglio come e perché il cambiamento avviene (o non avviene).

Il monitoraggio valutativo non è un approccio completamente nuovo, ma sta ancora emergendo e sta guadagnando terreno come strumento prezioso. Le esperienze di programmi come RINFORZATO hanno dimostrato il valore di questo approccio. Invece di trattare il monitoraggio puramente come un esercizio di responsabilità, il monitoraggio valutativo interroga i presupposti di progettazione ed esplora i meccanismi alla base dei risultati. Ciò richiede l'integrazione del pensiero valutativo nei processi di monitoraggio per rispondere alle che cosa, perchée come del cambiamento.

I fattori chiave dietro il cambiamento 

Stiamo assistendo a una crescente richiesta da parte di donatori e partner per lo sviluppo di approfondimenti e approcci più articolati. I fattori che guidano questo cambiamento includono: 

• Dettagli limitati nella rendicontazione di programmi e progetti e difficoltà nell'accesso a dati di alta qualità. 

• Vincoli di bilancio e ridotta propensione per le valutazioni convenzionali. 

• Una maggiore enfasi sull'apprendimento, l'adattamento e le raccomandazioni durante l'implementazione. 

• Tempi lunghi per la concretizzazione dei risultati ambientali e climatici 

• Limiti dei tradizionali modelli di valutazione di base, intermedia e finale per l'apprendimento a livello di portfolio. 

Il monitoraggio valutativo affronta direttamente queste sfide fornendo feedback in tempo reale and cicli di apprendimento continuo—assicurando che le informazioni siano integrate nell'intero ciclo di vita del programma anziché essere acquisite solo alla fine.

Applicazione pratica del monitoraggio valutativo 

Nel nostro lavoro, il monitoraggio valutativo ci ha permesso di aggiungere profondità and pratico APPREZZIAMO Oltre ai risultati standard del monitoraggio. Alcuni dei modi in cui lo abbiamo applicato includono: 

1. Fornire di più narrazioni dettagliate sulle prestazioni in termini di output e risultati. 
2. Delineare le ragioni per variazioni and sfide contestuali. 
3. Offrendo azioni concrete, raccomandazioni specifiche per partner e finanziatori. 
4. Spiegare dove mancano i risultati o non disponibile. 
5. Possesso workshop di convalida con i partner attuatori per verificare i risultati e condividere le esperienze. 

Uno dei modi in cui abbiamo applicato il monitoraggio valutativo è stato quello di raccogliere regolarmente dati sulla probabilità che programmi e progetti portino a un cambiamento trasformativo. Il nostro team ha integrato un quadro dei "segnali di cambiamento" Esaminare criticamente output e risultati. Questo ci aiuta a identificare i fattori sottostanti che innescano e accelerano un cambiamento sistemico e sostenibile. Ad esempio, un fattore trainante potrebbe essere la creazione di capacità in modi che promuovano indipendenza, proprietà e istituzionalizzazione oltre il ciclo di vita del progetto. Raccogliamo anche dati su meccanismi e fattori abilitanti che supportano questi fattori, come la creazione di incentivi attraverso la condivisione delle prove o la scalabilità e la replicabilità delle innovazioni. 

Sfide e considerazioni 

Sebbene il monitoraggio valutativo offra evidenti vantaggi, abbiamo anche riscontrato alcune sfide:  

• L'ambito deve essere chiaramente definito: Il monitoraggio valutativo non è una valutazione formale ed è necessaria chiarezza sui risultati del progetto. Il lavoro di monitoraggio valutativo tende a essere guidato dal quadro dei risultati, e non dal quadro di valutazione. Tuttavia, i risultati possono essere utilizzati per orientare le valutazioni future, così come le priorità di apprendimento. 

• Disponibilità delle risorse: Il monitoraggio valutativo richiede un'intensa attività di risorse, pertanto necessita di un budget e di una pianificazione accurati.  

• Variabilità dei dati: Nel caso di portafogli complessi, la qualità e la disponibilità dei dati e la collaborazione possono variare, richiedendo approcci adattabili. 

Nonostante queste sfide, il monitoraggio valutativo offre un valore significativo per i portafogli di grandi dimensioni, contribuendo a colmare il divario tra le tempistiche tradizionali di monitoraggio e valutazione. Supporta l'apprendimento continuo, la comprensione del contesto e l'adattamento in ambienti operativi complessi. 

Uno sguardo al futuro: il futuro di MEL 

Il panorama MEL è sempre più influenzato dalle mutevoli realtà dei finanziamenti e dalle priorità governative.  

Ristrettezze di bilancio e cambiamenti di priorità: 

I budget globali per l'APS si stanno riducendo: gli aiuti del Regno Unito, ad esempio, dovrebbero ridursi dallo 0.5% allo 0.3% del reddito nazionale lordo (RNL) nel 2027. Anche altri donatori come Stati Uniti, Francia e Germania hanno effettuato tagli significativi nel 2024. I finanziatori stanno diventando più selettivi, dando priorità a spese strategiche e di impatto e cercando di ottenere il massimo apprendimento con risorse limitate.   

Il bilancio degli aiuti del Regno Unito nel 2025 e nel 2026 si concentrerà sulle crisi umanitarie, sanitarie e climatiche, con una spesa prioritaria affidata alle organizzazioni multilaterali più influenti. Ciò significa che è probabile che modelli complessi di valutazione del portafoglio diventino sempre più comuni. 

Con la riduzione dei finanziamenti, approcci MEL flessibili e adattabili stanno diventando fondamentali. La strategia di valutazione 2025 del FCDO evidenzia un crescente interesse per metodi innovativi per la valutazione della diplomazia.  

Incorporare apprendimento e prove: 

In un contesto di budget in calo, dimostrare l'impatto continuo e integrare apprendimento ed evidenze nel processo decisionale per l'intero ciclo di vita di portafogli e programmi è più importante che mai. Il monitoraggio valutativo è uno dei modi in cui possiamo fornire ai clienti informazioni in tempo reale e apprendimento fruibile. Eliminando i compartimenti stagni tra monitoraggio, valutazione e apprendimento, il monitoraggio valutativo consente di progettare e implementare i framework MEL in modo più integrato e strategico. 

Innovazione strategica: 

Guardando al futuro, il futuro di MEL richiederà entrambi adattamento and INNOVAZIONECon il mutare delle realtà di finanziamento e l'evoluzione delle esigenze dei clienti, dobbiamo essere strategici, flessibili e intenzionali nel modo in cui progettiamo e forniamo il lavoro MEL. Il monitoraggio valutativo offre una mentalità agile che supporta questo obiettivo.