Evaluacija za budućnost: Kako evaluacijski monitoring može transformirati složene krajolike evaluacije 

Kako se globalni krajolik financiranja mijenja, a klimatski i okolišni izazovi postaju sve složeniji, tradicionalni pristupi praćenju i evaluaciji pod sve većim su pritiskom da pruže brže uvide i praktičnije učenje. Dvoje naših stručnjaka za evaluaciju u Ecorys UK predvode ovu evoluciju i dijele svoja iskustva i saznanja: 

Oslanjajući se na naš rad na evaluaciji složenog portfelja za klimu i prirodu financiranog od strane Ujedinjenog Kraljevstva putem službene razvojne pomoći (ODA), imali smo priliku testirati pristupe koji postaju sve važniji za budućnost evaluacije. Jedan od njih je uloga evaluativnog praćenja u složenim evaluacijama portfelja. 

U ovom blogu dijelimo ključne lekcije iz našeg iskustva i istražujemo kako evaluativno praćenje može pružiti ključne uvide i poboljšati donošenje odluka u složenim operativnim okruženjima. Nedavno smo podijelili naš pristup na Ecorys Summer Methods Festivalu, koji je pružio vrijedan prostor za razmjenu iskustava i uvida s kolegama iz cijelog sektora, što je dodatno informiralo naša razmišljanja. 

Zašto je evaluacijski monitoring važan 

Po našem iskustvu, praćenje i evaluacija se često tretiraju kao odvojene funkcije, a ne kao dio povezanog sustava: 

• Praćenje obično prati programe/politike u odnosu na pokazatelje kako bi provjerio očekivane rezultate u odnosu na one postignute. 

• Procjena, nasuprot tome, obično procjenjuje učinkovitost i rezultate u određenom vremenskom trenutku. To se može provesti na početku (formativno), na kraju (sumativno) ili tijekom (razvojnih) inicijativa, a može uključivati ​​evaluaciju procesa, utjecaja i vrijednosti za novac.  

Ovaj dublji sloj istraživanja: 

• Omogućuje poboljšanja i prilagodbe utemeljene na dokazima u stvarnom vremenu 

• Omogućuje strukturiraniju refleksiju i procjenu, a u slučaju velikih portfelja i sustavniju u svim programima i projektima

Za razliku od tradicionalnog praćenja, evaluativno praćenje ne zaustavlja se na mjerenju napretka u odnosu na pokazatelje. Ono dublje istražuje i smješta podatke u širi kontekst upravljanja, donošenja odluka, poticaja i odnosa sa zainteresiranim stranama. To nam omogućuje da bolje razumijemo kako i zašto se promjena događa (ili ne događa).

Evaluacijsko praćenje nije potpuno novi pristup, ali se još uvijek pojavljuje i dobiva na popularnosti kao vrijedan alat. Iskustva iz programa kao što su Učvršćen pokazali su vrijednost ovog pristupa. Umjesto da se praćenje tretira isključivo kao vježba odgovornosti, evaluativno praćenje ispituje pretpostavke dizajna i istražuje mehanizme koji leže u osnovi ishoda. To zahtijeva integriranje evaluativnog razmišljanja u procese praćenja kako bi se odgovorilo na što, zaštoi kako promjene.

Ključni pokretači promjene 

Primjećujemo rastuću potražnju donatora i razvojnih partnera za dubljim uvidima i nijansiranim pristupima. Čimbenici koji potiču ovu promjenu uključuju: 

• Ograničeni detalji u izvještavanju o programima i projektima te izazovi u pristupu visokokvalitetnim podacima. 

• Proračunska ograničenja i smanjena potražnja za konvencionalnim evaluacijama. 

• Veći naglasak na učenju, prilagodbi i preporukama tijekom provedbe. 

• Dugi vremenski okviri za ostvarenje ekoloških i klimatskih rezultata 

• Ograničenja tradicionalnih dizajna početne, srednje i završne evaluacije za učenje na razini portfelja. 

Evaluacijsko praćenje izravno se bavi tim izazovima pružajući povratne informacije u stvarnom vremenu i kontinuirane petlje učenja—osiguravanje da su uvidi ugrađeni u cijeli životni ciklus programa, a ne da se prikupljaju tek na kraju.

Primjena evaluativnog praćenja u praksi 

U našem radu, evaluacijski monitoring nam je omogućio da dodamo dubina i praktičan vrijednost izvan standardnih rezultata praćenja. Neki od načina na koje smo ga primijenili uključuju: 

1. Pružanje više detaljne naracije o učinku i rezultatima. 
2. Navođenje razloga za varijacije i kontekstualne izazove. 
3. Nudenje podlošno djelovanju, specifične preporuke za partnere i financijere. 
4. Objašnjavanje gdje nedostaju rezultati ili nedostupan. 
5. Držanje radionice za validaciju s provedbenim partnerima kako bi se provjerili nalazi i razmijenila iskustva. 

Jedan od načina na koji smo primijenili evaluativno praćenje jest rutinsko prikupljanje podataka o vjerojatnosti da će programi i projekti dovesti do transformacijskih promjena. Naš tim je integrirao okvir 'signala promjene' kritički ispitati rezultate i ishode. To nam pomaže identificirati temeljne čimbenike koji pokreću i ubrzavaju sistemske, održive promjene. Na primjer, pokretač može biti izgradnja kapaciteta na načine koji potiču neovisnost, vlasništvo i institucionalizaciju izvan životnog ciklusa projekta. Također prikupljamo podatke o mehanizmima i pokretačima koji podržavaju te pokretače, kao što je stvaranje poticaja dijeljenjem dokaza ili omogućavanje skalabilnosti i replikacije inovacija. 

Izazovi i razmatranja 

Iako evaluacijski monitoring nudi jasne prednosti, susreli smo se i s nekim izazovima:  

• Opseg mora biti jasno definiran: Evaluacijsko praćenje nije formalna evaluacija i potrebna je jasnoća u vezi s rezultatima projekta. Rad evaluacijskog praćenja obično se vodi okvirom rezultata, a ne okvirom evaluacije. Međutim, rezultati se mogu koristiti za informiranje budućih evaluacija, kao i prioriteta učenja. 

• Dostupnost resursa: Evaluacijski monitoring zahtijeva puno resursa, stoga zahtijeva pažljivo budžetiranje i planiranje.  

• Varijabilnost podataka: U slučaju složenih portfelja, kvaliteta i dostupnost podataka te suradnja mogu se razlikovati, što zahtijeva prilagodljive pristupe. 

Unatoč tim izazovima, evaluativno praćenje pruža značajnu vrijednost za velike portfelje, pomažući u premošćivanju jaza između tradicionalnih vremenskih okvira praćenja i evaluacije. Podržava kontinuirano učenje, kontekstualno razumijevanje i prilagodbu u složenim operativnim okruženjima. 

Pogled unaprijed: budućnost MEL-a 

Krajolik MEL-a sve se više oblikuje promjenjivim stvarnostima financiranja i vladinim prioritetima.  

Smanjenje proračuna i promjena prioriteta: 

Globalni proračuni za službenu razvojnu pomoć (ODA) smanjuju se – na primjer, pomoć Ujedinjenog Kraljevstva trebala bi se smanjiti s 0.5% na 0.3% bruto nacionalnog dohotka (BND) u 2027., a drugi donatori poput SAD-a, Francuske i Njemačke također su značajno smanjili sredstva u 2024. Financijeri postaju selektivniji – dajući prioritet utjecajnoj, strateškoj potrošnji i tražeći maksimalno učenje za ograničene resurse.   

Proračun pomoći Ujedinjenog Kraljevstva za 2025. i 2026. godinu usredotočit će se na humanitarne, zdravstvene i klimatske krize, a prioritet će imati potrošnja putem najutjecajnijih multilateralnih organizacija. To znači da će složeni modeli evaluacije portfelja vjerojatno postati sve češći. 

S obzirom na smanjenje financiranja, fleksibilni i prilagodljivi pristupi MEL-u postaju ključni. Strategija evaluacije FCDO-a za 2025. ukazuje na rastući interes za inovativne metode evaluacije diplomacije.  

Ugrađivanje učenja i dokaza: 

Usred smanjenja proračuna, demonstracija kontinuiranog utjecaja i ugradnja učenja i dokaza u donošenje odluka tijekom cijelog životnog vijeka portfelja i programa važnija je nego ikad. Evaluacijsko praćenje jedan je od načina na koji klijentima možemo pružiti ove uvide u stvarnom vremenu i praktično učenje. Razbijanjem silosa između praćenja, evaluacije i učenja, evaluacijsko praćenje omogućuje da se MEL okviri dizajniraju i provode na integriraniji i strateški način. 

Strateške inovacije: 

Gledajući unaprijed, budućnost MEL-a zahtijevat će oboje adaptacija i inovacijaKako se stvarnost financiranja mijenja, a potrebe klijenata razvijaju, moramo biti strateški, fleksibilni i promišljeni u načinu na koji dizajniramo i provodimo MEL rad. Evaluacijsko praćenje nudi agilni način razmišljanja koji to podržava.