52678 BiH izdanje PUT DO REZULTATA Dizajniranje i provoÄ‘enje efektivnih razvojnih evaluacija Linda G. Morra Imas Ray C. Rist PUT DO REZULTATA PUT DO REZULTATA Dizajniranje i ProvoÄ‘enje Efektivne Razvojne Evaluacije Linda G. Morra Imas Ray C. Rist Za Svjetsku banku publicirala Å tamparija Fojnica. © 2009 The International Bank for Reconstruction and Development / The World Bank 1818 H Street NW Washington DC 20433 Telefon: 202-473-1000 Internet: www.worldbank.org This work was originally published by The World Bank in English as “The Road to Results: Designing and Conducting Effective Development Evaluationsâ€? in 2009. This Bosnian translation is arranged by Å tamparija Fojnica. Å tamparija Fojnica is responsible for the quality of the translation. In case of any discrepancies, the original language will govern. Ovaj rad je objavila Svjetska banka na engleskom jeziku pod naslovom “The Road to Results: designing and conducting effective development evaluations“ 2009-te godine. Ovaj prijevod na bosanski pripremila je Å tamparija Fojnica. Å tamparija Fojnica je odgovorna za kvalitet prijevoda. U sluÄ?aju bilo kakvog neslaganja, originalni jezik ima prednost. Nalazi, interpretacije i zakljuÄ?ci predstavljeni u ovom radu ne predstavljaju nužno i glediÅ¡ta Svjetske banke, njenog Odbora IzvrÅ¡nih direktora ili vlada koje predstavljaju. Svjetska banka ne garantuje taÄ?nost predstavljenih podataka u ovom radu. Granice, boje, denominacije i druge informacije prikazane na bilo kojoj karti ovog rada ne impliciraju bilo kakav stav Svjetske banke po pitanju statusa neke teritorije ili prihvatanje takvih granica. Sva prava pridržana. Kopiranje i/ili prenoÅ¡enje dijelova ovog rada bez dozvole može biti kažnjivo zakonom. Svjetska banka obiÄ?no podstiÄ?e diseminaciju svojih radova i u pravilu će dati dozvolu za reprodukciju dijelova ove knjige. Sva pitanja vezano za dozvole ukljuÄ?ujući subsidijarna prava uputiti na adresu The World Bank, 1818 H Street NW, Washington, DC 20433, USA; fax: 202-522-2422; e-mail: pubrights@worldbank.org. Put do rezultata: dizajniranje i provoÄ‘enje razvojne evaluacije Copyright © 2012 by International Bank for Reconstruction and Development/The World Bank Autori Linda G. Morra Imas Ray C. Rist Naslov originala The Road to Results: Designing and Conducting Effective Development Evaluations Naslov Put do rezultata: Dizajniranje i provoÄ‘enje efektivne razvojne evaluacije IzdavaÄ? Å tamparija Fojnica Prijevod R. KovaÄ? H. Džafo Jezik bosanski Lektor i korektor A. Gekić Naslovna strana Naylor Design, Washington, DC TehniÄ?ko ureÄ‘enje E. Hasanagić Å tampa Å tamparija Fojnica Tiraž 500 CIP - Katalogizacija u publikaciji Nacionalna i univerzitetska biblioteka Bosne i Hercegovine, Sarajevo ------------------------------------------------------------------------ ------------------------------------------------------------------------ -----------------------to be attached POSVETA Mome suprugu Silviu, koji me podržava i ohrabruje u mojim profesionalnim nastojanjima, a posebno se zahvaljujem dvjema jakim ženama koje su moj evaluacioni uzor i mentori: Eleanor Chelimsky i Lois-Ellin Datta. LINDA G. MORRA IMAS Za Molly, Ethan, Madeleine, Lukasa, Ninu i Annu: mojih Å¡est unuÄ?adi koji svakoga dana donose radost u moj život. RAY C. RIST SADRŽAJ PREDGOVOR xv O AUTORIMA xvii SKRAĆENICE xix Uvod 1 Bibliografija 3 OSNOVE 5 Poglavlje 1. Predstavljanje razvojne evaluacije 7 Evaluacija: Å ta je to? 8 Nastanak i historija evaluacije kao discipline 19 Kontekst razvojne evaluacije 26 Primjeri razvojnih evaluacija 36 Sažetak 41 Poglavlje 1 Aktivnosti 41 Napomena 42 Bibliografija i dodatna literatura 42 Web stranice 46 Poglavlje 2. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 49 Pregled sistema evaluacije u razvijenim zemljama i zemljama u razvoju 50 Implikacije novonastalih pitanja razvoja 71 Sažetak 93 Bibliografija i dodatna literatura 94 Web stranice 101 v IZGRADNJA SISTEMA MONITORINGA I EVALUACIJE ZASNOVANog NA REZULTATIMA 103 Poglavlje 3. Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 105 Važnost monitoringa i evaluacije zasnovanih na rezultatima 106 Å ta su to monitoring i evaluacija zasnovani na rezultatima 107 Tradicionalni pristup nasuprot monitoringu i evaluaciji zasnovanim na rezultatima 108 Deset koraka u izgradnji sistema monitoringa i evaluacije zasnovanog na rezultatima 112 Sažetak 134 Poglavlje 3 Aktivnosti 136 Napomene 139 Bibliografija i dodatna literatura 139 Web stranice 140 Poglavlje 4. Razumijevanje konteksta evaluacije i programa teorije promjene 141 “Front-endâ€? analiza 142 Identificiranje glavnog klijenta i kljuÄ?nih dionika 144 Razumijevanje konteksta 149 KoriÅ¡tenje postojećeg znanja 150 Izgradnja, koriÅ¡tenje i procjenjivanje teorije promjene 150 Poglavlje 4 Aktivnosti 172 Bibliografija i dodatna literatura 174 Web stranice 177 Poglavlje 5. Razmatranje evaluacijskog pristupa 181 Opći pristupi evaluaciji 182 Sažetak 205 Poglavlje 5 Aktivnosti 211 Bibliografija i dodatna literatura 212 Web stranice 216 DIZAJNIRANJE I PROVOÄ?ENJE 219 Poglavlje 6. Razvoj evaluacionih pitanja 221 Izvori pitanja 222 Vrste pitanja 223 Identifikacija i odabir pitanja 230 Razvijanje dobrih pitanja 232 vi Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Dizajniranje evaluacije 234 Sažetak 244 Poglavlje 6 Aktivnosti 245 Bibliografija i dodatna literatura 246 Web stranice 246 Poglavlje 7. Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 247 Povezivanje pitanja sa dizajnom 248 Dizajni za uzroÄ?no-posljediÄ?na pitanja 252 Dizajni za opisna pitanja 272 Dizajni za normativna pitanja 274 Potreba za rigoroznijim evaluacionim dizajnom 275 Poglavlje 7 Aktivnosti 281 Bibliografija i dodatna literatura 284 Web stranice 287 Poglavlje 8. Odabir i izrada instrumenata za prikupljanje podataka 289 Strategije prikupljanja podataka 290 Karakteristike dobrih mjera 293 Kvantitativni i kvalitativni podaci 294 Alati za prikupljanje podataka 299 Sažetak 348 Poglavlje 8 Aktivnosti 349 Bibliografija i dodatna literatura 350 Web stranice 354 Poglavlje 9. Odabir strategije uzorkovanja 355 Uvod u uzorkovanje 356 Vrste uzoraka: nasumiÄ?ni i nenasumiÄ?ni 356 OdreÄ‘ivanje veliÄ?ine uzorka 364 Sažetak 366 Poglavlje 9 Aktivnosti 368 Bibliografija i dodatna literatura 370 Web stranice 371 Poglavlje 10. Planiranje i provoÄ‘enje analize podataka 373 Strategija analize podataka 374 Analiziranje kvalitativnih podataka 374 Analiziranje kvantitativnih podataka 388 Povezivanje kvalitativnih i kvantitativnih podataka 401 Sadržaj vii Sažetak 403 Poglavlje 10 Aktivnosti 405 Bibliografija i dodatna literatura 408 Web stranice 411 SUOÄŒAVANJE SA IZAZOVIMA 413 Poglavlje 11. Evaluacija kompleksnih intervencija 415 Å ira slika razvojne evaluacije 416 Združene evaluacije 417 Evaluacije državnih programa 421 Evaluacije sektorskih programa 423 Tematske evaluacije 424 Evaluacija globalnih i regionalnih partnerskih programa 429 Sažetak 434 Bibliografija i dodatna literatura 435 Web stranice 438 RUKOVOÄ?ENJE 439 Poglavlje 12. Upravljanje evaluacijom 441 Upravljanje matricom dizajna 442 Uloge i odgovornosti razliÄ?itih aktera 446 Upravljanje ljudima, zadacima i budžetom 451 Upravljanje ljudima 451 Poglavlje 12 Aktivnosti 461 Bibliografija i dodatna literatura 463 Web stranice 465 Poglavlje 13. Prezentiranje rezultata 467 Izrada strategije komunikacije 468 Pisanje evaluacionog izvjeÅ¡taja 471 Vizuelno predstavljanje informacija 476 Pravljenje usmene prezentacije 489 Poglavlje 13 Aktivnosti 491 Bibliografija i dodatna literatura 492 Web stranice 493 Poglavlje 14. Usmjeravanje evaluatora: evaluaciona etika, politika, 495 EtiÄ?no ponaÅ¡anje 496 viii Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Politika i evaluacija 499 Standardi i vodeća naÄ?ela evaluacije 506 Sažetak 510 Poglavlje 14 Aktivnost 511 Bibliografija i dodatna literatura 512 Web stranice 513 Poglavlje 15. Pogled u budućnost 515 Od proÅ¡losti do sadaÅ¡njosti 516 Budućnost 518 Poglavlje 15 Aktivnosti 527 Biobliografija i dodatna literatura 528 Web stranice 529 Dodaci 531 Tekstualni okvir 1.1 Upotrebe evaluacije 15 1.2 Institut internih revizora i meÄ‘unarodna organizacija vrhovnih revizorskih institucija 24 1.3 10 dijelova DAC evaluacionih standarda kvaliteta 31 1.4 Relevantnost: Evaluacija koju je proveo Svjetski program hrane za pomoć oporavka i olakÅ¡anja u Somaliji 36 1.5 Efektivnost: DfID-ova Evaluacija podrÅ¡ke za akciju programa svjetske hrane u BangladeÅ¡u 37 1.6 Efikasnost: Evaluacija Apelacionih fondova za poplavu u Mozambiku, Komiteta za hitne intervencije kod katastrofa 38 1.7 Utjecaj: Združena evaluacija nužne pomoći Ruandi 39 3.1 Snaga mjerenja rezultata 107 3.3 Deset upotreba rezultata nalaza 131 4.1 Kako provesti analizu dionika 148 4.2 KoriÅ¡tenje fonda znanja o prevenciji kriminala 150 4.3 Pregled literature o programima za poboljÅ¡anje uspjeha uÄ?enika u regionu Južne Afrike 156 6.1 Evaluacija intervencije koja nema standarda 226 6.2 Evaluacija politika i intervencija koristeći pitanja sa ponuÄ‘enim odgovorima 228 6.3 Pet etapa procesa evaluacije 238 7.1 Å ta otjera slonove? 248 7.2 Funkcioniraju li Å¡kole kojima upravlja zajednica? Evaluacija EDUCO programa u El Salvadoru. 262 Sadržaj ix 7.3 Upotreba dizajna popreÄ?nog presjeka da se odgovori na opisna pitanja 268 7.4 Primjer dizajna studije sluÄ?aja za opisna pitanja 272 7.5 Upotreba prije i poslije dizajna da se odgovori na opisna pitanja 273 7.6 Primjer dizajna prekinutih vremenskih serija za opisna pitanja 273 7.7 Utjecaj programa obuke za posao na otpuÅ¡tene radnike 276 7.8 PodrÅ¡ka Å panije rigoroznom evaluacionom dizajnu 277 8.1 Pravila za prikupljanje podataka 291 8.2 KoriÅ¡tenje strukturiranog pristupa za evaluaciju poljoprivredne intervencije 292 8.3 Pattonova Kvalitativna lista provjere od 20 pitanja 296 8.4 Mjerenje popularnosti umjetniÄ?kih izložbi koristeći nametljive i nenametljive metode 299 8.5 KoriÅ¡tenje Google Eartha za mapiranje 304 8.6 Pitanja za strukturiranu i polustrukturiranu anketu 317 8.7 Savjeti za formuliranje anketnih pitanja 322 8.8 Opće smjernice za provoÄ‘enje anketa 328 8.9 Savjeti za pisanje upitnika 328 8.10 Savjeti za voÄ‘enje intervjua 332 8.11 Savjeti za provoÄ‘enje intervjua u raznim kulturama 333 8.12 Savjeti za dizajniranje pitanja za fokusnu grupu 338 8.13 Primjeri pitanja u fokus grupi 339 9.1 Upotreba grupnog uzorkovanja za identifikaciju ljudi sa AIDS-om za intervju 361 10.1 Primjer kodiranja 378 10.3 Upotreba analize sadržaja da se identificira percipirana korist od ruÄ?nih pumpi 379 10.3 Strategije za elektronsko kodiranje podataka 383 10.4 Savjeti za održavanje kvantitativnih podataka 388 10.5 IzraÄ?unavanje standardne devijacije 395 10.6 Smjernice za analizu kvantitativnih podataka ankete 396 11.1 Primjer metodologije evaluacije državnog programa 422 11.2 Združene eksterne evaluacije zdravstvenog sektora Tanzanije od 1999 do 2006 425 11.2 Nastavak 426 11.3 Primjer tematske evaluacije procjene djece sakupljaÄ?a otpada u Africi, Aziji i Evropi 427 12.1 Savjeti za pisanje projektnih zadataka za evaluaciju 445 12.2 Savjeti za rjeÅ¡avanje konflikta 452 12.3 Savjeti za poboljÅ¡anje timskog rada 453 13.1 Upotreba inovativnih tehnika komunikacije za povećanje interesa za rezultate evaluacije 470 x Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije 13.2 Savjeti za izradu efektivnih ilustracija 487 13.3 Savjeti za pripremu PowerPoint prezentacije i materijala 490 13.4 Savjeti za koriÅ¡tenje slajdova 490 15.1 KljuÄ?na pitanja za dijagnozu vladinog MiE sistema 520 15.2 Osnovne kompetencije programskih evaluatora 524 Definiranje evaluacije 535 OECD DAC Mreža razvojne evaluacije 554 Ilustracije 3.1 Program teorije promjene (logiÄ?ki model) za ostvarenje ishoda i utjecaja 110 3.2 Primjer programske teorije promjene (logiÄ?ki model) za smanjenje oboljenja kod djece upotrebom terapije oralne rehidracije 111 3.3 Deset koraka u dizajniranju, izgradnji, i održavanju sistema 113 3.4 Spektar metoda prikupljanja podataka 120 3.5 Identifikacija oÄ?ekivanog ili željenog nivoa poboljÅ¡anja zahtijeva izbor ciljeva uÄ?inka 122 3.6 KljuÄ?ni tipovi monitoringa 124 3.7 Veze izmeÄ‘u monitoringa implementacije i monitoringa rezultata 125 3.8 Primjer povezivanja implementacije sa monitoringom rezultata 125 3.9 Postizanje rezultata kroz partnerstvo 126 4.1 Put od ulaznih elemenata do rezultata 152 4.2 Potencijalni utjecaji okruženja na rezultate programa 153 4.3 Proces izrade teorije promjene 155 4.4 Jednostavna teorija promjene za poboljÅ¡anje donoÅ¡enja odluka Trening evaluatora 157 4.5 Dijagram jednostavne teorije promjene sa identificiranim kljuÄ?nim pretpostavkama 159 4.6 Å ablon teorije promjene 160 4.7 Teorija promjene za program poboljÅ¡anja uspjeha uÄ?enika u Ä?itanju preko posjeta uÄ?itelja njihovim domovima 162 4.8 Teorija promjene za program za upotrebu na participativnoj radionici o smanjenju korupcije u vladi 164 4.9 Standardni grafikon toka 166 4.10 Dijagram toka koji naglaÅ¡ava pretpostavke 167 4.11 Standardni lanac rezultata 167 6.1 Upotreba logiÄ?kog modela za formuliranje evaluacijskih pitanja 223 6.2 Pristup razvoju evaluacije 240 8.1 Primjer instrumenta za prikupljanje podataka 307 8.2 Primjerak obrasca opservacije zasnovane na temi 311 8.3 Primjer Obrasca Strukturirane opservacije 312 Sadržaj xi 10.1 Dijagram toka za istraživanje analize sadržaja 381 10.2 Nepopunjen radni list za analizu kvalitativnih podataka 383 10.3 Kompletiran radni list za analizu kvalitativnih podataka 385 10.4 Normalna distribucija 393 10.5 Nenormalne distribucije 394 10.6 Standardne devijacije u normalnoj distribuciji 394 12.1 Primjer Ganttovog grafikona 455 13.1 IFC-ov MATR od dvije faze za praćenje preporuka 475 13.2 Primjer organizacionog dijagrama 478 13.3 Primjer Ganttovog grafikona 479 13.4 Smanjenje prosjeÄ?ne temperature u provinciji A od februara do juna 2008. 480 13.5 Razlike u rezultatima Ä?itanja u tri Å¡kole u distriktu, 2004/2005. 481 13.6 Rezultati roditeljskog testa, varijacije prema regionu 482 13.7 Odgovori na pitanja direktora i pomoćnika se razlikuju 483 13.9 Srednji rezultat testa poreÄ‘enja rezultata i nivoa razreda 483 13.8 Treći kvartal pokazuje najveće cijene el. energije u kanadskim dolarima, 2008. 483 13.10 Primjer nepotrebno pretrpanog grafiÄ?kog prikaza 488 13.11 Primjer uravnoteženog prikaza gdje je maksimizirana tinta podataka 488 Slika 13.1 DjeÄ?iji doživljaj sela prije intervencije i nakon intervencije 477 Tabele 1.1 Primjeri, evaluacije politike, programa i projekta 14 1.2 PoreÄ‘enje monitoringa i evaluacije 17 1.3 Promjena pristupa Svjetske banke razvoju 1950 – 2000. 27 1.4 Kriteriji i indikatori za odreÄ‘ivanje nezavisnosti od evaluacione organizacije 33 3.1 Glavne komponente teorije promjene 109 3.2 Matrica za odabir indikatora 118 3.3. Primjer okvira uÄ?inka: ishodi i indikatori 118 3.4 Primjer okvira uÄ?inka: ishodi, indikatori i bazne linije 121 3.5 Primjer okvira uÄ?inka: 123 3.6 Primjer Tabele o izvjeÅ¡tavanju o ishodima 129 4.1 Uloga dionika u evaluaciji 146 4.2 Pitanja koja treba postaviti u razliÄ?itim fazama evaluacije 149 4.3 LogiÄ?ki okvir za program smanjenja smrtnosti djece 171 xii Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije 5.1 Vrste dalekosežnih pitanja i naÄ?in na koji na njih odgovoriti 183 5.2 Osobine tehnika participativne evaluacije i tradicionalne evaluacije 194 5.3 Svrha, karakteristike, prednosti i izazovi razliÄ?itih pristupa evaluacije 207 6.1 Kvalitativna pitanja koja se postavljaju tokom razliÄ?itih faza ciklusa politike 225 6.2 Matrica za odabir i rangiranje evaluacionih pitanja 232 7.1 Dvije kljuÄ?ne karakteristike eksperimentalnih, kvazieksperimentalnih i neeksperimentalnih eksperimenata 251 7.2 ÄŒetiri vrste revizije uÄ?inka 275 7.3 Prednosti i nedostaci uobiÄ?ajenog eksperimentalnog dizajna 279 7.1 Sažetak kljuÄ?nih termina i atributa razliÄ?itih vrsta dizajna 282 8.1 Primjer tabele Odluka za metod prikupljanja podataka 290 8.3 Prednosti i izazovi sastanaka u zajednici 302 8.4 Prednosti i izazovi koriÅ¡tenja dostupnih podataka 309 8.5 Razlozi za koriÅ¡tenje i primjeri opservacije 311 8.6 Upotrebe polustrukturirane opservacije 314 8.7 Prednosti i izazovi opservacionog prikupljanja podataka 316 8.8 Prednosti strukturiranih i polustrukturiranih anketa 318 Strukturirane ankete 318 8.9 Prednosti i izazovi anketa 319 8.10 Nivoi usavrÅ¡avanja kod odreÄ‘ivanja sadržaja ankete 321 8.11 Rezultati kartica graÄ‘ana o zadovoljstvu uslugama infrastrukture 330 8.12 Upotrebe kartica graÄ‘ana 331 8.13 Prednosti i izazovi kartica graÄ‘ana za prikupljanje podataka 331 8.14 Prednosti i izazovi Intervjua 333 8.15 ÄŒetiri faze fokus grupe i aktivnosti moderatora 339 8.16 Prednosti i izazovi fokusnih grupa 340 8.17 Smjernice za koriÅ¡tenje dnevnika i žurnala 341 8.18 Prednosti i izazovi dnevnika i subjektivnih lista provjere 342 8.19 Prednosti i izazovi procjene struÄ?njaka 343 8.20 Prednosti i izazovi Delfi tehnike 346 9.1 Minimalna veliÄ?ina uzorka potrebna na nivou sigurnosti od 95 procenata uz 5 procenata margine greÅ¡ke 365 9.2 VeliÄ?ina uzorka za populacije od 1 milion i viÅ¡e 366 10.1 Savjeti za prikupljanje i analizu kvalitativnih podataka 375 10.2 Potencijalna snaga i izazovi analize sadržaja 382 10.3 Organiziranje i interpretacije kvalitativnih podataka 387 10.4 Procenat urbanizacije po državama za Latinsku Ameriku i Centralnu Ameriku 392 10.5 PreporuÄ?ene mjere centralne tendencije po tipu podataka 393 Sadržaj xiii 10.6 Stavovi klijenata o uslugama zdravstvene njege u lokalnoj klinici (procenat ispitanika) 397 10.7 Stavovi klijenata o uslugama zdravstvene njege u lokalnoj klinici (procenat ispitanika) 397 11.1 Odabir i upravljanje eksternim evaluacionim timom i predstavljanje rezultata 420 12.1 Primjer mape zadataka 455 12.2 Greerovih 20 aktivnosti upravljanja projektom 458 13.1 Primjer liste provjere strategije komunikacije za preliminarnu i dizajn fazu evaluacije 469 13.2 Sistem praćenja preporuka 474 13.3 Dijelovi Grafikona 480 13.4 Vrste i svrhe razliÄ?itih tipova grafikona 481 13.5 Primjer podataka u tabeli sa viÅ¡e linija 485 13.6 Primjer podataka u tabeli sa manje linija 485 13.7 Primjer klasifikacijske tabele 486 xiv Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije PREDGOVOR Razvojna evaluacija je uzbudljiva komponenta većeg evaluacionog mozaika. Bavi se temeljnim, kompleksnim, i pojavnim podruÄ?jima razvoja. Evalu- acija mjera smanjena siromaÅ¡tva, globalizacije i njenog utjecaja na siromaÅ¡ne, posljedica globalnog zagrijavanja na nerazvijene zemlje, strukturalne nejed- nakosti globalnih finansijskih sistema i strategija za pomoć postkonfliktnim zemljama su samo neka od podruÄ?ja gdje razvojna evaluacija daje doprinos razu- mijevanju naÅ¡e reakcije na ova goruća pitanja. Kako raste pritisak na vlade i organizacije da preuzmu odgovornost za posljedice svojih aktivnosti, za veću odgovornost internih i eksternih dionika za njihov uÄ?inak, i Å¡to je najizrazitije za veću razvojnu efektivnost, evaluacija se javlja kao kljuÄ?ni naÄ?in na koji se sistematski obraÄ‘uju i rjeÅ¡avaju pitanja, „pa Å¡ta?“ Nije dovoljno dokumentovati da je neko zauzet poslom, sada se zahtijeva da se dokumentuje da je neko (ili nije) efektivan. Razvojna evaluacija je takoÄ‘er pojavno podruÄ?je ispitivanja. Pronaći naÄ?ine evaluacije je teÅ¡ko kada je vladin sistem podataka slab ili nekonzistentan, koru- pcija informacija iz politiÄ?kih razloga Ä?esta, praznine u informacijama velike i realne, i ne postoji sigurnost da su pružene informacije pouzdane. U suoÄ?avanju sa ovim izazovima, razvojna evaluacija je elastiÄ?na, inovativna i kreativna u pronalaženju naÄ?ina da se pomogne pružanje informacija graÄ‘anima, vladinim službenicima, donatorima, civilnom druÅ¡tvu i medijima o tome ostvaruju li vla- dini programi zadane ciljeve. Ova knjiga nastoji dati doprinos jaÄ?anju razvojne evaluacije kao alata za pružanje informacija o izradi i implementaciji politika i programa kao i sistema uprave uopće. Evaluacija može biti moćan alat javne uprave za poboljÅ¡anje naÄ?ina na koji vlade i organizacije postižu i ostvaruju rezultate. Njen doprinos ne zavrÅ¡ava na pragu javnog sektora. Evaluacija može biti moćan alat za civilno druÅ¡tvo, nevladine organizacije i donatorske organizacije koje nastoje podržati razvoj siromaÅ¡nih. xv Materijal u ovoj knjizi je pripremljen na osnovu materijala MeÄ‘unarodnog programa za obuku u razvojnoj evaluaciji (IPDET), koji provode Svjetska banka i Carleton univerzitet (pogledati www.IPDET.org). IPDET okuplja uÄ?esnike iz cijelog svijeta koji provode mjesec dana prouÄ?avajući razvojnu evaluaciju. Materijal u ovom izdanju je elaboracija suÅ¡tine kursa koji provodi IPDET. Pro- vodi se sa ciljem proÅ¡irenja i razmjene sadržaja IPDET kursa sa svim zainte- resovanim za razvojnu evaluaciju. Mi, autori, dugujemo mnogim pojedincima koji su dali savjete, Ä?itali dijelove rukopisa i pružili kritike te nas podstakli da nastavimo ostvarivanje ove knjige. Kompletna lista ljudi kojima želimo zahvaliti nalazi se na kraju knjige (Dodatak 1). Odabranoj grupi ljudi moramo se zahvaliti ovdje: Michael Patton, Patrick Grasso, Martin Abrams, Niels Dabelstein, Gregg Jackson, Gene Swimmer i Nancy Porteous, svi oni su Ä?itali i dali kritiku dijelova knjige. Zahvalni smo im na njihovom trudu. Santiago Pombo Bejarano, iz Ureda izdavaÅ¡tva Svjetske banke, predstavljao je jak vjetar u naÅ¡a leÄ‘a. Njegovo ohrabrivanje da nastavimo rad na ovom rukopisu nikada nije popustilo. TakoÄ‘er, zahvalni smo dvjema osobama koje su bile naÅ¡i partneri u ostvarivanju IPDETa na Carleton univerzitetu: Karen Ginsberg i Barbara Levine. Ne bi bilo knjige da nije bilo IPDET-a. Oni su divni partneri i divni prijatelji. Na kraju moramo odati priznanje izvanrednom doprinosu Diane Schulz Novak, koja je sa nama radila tokom cijelog procesa pisanja i obrade rukopisa. Njena posvećenost, briga i umjeÅ¡nost u radu sa nama je bila suÅ¡tinska jer da nje nije bilo mi ne bismo pisali ovaj predgovor, poÅ¡to ne bi bilo ni knjige. Nas dvoje smo prijatelji i kolege gotovo 30 godina. Prvi put smo se sreli i poÄ?eli raditi zajedno u Uredu za odgovornost ameriÄ?ke vlade 1981. godine. Već viÅ¡e od dekade skupa smo u Svjetskoj banci. Saradnja i prijateljstvo su sve viÅ¡e jaÄ?ali. Kako smo dostigli vrhunac naÅ¡ih karijera, u mogućnosti smo evaluacijskoj zajednici dati ovaj plod naÅ¡eg zajedniÄ?kog rada. xvi Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije O AUTORIMA Linda G. Morra Imas je savjetnik u Nezavisnoj evaluacionoj grupi Grupe Svjetske banke. Nadaleko je poznata kao „majka IPDET-a“, MeÄ‘unarodnog programa u obuci za razvojnu evaluaciju i njegov je sudirektor. Savjetuje i obuÄ?ava monitor- ing i evaluaciju u zemljama Å¡irom svijeta. Vanredni je profesor na univerzitetima George Washington i Carlton. Dr. Morra Imas pridružila se Grupi banke (Bank Group) 1996. i vodila je brojne evaluacije. Bila je viÅ¡i direktor Ureda za odgovo- rnost Vlade Sjedinjenih Država i Ä?est je svjedok u kongresnim odborima za pro- grame obrazovanja i zapoÅ¡ljavanja. Ray C. Rist je savjetnik u Nezavisnoj evaluacionoj Grupi Svjetske banke. Banci se pridružio 1997. Njegova karijera ukljuÄ?uje 15 godina u Vladi Sjedinje- nih Država, na dužnostima u izvrÅ¡nim i legislativnim branÅ¡ama. Dr. Rist je održavao akademske termine na Cornell univerzitetu, Johns Hopkins univerzi- tetu i George Washington univerzitetu. Dr. Rist je bio viÅ¡i Fulbright stipendist na Max Planck institutu u Berlinu, NjemaÄ?ka, 1976/77. Autor je, urednik, ili zajedniÄ?ki urednik 25 knjiga, pisac 135 Ä?lanka i predavao je u viÅ¡e od 75 zemalja. xvii SKRAĆENICE ADBA Asian Development Bank (Azijska razvojna banka) AEA American Evaluation Association (AmeriÄ?ka asocijacija evaluatora) AfDB African Development Bank (AfriÄ?ka razvojna banka) ANOVA analysis of variance (analiza varijacije) ANSI American National Standards Institute (AmeriÄ?ki državni institut za standarde) ASEAN Association of Southeast Asian Nations (Udruženje jugoistoÄ?nih azijskih naroda) BE Business Environment (poslovno okruženje) CAHMI Child and Adolescent Health Measurement Initiative (Inicijativa za mjerenje zdravlja djece i adolescenata) CAQDAS computer-assisted qualitative data analysis software (softver za kompjutersku analizu kvalitativnih podataka) CATI computer-assisted telephone interviewing (intervjuiranje telefonom uz pomoć kompjutera) CES Canadian Evaluation Society (Kanadsko druÅ¡tvo za evaluaciju) CESE Central, Eastern, and Southern Europe (Centralna, IstoÄ?na, Južna Evropa) CGD Center for Global Development (Centar za globalni razvoj) CIDA Canadian International Development Agency (Kanadska meÄ‘unarodna razvojna agencija) CIS Commonwealth of Independent States (Komonvelt nezavisnih država) CODE Committee on Development Effectiveness (Komitet za razvojnu efektivnost) CSF Community Support Framework (Okvir za podrÅ¡ku zajednica) CSR corporate social responsibility (korporativna druÅ¡tvena odgovornost) DAC Development Assistance Committee (Komitet za pomoć razvoju) DANIDA Danish International Development Agency (Danska meÄ‘unarodna razvojna agencija) DfID Department for International Development (Odsjek za meÄ‘unarodni razvoj) DEC Disasters Emergency Committee (Hitni komitet za katastrofe) EBRD European Bank for Reconstruction and Development (Evropska banka za rekonstru- kciju i razvoj) xix ECI Early Communication Indicator (Indikator rane komunikacije) EDUCO El Salvador’s Community-Managed Schools Program (Salvadorski Å¡kolski program kojim upravlja zajednica) EET exempt-exempt-taxed (izuzet-izuzet-oporezovan) ESEA Elementary and Secondary Education Act (Zakon o osnovnom i srednjem obrazovanju) ESRC Economic and Social Research Council (Savjet za druÅ¡tveno i ekonomsko istraživanje) EU European Union (Evropska unija) FAO Food and Agriculture Organization of the United Nations (Organizacija za hranu i poljo- privredu Ujedinjenih naroda) FATF Financial Action Task Force on Money Laundering (Radna grupa za finansijske mjere protiv pranja novca) FDI foreign direct investment (strano direktno investiranje) FIT-ED Foundation for Information Technology and Education (Fondacija za razvoj informa- cionih tehnologija i obrazovanja) GAD gender and development (spol i razvoj) GAO Government Accountability Office (Vladin ured za odgovornost) GDP gross domestic product (bruto domaći proizvod) GICHD Geneva International Centre for Humanitarian Demining (Ženevski meÄ‘unarodni centar za humanitarno deminiranje) GMI guaranteed minimum income (zagarantovana minimalna primanja) GPRA Government Performance Results Act (Zakon o rezultatima uÄ?inka vlade) GRPPs Global and Regional Partnership Programs (Globalni i regionalni programi partnerstva) HIPC Heavily Indebted Poor Countries (Prezadužene siromaÅ¡ne države) HSSP2 Health Sector Strategic Plan 2 (StrateÅ¡ki plan 2 za sektor zdravstva) HZZO Croatian Institute for Health Insurance (Hrvatski zavod za zdravstveno osiguranje) IBSTPI International Board of Standards for Training, Performance, and Instruction (MeÄ‘unarodni odbor za standarde za obuku, uÄ?inak i instrukcije) IDEAS International Development Evaluation Association (MeÄ‘unarodna razvojna evaluaciona asocijacija) IDRC International Development Research Centre (MeÄ‘unarodni razvojni istraživaÄ?ki centar) IFAD International Fund for Agricultural Development (MeÄ‘unarodni fond za poljoprivredni razvoj) IFC International Finance Corporation (MeÄ‘unarodna finansijska korporacija) IISD International Institute for Sustainable Development (MeÄ‘unarodni institut za održivi razvoj) ILO International Labour Organization (MeÄ‘unarodna organizacija za rad) IMF International Monetary Fund (MeÄ‘unarodni monetarni fond) IOB Policy and Operations Evaluation Department (the Netherlands) (Odsjek za politiku i operacije) (Holandija) IOM International Organization for Migration (MeÄ‘unarodna organizacija za migracije) IPDET International Program for Development Evaluation Training (MeÄ‘unarodni program za obuku razvojnih evaluacija) xx Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije IRBM integrated results-based management system (integrirani sistem upravljanja zasnovan na rezultatima) INTOSAI International Organization of Supreme Audit Institutions (MeÄ‘unarodna organizacija krovnih revizorskih institucija) IOCE International Organisation for Cooperation and Evaluation (MeÄ‘unarodna organizacija za saradnju i evaluaciju) JEEAR Joint Evaluation of Emergency Assistance to Rwanda (Združena evaluacija nužne pomoći Ruandi) JICA Japan International Cooperation Agency (Japanska meÄ‘unarodna agencija za saradnju) LGAB look good – avoid blame (izgledaj dobro – izbjegavaj probleme) LOA level of adoption (nivo usvajanja) LSMS Living Standards Measurement Survey Study (Anketa mjerenja životnog standarda) MiE monitoring and evaluation (monitoring i evaluacija) MATR Management Action Tracking Record (Praćenje evidencije aktivnosti menadžmenta) MBS Modified Budgeting System (Modificirani budžetski sistem) MDBs Multilateral Development Banks (Multilateralne razvojne banke) MDGs Millennium Development Goals (Milenijski razvojni ciljevi) MFPED Ministry of Finance, Planning, and Economic Development (Ministarstvo finansija, planiranja i ekonomskog razvoja) MIS management information system (menadžment informacioni sistem) MMV Medicines for Malaria Venture (Poduhvat-lijekovi za malariju) MSH Management Sciences for Health (Menadžment nauka za zdravlje) NAD National Audit Department (Državni ured za reviziju) NCSTE Chinese National Centre for Science and Technology Evaluation (Kineski državni centar za nauÄ?nu i tehnoloÅ¡ku evaluaciju) NDC notional defi ned-contribution (ugovorno definirani – doprinos) NEIR TEC Northeast and the Islands Regional Technology in Education Consortium (Konzorcij sjeveroistoÄ?ne i ostrvske regionalne tehnologije u obrazovanju) NGO nongovernmental organization (nevladina organizacija) NHIFA National Health Insurance Fund Administration (Hungary) (Administracija državnog fonda zdravstenog osiguranja (MaÄ‘arska) NORAD Norwegian Agency for Development Cooperation (NorveÅ¡ka agencija za razvoj) NSGPR National Strategy for Growth and Reduction of Poverty (Državna strategija za rast i smanjenje siromaÅ¡tva) NSSI National Social Security Institute (Bulgaria) (Institut državnog socijalnog osiguranja) (Bugarska) ODA official development assistance (zvaniÄ?na razvojna pomoć) OECD Organisation for Economic Co-operation and Development (Organizacija za ekonomsku saradnju i razvoj) PEAP Poverty Eradication Action Plan (Akcioni plan za iskorjenjivanje siromaÅ¡tva) Skraćenice xxi POW Health Sector Program of Work (Program rada zdravstvenog sektora) PPBS Planning, Programming, and Budgeting System (Planiranje, programiranje i budžetski sistem) PPBS Program Performance Budgeting System (Program uÄ?inka budžetskog sistema) PRSP Poverty Reduction Strategies Paper (Dokument strategije smanjenja siromaÅ¡tva) RFP request for proposals (zahtjev za ponude) SDC Swiss Agency for Development and Cooperation (Å vicarska agencija za razvoj i saradnju) SHIPDET Shanghai International Program for Development Evaluation Training (Å angajski meÄ‘unarodni program za razvoj evaluacione obuke) SIDA Swedish International Development Cooperation Agency (Å vedska meÄ‘unarodna agencija za razvojnu saradnju) SIEF Spanish-World Bank Trust Fund for Impact Evaluation (Trust fond za utjecaj evaluacije Å panije i Svjetske banke) SIR subjective interpretation of reality (subjektivna interpretacija stvarnosti) SWAps sectorwide approaches (sektorski pristupi) TI Transparency International TOR terms of reference (projektni zadatak) UNDP United Nations Development Programme (Razvojni program Ujedinjenih naroda) UNEG United Nations Evaluation Group (Evaluaciona grupa Ujedinjenih naroda) UNEP United Nations Environment Programme (Program okoliÅ¡a Ujedinjenih naroda) UNESCO United Nations Educational, Scientifi c and Cultural Organization (Organizacija za obrazovanje, nauku i kulturu Ujedinjenih naroda) UNFPA United Nations Population Fund (Populacijski fond Ujedinjenih naroda) UNHCR United Nations High Commissioner for Refugees (Visoki komesar za izbjeglice Ujedinjenih naroda) UNICEF United Nations Children’s Fund (DjeÄ?iji fond Ujedinjenih naroda) UNSD United Nations Statistics Division (Odjel za statistiku Ujedinjenih naroda) USAID U.S. Agency for International Development (Agencija za meÄ‘unarodni razvoj Sjedinjenih Država) WHO World Health Organization (Svjetska zdravstvena organizacija) WID women in development (žene i razvoj) WTO World Trade Organization (Svjetska trgovinska organizacija) ZUS Social Insurance Fund (Poland) (Fond socijalnog osiguranja) (Poljska) xxii Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Uvod AnalitiÄ?ki, konceptualni i politiÄ?ki okvir razvoja se dramatiÄ?no mijenja. Novi razvojni program traži Å¡ire razumijevanje sektora, država, razvojnih strategija i politika. NaglaÅ¡ava uÄ?enje i stalne povratne informacije u svim fazama razvojnog ciklusa. Uistinu, razvojnu evaluaciju možemo smatrati vrstom javnog dobra: Evaluacija prelazi granice jedne organizacije. Dobra evaluacijska studija može imati pozitivne efekte prelijevanja Å¡irom razvojne zajednice. Razvojna evaluacija ima karakteristike meÄ‘unarodnog javnog dobra. (Picciotto i Rist, 1995, str. 23) Kako razvojni program raste u obimu i kompleksnosti, razvojna evaluacija to prati. Obzirom da razvojna zajednica poziva na rezultate i prihvatanje Mileni- jskih razvojnih ciljeva razvojni evaluatori se udaljavaju od tradicionalnih imple- mentacija i modela evaluacija fokusiranih na izlazne rezultate i idu ka modelima evaluacije zasnovanim na rezultatima. Fokus se pomjera sa projekata kako bi se sveobuhvatno obradili državni izazovi, razvojni evaluatori traže metode kojima će procijeniti rezultate na državnom, sektorskom, tematskom, politiÄ?kom, pa Ä?ak i na globalnom nivou. Razvojni evaluatori sve viÅ¡e preduzimaju združene evaluacije imajući u vidu da razvojna zajednica prepoznaje važnost ne samo 1 sveobuhvatnosti nego i koordiniranog pristupa izazovima zemalja u razvoju i naglaÅ¡ava partnerstvo. Ove združene evaluacije, iako imaju prednost u mnogim aspektima, povećavaju kompleksnost razvojnih evaluacija (OECD 2006). Pored toga, razvojni evaluatori sve se viÅ¡e suoÄ?avaju sa izazovima mjerenja kod odreÄ‘ivanja uÄ?inka pojedine razvojne organizacije u Å¡irem kontekstu i sa izazo- vom identifikacije njenog doprinosa. Sa pojavom ovog kompleksnijeg i zahtjevnog pristupa razvoju, dizajniranje evaluacije je postalo teže. Obuhvata intrigantnije metodoloÅ¡ke zahtjeve i posta- vlja visoke standarde za uspostavljanje utjecaja. Potražnja za novim evaluacionim pristupima i novom mjeÅ¡avinom vjeÅ¡tina ide iznad ekonomije. Urgentna pitanja, kao Å¡to su klimatske promjene su poziv za nove pristupe u evaluaciji održivosti. Održivosti razvoja, opseg problema okoliÅ¡a, multinacionalne posljedice, teÅ¡koće u pribavljanju uporedivih mjera i ustrajni dokazi nepredviÄ‘enih posljedica, zahtijevaju kompleksan, viÅ¡emetodski pristup evaluaciji. Vrlo je vjerovatno da se od samo jedne discipline ne može oÄ?ekivati da dominira nastojanjima i da se suoÄ?ava sa viÅ¡estrukim izazovima, nadama i naporima većine Ä?ovjeÄ?anstva. U odsustvu jedinstvenog intelektualnog uporiÅ¡ta, prelaženje preko disciplinarnih granica je Ä?esto, i evaluatori su sve viÅ¡e eklektiÄ?ni i poduzetni u upotrebi instrumenata druÅ¡tvene nauke. (Picciotto i Rist, 1995, p. 169) Izgradnja evaluacionih kapaciteta – uspostava evaluacionih jedinica koje su poduÄ?ene u praksi i metodama razvojne evaluacije – izazov je s kojim se suoÄ?ava većina zemalja u razvoju. Rast državnih asocijacija za evaluacije u zemljama u razvoju kao i regionalnih evaluacionih grupa je važan prvi korak u povećanju profesionalizma i razvoju evaluacione zajednice. U mladoj MeÄ‘unarodnoj asocijaciji razvojne evaluacije (IDEAS), razvojni evaluatori sada nalaze meÄ‘unarodnu profesionalnu organizaciju posvećenu nji- hovim potrebama. Pomoć u izgradnji kapaciteta razvojne evaluacije je takoÄ‘er i povećanje broja predmeta diplomskog nivoa na univerzitetima i regionalnim centrima obuke. Ovaj tekst je namijenjen kao alat za upotrebu u izgradnji kapaciteta razvojne evaluacije. TakoÄ‘er, ima za cilj pomoći razvojnim evaluatorima da razmiÅ¡ljaju i istraže novu arhitekturu evaluacije, posebno dizajna i da provode evaluacije koje se fokusiraju na rezultate u suoÄ?avanju sa izazovima razvoja. MeÄ‘unarodni program obuke za razvojnu evaluaciju (IPDET) pokrenuo je Odjel za evaluacione operacije (sada Nezavisna evaluaciona grupa [IEG]) Svjetske banke 2001. IEG u partnerstvu sa Carleton univerzitetom, uz podrÅ¡ku Instituta Svjetske banke, održao je prvi program u Ottawi, Kanada. Od 2003. godine program nudi jednosedmiÄ?ne i dvosedmiÄ?ne prilagoÄ‘ene verzije IPDET-a, 2 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije koji je kasnije izvoÄ‘en u desetini zemalja. Å angajski meÄ‘unarodni program obuke za razvojne evaluacije (SHIPDET) uspostavljen je 2007. Iako je IPDET stalno evoluirao da bi odslikao promjenjivu prirodu razvoja, ipak ostaje uveliko usmjeren ka svima onima koji rade, ili će raditi, u razvojnim evaluacijama. Nastoji osigurati generiÄ?ke alate za evaluaciju razvojnih interven- cija (politika, programa i projekata) na lokalnom, državnom, regionalnom i glo- balnom nivou. Namijenjen je evaluacionom osoblju bilateralnih i multilateralnih razvojnih agencija, vlada zemalja u razvoju, nevladinih organizacija, kao i parla- mentarnim i privatnim konsultantima. IPDET-ov okvirni cilj je pojaÄ?ati znanje, vjeÅ¡tine i mogućnosti uÄ?esnika da dizajniraju i provode efektivne razvojne evaluacije za donoÅ¡enje odluka zas- novanih na dokazima. Zasniva se na 14 instrukcionih modula koji skupa prika- zuju put do efektivnih evaluacija razvojnih intervencija. Ovo izdanje dograÄ‘uje i proÅ¡iruje ove module, predstavljajući sveobuhvatnu diskusiju o pitanjima s kojima se suoÄ?avaju razvojni evaluatori, kao i vodiÄ? za preduzimanje razvojnih evaluacija. Kroz ovaj tekst, mnogo viÅ¡e onih koji rade u razvoju imat će generiÄ?ke alate za izradu jakih evaluacija razvojnih rezultata. Bibliografija OECD (Organisation for Economic Co-operation and Development). 2006. DAC Guid- ance for Managing Joint Evaluations. Paris: OECD. http://www.oecd.org/datao- ecd/28/14/37484787.pdf. Picciotta, Robert, and Ray C. Rist. 1995. Evaluating Country Development Policies and Programs: New Approaches for a New Agenda. San Francisco: Jossey-Bass. Uvod 3 OSNOVE “ Istinski genij leži u kapacitetu za evaluaciju nepotpunih, iskrivljenih i proturjeÄ?nih informacija.“    —WINSTON CHURCHILL Poglavlje 1: Predstavljanje razvojne evaluacije • Evaluacija: Å ta je to? • PoÄ?eci i historija discipline evaluacije • Razvoj konteksta razvojne evaluacije • Principi i standardi za razvojnu evaluaciju • Primjeri razvojnih evaluacija Poglavlje 2: Razumijevanje pitanja koja pokreću razvojnu evaluaciju • Pregled evaluacije u razvijenim zemljama i zemljama u razvoju • Implikacije nastupajućih razvojnih trendova POGLAVLJE 1 Predstavljanje razvojne evaluacije U ovom poglavlju predstavljamo definiciju i opće koncepte koji su iza evaluacije projekata, programa i politika. Zatim se okrećemo evaluaciji razvojnih intervencija, koje se Ä?esto nazivaju razvojne evaluacije. Ovo poglavlje ima pet glavnih dijelova: • Evaluacija: Å ta je to? • PoÄ?eci i historija discipline evaluacije • Razvoj konteksta razvojne evaluacije • Principi i standardi za razvojnu evaluaciju • Primjeri razvojnih evaluacija 7 Evaluacija: Å ta je to? Da bi poÄ?eli razumijevanje razvojne evaluacije, važno je razumjeti Å¡ta se misli pod evaluacijom, njenu svrhu i kako se može koristiti. U ovom dijelu poglavlja: • definiramo evaluaciju; • identificiramo svrhu evaluacije; • navodimo koristi evaluacije; • ukazujemo Å¡ta evaluatori evaluiraju; • opisujemo upotrebe evaluacije; • istražujemo odnos izmeÄ‘u monitoringa i evaluacije i • identificiramo uloge i aktivnosti profesionalnih evaluatora. Definicija evaluacije Evaluacija je definirana na viÅ¡e naÄ?ina. Oxford engleski rjeÄ?nik evaluaciju â– â–  Evaluacija: definira kao: OdreÄ‘ivanje 1. aktivnost ocjenjivanja ili vrednovanja (dobara, itd.), proraÄ?un ili izjava o vrije- vrijednosti dnosti; 2. aktivnost evaluiranja ili odreÄ‘ivanja vrijednosti (matematiÄ?kog izraza, projekta, programa ili fiziÄ?ke koliÄ?ine, itd.) ili procjenu sile vjerovatnoće, dokaza itd. politike Unutar discipline termin evaluacija je dobio razna znaÄ?enja. Razlike u defini- cijama odslikavaju razliÄ?it naglasak na svrhu evaluacije – odgovornost nasuprot uÄ?enja – ili raspored evaluacije u odnosu na tok programa, projekta ili politike. Uistinu, ne postoji univerzalno slaganje o samoj definiciji. Ustvari, kada razmatra ulogu jezika u evaluaciji, Michael Scriven, jedan od osnivaÄ?a moderne evaluacije, nedavno je primijetio da postoji gotovo Å¡ezdeset razliÄ?itih termina koji se primjenjuju na jedan ili drugi kontekst. Ovo ukljuÄ?uje: osuÄ‘ivanje, ocjenjivanje, analizu, procjenu, kritiku, ispitivanje, gradiranje, ins- pekciju, donoÅ¡enje suda, stopu, rangiranje, pregled, rezultat, studiju, test. (...) (Fitzpatrick, Sanders, i Worthen 2004, str. 5) Većina definicija evaluacije ukljuÄ?uje koncept prosuÄ‘ivanja vrijednosti subje- kta evaluacije. Uistinu, ovo „vrednovanje“ se koristi da se napravi razlika izmeÄ‘u aktivnosti evaluacije i istraživanja i monitoringa. Definicija koja se koristi u ovom izdanju je iz Glosara Organizacije za ekono- msku saradnju i razvoj (OECD) / Razvojnog komiteta za pomoć (DAC) (OECD 2000, str. 21): Evaluacija je proces, obiÄ?no sistematiÄ?an i objektivan koliko je to moguće, kojim se odreÄ‘uje vrijednosti ili znaÄ?aj aktivnosti, politike ili programa, planirane intervencije, intervencije u toku ili zavrÅ¡ene intervencije. 8 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Evaluacije mogu biti formativne, sumativne ili prospektivne: Formativne evaluacije su evaluacije namijenjene poboljÅ¡anju uÄ?inka, a najÄ?ešće se provode tokom faze implementacije projekata ili programa. Formativne evaluacije takoÄ‘er se mogu provoditi iz drugih razloga, kao Å¡to je sukladnost, pravni zahtjevi ili kao dio veće evaluacione inicijative. Sumativne evaluacije, za razliku od forma- tivnih, studije su koje se provode na kraju intervencije (ili faze te intervencije) da bi se odredio stepen u kom su ostvareni namjeravani ishodi. Sumativna evaluacija ima namjeru pružiti informacije o vrijednosti programa. (OECD 2002,str. 21-22) Formativna evaluacija ispituje naÄ?ine na koje se implementira program, politika ili projekt. Ispituje da li pretpostavljena „operativna logika“ odgovara stvarnim operacijama i identificira (neposredne) posljedice koje implementacija proizvodi. Ova vrsta evaluacije se provodi tokom faze implementacije projekta ili programa. Formativne evaluacije se ponekad nazivaju evaluacije procesa, zato Å¡to se fokusiraju na operacije. â– â–  Formativna Primjer formativne evaluacije je evaluacija koja se provodi u MeÄ‘unarodnom evaluacija: centru istraživanja razvoja (IDRC) za evaluaciju inicijative upravljanja prirodnim Evaluacija naÄ?ina na koji se resursima u Latinskoj Americi i Karibima (poznat kao Minga) (Adamo 2003). implementira Opći cilj Minga inicijative je bio doprinos formiranju profesionalaca, žena i program, muÅ¡karaca, za upravljanje prirodnim resursima, u Boliviji, Ekvadoru i Peruu. politika ili Jedna komponenta programa inicijative koja je interesovala IDRC je bilo projekt pitanje podizanja svijesti o spolovima. Da bi viÅ¡e saznali o tome kako se pitanje spolova uvodi u program, IDRC je tražio formativnu evaluaciju. Metodologija za formativnu evaluaciju poÄ?ela je pregledom programske dokumentacije koja se odnosi na usmjeravanje pitanja spolova i aktivnosti. Evaluatori su takoÄ‘er pregledali izvjeÅ¡taje sa putovanja da procijene u kom stepenu je pitanje spolova obraÄ‘ivano tokom posjeta. Provedeni su intervjui sa Ä?lanovima osoblja programa da se ispitaju njihovi napori i iskustva na uvoÄ‘enju rodnih pitanja u njihov rad i lekcije koje su pritom nauÄ?ili. Jedna vrsta formativne evaluacije je srednjoroÄ?na evaluacija ili evalu- acija srednje taÄ?ke. Kako sam naziv implicira, srednjoroÄ?na evaluacija se pro- vodi oko sredine projekta, programa ili promjene u politici. Svrha srednjoroÄ?ne evaluacije je pomoći da se identificira koje znaÄ?ajke rade dobro, a koje ne rade. SrednjoroÄ?na evaluacija može poÄ?eti sa fokusiranjem na nauÄ?ene lekcije, kao i na relevantnost, efektivnost i efikasnost. NauÄ?ene lekcije su važne za voÄ‘enje budućih intervencija i poboljÅ¡anje trenutnih. Predstavljanje razvojne evaluacije 9 Sumativna evaluacija, koja se Ä?esto naziva evaluacija ishoda ili utjecaja, provodi se na kraju intervencije ili na zrelim intervencijama da se odredi stepen â– â–  Sumativna u kom su željeni rezultati realizirani. Sumativna evaluacija ima za cilj pružiti evaluacija: informacije o vrijednosti i utjecaju programa. Sumativne evaluacije ukljuÄ?uju Evaluacija koja evaluacije utjecaja, istraživanja isplativosti, kvazieksperimente, nasumiÄ?ne se provodi na eksperimente i studije sluÄ?aja. kraju interven- cije da se odredi Primjer sumativne evaluacije je evaluacija koju je uradila Azijska razvo- stepen u kom jna banka (ADB) da evaluira Drugi finansijski sektorski program u Mongoliji su ostvareni (ADB 2007). Program je ukljuÄ?ivao reformu finansijskog sektora iz jednoba- željeni rezultati nkarskog sistema u dvorazinski sistem uz podrÅ¡ku ADB-a. Sumativna evalu- acija je uraÄ‘ena na kraju druge faze ovog programa. Sumativne evaluacije se koriste da odgovore na pitanja relevantnosti, uÄ?inka, utjecaja, održivosti, eksternih programa i nauÄ?enih lekcija. Razlika izmeÄ‘u formativne i sumativne evaluacije može se postaviti ovako: • Formativne evaluacije se fokusiraju na implementaciju projekta, programa ili politike i poboljÅ¡anja iste. • Sumativne evaluacije se fokusiraju na rezultate. Omogućavaju ljudima da donesu odluke u vezi sa nastavkom, repliciranjem, povećanjem ili zavrÅ¡etkom datog projekta programa ili politike. TipiÄ?no, obje vrste evaluacija su potrebne i organizacije ih koriste u razliÄ?ito vrijeme u ciklusu projekta, programa ili politike. Prospektivna evaluacija procjenjuje vjerovatne ishode predloženih pro- jekata, programa ili politika. Unekoliko je sliÄ?na procjeni evaluabilnosti. Procjena evaluabilnosti odgovara na pitanja: „Je li ovaj program ili projekt vrijedan evaluiranja?“ i „Hoće li dobit biti vrijedna uloženih napora/resursa?“ Prospektivna evaluacija spaja evaluacione nalaze iz ranijih studija da procijeni vjerovatne ishode predloženih novih projekata, programa ili politika. Na pri- â– â–  Prospektivna mjer, kongresni komiteti u Sjedinjenim Državama Ä?esto traže savjet od Vladi- evaluacija: nog Ureda za odgovornost (GAO) za prognozu vjerovatnih ishoda predložene Evaluacija legislative. vjerovatnih Stariji, ali interesantan, primjer prospektivne evaluacije je studija trudnoće ishoda predloženih maloljetnica iz 1986, koju je proveo GAO, “Trudnoće maloljetnica: 500.000 projekata, poroÄ‘aja godiÅ¡nje, ali nekoliko testiranih programaâ€? (U.S. GAO 1986). Ova programa ili evaluacija koristila je Ä?etiri procedure: analizirala je glavne odlike dva kongre- politika sna zakona, pregledala statistiku o stepenu maloljetniÄ?ke trudnoće, istražila karakteristike federalnih i nefederalnih programa i pregledala evaluacione studije o efektivnosti prethodnih programa za pomoć trudnicama i malolje- tnim roditeljima kao i maloljetnicama pod rizikom da zatrudne. Evaluatori su 10 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije rekonstruirali temeljnu programsku teoriju i operativnu logiku oba kongre- sna zakona da bi otkrili zaÅ¡to se vjerovalo da će ove inicijative raditi kao Å¡to je predloženo u legislativi. Zatim su usporedili naÄ‘ene dokaze sa odlikama predložene legislative. Ova vrsta prospektivne evaluacije se ponekad naziva ex ante (prije Ä?injenice) evaluacija (Rossi i Freeman 1993). Ex ante ili prospektivna evaluacija Ä?esto ukljuÄ?uje rekonstrukcije programske teorije ili procjenu i studiju scenarija kao i sažetke postojećih istraživanja i evaluacija da se osigura empirijska potpora predloženim inicijativama. Svrha evaluacije Evaluacija se može koristiti u razliÄ?ite svrhe. Unutar discipline, postoje razliÄ?ita glediÅ¡ta o tome Å¡ta svrha ili cilj evaluacije treba biti u datom kontekstu. Preovladavajuće glediÅ¡te je da evaluacija ima Ä?etiri osobite svrhe: • etiÄ?ku svrhu: izvijestiti politiÄ?ke voÄ‘e i graÄ‘ane o tome kako je politika ili pro- gram implementiran i koji rezultati su ostvareni; ova svrha kombinira ciljeve koriÅ¡tenja bolje odgovornosti, obrade informacija i služenja demokratiji; • menadžersku svrhu: ostvariti racionalniji raspored finansijskih i ljudskih resursa meÄ‘u „konkurentnim“ programima, poboljÅ¡ati upravljanje pro- gramom, povećati koristi od programa; • svrha odluÄ?ivanja: utiranje puta za odluke o nastavku, prekidu ili preobli- kovanju politike ili programa; • obrazovnu i motivacionu svrhu: pomoći edukaciju i motivirati javne age- ncije i njihove partnere omogućavajući im da razumiju procese na kojima su angažovani i da se identificiraju sa ciljevima (Scientific and National Councils of Evaluation 1999). Prominentni evaluatori u polju opisuju sljedeće svrhe evaluacije: • Ostvariti socijalni boljitak; • Promovirati njegovanje deliberativne demokratije; • Osigurati nadzor i usklaÄ‘enost; • Osigurati odgovornosti i transparentnost; • Izgraditi, razmijeniti i upravljati znanjem; • Doprinijeti organizacionom poboljÅ¡anju; • Promovirati dijalog i saradnju meÄ‘u kljuÄ?nim dionicima; • Odrediti relevantnost, implementaciju, efikasnost, efektivnost, utjecaj i održivost projekta, programa ili politike; Predstavljanje razvojne evaluacije 11 • Generirati nauÄ?ene lekcije. Chelimsky i Shadish (1997) uzimaju globalnu perspektivu proÅ¡irujući konte- kst evaluacije na svjetske izazove. Izazovi koje navode ukljuÄ?uju utjecaj novih tehnologija, demografske neravnoteže meÄ‘u nacijama, zaÅ¡titu okoliÅ¡a, održivi razvoj, terorizam, ljudska prava i druga pitanja koja prevazilaze jedan program ili Ä?ak i jednu državu. Ultimativno, svrha svake evaluacije je pružiti informacije onima koji donose odluke da im se omogući da donesu bolje odluke o projektima, programima ili politikama. Evaluacija treba pomoći onima koji donose odluke da razumiju Å¡ta je vjero- vatno da se desi, Å¡ta se deÅ¡ava ili Å¡ta se desilo zbog intervencije i identificirati naÄ?ine da se prikupi viÅ¡e željenih koristi. Koristi evaluacije Evaluacija pomaže da se odgovori na pitanja o intervenciji kao Å¡to su sljedeća: • Koji su utjecaji intervencije? • Radi li intervencija prema planu? • Postoje li razlike izmeÄ‘u lokacija u tome kako se intervencija izvodi? • Ko ima korist od intervencije? Ljudi imaju korist od evaluacije na razliÄ?ite naÄ?ine. Neki imaju direktnu korist. Drugi imaju indirektnu korist – ljudi koji nisu ukljuÄ?eni u intervenciju, ali ipak ubiru korist iz nje. Neke intervencije daju kratkoroÄ?nu korist, a druge osiguravaju korist na duži period. Da bi ilustrirali kako ljudi imaju korist na razne naÄ?ine, razmotrimo sljedeći primjer. Odsjek za stambenu politiku i urbani razvoj Sjedinjenih Država (1997) evalu- irao je ponoćni koÅ¡arkaÅ¡ki program za djeÄ?ake i djevojÄ?ice od 16 do 20 godina koji stanuju u javnom smjeÅ¡taju. Provedene su ankete meÄ‘u uÄ?esnicima prije i poslije implementacije programa. Nalazi ankete su pokazali da je prije programa, 92 procenta ispitanika izjavilo da oÄ?ekuju da će upasti u neku vrstu nevolje, a dvije trećine je mislilo da će biti žrtve nasilniÅ¡tva u sljedeća tri mjeseca. Nakon implementacije koÅ¡arkaÅ¡kog programa, 20 procenata ispitanika izjavilo je da oÄ?ekuju da će upasti u neku vrstu nevolje, a samo 5 procenata oÄ?ekivalo je da će biti žrtve kriminala. Evaluacija ponoćnog koÅ¡arkaÅ¡kog programa pokazala je smanjenje od 78 pro- cenata maloljetniÄ?kog kriminala meÄ‘u mladima od 16 do 20 godina u okruzima, gdje je lociran razvoj javnog smjeÅ¡taja. Primarni razlog za smanjenje, prema 12 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije ispitanicima iz ankete, bio je da im je program ponoćne koÅ¡arke dao neÅ¡to pozi- tivno da rade. U ovom primjeru programa uÄ?esnici su imali direktnu korist od programa, za koji vjeruju da im je pomogao kloniti se nevolja i izbjeći da postanu žrtve nasilnog kriminala. Stanovnici zajednice su takoÄ‘er anketirani. Ispitanici su izrazili osjećaj da su zajednica i njihova djeca sigurnija zbog programa ponoćne koÅ¡arke. U ovom sluÄ?aju, stanovnici zajednice imaju indirektnu i najmanje kratkoroÄ?nu korist (zavisno od toga koliko dugo korist traje). Iako nisu ukljuÄ?eni u program, osjećaju se sigurnije kao rezultat toga. Navedeni sumarni nalazi mogu se koristiti da se stanovnicima i zajednici u cjelini pokaže da je ovaj program bio uspjeÅ¡an u prevenciji i smanjenju nasilja. Programski administratori takoÄ‘er mogu predstaviti nalaze gradskom vijeću da opravdaju zahtjeve za nastavak finansiranja. Administratori programa imaju indi- rektnu korist ako im nastavak finansiranja omogući da duže zadrže posao. DruÅ¡tvo u cjelini takoÄ‘er ima dugoroÄ?nu korist ako mladi ljudi ne idu u zatvor, zato Å¡to ne snosi troÅ¡kove rehabilitacije i gubitka proizvodnje. Ti mladi ljudi možda mogu postati upotrebljivi, produktivni, graÄ‘ani koji plaćaju poreze, a ne ljudi koji će ležati u zatvoru. Evaluacija takoÄ‘er može pružiti informacije o procesu implementacije pro- grama. Druge javne stambene agencije (nenamjeravani korisnici) će biti u stanju okoristiti se nauÄ?enim lekcijama tokom faze implementacije programa evaluacije koja nakon toga slijedi. U drugom primjeru, intervencija gradi i održava postrojenje za tretman vode da bi se osigurala pitka voda stanovnicima. Direktna neposredna korist je Ä?ista pitka voda stanovnicima. DugoroÄ?na direktna korist pojedincima u zajednici i zajednici u cjelini bila bi smanjenje sluÄ?ajeva oboljenja koja se prenose vodom. Indirektna srednjoroÄ?na korist može ukljuÄ?iti privlaÄ?enje industrije u zajednicu zato Å¡to ima pitku vodu. Predstavljanje razvojne evaluacije 13 Å ta evaluirati Evaluacije mogu posmatrati viÅ¡e razliÄ?itih aspekta razvoja (Tabela 1.1). Ovo su neki aspekti koji mogu biti evaluirani: • projekti: jedna intervencija na jednoj lokaciji ili implementacija jednog pro- jekta na nekoliko lokacija; • programi: intervencija koja ukljuÄ?uje razne aktivnosti ili projekte koji imaju namjeru doprinijeti zajedniÄ?kom cilju; • politike: standardi, smjernice ili pravila koja uspostavlja organizacija da regu- lira razvojne odluke; • organizacije: viÅ¡e programa intervencije koje vrÅ¡i organizacija; • sektori: intervencije na podruÄ?ju odreÄ‘ene politike, kao Å¡to je obrazovanje, Å¡umarstvo, poljoprivreda ili zdravstvo; • teme: odreÄ‘ena pitanja, Ä?esto popreÄ?nog presjeka, kao Å¡to je jednakost spo- lova ili globalna javna dobra; • državna pomoć: napredak države u odnosu na plan, ukupni efekat pomoći i nauÄ?enih lekcija. Upotrebe evaluacije Rezultati evaluacije mogu se koristiti na viÅ¡e naÄ?ina. Evaluacije klijentima, vladinim agencijama, nevladinim organizacijama (NVO), javnosti i mnogim drugima pružaju povratne informacije o politikama, programima i projektima. Rezultati pružaju informacije o tome kako se koriste javna sredstva. Menadžerima i onima koji donose odluke mogu dati informacije o tome Å¡ta funkcionira, a Å¡ta ne funkcionira u smislu zadovoljavanja originalnih ili revidiranih ciljeva. Tabela 1.1 Primjeri, evaluacije politike, programa i projekta Primjena Vrsta evaluacije Privatizacija vodenih sistema Preseljavanje Evaluacija politike PoreÄ‘enje modela pristupa PoreÄ‘enje strategija koje su koriÅ¡tene privatizacije zaliha vode da se seljani premjeste na nova podruÄ?ja Evaluacija Procjena fiskalnog menadžmenta Procjena stepena u kom su preseljeni programa vladinih sistema seoski farmeri održali prethodna sredstva za život Evaluacija projekta PoreÄ‘enje poboljÅ¡anja u stepenu Procjena prakse proizvodnje na naplate u dvije provincije farmama preseljenih farmera u jednoj provinciji Izvor: Autori. 14 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Evaluacija može pomoći izgraditi odgovornost za projekte, programe i poli- tike i za to kako koriste javna sredstva. Mogu identificirati projekte, programe i politike za replikaciju, povećanje, poboljÅ¡anje ili moguće ukidanje. Weiss (2004) naglaÅ¡ava važnost identifikacije namjeravane upotrebe evalu- acije od poÄ?etne faze planiranja. „Ako ne možete identificirati i artikulirati primarne namjeravane korisnike i upotrebe evaluacije tada evaluaciju ne treba provoditi“- ona primjećuje - „evaluacija koja se ne koristi je traćenje dragocjenih ljudskih i finansijskih resursa“ (str.1). Od poÄ?etka do kraja, proces evaluacije treba biti dizajniran i izvrÅ¡en prema potrebama primarnog ciljanog korisnika. Primarni korisnici će nositi odgovo- rnost za promjene u implementaciji zasnovane na njihovom ukljuÄ?enju u proces ili nalaze evaluacije. Evaluacije mogu služiti u nekoliko svrha i upotreba (Tekstualni okvir 1.1) i mogu: • pomoći da se analizira zaÅ¡to su namjeravani rezultati ostvareni ili nisu ostvareni; • istražiti zaÅ¡to je bilo nenamjeravanih rezultata ili posljedica; • procijeniti kako i zaÅ¡to su odreÄ‘ene aktivnosti utjecale na rezultate; • osvijetliti proces implementacije, neuspjehe, ili uspjehe koji su nastali na bilo kom nivou; • pomoći osigurati lekcije, oznaÄ?iti podruÄ?ja ostvarenja i potencijala i dati odreÄ‘ene preporuke za poboljÅ¡anje i reformu. Ukratko, evaluacije mogu biti korisne pri fokusiranju na: • Å¡iroku politiÄ?ku strategiju i pitanja dizajna („Radimo li pravu stvar?“); • operativna pitanja i pitanja implementacije („Radimo li stvari pravilno?“) i • postoje li bolji naÄ?ini pristupa problemu („Šta uÄ?imo?“). Tekstualni okvir 1.1 Upotrebe evaluacije Evaluacija se može koristiti na razne naÄ?ine: • da pomogne donoÅ¡enje odluka o raspodjeli resursa; • da pomogne promiÅ¡ljanje o uzroku problema; • da se identificiraju problemi koji se pojavljuju; • da se podrži donoÅ¡enje odluka o konkurentnim ili najboljim alternativama; • da se podrži inovacija i reforma javnog sektora i • da se izgradi konsenzus o uzrocima problema i naÄ?inu reagovanja na probleme. Predstavljanje razvojne evaluacije 15 Odnos izmeÄ‘u monitoringa i evaluacije Dosljednosti radi, koristimo definiciju monitoringa iz OECD/DAC Glosara â– â–  Monitoring: kljuÄ?nih termina u evaluaciji: Prikupljanje podataka kojima Monitoring je stalna funkcija koja koristi sistemsko prikupljanje podataka o menadžeri odreÄ‘enim indikatorima da bi se menadžmentu i glavnim dionicima tekuće razvo- mogu procijeniti jne intervencije osigurali pokazatelji stepena napretka i ostvarenja ciljeva i napre- stepen u kom tka u upotrebi dodijeljenih sredstava. se ostvaruju (OECD 2002, str 27-28) ciljevi Monitoring je rutinska, tekuća, interna aktivnost. Koristi se za prikupljanje informacija o aktivnostima programa, izlaznim rezultatima i ishodima za praćenje uÄ?inka. Primjer sistema monitoringa je sluÄ?aj kada je Ministarstvo zdravlja Mala- vija koristilo 26 indikatora da uradi monitoring kvaliteta zdravstvenih usluga koje se pružaju u Centralnoj bolnici. Indikatori ukljuÄ?uju broj pacijenata koje su pregledali specijalisti u Ä?etiri sedmice, broj smrtnih sluÄ?ajeva pacijenata, broj direktnih akuÅ¡erskih smrtnih sluÄ?ajeva u odjeljenju i broj dana koji su pacijenti proveli u bolnici (Government of Malawi 2007). Redovno pružanje podataka i trendove pokazatelja osigurava ministarstvo zdravlja. Svako dramatiÄ?no osciliranje se može istražiti. ZnaÄ?ajno povećanje smrtnih sluÄ?ajeva pacijenata, na primjer, može odslikati visok stepen bolniÄ?kih infekcija koje treba odmah smanjiti. ZnaÄ?ajno smanjenje stepena infekcije može sugerirati da je upotreba dezinfekcionog sredstva efektivna, sugeriÅ¡ući da njegovu upotrebu treba promovirati. Evaluacije se generalno provode da odgovore na „zaÅ¡to“ pitanje koje stoji iza monitoringa podataka – pitanja kao Å¡to su zaÅ¡to je doÅ¡lo do povećanja carskih rezova u 5 bolnica ili zaÅ¡to 3 od 50 lokacija imaju visok stepen preživljavanja kod prijevremeno roÄ‘enih beba. Evaluacije su takoÄ‘er potrebne da se rezultati pripiÅ¡u odreÄ‘enoj intervenciji, a ne drugim mogućim uzrocima. Monitoring i evaluacija mjere i ocjenjuju uÄ?inak, ali to rade na razliÄ?it naÄ?in i u razliÄ?ito vrijeme (Tabela 1.2). • Monitoring se vrÅ¡i tokom implementacije projekta ili programa. • Evaluacija je periodiÄ?na ocjena uÄ?inka programa ili projekta. Nastoji odgovo- riti na pitanje „zaÅ¡to?“ Monitoring je interna aktivnost koju provodi osoblje projekta. Generalno je uprava projekta odgovorna za provoÄ‘enje monitoringa i upotrebu rezultata. Nasuprot ovome, evaluacija se može vrÅ¡iti interno ili eksterno. Monitoring je zajedniÄ?ka odgovornost evaluatora i Ä?lanova osoblja. (Insideout 2005). 16 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 1.2 PoreÄ‘enje monitoringa i evaluacije Monitoring Evaluacija Tekuća, stalna, PeriodiÄ?na i vremenski vezana Interna aktivnost Interna, eksterna ili participativna Odgovornost menadžmenta Odgovornost evaluatora skupa sa osobljem i menadžmentom Stalne povratne informacije za PeriodiÄ?ne povratne informacije poboljÅ¡anje uÄ?inka programa Izvor: Insideout 2005. Uloge i aktivnosti evaluatora Kako su se koncept i svrha evaluacije vremenom razvijali, tako su se razvijale i uloga i aktivnosti evaluatora. Evaluatori imaju viÅ¡estruku ulogu i ukljuÄ?uju se u brojne aktivnosti. Njihova uloga zavisi od prirode i svrhe evaluacije. Kao Å¡to Fitzpatrick, Sanders, i Worthen (2004, str. 28) primjećuju: “Evaluatori imaju viÅ¡e uloga, ukljuÄ?ujući ulogu struÄ?njaka, medijatora, planera, saradnika, da pruže pomoć onima koji donose odluke, i ulogu kritiÄ?kog prijatelja.“ TakoÄ‘er djeluju kao sudije, povjerljivi ljudi, uÄ?itelji i izvrÅ¡itelji druÅ¡tvenih promjena. Ko provodi evaluaciju? Evaluatori mogu biti dio interne, eksterne ili participacijske evaluacije. OECD/ â– â–  Interna DAC definira internu evaluaciju kao: evaluacija: Evaluacija koju Evaluaciju razvojne intervencije koju provodi jedinica ili pojedinci koji su odgovo- provode ljudi rni menadžmentu donatora, partnera ili organizacije koja implementira tu razvojnu unutar intervenciju. (2002, str.26) organizacije Eksternu evaluaciju definira kao: â– â–  Eksterna evaluacija: Evaluaciju razvojne intervencije koju provode entiteti i/ili pojedinci izvan donatora, Evaluacija koju partnera i organizacije koja implementira (2002, str. 23) provode ljudi izvan organiza- Postoje prednosti i mane upotrebe internih i eksternih evaluatora. Interni cije evaluatori obiÄ?no znaju viÅ¡e o programu, projektu ili politici nego Å¡to to znaju ljudi sa strane. Osoba koja razvija i upravlja intervencijom može takoÄ‘er upra- vljati i evaluacijom. Ti ljudi obiÄ?no znaju viÅ¡e o historiji, organizaciji, kulturi, o onima koji su ukljuÄ?eni i problemima i uspjesima. Zbog tog znanja, interni evaluatori mogu biti u mogućnosti postavljati najrelevantnija i najumjesnija pitanja, znaju gdje otići unutar organizacije da otkriju Å¡ta se zaista dogaÄ‘a. Ova prednost takoÄ‘er može biti i nedostatak. Interni evaluatori mogu biti toliko bliski programu, projektu ili politici tako da ih ne vide jasno i nisu u mogućnosti Predstavljanje razvojne evaluacije 17 prepoznati rjeÅ¡enja i promjene koji drugi mogu vidjeti. Interni evaluatori mogu imati nedostatak koji se ogleda u tome Å¡to mogu biti subjekt pritiska ili utjecaja onih koji donose odluke o programu a ujedno donose odluke o rasporedu osoblja. Mogu cijelu organizaciju posmatrati samo iz vlastite pozicije u kojoj se nalaze u organizaciji. Pored toga, eksterni dionici mogu njihove nalaze doživljavati kao manje kredibilne nego nalaze vanjskih evaluatora. Eksterni evaluatori obiÄ?no imaju viÅ¡e kredibiliteta i donose percepciju obje- ktivnosti evaluaciji. Pored toga, većina eksternih evaluatora ima viÅ¡e specija- lizirane vjeÅ¡tine, koje mogu biti potrebne za se izvrÅ¡i efektivna evaluacija. Oni su takoÄ‘er nezavisni od administracije i finansijskih odluka o programu (Fitzpatrick, Sanders, i Worthen 2004). Eksterna evaluacija nije garant nezavisnih i kredibilnih rezultata, posebno ako konsultanti imaju prethodne veze sa programom. Eksterni konsultanti takoÄ‘er mogu previÅ¡e ugaÄ‘ati upravi nadajući se da će dobiti joÅ¡ posla u budućnosti. Participacijske evaluacije se sve viÅ¡e smatraju trećim evaluacionim metodom. Participacijski evaluatori rade zajedno sa predstavnicima agencija i dionicima na dizajniranju, izvoÄ‘enju i interpretaciji evaluacije (OECD 2002). Participacijska evaluacija se razlikuje od internih i eksternih evaluacija u nekim osnovama. Participacijska evaluacija predstavlja naredni i radikalniji korak od modela neza- visne evaluacije. (...) to je oblik evaluacije gdje razlika izmeÄ‘u struÄ?njaka i laika, istraživaÄ?a i istraživanog nije naglaÅ¡ena i redefinira se. (...) Evaluatori (...) (djeluju) uglavnom (kao) medijatori i instruktori koji drugima pomažu da naprave procjenu (Molund i Schill 2004, str. 19) Treba obratiti pažnju na razliku izmeÄ‘u participacijske evaluacije i participa- tivnih metoda. Participativni metodi se mogu koristiti na internom i eksternom metodu. TakoÄ‘er, se mogu koristiti u internim i eksternim evaluacijama. Aktivnosti evaluatora Evaluatori vrÅ¡e aktivnosti koje odgovaraju njihovim raznolikim ulogama. Interni evaluatori mogu izraÄ‘ivati i dizajnirati programe ili projekte, implementirati i dostizati strategije. Eksterni evaluatori obiÄ?no ograniÄ?avaju svoje ukljuÄ?enje u upravljanju programom. Svi evaluatori generalno • se konsultiraju sa svim glavnim dionicima; • upravljaju budžetom evaluacije; • planiraju evaluaciju; • obavljaju ili vrÅ¡e evaluaciju ili angažiraju izvoÄ‘aÄ?a da to uradi; • identificiraju standarde za efektivnost (na osnovu dokumenata za ovlaÅ¡tenje ili drugih izvora); • prikupljaju, analiziraju, interpretiraju i izvjeÅ¡tavaju o podacima i nalazima. 18 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Da bi ostvarili ciljeve, evaluatori trebaju imati razne vjeÅ¡tine. Kao dio evalu- acijskog procesa, mogu pomoći izgradnju znanja i diseminaciju nauÄ?enih lekcija. Nastanak i historija evaluacije kao discipline Moderna disciplina evaluacije nastala je iz druÅ¡tveno nauÄ?nog istraživanja, koje se zasniva na nauÄ?nim metodima. Ali, evaluacija ima drevnu tradiciju. Uistinu, arheoloÅ¡ki dokazi pokazuju da su drevni Egipćani redovno pratili rezu- ltate proizvodnje usjeva i stoke u državi prije viÅ¡e od 5000 godina. Drevni Kinezi i Grci takoÄ‘er su provodili evaluaciju: U javnom sektoru, formalna evaluacija evidentna je joÅ¡ od 2000. prije nove ere, kada su kineski zvaniÄ?nici proveli ispitivanje javne službe da izmjere struÄ?nost kandi- data za pozicije u vladi. I u obrazovanju, Sokrat je koristio verbalne evaluacije kao dio procesa uÄ?enja. (Fitzpatrick, Sanders, i Worthen, str. 31) Neki struÄ?njaci prate nastanak metoda moderne evaluacije od poÄ?etka priro- dnih nauka i naglaÅ¡avanja uoÄ?enih fenomena (empirijski metod) u 17. stoljeću. U Å vedskoj, ad hoc komisije za donoÅ¡enje politike su vrÅ¡ile neku vrstu evalu- acije. Uistinu, sistem komisija se joÅ¡ uvijek koristi u Å vedskoj danas, sa neko- liko stotina komisija koje trenutno postoje. U 1800-tim, evaluacija obrazovanja i druÅ¡tvenih programa poÄ?ela se ukorje- njivati u nekoliko anglosaksonskih zemalja. Program evaluacije provodile su u Britaniji komisije koje je imenovala vlada a koje su pozivane da istraže i evalu- iraju nezadovoljstvo obrazovnim i druÅ¡tvenim programima. DanaÅ¡nji eksterni inspektorati za Å¡kole izrasli su iz tih ranijih komisija. U Sjedinjenim Državama pionirska nastojanja zabilježena su tokom 1800-tih da se ispita kvalitet Å¡kolskog sistema koristeći testove uÄ?inka. Ova nastojanja su nastavljena do danaÅ¡njih dana, kada su rezultati uÄ?inka uÄ?enika ostali kljuÄ?na mjera za odreÄ‘ivanje kvaliteta obrazovanja u Å¡kolama. PoÄ?eci akreditacije za srednje Å¡kole i univerzitete u Sjedinjenim Državama tako- Ä‘er su zabilježeni tokom ovog perioda. Predstavljanje razvojne evaluacije 19 Historija evaluacije u 20. stoljeću Formalna evaluacija i akreditacija medicinskih Å¡kola u Sjedinjenim Državama i Kanadi prvi put je uvedena u ranim 1900-tim. Druga podruÄ?ja istraživanja/ mjerenja i evaluacije tokom ovog perioda ukljuÄ?ivala su zdravstvo, stambenu politiku, produktivnost rada, demokratsko i autoritativno voÄ‘stvo i standardi- zovano obrazovno testiranje. Većinom su to bili napori manjih razmjera koje su provodile vladine agencije i socijalne službe. Rossi i Freeman (1993) su pratili posvećenost sistematskim evaluacijama pro- grama u Sjedinjenim Državama na prelazu stoljeća, kojima se nastojala povećati pismenost, osigurati obuka za zanimanja i smanjiti smrtnost od zaraznih bolesti. U razvojnoj areni, „pokuÅ¡aj da se uvede prokuhavanje vode kao praksa javnog zdravlja u selima na Bliskom istoku je jedna od znamenitih studija u empirijskoj socioloÅ¡koj literaturi pred Drugi svjetski rat“ (Rossi i Freeman 1993, str. 10). Primijenjena socijalna istraživanja ubrzano su rasla u Sjedinjenim Državama nakon Å¡to je predsjednik Franklin D. Roosvelt uveo „New Deal“. Federalna vlada se ubrzano povećavala kako su se stvarale nove agencije za upravljanje i implementaciju državnih programa. Ovi programi ukljuÄ?ivali su poljoprivredne subvencije farmerima, javne radove i izradu programa zapoÅ¡ljavanja, ruralnu elektrifikaciju i socijalnu sigurnost. Zato Å¡to su ovi programi velikih razmjera bili novi i eksperimentalni u prirodi, rasla je i potreba za evaluacijom njihove efektivnosti u rastućoj ekonomiji, osiguranju radnih mjesta i uvoÄ‘enju socijalne zaÅ¡tite. Potreba za evaluacijom povećana je tokom i nakon Drugog svjetskog rata, poÅ¡to su dizajnirani i preduzimani programi velikih razmjera za vojsku, urbano stanovanje, obuku za radna mjesta i za zdravstvo. TakoÄ‘er se tokom ovog peri- oda poklanjala pažnja meÄ‘unarodnim programima koji su ukljuÄ?ivali planiranje porodice, zdravlje, ishranu i razvoj ruralne zajednice. TroÅ¡kovi su bili veliki i konsenkventno praćeni potražnjom za poznavanjem rezultata. U 1950-tim i 1960-tim, evaluacija se poÄ?ela koristiti viÅ¡e rutinski u Sjedinjenim Državama i Evropi u procjeni programa u vezi sa: obrazovanjem, zdravljem i mentalnim zdravljem, uslugama za ljude, prevencijom prijestupniÅ¡tva i rehabili- tacijom kriminalaca. Program predsjednika Lyndon B. Johnsona “Rat siromaÅ¡tvu“ tokom 1960-tih stimulirao je povećani interes za evaluaciju. SprovoÄ‘enje evalu- acija u zemljama u razvoju Å¡irom svijeta takoÄ‘er se povećao, uz neke evaluacije provedene za programe u poljoprivredi, razvoju zajednica, planiranju porodice, zdravstvenoj brizi i ishrani. U najvećem dijelu, ove procjene oslanjale su se na tradicionalne alate nauke, kao Å¡to su ankete i statistiÄ?ka analiza. Prva Hooverova komisija 1949. godine preporuÄ?ila je da se informacije o budžetu za državnu vladu u Sjedinjenim Državama strukturiraju u vidu 20 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije aktivnosti, a ne u vidu linijskih stavki. TakoÄ‘er je preporuÄ?ila da se mjere uÄ?inka osiguraju skupa sa izvjeÅ¡tajima o uÄ?inku (Burkhead 1956; Mikesell 1995). Ova vrsta reforme budžeta postala je poznata kao budžetiranje uÄ?inka (Tyler i Willand 1997). Ministarstvo odbrane je sa sekretarom odbrane Robertom McNamarom, razvilo Sistem planiranja, programiranja i budžetiranja (PPBS). Svrha PPBS-a bila je povećati efikasnost i poboljÅ¡ati vladine operacije. To je ukljuÄ?ivalo: • uspostavu dalekosežnih ciljeva planiranja; • analiziranje troÅ¡kova i koristi alternativnih programa koji bi ostvarili te ciljeve i • prevoÄ‘enje programa u prijedlog budžeta i legislative i dalekosežnih predviÄ‘anja. PPBS je promijenio tradicionalni proces budžetiranja naglaÅ¡avajući ciljeve i povezujući planiranje i budžetiranje (Office of the Secretary of Defense 2007). Rani napori PPBS-a su eventualno vodili ka pokretu „monitoringa rezultata“. Kasnih 1960-tih, mnoge zapadnoevropske države poÄ?ele su preduzimati eva- luaciju programa. U Saveznoj Republici NjemaÄ?koj, na primjer, Bundestag je poÄ?eo zahtijevati od Savezne vlade da izvjeÅ¡tava o implementaciji i utjecaju raznih socioekonomskih i poreznih programa. IzvjeÅ¡taji su ukljuÄ?ivali sljedeće: TržiÅ¡te rada i akt o zapoÅ¡ljavanju (1969), Opći zakon o obrazovnim grantovima (1969), Združeni federalno-državni program za poboljÅ¡anje regionalne ekono- mske strukture (1970), Program investiranja u bolnice (1971) i razni izvjeÅ¡taji o subvencijama i porezima (Derlien 1999). Tokom ovog perioda, Vlada Kanade se takoÄ‘er poÄ?ela kretati prema evaluaciji vladinih programa i uÄ?inka. Odjeli Vlade Kanade su podsticani da uspostave jedinice za planiranje i evaluaciju. Rani napori nisu poluÄ?ili znaÄ?ajne rezultate. U Kanadi, Saveznoj Republici NjemaÄ?koj i Å vedskoj, „uprkos institucionalizaciji programske evaluacije u podruÄ?jima raznih politika, sistemi su ostali viÅ¡e fragmentirani a broj provedenih studija izgledao je mali.“ (Derlien 1999, str. 146). Akt o osnovnom i srednjem obrazovanju (ESEA) iz 1965. godine bio je znaÄ?ajan za evaluaciju u Sjedinjenim Državama. Ova pravna odredba dala je mandat vladi da procijeni uÄ?inak uÄ?enika i standarde kvaliteta nastavnika. TakoÄ‘er je osigurala i resurse (prvi budžet vlade Sjedinjenih Država dodijeljen evaluaciji) za preduzimanje ovih aktivnosti, te je tako institucionalizirana evalu- acija. Sa federalnim novcem koji je iÅ¡ao za evaluacije u kasnim 1960-tim i ranim 1970-tim, poÄ?eli su se pojavljivati brojni Ä?lanci i knjige o evaluaciji u Sjedinjenim Državama i nekim OECD državama. Diplomski univerzitetski programi koji se fokusiraju na evaluaciju razvijeni su za obuku novog kadra evaluatora koji će zadovoljiti povećanu potražnju za odgovornost i efektivnost u socio-ekonomskim Predstavljanje razvojne evaluacije 21 programima koje je finansirala vlada, kao Å¡to su grantovi za osnovno i srednje obrazovanje i programi „Velikog druÅ¡tva“ koji su ukljuÄ?ivali programe za sma- njenje siromaÅ¡tva, predÅ¡kolsko obrazovanje, aktivnosti ljudskih prava i za izradu programa zapoÅ¡ljavanja. Kanada, Savezna Republika NjemaÄ?ka i Å vedska su preduzele programske evaluacije u 1960-tim da procijene nove programe u obrazovanju, zdravstvu i socijalnoj zaÅ¡titi, koje je finansirala vlada. U ovom kontekstu pojavili su se sistemi formalnog planiranja, koji su bili ograniÄ?eni na srednjoroÄ?no finansijsko planiranje (u Saveznoj Republici NjemaÄ?koj) ili su Ä?ak pokuÅ¡ali integrirati budžetiranje sa programiranjem (u Å vedskoj i Kanadi). U svakom sluÄ?aju, evaluacija je logiÄ?ki smatrana kao dio ovih sistema planiranja ili kao neophodnost potrebe za informacijama o progra- mima intervencije. (...) Evaluaciju su primarno koristili menadžeri programa za ostvarivanje postojećih i novih programa. (Derlien 1999, str. 153-54) Od sredine 1970-tih do sredine 1980-tih, evaluacija je postala punopravno zanimanje u mnogim OECD državama. Nastala su profesionalna evaluatorska udruženja, uvedeno je viÅ¡e programa za obuku evaluatora, poÄ?elo je izdavanje evaluacijskih žurnala, a evaluacija se poÄ?ela Å¡iriti izvan djelokruga programa koje finansira vlada na korporacije, fondacije i vjerske institucije. U Francuskoj, na primjer, evaluacija javne politike bila je sistemski razvijana, gdje su mnogi uni- verziteti – ukljuÄ?ujući Grandes écoles— nudili kurseve i informacije o evaluaciji kao dijelu njihovih nastavnih planova i programa. Mnoge OECD zemlje uspostavile su programe obuke u evaluaciji za državne službenike unutar vlada ili preko vanjskih izvoÄ‘aÄ?a. Istraživani su novi modeli nove metodologije, uz veći naglasak na potrebu za informacijama potroÅ¡aÄ?a, za ispitivanje nenamjeravanih ishoda i razvoj vrijednosti i standarda. TakoÄ‘er se povećao kvalitet i kvantitet evaluacione literature (Fontaine i Monnier 2002). Od 1985. godine kompjuteri i tehnologija su uveliko povećali mogućnost evaluatora da prikupe, analiziraju i izvjeÅ¡tavaju o nalazima evaluacije i razmijene ih sa ostalima. 22 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Razvoj evaluacije i revizije Razvojna evaluacija je evoluirala iz tradicije revizije i iz tradicije druÅ¡tvene nauke. Postoje važne sliÄ?nosti, razlike i veze izmeÄ‘u dvije tradicije. Tradicija revizije Korijeni revizije sežu do 19-tog stoljeća u Britaniji, kada je rastući trgovinski i industrijski razvoj uzrokovao rast: potrebe za taÄ?nim i pouzdanim finansijskim izvjeÅ¡tajima koje je moguće verifici- rati. (...) Rad revizora daje kredibilitet rastućoj kapitalistiÄ?koj infrastrukturi zapada. MiÅ¡ljenja revizora nosila su težinu zbog njihovog tehniÄ?kog umijeća i zato Å¡to su revizori bili ljudi izvan organizacije. (Brooks 1996, str. 16) Tradicija revizije ima istraživaÄ?ku orijentaciju, orijentaciju finansijskog â– â–  Standardna menadžmenta i raÄ?unovodstvenu orijentaciju. Nastoji odrediti je li program ura- revizija: dio ono Å¡to je trebao uraditi i je li novac potroÅ¡en prema pravilima, propisima i Objektivna zahtjevima programa. Tradicija revizije koristi koncepte kao Å¡to je interna aktivnost kontrola, dobar menadžment i uprava i dobra verifikacija. Revizija naglaÅ¡ava dizajnirana da odgovornost i usklaÄ‘enost. OECD/DAC glosar (OECD 2002) definira nekoliko poboljÅ¡a operacije vrsta revizije: organizacije • standardna revizija: nezavisna, objektivna aktivnost dizajnirana da doda vri- â– â–  Finansijska revizija: jednost i poboljÅ¡a operacije organizacije (pomaže da organizacija ostvari svoje Revizija koja se ciljeve donoseći sistematiÄ?an, disciplinovan pristup procjeni i poboljÅ¡anju fokusira na efektivnosti upravljanja rizikom, kontrolom i procesima upravljanja); usklaÄ‘enost sa • finansijska revizija: revizija koja se fokusira na saglasnost svih primjenjivih odgovarajućim statusa i propisa; statutima i propisima • revizija uÄ?inka: revizija koja je fokusirana na relevantnost, ekonomiÄ?nost, efi- â– â–  Revizija kasnost i efektivnost. uÄ?inka: Revizija može biti interna ili eksterna funkcija (Tekstualni okvir 1.2). Revizija koja procjenjuje Interna funkcija revizije pomaže organizaciji da ostvari svoje ciljeve donoseći relevantnost, sistematiÄ?an, disciplinovan pristup evaluacije i poboljÅ¡anje efektivnosti upra- ekonomiju, vljanja rizikom, kontrole i procesa upravljanja. Vlade koriste eksterne revizore efikasnost i kada je potrebna neovisnost od uprave programa. efektivnost Predstavljanje razvojne evaluacije 23 Tekstualni okvir 1.2 Institut internih revizora i meÄ‘unarodna organizacija vrhovnih revizorskih institucija Osnovan 1941, Institut internih revizora je primarna meÄ‘unarodna asoci- jacija posvećena promociji i razvoju interne revizije. Državni instituti su loci- rani Å¡irom svijeta, a Ä?lanovi dolaze iz 165 država. Institut internih revizora 1947. izdao je Izjavu o odgovornostima interne revizije, Å¡to je postalo osnov za razvoj standarda interne revizije. Standardi za profesionalnu praksu interne revizije su odobreni 1978. Od Afganistana do Zimbabvea, skoro svaka razvijena i zemlja u razvoju pripada MeÄ‘unarodnoj organizaciji vrhovnih revizorskih institucija (INTOSAI), koja funkcionira kao krovna organizacija za eksternu državnu revi- zijsku zajednicu. Osnovana 1953, INTOSAI promovira razvoj i prijenos zna- nja da bi se poboljÅ¡ala državna revizija Å¡irom svijeta. EtiÄ?ki kodeks i Standa- rdi revizije i Smjernice za implementaciju revizije uÄ?inka se slijede u velikoj mjeri. Do 2008. INTOSAI je brojala 188 država Ä?lanica. Izvor: http://www.theiia.org, http://www.intosai.org. ÄŒinjenica da je tradicija revizije jaka u zemljama u razvoju dovela je do jake tradicije sukladnosti revizije u evaluaciji. Malezijski državni revizorski odjel (NAD), na primjer, igrao je ulogu u osiguranju javne odgovornosti već 100 godina. NAD provodi revizije da: • osigura suglasnost sa zakonima i propisima; • ukaže na nesigurne faktore koji vode neefikasnosti, neefektivnosti ili neeko- nomskim procedurama; • odredi jesu li pripremljeni finansijski izvjeÅ¡taji taÄ?ni i praviÄ?ni i jesu li pri- premljeni prema općeprihvaćenim standardima revizije i raÄ?unovodstva. Interna revizija obuhvata Å¡irok poredak „finansijskih aktivnosti i opera- cija ukljuÄ?ujući sisteme, proizvodnju, inžinjering, marketing i ljudske resurse“ â– â–  Interna (http://www.theiia.org). Snagu crpi iz Ä?injenice da se nudi profesionalna akredi- revizija: Revizija koja se tacija, Å¡to joÅ¡ uvijek nije sluÄ?aj sa evaluacijom (Poglavlje 15 razmatra dobre i loÅ¡e radi unutar strane akreditacije evaluatora). organizacije da Razvojna evaluacija je iz revizija preuzela jak fokus na sukladnost sa pravnim se procijene i proceduralnim zahtjevima. Ovo se može uoÄ?iti u okvirima evaluacije pro- finansijske jekata zasnovanim na ciljevima bilateralnih donatora i razvojnih banaka. Na pri- aktivnosti i mjer, „Standardi dobre prakse za evaluaciju MDB-podržanih operacija u javnom operacije 24 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije sektoru,“ koje je razvila Grupa za evaluacionu saradnju Multilateralnih razvo- jnih banaka (MDB), ukljuÄ?uje ostvarenje ciljeva, na osnovu toga da „evaluacija prema ciljevima pojaÄ?ava odgovornost“ (Evaluation Cooperation Group of the Multilateral Development Banks n.d., str. 9.). Kontinuitet izmeÄ‘u revizije i evaluacije Revizija i evaluacija se mogu posmatrati kao dio kontinuiteta, osiguravaju srodne, ali razliÄ?ite vrste informacija o sukladnosti, odgovornosti, utjecaju i rezultatima. Postoje „preklapanja u podruÄ?jima kao Å¡to su efikasnost operacija i isplativost – sa evaluacijama koje se bave analizom politike i izlaznim rezultatima i revizijom sa internom finansijskom kontrolom i sistemom uprave“ (Treasury Board of Canada Secretariat 1993, para. 3). Revizija i evaluacija imaju za cilj pomoći onima koji donose odluke „pružajući im sistemske i kredibilne informacije koje mogu biti korisne za izradu, upravljanje, nadzor, promjenu i povremeno ukidanje programa“ (Wisler 1996, str. 1). Mnogo je napisano o razlikama i preklapanju revizije i evaluacije. Razlike potjeÄ?u iz poÄ?etaka, gdje revizija većinom proizilazi iz finansijskog raÄ?unovodstva, a evaluacija većinom iz socijalnih nauka. Revizija se nastoji fokusirati na sukla- dnost sa zahtjevima, dok se evaluacija nastoji fokusirati na pripisivanje uoÄ?enih promjena politici, programu ili projektu. Revizori nastoje pronaći odgovore na normativna pitanja (Å¡ta je suprotno od onog Å¡to bi trebalo biti), dok evaluatori traže odgovore na opisna i uzroÄ?no-posljediÄ?na pitanja (Wisler 1996). Tradicija socijalne nauke Vlade i organizacije sve manje naglaÅ¡avaju verifikaciju i sukladnost, a naglasak stavljaju na utjecaj, a tehnike socijalne nauke se ukljuÄ?uju u evaluaciju. Razvojna evaluacija se naslanja na nauÄ?ne metode i metode socijalnih istraživanja. NauÄ?ni metod je sistemski pristup za pribavljanje informacija koje objektivno nastoje odvojiti istinu od vjerovanja. Ovim pristupom, podaci se prikupljaju kroz opservacije i eksperimente i zasnovane su na formuliranju i testiranju hipoteza. IstraživaÄ?i koji koriste nauÄ?ni metod: • identificiraju problem, istražuju ga i razmatraju prethodna objaÅ¡njenja; • razvijaju hipoteze o uzroÄ?no-posljediÄ?nim odnosima i navode ih u mjerljivim pojmovima; • testiraju hipoteze provodeći eksperiment i prikupljajući podatke; • analiziraju podatke i izvlaÄ?e zakljuÄ?ke; • dokumentiraju i diseminiraju nalaze; • koriste rezultate da dorade hipoteze. Predstavljanje razvojne evaluacije 25 Evaluacija je uzela druge metode iz druÅ¡tvenih nauka, ukljuÄ?ujući sociologiju, antropologiju, politiÄ?ke nauke i ekonomiju. Primjena metoda druÅ¡tvenih istraživanja na evaluaciju podudara se sa rastom i usavrÅ¡avanjem samih metoda, kao i sa ideoloÅ¡kim, politiÄ?kim i demografskim promjenama koje su nastale u ovom stoljeću. Od kljuÄ?ne važnosti su bili nastanak i povećanje druÅ¡tvenih nauka na univerzitetima i povećana podrÅ¡ka druÅ¡tvenom istraživanju. Odsjeci za druÅ¡tvene nauke na univerzitetima postali su centar ranog rada na programu evaluacije i nastavili su zauzimati utjecajno mjesto u polju. (Rossi i Freeman 1993, str. 9) Evaluacija takoÄ‘er puno uzima iz istraživanja druÅ¡tvene nauke u podruÄ?jima kao Å¡to je teorija konstrukcije, dizajn, pristup, metodologija prikupljanja podataka, analiza i interpretacija, statistika, ankete i uzorkovanje. Kontekst razvojne evaluacije Razvojna evaluacija je nastala kao poddisciplina evaluacije. PoÄ?ela je uglavnom poslije Drugog svjetskog rata sa naporima rekonstrukcije i razvoja. Svjetska banka osnovana je 1944. godine i uspostavila prvu nezavisnu evaluacionu grupu 1972. Evropska banka za rekonstrukciju i razvoj (EBRD) osnovana je 1991. Druge multilateralne razvojne banke su takoÄ‘er osnovane u 1990-tim. Bilateralne organizacije, kao Å¡to je Odsjek za meÄ‘unarodni razvoj Ujedinjenog Kraljevstva (DfID) i Kanadska meÄ‘unarodna razvojna agencija (CIDA), takoÄ‘er su usposta- vljene. Nastanak razvojne evaluacije zaÄ?et je uspostavljanjem ovih organizacija, poÅ¡to su donatori bili odgovorni za finansiranje projekata i rezultate. S druge strane, ministarstva zemalja u razvoju trebala su zadovoljiti zahtjeve izvjeÅ¡tavanja nalaza projekta koristeći sistem evaluacije projekta koji su razvili donatori za uÄ?enje i odgovornost. PoÅ¡to se pojam razvoja promijenio tokom proteklih dekada, tako se promi- jenila i razvojna evaluacija. Od njenog nastanka, na primjer, Svjetska banka je promijenila naglasak sa implikacijama na kompleksnost razvojnih evaluacija (Tabela 1.3). OECD je igrao važnu ulogu u napretku razvojne evaluacije. Uspostavljen 1961. godine, sa misijom da „pomogne vladama da ostvare održiv ekono- mski rast i zapoÅ¡ljavanje i podigne standarde življenja u zemljama Ä?lanicama održavajući finansijsku stabilnost i tako doprinoseći razvoju svjetske ekonomije“ (http:// www.oecd.org). ÄŒlanovi OECD-a sastaju se u specijaliziranim odborima, ukljuÄ?ujući Komitet za pomoć u razvoju (DAC) koji već dugo ima radnu grupu za razvojne evaluacije (trenutno DAC Mreža za evaluaciju). Svrha DAC Mreže za evaluaciju je povećati efektivnost meÄ‘unarodnih razvojnih programa 26 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 1.3 Promjena pristupa Svjetske banke razvoju 1950 – 2000. Dekada Fokus Pristup Disciplina 1950-te Obnova, rekonstrukcija, tehniÄ?ka pomoć i TehniÄ?ka Inžinjering inžinjering pomoć 1960-te Ekonomski rast, finansiranje i izrada projekata, u Projekti Finansije nadi da će jaÄ?i ekonomski razvoj dići ljude iz siromaÅ¡tva 1970-te DruÅ¡tveni sektori ili osnovne potrebe (obrazovanje, Sektorska Planiranje zdravstvo, i socijalna skrb); dugoroÄ?nije planiranje i ulaganja ulaganja u druÅ¡tveni sektor 1980-te Politika strukturalnog prilagoÄ‘avanja i kreditiranja; PrilagoÄ‘avanje NeoklasiÄ?na prilagoÄ‘avanje kreditiranja odreÄ‘enim uvjetima koji kreditiranja ekonomija se koriste za podrÅ¡ku reformi glavnih politika i da pomogne državama da se nose sa finansijskom i dužniÄ?kom krizom 1990-te Obuhvatnije zasnovan na državi naspram Državna pomoć ViÅ¡edisciplinarno pojedinaÄ?nih projekata; viÅ¡e naglaska se stavlja na izgradnju kapaciteta i institucija unutar zemalja u razvoju 2000-te Smanjenje siromaÅ¡tva, partnerstvo, participacija, Partnerstvo Menadžment sektorski pristupi i orijentacija na rezultate zasnovan na rezultatima Izvor: Zasnovano na Picciotto 2002. podržavajući robusnu, informiranu i nezavisnu evaluaciju. Okuplja 30 bilatera- lnih i multilateralnih razvojnih agencija. DAC-ova definicija razvojne evaluacije se poÄ?ela uveliko prihvatati. Uneko- liko se razlikuje od opće definicije evaluacije koju smo dali na poÄ?etku ovog poglavlja. Prema DAC-u, razvojna evaluacije je: Sistemska i objektivna procjena tekućeg ili zavrÅ¡enog projekta, programa ili poli- tike, njihovog dizajna, implementacije i rezultata. Cilj je odrediti relevantnost i ispunjenje ciljeva, razvojne efikasnosti, efektivnosti, utjecaja i održivosti. Evaluacija treba pružiti informacije koje su kredibilne i korisne, omogućavajući inkorporaciju nauÄ?enih lekcija u proces donoÅ¡enja odluka korisnika i donatora. (OECD 1991b, str. 4) Å irok izbor metodologija i prakse se koristi u zajednici razvojne evaluacije. Postalo je opće prihvatljivo da mjeÅ¡avina teorija, strategija analize i metodologija Ä?esto bolje funkcionira u razvojnoj evaluaciji, posebno s obzirom na rastući ste- pen i kompleksnost razvojnih projekata, programa ili politika. MijeÅ¡anje pristupa može pomoći jaÄ?anju evaluacije. Predstavljanje razvojne evaluacije 27 Ova mjeÅ¡avina metoda, koja se naziva metodoloÅ¡ka triangulacija, odnosi se na upotrebu nekoliko teorija, izvora ili vrsta informacija i/ili vrsta analize da se veri- ficira i potkrijepi procjena. Kombinirajući viÅ¡e izvora podataka, metoda, analiza ili teorija, evaluatori nastoje prevazići pristrasnost koja dolazi iz pojedinih informa- cija, pojedinaÄ?nih metoda, pojedinaÄ?nih posmatraÄ?a ili pojedinaÄ?nih teorijskih studija. (OECD 2002, str. 37) Kako Chelimsky i Shadish (1997, p. 11) primjećuju: Evaluacija nastavlja biti Ä?ak i viÅ¡e metodoloÅ¡ki raznolika. Do sada je dobro uspostavljeno da je pun raspored metoda druÅ¡tvene nauke pripadao metodoloÅ¡kim alatima evaluatora – alati iz psihologije, statistike, obrazovanja, sociologije, politiÄ?kih nauka, antropologije i ekonomije. Izbor evaluacionog dizajna i metodologije (ili kombinacija dizajna i metodo- logija) će se odrediti pitanjima koja se postavljaju i informacijama koje se traže. Rast profesionalnih evaluacionih udruženja Profesionalna evaluaciona udruženja izraÄ‘uju sistem podrÅ¡ke i omogućavaju pro- fesionalizam unutar evaluacione zajednice. Ova podrÅ¡ka doprinosi razvoju kapa- citeta u razvojnoj evaluaciji. U 1980-tim bila su samo tri regionalna ili državna evaluaciona druÅ¡tva. Od tada je zabilježen eksplozivan rast novih državnih, regionalnih i meÄ‘unarodnih evaluacionih udruženja, koja su nastajala Å¡irom svijeta, a trenutno postoji viÅ¡e od 75 evaluacionih udruženja u razvijenim zemljama i zemljama u razvoju (http:/www.ioce.net/members/eval_asso-ciations.shtml). Većina rasta bilježi se u uspostavi evaluacionih udruženja u zemljama u razvoju. Na državnom nivou, na primjer, udruženja su postojala u Maleziji i Å ri Lanci od 1999. a u Ugandi od 2002. Na regionalnom nivou Australijsko-azijsko evaluaciono druÅ¡tvo uspostavljeno je 1991, Evropsko evaluaciono druÅ¡tvo 1994. i AfriÄ?ka evalu- aciona asocijacija 1999. Važna meÄ‘unarodna organizacija za evaluaciju je MeÄ‘unarodna organizacija za saradnju u evaluaciji (IOCE), labava alijansa regionalnih i državnih evalu- acionih organizacija (udruženja, druÅ¡tava, i mreža) iz Ä?itavog svijeta. IOCE ima za cilj izgraditi evaluaciono vodstvo i kapacitet u zemljama u razvoju i omogućiti razmjenu teorije evaluacije i prakse Å¡irom svijeta. Da bi to uradili profesionalci u evaluaciji moraju uzeti viÅ¡e globalni pristup u doprinosu identifikaciji i rjeÅ¡enju svjetskih problema (http://ioce.net/over-view/general.shtml). JoÅ¡ jedna važna meÄ‘unarodna organizacija za evaluaciju je MeÄ‘unarodno udruženje za razvojne evaluacije (IDEAS). IDEAS je nastalo 2001, radi pomoći u izgradnji kapaciteta evaluacije u zemljama u razvoju. Misija mu je „unaprijediti 28 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije i proÅ¡iriti praksu razvojne evaluacije doradom metoda, jaÄ?anjem kapaciteta i proÅ¡irenjem vlasniÅ¡tva“ (http://www.ideas-int.org). IDEAS je jedino udruženje za profesionalce koje praktikuje razvojne evaluacije. Strategija IDEAS je da: • promovira razvojnu evaluaciju za rezultate, transparentnost i odgovornost u politici, javnoj politici i potroÅ¡nji; • da prioritet evaluacionom kapacitetu razvoja i • promovira najveće intelektualne i profesionalne standarde u razvojnim evaluacijama. Principi i standardi za razvojnu evaluaciju Evaluacijska zajednica treba principe i standarde, koji promoviÅ¡u odgovo- rnost, omogućavaju poredivost i jaÄ?aju pouzdanost i kvalitet pruženih usluga (Picciotto 2005). Većina organizacija vezanih za razvoj koriste OECD/DAC principe, standarde i kriterije. KljuÄ?ni dokument (OECD 1991a) identificira pet kriterija za evaluaciju razvojne pomoći: • relevantnost: stepen u kom su ciljevi razvojne intervencije konzistentni sa zahtjevima korisnika, potrebama države, globalnim prioritetima i politikom partnera i razvojnih agencija; • efektivnost: mjera stepena u kom aktivnost pomoći ostvaruje svoje ciljeve; • efikasnost: mjera izlaznih elemenata – kvalitativna i kvantitativna – u odnosu na ulazne elemente (ovaj ekonomski termin oznaÄ?ava da pomoć koristi najmanje skupe resurse da ostvari željene rezultate. Mjerenje efikasnosti obiÄ?no zahtijeva poreÄ‘enje alternativnih pristupa ostvarenju istih izlaznih elemenata da se odredi je li usvojen najefikasniji proces.); • utjecaj: pozitivne i negativne promjene nastale kao uzrok razvojne interve- ncije, direktno ili indirektno, namjerno ili nenamjerno (Mjerenje utjecaja ukljuÄ?uje odreÄ‘ivanje glavnih utjecaja i efekata aktivnosti prema lokalnim socijalnim, ekonomskim, okolinskim i drugim razvojnim indikatorima. Ispitivanje se treba baviti namjeravanim i nenamjeravanim rezultatima i mora ukljuÄ?iti pozitivne i negativne utjecaje vanjskih faktora, kao Å¡to su promjene u uvjetima trgovine i finansijskim uvjetima.); • održivost: elastiÄ?nost rizika toka koristi tokom vremena (pojam održivosti je osobito relevantan da se procijeni (ne da se mjeri) kolika je mogućnost da se korist od aktivnosti ili programa nastavi nakon Å¡to donator povuÄ?e finansi- ranje. Projekti i programi trebaju biti okolinski finansijski održivi [OECD 1991b]). Predstavljanje razvojne evaluacije 29 DAC je razvio principe za evaluaciju razvojne pomoći (OECD 1991b). Ti principi se bave sljedećim pitanjima: • svrha evaluacije; • nepristrasnost i nezavisnost; • kredibilitet; • korisnost; • uÄ?ešće donatora i primaoca; • saradnja donatora; • programiranja evaluacije; • dizajn i implementacija evaluacije; • izvjeÅ¡tavanje, diseminacija i povratne informacije; • primjena ovih principa. Pregled DAC „Principa za evaluaciju razvojne pomoći“ je proveden 1998. PoreÄ‘eni su DAC principi sa principima drugih organizacija i tražena je konzi- stentnost i moguća podruÄ?ja proÅ¡irenja. Preporuke Ä?lanova za moguću reviziju principa ukljuÄ?ivale su sljedeće: • Modifikacija izjave o svrsi; • Direktna obrada pitanja decentralizovane evaluacije i participativne evaluacije; • Veća elaboracija principa i prakse za primaoce participacijske i donatorske saradnje; • UvoÄ‘enje skorijeg razvoja u aktivnost evaluacije, kao Å¡to je mjerenje uÄ?inka, status, i sistem ocjene uspjeha, i razvijanje tipologije evaluacijskih aktivnosti (OECD 1998). Ovaj pregled postavio je osnovu za buduće DAC publikacije. AmeriÄ?ka evaluacijska asocijacija (AEA) 1994. godine objavila je „Program evaluacionih standarda u Sjedinjenim Državama.“ Ove standarde je odobrio AmeriÄ?ki državni institut za standarde (ANSI) kao AmeriÄ?ke državne standarde za program evaluacije. Ažurirani su 1998. i prilagodile su ih druga razvojna udruženja, ukljuÄ?ujući i ona u zemljama u razvoju. U martu 2006. godine, DAC Evaluaciona mreža uspostavila je „DAC sta- ndarde kvaliteta za evaluaciju“ (OECD 2006) (Tekstualni okvir 1.3). Standardi, koji se trenutno koriste na probnoj osnovi, za testiranje faze aplikacije, identifici- raju kljuÄ?ne stubove za kvalitetni evaluacioni proces i proizvod: • Osigurati standarde za proces (provoÄ‘enje) i proizvode (izlazni rezultati) evaluacije; • Omogućiti poreÄ‘enje evaluacija izmeÄ‘u država (meta-evaluacija); • Omogućiti partnerstvo i saradnju na združenim evaluacijama; 30 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • Bolja mogućnost za zemlje Ä?lanice da iskoriste evaluacione nalaze i izvjeÅ¡taje koje meÄ‘usobno razmjenjuju (ukljuÄ?ujući dobru praksu i nauÄ?ene lekcije); • Usmjeravanje napora evaluacije. Tekstualni okvir 1.3 10 dijelova DAC evaluacionih standarda kvaliteta OECD ima set od 10 kriterija za procjenu kvaliteta evaluacije: • obrazloženje, svrha i ciljevi evaluacije; • djelokrug evaluacije; • kontekst; • medotologija evaluacije; • izvori informacija; • nezavisnost; • etika evaluacije; • osiguranje kvaliteta; • relevantnost evaluacionih rezultata i • kompletnost. Izvor: OECD 2006. Na zahtjev OECD/DAC Evaluacione mreže i drugih evaluacionih mreža, Nezavisna grupa za evaluaciju Svjetske banke razvila je principe i standarde indi- kativnog konsenzusa za evaluaciju Programa globalnog i regionalnog partnerstva (GRPP), koji imaju neke jedinstvene osobine koje evaluaciju Ä?ine kompleksnom. â– â–  Nezavisna Ovi indikativni principi i standardi se testiraju kroz upotrebu i biće revidirani i evaluacija: Evaluacija koju odobreni za nekoliko godina. (Link do web stranice za ove principe i standarde provode ljudi nalazi se na kraju ovog poglavlja. Principi i standardi su razmatrani dodatno u koji nemaju Poglavlju 14.) obavezu prema Važna komponenta kredibiliteta razvojne evaluacije je nezavisnost. onima koji su OECD/DAC glosar definira nezavisnu evaluaciju kao „evaluaciju koju vrÅ¡e dizajnirali i entiteti i osobe koji nisu pod kontrolom onih koji su odgovorni za dizajn i imple- implementirali intervenciju mentaciju razvojne intervencije“ (OECD 2002, str. 25). Primjećuje: Kredibilitet evaluacije zavisi dijelom od toga koliko nezavisno se provodi. Nezavisnost implicira slobodu od politiÄ?kog utjecaja i organizacijskog pritiska. KarakteriÅ¡e je potpun pristup informacijama i potpuna autonomija u vrÅ¡enju istraga i izvjeÅ¡tavanju nalaza. Predstavljanje razvojne evaluacije 31 Nezavisnost ne znaÄ?i izoliranost: interakcija izmeÄ‘u evaluatora, menadžera programa, osoblja i korisnika može ojaÄ?ati evaluaciju i njenu upotrebu. Evalu- aciju mogu provoditi interno ili eksterno, evaluatori koji se organizaciono nalaze ispod onih koji su odgovorni za donoÅ¡enje odluka o dizajnu i implementaciji programa intervencije (to jest menadžment). Takve evaluacije nisu nezavisne evaluacije. Služe kao svrha uÄ?enja, a ne kao svrha odgovornosti. VoÄ‘e evaluacije multilateralnih razvojnih banaka, koji se redovno sastaju kao Ä?lanovi Evaluacione grupe za saradnju, identificirali su Ä?etiri dimenzije ili kriterija nezavisnosti evaluacije: • organizaciona nezavisnost; • nezavisnost u ponaÅ¡anju; • zaÅ¡tita od vanjskih utjecaja i • izbjegavanje konflikta interesa. Tabela 1.4 predstavlja kriterije i indikatore za procjenu nezavisnosti od evalu- acione organizacije. Oboje dolazi iz raznih izvora. 32 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 1.4 Kriteriji i indikatori za odreÄ‘ivanje nezavisnosti od evaluacione organizacije Kriterij Aspekt Indikatori Organizaciona Struktura i uloga evaluacione Ima li evaluaciona jedinica mandat koji ukazuje da nezavisnost jedinice je prikladna se njen obim odgovornosti proteže na sve operacije organizacije i da su lanac upravljanja, osoblje, budžet i funkcije organizaciono nezavisne od operativnih odjela, odjela za politiku, i odjela za strategiju i srodnog donoÅ¡enja odluka Jedinica je odgovorna i Postoji li direktan odnos izvjeÅ¡tavanja izmeÄ‘u rezultate evaluacije prenosi jedinice i uprave ili odbora institucije voditelju ili zamjeniku voditelja organizacije ili njenom upravnom odboru Jedinica je organizaciono Pozicija jedinice u organizaciji u odnosu na locirana izvan osoblja ili funkcije program, aktivnost ili entitet koji se evaluira linije upravljanja programa, aktivnosti ili entiteta koji se evaluira Jedinica redovno podnosi Odnos izvjeÅ¡tavanja i uÄ?estalost izvjeÅ¡tavanja izvjeÅ¡taj odboru za reviziju veće nadzornom tijelu organizacije ili drugom nadzornom tijelu Jedinica je dovoljno udaljena od Stepen u kom evaluaciona jedinica i njeno osoblje politiÄ?kog pritiska i u nisu odgovorni politiÄ?kim autoritetima i koliko je mogućnosti je izvjeÅ¡tavati o izolirana od uÄ?ešća u politiÄ?kim aktivnostima nalazima bez straha od posljedica Ljudi koji rasporeÄ‘uju osoblje u Stepen u kom postoji i provodi se sistem zasluga jedinici zaÅ¡tićeni su koji pokriva kompenzaciju, obuku, mandate, i personalnim sistemom u kom napredovanje su kompenzacija, obuka, mandati i napredovanje zasnovani na zaslugama Jedinica ima pristup svim Stepen u kom evaluaciona jedinica ima potrebnim informacijama i neograniÄ?en pristup osoblju organizacije, izvorima informacija evidenciji, sufinansijerima i drugim partnerima, klijentima i onim programima, aktivnostima ili entitetima koje organizacija finansira ili sponzorira (nastavlja se) Predstavljanje razvojne evaluacije 33 Tabela 1.4 (nastavak) Kriterij Aspekt Indikatori Nezavisnost Jedinica ima mogućnost i volju Stepen u kom evaluaciona jedinica objavljuje ponaÅ¡anja da objavi jake bezkompromisne izvjeÅ¡taje koji: pozivaju na javno preispitivanje izvjeÅ¡taje (unutar prikladne zaÅ¡tite da se zaÅ¡tite povjerljive ili liÄ?ne informacije i ublaži institucionalni rizik) lekcija iz programa i aktivnosti organizacije, predlažu standarde za uÄ?inak koji su napredniji od onih koji se trenutno koriste u organizaciji i koji kritikuju ishode programa, aktivnosti i entiteta organizacije Jedinica ima mogućnost da Stepen u kom mandat organizacije osigurava da otvoreno izvjeÅ¡tava evaluaciona jedinica prenosi svoje izvjeÅ¡taje upravi/ odboru nakon pregleda i komentara relevantnih korporativnih jedinica, ali bez restrikcija koje je nametnula uprava u svom djelokrugu i komentarima IzvjeÅ¡tavanje o nalazima Stepen u kom pravila objavljivanja informacija u evaluacije je transparentno organizaciji dozvoljavaju evaluacionoj jedinici da izvjesti o znaÄ?ajnim nalazima zainteresovane dionike, interne i eksterne (unutar prikladnih mjera zaÅ¡tite povjerljivih ili vlasniÄ?kih informacija te da se ublaži institucionalni rizik) ZaÅ¡tita od Evaluacija se pravilno dizajnira i Stepen u kom je evaluaciona jedinica u vanjskog izvrÅ¡ava mogućnosti odrediti dizajn, djelokrug, vremenski utjecaja raspored i provoÄ‘enje evaluacije bez mijeÅ¡anja uprave Evaluaciona studija je Stepen u kom je evaluaciona jedinica sprijeÄ?ena adekvatno finansirana ograniÄ?enjem finansija ili drugih resursa Å¡to bi znaÄ?ajno utjecalo na njenu mogućnost da vrÅ¡i svoje odgovornosti Sud evaluatora o sadržaju Stepen u kom sud evaluatora o prikladnom izvjeÅ¡taja se ne odbacuje sadržaju izvjeÅ¡taju nije subjekt odbacivanja ili utjecaja nekog vanjskog autoriteta Nezavisne procedure ljudskih Stepen u kom se mandatom ili ekvivalentnim resursa se dokumentuju za dokumentom odreÄ‘uju procedure upoÅ¡ljavanja, voditelja evaluacione jedinice otpuÅ¡tanja, trajanja mandata, te pregledaju uÄ?inak i kompenzacije voditelja evaluacione jedinice da osigura nezavisnost od operativnog menadžmenta Jedinica ima kontrolu nad Stepen u kom evaluaciona jedinica ima kontrolu upoÅ¡ljavanjem, nad upoÅ¡ljavanjem, unapreÄ‘ivanjem, povećanjem unapreÄ‘ivanjem, i/ili plaće i otpuÅ¡tanjem osoblja unutar sistema zasluga otpuÅ¡tanjem osoblja 34 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Kriterij Aspekt Indikatori Nastavak upoÅ¡ljavanja Stepen u kom je nastavak upoÅ¡ljavanja evaluatora evaluatora nije zasnovan na zasnovan samo na uÄ?inku na poslu, kompetenciji i rezultatima evaluacije potrebi za uslugama evaluatora Izbjegavanje Ne postoje zvaniÄ?ni, Stepen u kom postoje politike i procedure konflikta profesionalni ili finansijski identifikacije odnosa evaluatora koje mogu utjecati interesa odnosi koji mogu uzrokovati da na nezavisnost evaluacije, stepen u kom se evaluator ograniÄ?i stepen procedure i politike prenose osoblju putem obuke i istrage, ograniÄ?i objavljivanje, ili drugih naÄ?ina i stepen u kom se procedure oslabi ili izvrne nalaze provode Evaluatori nemaju unaprijed Stepen u kom postoje i u kom se provode politike i stvorenih ideja, predrasuda, ili procedure koje od evaluatora traže da procijeni i socijalnih/politiÄ?kih pristrasnosti prijavi liÄ?ne predrasude ili pristrasnosti koje mogu koji mogu utjecati na nalaze ugroziti njihovu mogućnost da budu objektivni u evaluacije evaluaciji i o Ä?emu se konsultira sa dionicima u sastavnom dijelu procedure evaluacije da se osigura nepostojanje pristrasnosti evaluatora Evaluator nije trenutno, a nije ni Stepen u kom postoje i provode se pravila ili prethodno bio ukljuÄ?en u procedure upoÅ¡ljavanja koji spreÄ?avaju Ä?lanove program, aktivnost ili entitet osoblja da evaluiraju program, aktivnosti ili entitete koji se evaluira na nivou na gdje imaju ili su imali ulogu u donoÅ¡enju odluka ili kom se donose odluke niti je finansijskog menadžmenta ili gdje traže zaposlenje bio u finansijskom menadžmentu niti u raÄ?unovodstvu te da ne traži zaposlenje u takvom programu, aktivnosti ili entitetu dok provodi evaluaciju Evaluator nema finansijskog Stepen u kom postoje pravila ili procedure interesa za program, aktivnost upoÅ¡ljavanja koji spreÄ?avaju Ä?lanove osoblja da ili entitet koji se evaluira evaluiraju programe, aktivnosti ili entitete za koje imaju finansijski interes ÄŒlanovi bliže porodice nisu Stepen u kom postoje pravila ili procedure ukljuÄ?eni ili nisu na poziciji na upoÅ¡ljavanja koji spreÄ?avaju Ä?lanove osoblja da kojoj imaju direktan i znaÄ?ajan evaluiraju programe, aktivnosti ili entitete gdje utjecaj na program, aktivnost ili Ä?lanovi njihovih porodica imaju utjecaj entitet koji se evaluira Izvor: Danish Ministry of Foreign Affairs 1999; OECD 1991b; CIDA 2000; Institute of Internal Auditors 2000; European Federation of Accountants 2001; INTOSAI 2001; U.S. GAO 2002. Predstavljanje razvojne evaluacije 35 Primjeri razvojnih evaluacija Tekstualni okviri 1.4 – 1.8 su iz evaluacionih izvjeÅ¡taja (ALNAP 2006). Svaki ilustrira jedan od kriterija opisanih ispod: relevantnost, efektivnost, efikasnost, utjecaj i održivost. Tekstualni okvir 1.4 Relevantnost: Evaluacija koju je proveo Svjetski program hrane za pomoć oporavka i olakÅ¡anja u Somaliji Evaluaciju su izvrÅ¡ila dva vanjska struÄ?njaka koji su posjetili Somaliju na tri sedmice sredinom jula 2001. Evaluacijom je procijenjena trogodiÅ¡nja podrÅ¡ka gdje je podijeljeno 63.000 miliona tona prehrambenih artikala na 1,3 miliona ljudi, u vrijednosti od US$ 55 miliona. PodrÅ¡ka je organizirana tako Å¡to je 51 procenat trebao otići za rehabilitaciju i oporavak, 30 procenata za hitne interve-ncije i 19 procenata za socijalne institucije. Primarni cilj dugo- trajne operacije pomoći i oporavka bio je „doprinijeti Å¡irem okviru za pro- grame integrirane rehabilitacije u Somaliji, održavajući fleksibilnost da bi se iskoristile razvojne prilike i reagovalo na hitne situacije“ (WFP 2002, str. 4). Evaluacija je stoga trebala ispitati relevantnost mjeÅ¡avine ovih namjena kao i prikladnost svih vrsta intervencija. Ukupna relevantnost intervencije razmatrana je u kontekstu politiÄ?ke ekonomije pomoći u Somaliji. Evaluacija je razmotrila razloge pružanja pomoći u hrani u Somaliji. Argumenti za pomoć u hrani ukljuÄ?ivali su Ä?injenicu da je Somalija uvijek u nedostatku hrane, da su ljudi u mnogim mjestima izolirani od uobiÄ?ajenih tržnica i da su mnogi Somalijci izgubili osnovna zani- manja i sredstva. Argumenti protiv pomoći u hrani sugerirali su da bi bilo viÅ¡e smisla dati korisnicima sredstva kojima će nabaviti hranu lokalno gdje je dostupna ili u obliku nagrade „novac-za-rad ili hrana-za-rad“. Takve obaveze imaju tendenciju biti dugoroÄ?ni projekti, meÄ‘utim bez jasne izlazne strate- gije. Ovo evaluaciono ispitivanje Å¡irih i specifiÄ?nih pitanja znaÄ?i da je njena analiza relevantnosti opsežna. 36 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 1.5 Efektivnost: DfID-ova Evaluacija podrÅ¡ke za akciju programa svjetske hrane u BangladeÅ¡u U septembru, 2000. godine, poplava je u Å¡est jugozapadnih oblasti u BangladeÅ¡u ozbiljno pogodila oko 2,7 miliona ljudi. DfID je podržao Program svjetske hrane osiguravÅ¡i tri podjele hrane, ukljuÄ?ujući puno sljedovanje riže, mahunarki i ulja. U prvoj podjeli, 260.000 korisnika primili su pomoć u hrani, u drugoj i trećoj podjeli 420.000 korisnika primili su pomoć u hrani. DfID evaluacija (DfID 2001) pružila je opsežnu analizu ostvarenja ciljeva projekta, sa osvrtom na veliÄ?inu sljedovanja, mjeÅ¡avinu namirnica, i raspored podjele. Evaluacija je ukljuÄ?ila kvantitativne i kvalitativne metode. Kvantitativni po- daci su prikupljeni u 2644 nasumiÄ?no odabranih domaćinstava u selima Å¡irom zone projekta. Kvalitativni podaci o sistemu, statusu i mogućnostima su prikupljeni tokom pregleda u domaćinstvima u Å¡est sela u zajednicama pogoÄ‘enim poplavom. Drugi manji evaluacioni tim rasporeÄ‘en je pet sedmi- ca nakon prve kvalitativne procjene da istraži kako je podjela hrane doživljena u zajednici, ukljuÄ?ujući pitanja kao Å¡to su raspored podjele, potreba za nami- rnicama koje su dijeljene i upotrebu obrazaca. Setovi kvantitativnih i kvalita- tivnih podataka su kombinovano koriÅ¡teni u analizi. IzvjeÅ¡taj ukljuÄ?uje najviÅ¡e kljuÄ?nih elemenata za evaluaciju efektivnosti, ukljuÄ?ujući: • ispitivanje razvoja ciljeva intervencije, ukljuÄ?ujući analizu logiÄ?kog okvira; • procjenu kriterija koriÅ¡tenih za odabir korisnika, ukljuÄ?ujući stavove pri- marnih dionika ovih kriterija; • analizu mehanizama implementacije, ukljuÄ?ujući nivoe uÄ?ešća zajednice; • procjenu taÄ?nosti ciljanja, podijeljenosti prema spolu i druÅ¡tvenoekonomskom grupiranju; • procjena osiguranih resursa (veliÄ?ina sljedovanja i mjeÅ¡avina namirnica), ukljuÄ?ujući razloge zaÅ¡to su osigurani (ovo podruÄ?je se može procijeniti takoÄ‘er i pod kriterijem relevantnosti); • ispitivanje adekvatnosti rasporeda podjele i • analizu stavova korisnika intervencije. Predstavljanje razvojne evaluacije 37 Tekstualni okvir 1.6 Efikasnost: Evaluacija Apelacionih fondova za poplavu u Mozambiku, Komiteta za hitne intervencije kod katastrofa Nakon poplava u 2000. godini u Mozambiku, evaluacija Komiteta za hitne inter- vencije kod katastrofa (DEC) pažljivije je posmatrala humanitarne radnje koje su preduzele DEC agencije (DEC 2001). Svrha evaluacije bila je izvijestiti britansku javnost o tome kako i gdje su sredstva koriÅ¡tena i identificirati dobru praksu za buduće hitne operacije. Metod za evaluaciju ukljuÄ?ivao je ekstenzivne intervjue, istraživanja okolnosti, posjetu terenu i detaljne ankete korisnika. Poglavlje posvećeno efikasnosti sadrži mnoge kljuÄ?ne elemente neo- phodne za evaluaciju, ukljuÄ?ujući analizu: • upotrebe vojnih sredstava, koja je procijenjena u smislu nedostatka zajedniÄ?ke upotrebe helikoptera, visoke cijene upotrebe zapadnih vojnih snaga u odnosu na komercijalne mogućnosti za humanitarnu pomoć, i u smislu uporednih troÅ¡kova Kraljevskih zraÄ?nih snaga, vojske Sjedinjenih Država, i JužnoafriÄ?kih državnih odbrambenih snaga (izvjeÅ¡taj navodi da su skupe vojne operacije uzele veliku koliÄ?inu sredstava, Å¡to je ograniÄ?ilo kasnije donatorsko finansiranje NGO projekata); • efekata na efikasnost nerazvijenog tržiÅ¡ta za ugovorne usluge (na primjer, iako je upotreba državnih izvoÄ‘aÄ?a omogućila agencijama da implementi- raju radove sa teÅ¡kom opremom, kao Å¡to su popravke puteva, bez velikih kapitalnih ulaganja, izvoÄ‘aÄ?i koje su koristile DEC agencije Ä?esto nisu uspjeli izvrÅ¡iti obaveze u dogovorenom vremenskom roku); • efikasnosti izbora reakcije (interveniranje direktno sa operativnim progra- mima, rad preko lokalnih partnera ili rad putem meÄ‘unarodne mreže Ä?lanica), evaluacija je pronaÅ¡la da je sastav osoblja bio važniji faktor za odreÄ‘ivanje efikasnosti nego izbor naÄ?ina reakcije (ovo podruÄ?je takoÄ‘er bi se moglo razmotriti u kriteriju relevantnosti); • je li bilo efikasnije za agencije da izgrade svoje reakcije na postojećim kapa- citetima u državi ili sa meÄ‘unarodnim osobljem; • jesu li agencije sa postojećim partnerima bile efikasnije nego one bez takvih partnera; • kako je ulaganje u pripreme dovelo do efikasnije reakcije i • efikasnost raÄ?unovodstvenog sistema. Napravljen je pokuÅ¡aj da se porede ulazni troÅ¡kovi po agencijama, ali se to pokazalo nemogućim sa datim razliÄ?itim stavkama i kanalima dostave koji su koriÅ¡teni. Umjesto toga evaluacija se oslanjala na opće implikacije troÅ¡kova prakse koja je slijeÄ‘ena, kao Å¡to su troÅ¡kovi skladiÅ¡tenja i transporta. Evalu- acija je takoÄ‘er ukljuÄ?ila presjek utroÅ¡ka sredstava po sektorima i za svaku DEC agenciju po troÅ¡kovima zaliha i materijala, nepersonalnim i personalnim troÅ¡kovima i troÅ¡kovima upravljanja agencijom. 38 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 1.7 Utjecaj: Združena evaluacija nužne pomoći Ruandi Združena evaluacija nužne pomoći Ruandi (JEEAR 1996.) je najveća i najopsežnija evaluacija humanitarne akcije koja je ikad provedena. UkljuÄ?ivala je 52 konsultanta i istraživaÄ?a. IzvjeÅ¡taj je postavio standarde za združenu procjenu utjecaja politiÄ?kih akcija (pa tako i nedostataka) u kompleksnim hitnim sluÄ?ajevima. JEEAR je procijenila utjecaj uglavnom u smislu nedostatka intervencije meÄ‘unarodne zajednice u Ruandi usprkos jasnim znakovima da snage u Ruandi pripremaju klimu i strukture za genocid i politiÄ?ki atentat. Primije- njena je definicija humanitarne akcije koja je ukljuÄ?ila politiÄ?ke i socioeko- nomske funkcije. Ova definicija je dovela analize politiÄ?ke strukture koja je uveliko odredila humanitarnu reakciju i utjecaj. Nedostatak intervencije je razmotren u dva dijela: analiza historijskih faktora koji su objasnili genocid i detaljan opis direktnih dogaÄ‘aja koji su doveli do genocida. Vrijednost združene evaluacije je to da je preÅ¡la granicu istraživanja intervencija jednog sektora i analizirala politiÄ?ku ekonomiju. PolitiÄ?ko ekonomski pristup je zatim povezan sa evaluacijom efektivnosti humanitarne reakcije. Ovaj pristup se može uporediti sa pristupima koriÅ¡tenim u evaluacijama drugih kriza, kao Å¡to je konflikt i njegove posljedice na Kosovu, efekti ura- gana Mitch i sa intervencijama u Afganistanu. U svakom od ovih sluÄ?ajeva donesene su odluke da se izvedu evaluacije sa jednom agencijom u jednom sektoru i gdje se nije uspjela snimiti politiÄ?ka priroda dogaÄ‘aja i reakcije na njega. U sluÄ?aju Kosova i Afganistana, ovo je dovelo do nedostatka pažnje evaluatora na pitanja zaÅ¡tite i ljudskih prava (ALNAP 2001, 2004). SluÄ?aj uragana Mitch ukazao je na nedostatak pažnje koliko su humanitarne akcije podržale transformativni plan predložen u Å tokholmskoj deklaraciji (ALNAP 2002). JEEAR je neobiÄ?na u svojoj procjeni utjecaja zato Å¡to postavlja jak nagla- sak na Ä?injenicu zaÅ¡to je bilo malo interesa za intervenciju u Ruandi (ugla- vnom zbog nedostatka geopolitiÄ?kog znaÄ?aja), a ne samo da navodi dogaÄ‘aje i njihove posljedice. Jedna od lekcija za evaluatore je da evaluacija utjecaja treba posmatrati ne samo ono gdje se desila intervencija nego takoÄ‘er i Å¡ta se moglo desiti u drugim okolnostima i razliÄ?itim vrstama interve- ncije. Predstavljanje razvojne evaluacije 39 Tekstualni okvir 1.8 Održivost: JICA evaluacije Programa obuke trećih zemalja u informacionim i komunikacionim tehnologijama Japanska meÄ‘unarodna agencija za saradnju (JICA) provela je evaluaciju projekta na Filipinima. Ovaj projekt je imao za cilj pružiti priliku uÄ?esnicima iz Kambodže, Laosa, Minjamara i Vijetnama da poboljÅ¡aju znanje i tehnike na polju infromacionih i komunikacionih tehnologija za poduzetniÅ¡tvo. Evaluacija (JICA 2005b) doÅ¡la je do zakljuÄ?ka da je održivost bila visoka, zbog posvećenosti Fondacije za razvoj informacionih tehnologija i obra- zovanja (FIT-ED) da i dalje održava programe obuke da bi se ostvarili ciljevi projekta. FIT-ED je uspostavila e-grupu da omogući umrežavanje meÄ‘u uÄ?esnicima i omogući FIT-ED-u da razmijeni znanje i ojaÄ?a svoje kapacitete. Kako je institucija posvećena da pomogne povećanje svijesti o komunikaci- jskim tehnologijama u vladinom i poslovnom sektoru u zemljama Asoci- jacije jugoistoÄ?nih azijskih naroda (ASEAN), FIT-ED će i dalje biti na Ä?elu ASEAN aktivnosti vezanih za informacione i komunikacione tehnologije. FIT-ED adekvatna i pravovremena raspodjela resursa za tri kursa obuke dokazala je posvećenost održanju programa obuke. UÄ?esnici su takoÄ‘er iz- razili predanost podrÅ¡ci inicijative. Prepoznali su važnost infomacionih i ko- munikacionih tehnologija za njihovo poslovanje, 84 procenta ispitanika koji su intervjuirani su već primijenili znanje i vjeÅ¡tine steÄ?ene tokom programa obuke (u razvoju web stranica, komunikacijama, tekstilu i odjeći, uvozu i izvozu rukotvorina, izgradnji, proizvodnji kafe i vladinim projektima, izmeÄ‘u ostalih podruÄ?ja). Ispitanici su izjavili da su se okoristili obukom, koju vide kao poÄ?etak programa obuke. Pored toga koristeći strateÅ¡ki e-poslovni plan napravljen tokom programa obuke kao referencu, uÄ?esnici su iskoristili in- ternet da primijene znanje steÄ?eno na kursu za promociju gore navedenih sektora. 40 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Sažetak Evaluacija se deÅ¡avala stoljećima. MeÄ‘utim, tek odnedavno, poÄ?eli su se posma- trati efekti intervencije na razvoj. Evaluacija ima tri oblika (formativni, sumativni, i prospektivni) i služi u Ä?etiri svrhe (etiÄ?ku, menadžersku, za donoÅ¡enje odluka te obrazovnu i motivacijsku). Može pružiti informacije o strategiji (radimo li prave stvari?), operaciji (radimo li stvari na pravi naÄ?in?), i uÄ?enju (postoje li bolji naÄ?ini?). Evaluacija se može provoditi interno, eksterno ili na participacijski naÄ?in. Razvojna evaluacija je evoluirala iz istraživanja druÅ¡tvenih nauka, nauÄ?nih metoda i iz revizije. Uloga evaluatora vremenom se mijenjala, od naglaska na evaluatora kao revizora, raÄ?unovoÄ‘u i certifikatora, pa do naglaska na evaluatora kao istraživaÄ?a i medijatora u participacijskim evaluacijama. Razvojna evaluacija zasnovana je na OECD/DAC kriteriju relevantnosti, efektivnosti, efikasnosti, utjecaja i na kriterij održivosti. OECD/DAC je takoÄ‘er razvio odreÄ‘ene principe za evaluaciju razvojne pomoći i evaluacije standarda kvaliteta. Važan dio kredibiliteta je nezavisnost. VoÄ‘e multilateralnih razvojnih banaka su identificirale Ä?etiri dimenzije ili Ä?etiri kriterija nezavisnosti evaluacije: orga- nizaciona nezavisnost, nezavisnost u ponaÅ¡anju, izbjegavanje konflikta interesa i zaÅ¡tita od vanjskog utjecaja. Poglavlje 1 Aktivnost Aplikacijska vježba 1.1 1. Od vas se traži da opravdate zaÅ¡to bi razvojna evaluacija trebala biti budžetski troÅ¡ak za novi državni program. Program je dizajniran da poboljÅ¡a obra- zovanje porodica o efektivnoj zdravstvenoj praksi. Å ta biste rekli u odbranu razvoja obrazovanja? 2. Intervjuirajte evaluatora u vaÅ¡em polju da odredite stepen u kom su standardi i vodeći principi obraÄ‘eni u evaluaciji koju je vidio. (ako nemate pristup evalu- atoru, pregledajte skoraÅ¡nje evaluacione izvjeÅ¡taje provedene u vaÅ¡em polju.) U Ä?emu leži snaga? Koje su slabosti? Razmijenite vaÅ¡e nalaze sa kolegama i sasluÅ¡ajte njihove komentare i iskustva. Primjećujete li ikakve obrasce? Predstavljanje razvojne evaluacije 41 Napomena 1. Glavni raÄ?unovodstveni ured Sjedinjenih Država promijenio je naziv u Vladin ured za odgovornost u julu 2004. Skraćenica GAO se joÅ¡ uvijek koristi. Bibliografija i dodatna literatura Adamo, Abra. 2003. Mainstreaming Gender in IDRC’s MINGA Program Initiative: A Formative Evaluation. https://idl-bnc.idrc.ca/dspace/bitstream/123456789/30972/1/121759.pdf. ADB (Asian Development Bank). 2007. Mongolia: Second Financial Sector Program. http://www.oecd.org/dataoecd/59/35/39926954.pdf. ALNAP (Active Learning Network for Accountability and Performance in Humanitar- ian Action). 2001. Humanitarian Action: Learning from Evaluation. ALNAP Annual Review 2001. ALNAP/Overseas Development Institute, London. ———. 2002. Humanitarian Action: Improved Performance through Improved Learning. ALNAP Annual Review 2002. ALNAP/Overseas Development Institute, London. ———. 2006. Evaluating Humanitarian Action Using the OECD/DAC Criteria. Overseas Development Institute, London. http://www.odi.org.uk/alnap/publications/eha_dac/pdfs/eha_2006.pdf. Bhy, Y. Tan Sri Data’ Setia Ambrin bin Huang. 2006. The Role of the National Audit Department of Malaysia in Promoting Government Accountability. Paper presented at the Third Symposium of the Asian Organisation of Supreme Audit Institutions (ASOSAI), Shanghai, September 13. http://apps.emoe.gov.my/bad/NADRole.htm. Brooks, R. A. 1996. “Blending Two Cultures: State Legislative Auditing and Evalu- ation.â€? In Evaluation and Auditing: Prospects for Convergence, ed. Carl Wisler, 15–28. New Directions for Evaluation 71 (Fall). San Francisco: Jossey-Bass. Burkhead, J. 1956. Government Budgeting. New York: John Wiley & Sons. Callow-Heusser, Catherine. 2002. Digital Resources for Evaluators. http://www.resources4evaluators.info/CommunitiesOfEvaluators.html. Chelimsky, Eleanor. 1995. “Preamble: New Dimensions in Evaluation.â€? In Evaluat- ing Country Development Policies and Programs, ed. Robert Picciotto and Ray C. Rist, 3-8. New Approaches for a New Agenda 67 (Fall). Publication of the American Evaluation Association. San Francisco: Jossey-Bass Publishers. ———. 1997. “The Coming Transformations in Evaluation.â€? In Evaluation for the 21st Century: A Handbook, eds. E. Chelimsky and W. R. Shadish, pp. 1–26. Thousand Oaks, CA: Sage Publications. Chelimsky, Eleanor, and William R. Shadish. 1997. Evaluation for the 21st Century: A Handbook. Thousand Oaks, CA: Sage Publications CIDA (Canadian International Development Agency). 2000. CIDA Evaluation Guide. Ottawa. 42 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Danida, Ministry of Foreign Affairs. 1998, 1999. Guidelines for an Output and Outcome Indicator System. Copenhagen: Danida. DEC (Disasters Emergency Committee). 2001. Independent Evaluation of DEC Mozam- bique Floods Appeal Funds: March 2000–December 2000. London. Derlien, Hans-Ulrich. 1999. “Program Evaluation in the Federal Republic of Germany.â€? In Program Evaluation and the Management of Government: Patterns and Pros- pects across Eight Nations, ed. Ray C. Rist, 37–52. New Brunswick, NJ: Transaction Publishers. DfID (Department for International Development). Sector Wide Approaches (SWAps). London. http://www.dfid.gov.uk/mdg/aid-effectiveness/swaps.asp. ———. 2001. Emergency Food Aid to Flood-Affected People in South-Western Bangla- desh: Evaluation report. London. European Federation of Accountants. 2001. The Conceptual Approach to Protecting Auditor Independence. Bruxelles. Evaluation Cooperation Group of the Multilateral Development Banks. n.d. Good Prac- tice Standards for Evaluation of MDB–Supported Public Sector Operations. Working Group on Evaluation Criteria and Ratings for Public Sector Evaluation. https:// wpqp1.adb.org/QuickPlace/ecg/Main.nsf/h_B084A3976FF5F808482571D90027AD 16/1E8F8A367033183248257463002F0726/ Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Commu- nity Programs with Participants. London: MacMillan, in association with Teaching Aids at Low Cost. Fitzpatrick, Jody L., James, R. Sanders, and Blaine R. Worthen. 2004. Program Evalu- ation: Alternative Approaches and Practical Guidelines. 3rd ed. New York: Pearson Education, Inc. Fontaine, C., and E. Monnier. 2002. “Evaluation in France.â€? In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray C. Rist, and Rolf Sandahl, 63–76. New Bruns- wick, NJ: Transaction Publishers. Furubo, Jan-Eric, Ray C. Rist, and Rolf Sandahl, eds. 2002. International Atlas of Evalu- ation. New Brunswick, NJ: Transaction Publishers. Furubo, Jan-Eric, and R. Sandahl. 2002. “Coordinated Pluralism.â€? In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray C. Rist, and Rolf Sandahl, 115–28. New Brunswick, NJ: Transaction Publishers. Government of Malawi. 2007. “National Indicators for Routine Monitoring of Quality of Health Services at Central Hospital.â€? http://www.malawi.gov.mw/MoHP/Informa- tion/Central%20Hospital%20Indicators.htm. Human Rights Education Associated. 1997. Evaluation in the Human Rights Education Field: Getting Started. Netherlands Helsinki Committee. http://www.hrea.org/pubs/EvaluationGuide/. Insideout. 2005. “M&E In’s and Out’s.â€? Insideout 3 (October/November) p. 1. http://www.insideoutresearch.co.za/news_l/Newsletter_issue%203.pdf. Institute of Internal Auditors. 2000. Professional Practices Framework. Altamonte Springs, Florida. Inter-American Development Bank. 2004. Proposal for Sector-wide Approaches. http:// idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=509733. Predstavljanje razvojne evaluacije 43 INTOSAI (International Organization of Supreme Audit Institutions). n.d. Draft Strate- gic Plan 2004 to 2009. Vienna, Austria. http://www.gao.gov/cghome/parwi/img4.html. ———. 2001. Code of Ethics and Auditing Standards. Stockholm. JEEAR (Joint Evaluation of Emergency Assistance to Rwanda). 1996. The International Response to Conflict and Genocide: Lessons from the Rwanda Experience, 5 vol- umes. JEEAR Steering Committee, Copenhagen. JICA (Japan International Cooperation Agency). 2005a. JICA Evaluation: Information and Communication. Tokyo. http://www.jica.go.jp/english/operations/evaluation/. ———. 2005b. Results of Evaluation, Achievement of the Project Joint Evaluation of Emergency Assistance to Rwanda. Tokyo. KRA Corporation. 1997. A Guide to Evaluating Crime Control of Programs in Public Housing. Report prepared for the U.S. Department of Housing and Urban Development. http://www.ojp.usdoj.gov/BJA/evaluation/guide/documents/guide_to_ evaluating_crime.html. Kusek, Jody Zall, and Ray C. Rist. 2004. Ten Steps to a Results-Based Monitoring and Evaluation System. World Bank, Washington, DC. http://www.oecd.org/dataoecd/23/27/35281194.pdf. Lawrence, J. 1989. “Engaging Recipients in Development Evaluation: The ‘Stakeholder’ Approach.â€? Evaluation Review 13 (3): 243–56. MEASURE Evaluation. n.d. Monitoring and Evaluation of Population and Health Pro- grams. University of North Carolina, Chapel Hill. http://www.cpc.unc.edu/measure. Mikesell, J. L. 1995. Fiscal Administration: Analysis and Applications for the Public Sector, 4th ed. Belmont, CA: Wadsworth Publishing Company. Molund, Stefan, and Göran Schill 2004. Looking Back, Moving Forward: SIDA Evalua- tion Manual. Swedish International Development Agency, Stockholm. OECD (Organisation for Economic Co-operation and Development). 1991a. DAC Crite- ria for Evaluating Development Assistance. Development Assistance Committee. http://www.oecd.org/document/22/0,2340,en_2649_34435_2086550_1_1_1_1, 00.html. ———. 1991b. Principles for Evaluation of Development Assistance. Development Assistance Committee. http://siteresources.worldbank.org/EXTGLOREGPARPRO/Resources/DACPrin- ciples1991.pdf. ———. 1998. Review of the DAC Principles for Evaluation of Development Assistance. Development Assistance Committee. http://www.oecd.org/dataoecd/31/12/2755284.pdf. ———. 2002. OECD Glossary of Key Terms in Evaluation and Results-Based Manage- ment. Development Assistance Committee, Paris. ———. 2006. Evaluation Quality Standards for Test Phase Application. Development Assistance Committee. http://www.oecd.org/dataoecd/30/62/36596604.pdf. 44 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije ———. 2007a. General information. http://www.oecd.org/document/48/0,3343,en_2649_201185_1876912_1_1_1_1, 00.html. ———. 2007b. Development Co-operation Directorate DCD-DAC. http://www.oecd.org/department/0,2688,en_2649_33721_1_1_1_1_1,00.html. Office of the Secretary of Defense Comptroller Center. 2007. The Historical Context. http://www.defenselink.mil/comptroller/icenter/budget/histcontext.htm. Picciotto, Robert. 2002. “Development Evaluation as a Discipline.â€? International Pro- gram for Development Evaluation Training (IPDET) presentation, Ottawa, July. ———. 2005. “The Value of Evaluation Standards: A Comparative Assessment.â€? Journal of Multidisciplinary Evaluation 3: 30–59. http://evaluation.wmich.edu/jmde/content/JMDE003content/PDFspercent 20JMDE percent20003/4_percent20The_Value_of_Evaluation_Standards_A_Com- parative_Assessment.pdf. Quesnel, Jean Serge. 2006. “The Importance of Evaluation Associations and Networks.â€? In New Trends in Development Evaluation 5, UNICEF Regional Office for Central and Eastern Europe, Commonwealth of Independent States, and International Pro- gram Evaluation Network. http://www.unicef.org/ceecis/New_trends_Dev_EValuation.pdf. Quinn, Michael 1997. Utilization-Focused Evaluation. 3rd ed. Thousand Oaks, CA: Sage Publications. Rossi, Peter, and Howard Freeman. 1993. Evaluation: A Systematic Approach. Thousand Oaks, CA: Sage Publications. Scientific and National Councils for Evaluation. 1999. A Practical Guide to Program and Policy Evaluation. Paris: National Council of Evaluation. Sonnichsen, R. C. 2000. High-Impact Internal Evaluation. Thousand Oaks, CA: Sage Publications. Treasury Board of Canada Secretariat. 1993. “Linkages between Audit and Evaluation in Canadian Federal Developments.â€? http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/TB_h4/evaluation03_e.asp. Tyler, C., and J. Willand. 1997. “Public Budgeting in America: A Twentieth Century Retrospective.â€? Journal of Public Budgeting, Accounting and Financial Management 9 (2): 189–219. http://www.ipspr.sc.edu/publication/Budgeting_in_America.htm. U.S. Department of Housing and Urban Development. 1997. “A Guide to Evaluating Crime Control of Programs in Public Housing.â€? Paper prepared by the KRA Corpora- tion, Washington, DC. http://www.ojp.usdoj.gov/BJA/evaluation/guide/documents/benefits_of_ evaluation.htm. U.S. GAO (General Accounting Office). 1986. Teenage Pregnancy: 500,000 Births a Year but Few Tested Programs. Washington, DC: U.S. GAO. ———. 2002. “Government Auditing Standards, Amendment 3,â€? GAO, Washington, DC. Weiss, Carol. 2004. “Identifying the Intended Use(s) of an Evaluation.â€? Evaluation Guideline 6. http://www.idrc.ca/ev_en.php?ID=58213_201&ID2=DO_TOPIC p 1. Predstavljanje razvojne evaluacije 45 WFP (World Food Programme). 2002. Full Report of the Evaluation of PRRO Somalia 6073.00, Food Aid for Relief and Recovery in Somalia. Rome. Wisler, Carl, ed. 1996. “Evaluation and Auditing: Prospects for Convergences.â€? In New Directions for Evaluation 71 (Fall), 1–71. San Francisco: Jossey-Bass. World Bank. 1996. World Bank Participation Sourcebook. http://www.worldbank.org/wbi/sourcebook/sbhome.htm. Web stranice Udruženja evaluatora African Evaluation Association. http://www.afrea.org/. American Evaluation Association. http://www.eval.org. Australasian Evaluation Society. http://www.aes.asn.au. Brazilian Evaluation Association. http://www.avaliabrasil.org.br. Canadian Evaluation Society. http://www.evaluationcanada.ca. Danish Evaluation Society. http://www.danskevalueringsselskab.dk. Dutch Evaluation Society. http://www.videnet.nl/. European Evaluation Society. http://www.europeanevaluation.org. Finnish Evaluation Society. http://www.finnishevaluationsociety.net/. French Evaluation Society. http://www.sfe.asso.fr/. German Society for Evaluation Standards. http://www.degeval.de/. Institute of Internal Auditors. http://www.theiia.org. International Development Evaluation Association (IDEAS). http://www.ideas-int .org/. (IDEAS Web page with links to many organizations: http://www.ideas-int .org/Links.aspx.) International Organisation for Cooperation in Evaluation. http://ioce.net/ overview/general.shtml. International Organization of Supreme Audit Institutions (INTOSAI). http://www .intosai.org/. International Program Evaluation Network (Russia and Newly Independent States). http://www.eval-net.org/. Israeli Association for Program Evaluation. http://www.iape.org.il. Italian Evaluation Association. http://www.valutazioneitaliana.it/ Japan Evaluation Society. http://ioce.net/members/eval_associations.shtml Latin American and Caribbean Programme for Strengthening the Regional Capacity for Evaluation of Rural Poverty Alleviation Projects (PREVAL). http://www .preval.org/. Malaysian Evaluation Society. http://www.mes.org.my. Nigerian Network of Monitoring and Evaluation. http://www.pnud.ne/rense/. Polish Evaluation Society. http://www.pte.org.pl/x.php/1,71/Strona-glowna.html. Quebecois Society for Program Evaluation. http://www.sqep.ca. Red de Evaluacion de America Latina y el Caribe. http://www.relacweb.org. 46 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije South African Evaluation Network. http://www.afrea.org/webs/southafrica/. South African Monitoring and Evaluation Association. http://www.samea.org.za. Spanish Evaluation Society. http://www.sociedadevaluacion.org. Sri Lankan Evaluation Association. http://www.nsf.ac.lk/sleva/. Swedish Evaluation Society. http://www.svuf.nu. Swiss Evaluation Society. http://www.seval.ch/de/index.cfm. Ugandan Evaluation Association. http://www.ueas.org. United Kingdom Evaluation Society. http://www.evaluation.org.uk. Wallonian Society for Evaluation. http://www.prospeval.org. Standardi evaluacije African Evaluation Association. Evaluation Standards and Guidelines. http://www .afrea.org/. American Evaluation Association. Guiding Principles. http://www.eval.org/ Publications/GuidingPrinciples.asp. Australasian Evaluation Society. Ethical Guidelines for Evaluators. http://www.aes .asn.au/content/ethics_guidelines.pdf. ECGnet [The Evaluation Cooperation Group] https://wpqp1.adb.org/QuickPlace/ecg/ Main.nsf/h_B084A3976FF5F808482571D90027AD16/1E8F8A3670331832482574 63002F0726/. German Society for Evaluation. Standards. http://www.degeval.de/standards/ standards.htm. Italian Evaluation Association. Guidelines. http://www.valutazioneitaliana.it/statuto. htm#Linee. OECD (Organisation for Economic Co-operation and Development). Evaluation Quality Standards (for test phase application). Development Assistance Committee. http:// www.oecd.org/dataoecd/30/62/36596604.pdf. ———. Evaluating Development Co-Operation: Summary of Key Norms and Standards. Development Assistance Committee, Network on Development Evaluation. http:// www.oecd.org/dac/evaluationnetwork. Program Evaluation Standards (updated 1998). http://www.eval.org/Evaluation Documents/progeval.html. Swiss Evaluation Society. Standards. seval.ch/. UNEG (United Nations Evaluation Group). Norms for Evaluation in the UN System. http://www.uneval.org/docs/ACFFC9F.pdf. ———. Standards for Evaluation in the UN System. http://www.uneval.org/docs/ ACFFCA1.pdf. UNFPA (United Nations Population Fund). n.d. List of Evaluation Reports and Findings. http://www.unfpa.org/publications/index.cfm. UNICEF Regional Office for Central and Eastern Europe, Commonwealth of Indepen- dent States, and International Program Evaluation Network. 2006. New Trends in Development Evaluation 5. http://www.unicef.org/ceecis/New_trends_ Dev_EValuation.pdf. United Nations Development Project Evaluation Office. http://www.undp.org/eo/. Predstavljanje razvojne evaluacije 47 POGLAVLJE 2 Razumijevanje pitanja koja pokreću razvojnu evaluaciju Oblast evaluacije razvoja je relativno nova oblast koja se mijenja, a kao odgovor na novonastala pitanja koja se javljaju u razvijenim zemljama i zemljama u razvoju. Ovo poglavlje daje uvid u neka trenutna pitanja koja utjeÄ?u kako na razvijene zemlje tako i na zemlje u razvoju. Ovo poglavlje podijeljeno je u dva osnovna dijela: • Pregled evaluacije u razvijenim zemljama i zemljama u razvoju • Implikacije novih pitanja razvoja 49 Pregled sistema evaluacije u razvijenim zemljama i zemljama u razvoju Evaluacija može pomoći zemljama u razumijevanju koliko dobro i u kojoj mjeri one postižu svoje razvojne ciljeve, ukljuÄ?ujući i Milenijske razvojne ciljeve (MDGs). PolitiÄ?ari i drugi mogu koristiti kljuÄ?ne zakljuÄ?ke i preporuke izvuÄ?ene iz rezultata evaluacije radi pokretanja promjena. Evaluacija omogućava zemljama da koriste iskustva kako bi poboljÅ¡ale izradu i implementaciju tekućih projekata, programa i politika ili kako bi promijenile pravce u budućnosti ili oboje. Mnoge razvijene i zemlje u razvoju uspostavile su sisteme monitoringa i evaluacije (MiE) koji će biti u funkciji razvoja. Ovi sistemi mogu se uspostaviti na razliÄ?ite naÄ?ine zavisno od potreba i resursa koji stoje na raspolaganju. Evaluacija u razvijenim zemljama Većina od 30 zemalja Ä?lanica Organizacije za ekonomsku saradnju i razvoj (OECD) već imaju razvijene MiE sisteme. Njihovo uspostavljanje nije bio ni jednostavan ni jednoobrazan proces. Ove zemlje se razlikuju, Ä?esto i znaÄ?ajno, u naÄ?inima, pristupima, stilovima i stupnjevima razvoja. Furubo, Rist i Sandahl (2002) mapirali su evaluacijske kulture u zemljama OECD kako bi objasnili prouÄ?avane modele. Ispitali su 9 varijabli u 23 zemlje, ocjenjujući svaku zemlju ocjenama od 0 (nisko) do 2 (visoko) za svaku od sljedećih varijabli: 1. Evaluacija se provodi u mnogim podruÄ?jima. 2. Postoji dovoljno evaluatora specijaliziranih u razliÄ?itim disciplinama koji dobro vladaju razliÄ?itim evaluacijskim metodama i koji provode evaluacije. 3. Postoji nacionalni (državni) diskurs o pitanju evaluacije u kojem su opće disku- sije prilagoÄ‘ene specifiÄ?nim uvjetima i okruženju koji vladaju u odreÄ‘enoj zemlji. 4. Postoji profesija (zanimanje) okupljena u vlastitim druÅ¡tvima ili Ä?esto sudjelovanje na sastancima meÄ‘unarodnih druÅ¡tava ili barem neka rasprava o normama i etici te profesije. 5. Postoje institucionalni aranžmani u organima vlasti za obavljanje evaluacija i dostavljanje rezultata evaluacija onima koji donose odluke. 6. Takvi institucionalni aranžmani su prisutni i u parlamentu ili drugim zakono- davnim tijelima za provedbu procjene i za njihovo dostavljanje donosiocima odluka. 50 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije 7. Postoji element pluralizma — to znaÄ?i da u svakoj domeni politike postoje razliÄ?iti ljudi ili tijela (agencije) za pokretanje i obavljanje evaluacije. 8. Evaluacija se, takoÄ‘er, provodi i u najviÅ¡oj revizorskoj instituciji. 9. Evaluacije se ne bi trebale fokusirati samo na tehniÄ?ki aspekt ili odnos izmeÄ‘u ulaza i izlaza. Evaluacije nekih javnih sektora moraju imati programske ili politiÄ?ke rezultate kao svoj cilj (Furubo, Rist, i Sandahl 2002). Prema ovim kriterijima, Australija, Kanada, Holandija, Å vedska i Sjedinjene AmeriÄ?ke Države su imale najviÅ¡i rang “kulture evaluacijeâ€? meÄ‘u zemljama OECD-a u 2002. godini. Zemlje OECD-a su razvile kulturu evaluiranja i MiE sisteme kao odgovor na razliÄ?ite nivoe unutarnjih i vanjskih pritisaka. Francuska, NjemaÄ?ka i Holandija, na primjer, razvile su kulture evaluiranja kao odgovor na jake unutarnje i vanjske (uglavnom one koji se odnose na Evropsku uniju) pritiske. Nasuprot tome, zemlje poput Australije, Kanade, Republike Koreje i SAD-a bile su motivi- rane uglavnom jakim unutarnjim pritiskom (Furubo, Rist i Sandahl 2002). Prva grupa zemalja OECD-a pri usvajanju kulture evaluiranja bila je motivi- rana u velikoj mjeri jakim unutarnjim pritiscima, kao Å¡to su imperativi planiranja, programiranje i budžetiranje, imperativi za nove programe socio-ekonomske potroÅ¡nje, kao i imperativi zakonodavnog nadzora. Nekoliko faktora je dopri- nijelo izgradnji kulture evaluiranja u zemljama koje su to prve uÄ?inile. Mnoge od njih bile su predodreÄ‘ene da to uÄ?ine jer su imale demokratske politiÄ?ke siste- me, jaku empirijsku tradiciju, državnu službu educiranu u poljima druÅ¡tvenih znanosti (nasuprot striktno pravnog obrazovanja) i efikasne upravno-administra- tivne sisteme i institucije. Zemlje s visokim izdvajanjima za obrazovanje, zdravstvo i socijalna davanja usvojile su mehanizme evaluacije na ovim podruÄ?jima, Å¡to se kasnije proÅ¡irilo i na ostala podruÄ?ja javnih politika. Zemlje Ä?lanice OECD-a, koje su najprije izgradile kulturu evaluiranja, odigrale su kljuÄ?nu ulogu u Å¡irenju takve kulture i u drugim zemljama na takav naÄ?in Å¡to su Å¡irile ideje i informacije o evaluiranju i poÄ?ele osnivati organizacije, institute za obuku, mreže i konsultantske firme koje su se bavile evaluiranjem. Nasuprot njima, mnoge zemlje koje su kasnije postale Ä?lanice OECD-a (ukljuÄ?ujući i Irsku, Italiju i Å paniju) nastojale su odgovoriti na pitanja evalu- iranja uglavnom zbog snažnih vanjskih pritisaka, ponajprije zahtjeva za Ä?lanstvo u Evropskoj uniji (EU), ukljuÄ?ujući i pristup EU strukturnim razvojnim fondo- vima. Ove zemlje su bile pod velikim utjecajem kulture evaluiranja iz zemalja „starih“ Ä?lanica, ali isto tako i već izgraÄ‘ene kulture evaluiranja koja je bila ukori- jenjena u meÄ‘unarodnim organizacijama s kojima su doÅ¡li u interakciju. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 51 Tavistock institut (2003) opisuje model odnosno mapu za put za razvoj spo- sobnosti evaluiranja koji se sastoji od Ä?etiri faze (nivoa) i meÄ‘ufazna odrediÅ¡ta: • faza 1: Obavezna evaluacija • faza 2: Koordinacija evaluacije • faza 3: Institucionalizaciju evaluacija i • faza 4: Izgradnja sistema evaluacije. Faza 1 obiÄ?no poÄ?inje kao rezultat vanjskog pritiska koji zahtijeva evaluaciju putem zakonskih normi, propisa ili ciljeva politike. ÄŒak i u sluÄ?ajevima kada takav pritisak dolazi iznutra, odreÄ‘eni nivo vanjske kontrole je vrlo vjerovatan. Faza 2 ukljuÄ?uje dvije vrste akcije kao odgovor na formalnu i na normama zasnovanu politiku evaluacije iz prve faze. Prva pruža smjernice i osnovne alate; druga daje naglasak na usavrÅ¡avanje (profesionalizaciju) osoblja kao naÄ?in poboljÅ¡anja kvaliteta. Faza 3 obiÄ?no poÄ?inje kada je centralna jedinica uspostavljena i u funkciji. Ova faza ukljuÄ?uje dva koraka koji se obiÄ?no Ä?ine u isto vrijeme: uspostavljanje decentraliziranih jedinica i poboljÅ¡anje ponude ekspertize evaluiranja. Faza 4 podrazumijeva uspostavljanje potpuno operativnog sistema evaluacije u kojem je evaluacija inkorporirana u proces usvajanja politika, upravljanja pro- gramima i cjelokupnu upravu. To ukljuÄ?uje uspostavljanje jaÄ?ih internih veza unutar samog sistema i otvaranje mreže vanjskim sudionicima. Prve zemlje Ä?lanice OECD-a razlikovale su se od zemalja koje su kasnije pristupile toj organizaciji u svojim pristupima kreiranju sistema evaluacije i monitoringa. One su usvojile jedan od sljedeća tri pristupa: • pristup „kompletne vlade“ • „enklava“ pristup i • mjeÅ¡oviti pristup. Pristup „kompletne vlade“: Å irok i sveobuhvatan sistem monitoringa i evaluacije u svim organima vlasti Ovaj pristup je usvojen u nekim od zemalja koje su najprije uspostavile MiE sistem kao Å¡to je sluÄ?aj sa Australijom. Ovakav pristup ukljuÄ?uje Å¡irok i sveo- â– â–  Pristup buhvatan sistem monitoringa i evaluacije u svim organima vlasti. Pristup „kompletne „kompletne vlade“ se ne može postići preko noći; takav pristup zahtijeva naj- vlade“: manje deceniju da bi se takav okvir ugradio na održiv naÄ?in (World Bank 1999). Å irok i sveobuh- Da bi ovakav pristup uspio, mora se osigurati i održati jaka podrÅ¡ka vlasti, vatan sistem monitoringa i moraju se razviti neophodne vjeÅ¡tine, a strukture i sistem državne službe moraju evaluacije u biti postavljeni tako da maksimalno koriste rezultate monitoringa i evaluacije. svim organima vlasti 52 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Zemlje u razvoju takoÄ‘er moraju osigurati Ä?vrstu podrÅ¡ku agencija (tijela) za razvojnu pomoć. Usvajanjem Milenijskih razvojnih ciljeva, mnoge zemlje u razvoju nastoje osmisliti i provesti sveobuhvatan sistem evaluacije „kompletne vlasti“. Uz sve veći fokus na rezultate u kontekstu meÄ‘unarodne pomoći i meÄ‘unarodnih kredita, sve viÅ¡e donatora, vlada i drugih institucija pruža pomoć zemljama u razvoju da izgrade kapacitete i sisteme evaluiranja. Australijski pristup evaluaciji Australija je bila meÄ‘u pionirima u razvijanju sistema monitoringa i evaluacije a proces je zapoÄ?ela 1987. godine. Svojstvene prednosti koje su pogodovale izgradnji zdrave kulture i strukture evaluiranja ukljuÄ?uju sljedeće elemente: • jaki ljudski, institucionalni i upravljaÄ?ki kapaciteti u javnom sektoru; • državna služba poznata po integritetu, Ä?estitosti i profesionalizmu; • razvijeni finansijski, budžetski i raÄ?unovodstveni sistemi; • duga tradicija odgovornosti i transparentnosti vlasti; • kredibilni i legitimni politiÄ?ki lideri. Dva glavna faktora doprinijela su uspjeÅ¡noj izgradnji snažnog sistema evalu- acije u Australiji. Kao prvo, budžetska ograniÄ?enja su primorala Vladu da potraži druge naÄ?ine postizanja veće vrijednosti za isti novac. Kao drugo, Australija je takoÄ‘er imala dvije važne institucionalne prvake za evaluaciju - Ministarstvo finansija i australski Državni ured za reviziju. TakoÄ‘er, imala je podrÅ¡ku Ä?lanova vlade i kljuÄ?nih ministara, koji su pridavali važnost koriÅ¡tenju evaluacijskih nalaza kako bi Å¡to bolje informirali donosioce odluka (Mackay 2002). Prvi krug evaluacije (1987-1997) je zapoÄ?et u vrijeme teÅ¡kih budžetskih ograniÄ?enja. Mnoge reforme javnog sektora ukljuÄ?ivale su davanje veće autonomije sektorima i agencijama, ali nisu provodili monitoring i evaluaciju. Stoga su vlade primorale sektore i odjeljenja da provode evaluaciju. Ciljevi ove prve generacije MiE sistema bili su da pomogne u pripremi i izvrÅ¡enju budžeta, da pojaÄ?a odgovornost unutar vladinih agencija i da pomogne rukovodiocima u ministarstvima i agencijama. Prvu generaciju sistema MiE razvilo je Ministarstvo finansija. Evaluacije su se obavezno provodile najmanje jednom u tri do pet godina za svaki program. Resorna ministarstva su morala pripremiti trogodiÅ¡nji plan za glavne evaluacije. KoriÅ¡ten je Å¡irok spektar tipova evaluacije. Do sredine 1990-tih u svakom momentu provodilo se oko 160 evaluacija. Za prikupljanje indikatora o performa- nsama ili izvjeÅ¡tavanje o njima nisu postavljani veliki formalni uvjeti. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 53 Svi rezultati evaluacije dostavljeni su Ä?lanovima vlade koji su ih veoma ozbiljno uzimali u obzir. Ustvari, skoro 80% novih prijedloga i dvije trećine opcija za uÅ¡tede utjecali su na vladu u odluÄ?ivanju o budžetskim pitanjima. MeÄ‘u drugim prednostima ovog sistema bila je i velika upotreba rezultata evaluiranja od strane ministarstava i agencija, ali i Ä?injenica da je evaluiranje postalo jedan zajedniÄ?ki poduhvat. MeÄ‘utim, sistem prve generacije je imao i odreÄ‘ene slabosti. Naime, kvalitet evaluacija je bio razliÄ?it. TakoÄ‘er, nije bilo dovoljno centralne podrÅ¡ke za napre- dniju obuku na temu evaluacije kao i nedovoljno formalnih uvjeta za prikupljanje i izvjeÅ¡tavanje o indikatorima (pokazateljima) uÄ?inka. Ministarstva su tvrdila da je ovakav sistem veliki teret za administraciju i upravu. Druga generacija evaluacije u Australiji zapoÄ?eta je dolaskom na vlast nove konzervativne vlade. MeÄ‘u najvećim promjenama je bilo znaÄ?ajno smanjenje državne službe, odbacivanje sistema savjetovanja u budžetskoj proceduri, smanjenje centralnog nadzora i “birokratskihâ€? pravila i znaÄ?ajano smanjenje u broju osoblja u Ministarstvu finansija Ä?ime je umanjena njegova savjetodavna uloga u budžetskoj proceduri. Kao rezultat ovakvih promjena u vlasti, MiE sistem se takoÄ‘er morao promi- jeniti. OdbaÄ?ena je stara strategija evaluiranja i postupak evaluacije je dobio drugaÄ?iji formalno-pravni status – bio je preporuÄ?ljiv, ali ne i obavezan. Naglasak je stavljen na monitoring uÄ?inka izlaznih rezultata i ishoda, o Ä?emu je Parlament bio izvjeÅ¡ten ex ante i ex post. Državni ured za reviziju Australije je izvijestio da je rad ovog sistema druge generacije bio u potpunosti neadekvatan. Prikupljanje podataka je bilo slabo zbog loÅ¡ih standarda. Ciljni rezultati ili benchmarking su se slabo koristili. Mnogo informacija se prikupljalo o izlaznim rezultatima vlade, a malo o vladinim ishodima. Nedostajale su suÅ¡tinske informacije o analizi uÄ?inka. Parlamentarna komisija je bila veoma nezadovoljna informacijama koje je dobila o ovakvim sla- bostima. Uprkos tome, nekoliko ministarstava (Ministarstvo porodice i komunal- nih usluga, Ministarstvo obrazovanja i Ministarstvo zdravlja) joÅ¡ uvijek je uÄ?ilo iz evaluacija dobre prakse. Treća generacija (od 2006. godine) bila je inspirirana i motivirana sve većom zabrinutošću za poteÅ¡koćama na koje se nailazilo u implementiranju kompleksnih vladinih programa kao i za principom „meÄ‘usobne povezanosti“ (tj. koordinaci- jom raznih ministarstava i agencija, kako federalnih/državnih tako i regionalnih/ republiÄ?kih). Osim toga, i Ministarstvo odbrane nastojalo je ponovo vratiti svoju savjetodavnu ulogu u postupcima odluÄ?ivanja i budžetskoj proceduri (Mackay 2007). Uspostavljene su dvije vrste nadzora kako bi se osigurala djelotvorna i efikasna potroÅ¡nja budžetskih sredstava koja je u skladu sa vladinim prioritetima. StrateÅ¡ki 54 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije nadzor (sedam puta godiÅ¡nje) fokusirao se na svrhu, dizajniranje, upravljanje, rezultate i buduća unapreÄ‘enja koja su bila potrebna u osnovnim politiÄ?kim i budžetskim oblastima. Programski nadzor (takoÄ‘er sedam puta godiÅ¡nje) foku- siran je na pojedinaÄ?ne programe i njihovo usklaÄ‘ivanje sa vladinim ciljevima, efektivnost, duplikaciju, preklapanje i uÅ¡tede. Ministarstvo odbrane zaduženo je za voÄ‘enje nadzora i donesena je odluka da se sistem Å¡ablonski unaprijedi. Vlada je odobrila iznos od 17 miliona US$ za nadzor u periodu od Ä?etiri godine. Za voÄ‘enje dva pilot programa angažirani su penzionirani državni službenici koji su nastavili sa uvjetima za monitoring uÄ?inaka iz druge generacije. Kakve su lekcije nauÄ?ene iz razvoja programa evaluacije u Australiji? • Pitanja koordinacije, implementacije i uÄ?inaka (rezultata) programa predsta- vljaju stalne izazove za svaku vlast. • NaÄ?in donoÅ¡enja odluka u vladi odreÄ‘uje stepen zahtijevanja informacija monitoringa i evaluacije (i nadzora). • Izgradnja kontrolnog sistema MiE iziskuje vrijeme. • TeÅ¡ko je uspostaviti ravnotežu izmeÄ‘u centraliziranih (od vrha prema dnu) i decentraliziranih (od dna prema vrhu) potreba za informacijama. • Većina minstarstava (uprave) prirodno nisu sklona provoÄ‘enju evaluacije koju smatraju skupom i opasnom. AmeriÄ?ki zakon o rezultatima uÄ?inka Vlade SAD-a iz 1993. godine KljuÄ?ni momenat u razvoju sistema evaluacije u organima vlasti u Sjedinjenim AmeriÄ?kim Državama u posljednjih 20 godina bio je usvajanje Zakona o rezulta- tima uÄ?inka Vlade (GPRA) 1993. godine kojim je uspostavljena evaluacija na osnovu rezultata u svim državnim agencijama u SAD-u. Zakonom se neposredno propisuje naÄ?in na koji se provodi evaluacija u tijelima i agencijama ameriÄ?ke vlade. Ovakav zakon predstavlja pristup „kompletne vlade“ koji je zapoÄ?eo sa probnim projektima prije faze u kojoj su slijedile promjene. Mjerenje uÄ?inka u SAD prve su poÄ?ele primjenjivati lokalne vlasti u ‘70-tim. Ta praksa se potom proÅ¡irila i na nivo država a zatim i na federalni nivo, nakon donoÅ¡enja navedenog Zakona 1993. godine. Federalna Vlada u Sjedinjenim AmeriÄ?kim Državama mjerenje uÄ?inka je prihvatila kasnije u odnosu na druge nivoe vlasti. Ciljevi GPRA-a su sljedeći: 1. da osnaži povjerenje ameriÄ?kog naroda u sposobnost federalnih vlasti kroz sistematsko traženje odgovornosti od tijela i agencija federalne vlasti za posti- zanje programskih ciljeva; Razumijevanje pitanja koja pokreću razvojnu evaluaciju 55 2. da inicira reforme u oblasti programskog uÄ?inka sa serijom pilot projekata kroz postavljanje ciljeva programa, mjerenje uÄ?inka programa u odnosu na te ciljeve, i javno izvjeÅ¡tavanje o napretku; 3. da poboljÅ¡a djelotvornost federalnih programa i odgovornost vlasti prema graÄ‘anima kroz promoviranje jednog novog fokusiranja na rezultate, kvalitet usluga i zadovoljstvo korisnika; 4. da pomogne rukovodiocima u strukturama federalne vlasti da poboljÅ¡aju pružanje usluga, zahtijevajući od njih da planiraju zadovoljavanje i ispunja- vanje programskih ciljeva, ali i pružajući im informacije o rezultatima pro- grama i kvalitetnu uslugu; 5. da poboljÅ¡a donoÅ¡enje odluka u Kongresu kroz osiguranje objektivnijih informacija u vezi sa postizanjem zadatih ciljeva, te relativne djelotvornosti i efikasnosti federalnih programa i potroÅ¡nje i 6. da poboljÅ¡a interno rukovoÄ‘enje federalnim agencijama i tijelima vlasti. Ovaj zakon je federalnim agencijama naložio da se usredotoÄ?e na vlastite misije i ciljeve, kako da ih postignu te kako da unaprijede organizacijske strukture i poslovne procese. Prema tom Zakonu, agencije su dužne da daju petogodiÅ¡nji strateÅ¡ki plan za svoje programe te da ih ažuriraju svake tri godine. Moraju, takoÄ‘er, identificirati bilo kakve “kljuÄ?ne vanjske faktoreâ€? koji mogu imati znaÄ?ajan utjecaj na sposobnost agencije da postigne vlastite ciljeve i zadatke. Osim toga, agencije su dužne da objave godiÅ¡nji izvjeÅ¡taj o programskom uÄ?inku. (U.S. Ministarstvo rada, 1993, stav 1) Agencije takoÄ‘er moraju mjeriti rezultate svog rada kako bi bile sigurne da su na pravom putu da postignu svoje ciljeve i donose odluke na osnovu kvalite- tnih informacija. Mjerenje uÄ?inka mora biti zasnovano na karakteristikama pro- grama i mora biti potpuno, taÄ?no i konsistentno. Moraju se koristiti prikupljeni podaci kako bi se unaprijedili organizacijski procesi, identificirali propusti i postavili radni ciljevi (U.S. GAO 2003). Jedno istraživanje 16 programa koje je implementiralo 12 agencija vlade SAD-a a koje je provedeno 2003. godine pokazalo je da su mnogi vladini programi već koristili redovno prikupljane podatke o rezultatima kako bi im to pomoglo da unaprijede te programe. Primjera radi, podaci o rezultatima koriÅ¡teni su kako bi se mogle poduzimati korektivne mjere, identificirati i poti- cati „najbolje prakse“, motivirati i regrutirati osoblje, te planirati budžet. Istraživanje je istovremeno pokazalo i neke kontinuirane prepreke koriÅ¡tenju podataka o rezultatima, kao Å¡to su: • nedostatak autoriteta ili interesa da se naprave promjene; • ograniÄ?eno shvatanje i koriÅ¡tenje podataka o ishodima; • problemi sa podacima o ishodima (zastarjeli podaci, nedisagregirani podaci, nedostatak specificiranja, potreba za posrednim podacima, itd...) i • strah od “ljuljanja brodaâ€? (Hatry i drugi 2003). 56 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije GPRA je 2003. godine izmijenjen kako bi bio proÅ¡iren i na performanse i proces usvajanja budžeta. TakoÄ‘er, uÄ?injen je dodatni napor kako bi se taÄ?nije vreme- nski utvrdilo strateÅ¡ko i godiÅ¡nje planiranje i izvjeÅ¡tavanje prema ovom Zakonu. Channah Sorah je ukratko opisao GPRA kao samo dobar posao. Njegovi zahtjevi pružili su vladinim uredima alat za osnovne naÄ?ine poslovanja uz dosta senzibi- liteta: postaviti radne ciljeve i mjeriti dugoroÄ?ne i kratkoroÄ?ne rezultate. Svaka organizacija koja nastoji pružiti bolji kvalitet življenja, veći obim usluga, te bolji ukupni kvalitet klijentskih usluga mora imati svoju viziju i misiju, postaviti zadatke i ciljeve i mora mjeriti rezultate. (2003, pp. 5-6) U jednoj studiji iz 2003. godine, Državni ured za odgovornost je doÅ¡ao do rezu- ltata da se mnoge vladine agencije susreću sa ozbiljnim izazovima u usposta- vljanju smjera za rezultate na nivou cijele agencije. Rukovodioci na federalnom nivou koji su ispitani u okviru istraživanja izjavili su da rukovodioci agencija nisu konsistentno pokazivali veliku predanost postizanju rezultata. Osim toga, prema njima, agencije nisu uvjek pozitivno ocijenile uposlenike koji su pomagali agenciji u postizanju strateÅ¡kih ciljeva. Državni ured za odgovornost takoÄ‘er je izvjestio da su one agencije koje su postigle dobre rezultate nastojale fokus menadžmenta i odgovornosti preusmjeriti sa aktivnosti i procesa na doprinose i postizanje rezultata. MeÄ‘utim, iako su mnogi ispitani rukovodioci izjavili da su smatrani odgovornim za postizanje ciljeva njihovog programa, samo nekoliko ih je izjavilo da oni zaista imaju moć odluÄ?ivanja koja im je potrebna da bi pomogli agenciji da postigne strateÅ¡ke ciljeve. Na kraju, Državni ured za odgovornost je doÅ¡ao do zakljuÄ?ka da, iako su rukovodioci sve viÅ¡e izvjeÅ¡tavali da za svoje programe imaju mjere za praćenje rada (na osnovu rezultata), nivo koriÅ¡tenja informacija o rezultatima u kljuÄ?nim aktivnostima rukovodstva o kojem su ovi rukovodioci izvjeÅ¡tavali bio je manji u odnosu na prethodna istraživanja. Studija Državnog ureda je prepoznala potrebu da se transformira organizacijska kultura kako bi bila viÅ¡e okrenuta prema rezulta- tima, viÅ¡e fokusirana na klijente (korisnike) i viÅ¡e kolaborativna (saradniÄ?ka). Vodeće javne organizacije u Sjedinjenim AmeriÄ?kim Državama i dru- gim zemljama su otkrile da strateÅ¡ko upravljanje ljudskim kapitalom mora biti srediÅ¡nji dio bilo kakve ozbiljne inicijative upravljanja promjenama i nasto- janja da se transformira kultura vladinih agencija. Sistemi upravljanja uÄ?incima su sastavni dio strateÅ¡kog upravljanja ljudskim kapitalom. Takvi sistemi mogu biti kljuÄ?ni instrumenti za maksimiziranje uÄ?inaka tako Å¡to bi uskladili mjere institucionalnih uÄ?inaka s individualnim uÄ?inkom i stvorili “vidokrugâ€? izmeÄ‘u pojedinaÄ?nih i organizacijskih ciljeva. Vodeće organizacije koriste svoje sisteme upravljanja uÄ?inkom kao kljuÄ?ni alat za usklaÄ‘ivanje uÄ?inaka institucije, insti- tucionalnih jedinica i pojedinaÄ?nih zaposlenika, postizanje rezultata, ubrzanje promjena, dnevno upravljanje organizacijom, i olakÅ¡avanje komunikacije tokom Razumijevanje pitanja koja pokreću razvojnu evaluaciju 57 cijele godine tako da su rasprave o individualnom i organizacijskom uÄ?inku inte- grirane i svakodnevne. „Enklava“ pristup â– â–  „Enklava“ pristup: Sposobnost da se uspostavi sistem evaluacije Ä?esto se razlikuje od ministarstva Uspostava do ministarstva. Iz tog razloga, strategija „cijele vlade“ ne može pokretati sva sistema ministarstva istovremeno; tada za razvoj takvih sistema može postojati potreba da evaluacije i se ministarstva svrstavaju prema redoslijedu. Inovacije na jednom nivou Ä?esto se monitoringa u filtriraju kako vertikalno tako i horizontalno na druge nivoe vlasti. jednom dijelu ili sektoru vlade u „Enklava“ pristup se fokusira na jedan dio ili sektor vlade, kao Å¡to je jednom jedno ministarstvo. Meksiko se, na primjer, fokusirao na druÅ¡tveni razvoj, vremenu, npr. u Jordan na planiranje a Kirgistan na zdravstvo. Rad s jednim ministarstvom koje jednom ima snažno vodstvo može biti najbolji naÄ?in djelovanja u zemljama koje nemaju ministarstvu kapacitet za pristup „cijele vlade“. â– â–  MjeÅ¡oviti pristup: MjeÅ¡oviti pristup Sveobuhvatna Zemlje poput Irske su usvojile mjeÅ¡oviti pristup evaluaciji. uspostava sistema Dok su neka podruÄ?ja (kao Å¡to su projekti finansirani iz strukturnih fondova EU) monitoringa i sveobuhvatno evaluirana, druga podruÄ?ja dobivaju manje pažnje. Vlada Irske je evaluacije u zapoÄ?ela stvaranje svog sistema evaluacije pristupom „enklave“, ali je promi- nekim dijelovi- jenjen u smjeru sveobuhvatnog pristupa posebno Å¡to se tiÄ?e programa državne ma vlade, dok potroÅ¡nje (Lee 1999). MjeÅ¡oviti pristup može biti valjana alternativa za neke se drugim zemlje u razvoju. dijelovima vlade pridaje manje pažnje Povećanje razvoja kapaciteta evaluiranja u Irskoj Kao mnoge druge zemlje u kasnim ‘60-tim, Irska je imala interes za raciona- lnu analizu i njenu primjenu u planiranju i izradi budžeta. Oni koji su usvajali vladinu politiku identificirali su potrebu za objektivnim istraživanjima druÅ¡tvenih programa te razvoj i potrebe onih koji su bili ukljuÄ?eni kako bi stekli vjeÅ¡tine potrebne za provedbu ove studije (Friis 1965; Public Services Organisation Review Group 1969). Pokrenuto je nekoliko inicijativa koje bi razvile vjeÅ¡tine evaluiranja. UnatoÄ? tim inicijativama, opseg tih evaluacija bio je ograniÄ?en, te su imale malo utjecaja na proces donoÅ¡enja odluka sve do kasnih ‘80-tih. Ovaj nedostatak utjecaja je uzrokovan djelimiÄ?no nepostojanjem jake tradicije evaluiranja poli- tika i programa u Irskoj, a dijelom i zbog Ä?injenice da su evaluacije provedene u vrijeme ekonomske krize kada evaluacija kao alat za dobro upravljanje nije smatrana jednako važna kao i potreba za kontrolom javne potroÅ¡nje. Izuzetak od ovog nedostatka utjecaja su EU izdaci u Irskoj. Fondovi Evropske unije implementiraju se kroz niz operativnih programa, koji se vode 58 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije prema zajedniÄ?kom Okvirnom planu za podrÅ¡ku Zajednice izmeÄ‘u EU i Irske (CSF). Evropska unija kao glavni izvor finansijske pomoći zahtijevala je dosljednu i sistematiÄ?nu evaluaciju. Evaluacije programa koje je finansirala EU znaÄ?ajno su utjecale na dvije glavne oblasti (politike): (a) obuka i usavrÅ¡avanje u privredi i sheme otvaranja radnih mjesta i (b) borba protiv siromaÅ¡tva i drugi programi razvoja zajednice. Oblast tržiÅ¡ta radne snage uglavnom se fokusirala na kvantita- tivno mjerenje ishoda, dok su inicijative razvoja zajednice bile usredotoÄ?ene na kvalitativne metode koje su se viÅ¡e ticale opisa, a manje mjerenja ishoda (Boyle 2005). IzmeÄ‘u 1989. i 1993. godine osnovane su dvije nezavisne jedinice za evalu- acije, jednu je osnovao Evropski socijalni fond, a drugu je osnovala Jedinica ocjenjivanja industrije. Od 1989. godine evaluacija strukturnih fondova EU postala je formalni uvjet za sve one koji su primali pomoć, a sve to je dovelo do daljnjeg razvoja evaluacije. U periodu izmeÄ‘u 1994. i 1999. u okviru Minista- rstva finansija uspostavljena je Centralna jedinica za evaluacije. Treća jedinica za evaluacije uspostavljena je s ciljem da se bavi evaluacijama u oblastima poljoprivrede i ruralnog razvoja, te su imenovani vanjski evaluatori za evalu- iranje troÅ¡kova predviÄ‘enih operativnim planovima i CSF planom. IzmeÄ‘u 1999. i 2006. godine doÅ¡lo je ponovo do povećanog interesa za domaćom evaluacijom javnih troÅ¡kova u Irskoj. Povećan je kapacitet Centralne jedinice za evaluacije kako bi mogla preuzeti ove dodatne obaveze, a ukinute su nezavisne jedinice za evaluacije. Angažirani su vanjski evaluatori da obave srednjoroÄ?nu evaluaciju operativnih programa i Plana nacionalnog razvoja (Boyle 2005). Usvajanje novog pristupa evaluaciji u Francuskoj Do 2001. godine Francuska je bila meÄ‘u zemljama Ä?lanicama OECD koje su se najsporije kretale u pravcu izgradnje zdravog sistema evaluacije. Francuska je zaista u tom pogledu zaostajala iza mnogih tranzicijskih ekonomija i zemalja u razvoju. Tokom kasnih ‘80-tih i tokom ‘90-tih pokuÅ¡alo se sa nekoliko razliÄ?itih vrsta reformi. Nakon toga, vlada je 2001. godine usvojila nova pravila kojim se ukida finansijska odredba uspostavljena joÅ¡ Ustavom iz 1959. godine prema kojoj se budžet priprema po stavkama i uspostavlja se novi pristup programiranju. Novi podzakonski akti koji su omogućeni ustavnom izmjenom a koji su planirani da se provedu u periodu od 5 godina (2001-06), imali su dva osnovna cilja: (a) reformu okvira upravljanja javnim sektorom kako bi bio orijentiran na rezultate i performanse i (b) jaÄ?anje zakonodavne kontrole. Kao Å¡to je tadaÅ¡nji premijer Lionel Jospin primijetio “Predstavljanje budžeta u obliku programa koji grupi- raju troÅ¡kove prema glavnim javnim politikama trebao bi i Ä?lanovima Parlamenta i graÄ‘anima dati jasniju sliku o vladinim prioritetima te troÅ¡kovima i rezultatima Razumijevanje pitanja koja pokreću razvojnu evaluaciju 59 njenih akcijaâ€? (Republika Francuska 2001). Prihvaćeno je oko 100 programa i dodijeljena su im finansijska sredstva. Budžet svakog programa koji je podnesen Parlamentu morao je sadržavati i izjavu o jasnim ciljevima i pokazateljima uÄ?inka (performansi). Rukovodioci u javnom sektoru imali su veću slobodu i autonomiju kada je u pitanju alociranje sredstava, ali su zauzvrat smatrani joÅ¡ odgovornijim za rezultate. Tako da se može reći da je novi proces usvajanja budžeta bio potaknut rezultatima. Budžetski zahtjevi za dodatnim sredstvima morali su sadržavati godiÅ¡nje planove performansi koji su detaljno pojaÅ¡njavali oÄ?ekivane naspram stvarnih rezultata za svaki program. GodiÅ¡nji izvjeÅ¡taji o uÄ?inku (uspjehu) takoÄ‘er su bili ukljuÄ?eni u izmjene budžeta. Cilj ovakvih mjera bio je da omogući zakonodavcu (Parlamentu) da bolje ocjenjuje uspjeh vladinih programa. Ovakva reformska inicijativa promijenila je neke politiÄ?ke i institucionalne odnose unutar francuske vlasti dajući veća budžetska ovlaÅ¡tenja zakonodavnoj vlasti. “Član 40 Ustava ranije je onemogućavao Ä?lanove [zakonodavne vlasti] da predlažu amandmane kojima se uvećavaju rashodi i/ili umanjuju prihodi. Oni mogu mijenjati distribuciju dodijeljenih sredstava meÄ‘u programima u jednom odreÄ‘enom zadatku.â€? Zakonodavac može glasati o procjeni prihoda, iznosima za pojedine misije, ograniÄ?avanju broja radnih mjesta u javnim službama te posebnim raÄ?unima i odreÄ‘enim budžetima. Pored toga, parlamentarne komisije za finansije i budžet imaju zadatak da prate i nadgledaju troÅ¡enje budžetskih sredstava. Državni službenici su odmah reagovali na ovakve izmjene. Uspostavilo se da je nastao novi birokratski nivo kontrole, nove raÄ?unovoÄ‘e, bilo je potrebno viÅ¡e revizija, slalo se viÅ¡e anketa i upitnika od ureda za reviziju i inspekcija, sve viÅ¡e zahtjeva za izvjeÅ¡tavanjem, itd... Rukovodioci su imali poteÅ¡koće u prilagoÄ‘avanju ograniÄ?enjima koja su nametali zahtjevi za postizanjem rezultata (kvantitet) te su, s druge stane, zapostavljali kvalitet usluga, a Å¡to se nije poja- vljivalo u ciljevima. Å to se tiÄ?e kvaliteta usluga, “ne postoji mehanizam konkurencije niti jakog pritiska konzumerizma koji to mogu garantovatiâ€? (Trosa 2008, p. 8). DruÅ¡tva su veoma složena. Nekim ljudima je potrebna finansijska pomoć, drugima je potrebno povjerenje i preuzimanje odgovornosti dok neki žive potpuno sretno. Pitanje je kako rezimirati sva ovakva ponaÅ¡anja u jednu formulu. (Trosa 2008). Kombiniranje ranijeg sistema evaluacije sa novim nije dovelo do slobode menadžmenta, kreativnosti i inovacije. Trosa smatra da je neophodan jedan alternativni model. JoÅ¡ jedna lekcija koja se može nauÄ?iti iz francuskog iskustva jeste da “jaÄ?anje internog menadžmenta se ne može postići bez njegovog povezivanja sa internim upravljanjem javnog sektoraâ€? (Trosa 2008, str. 2). Prema Trosi, novi sistem ne treba uniÅ¡tavati, nego „proÅ¡iriti“ na naÄ?in da se jasno prodi- skutira njegova svrha te da se podstakne logika akcije, a ne samo koriÅ¡tenje alata. 60 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Evaluacija u zemljama u razvoju Zemlje u razvoju se na svom putu izgradnje vlastitih sistema evaluacije suoÄ?avaju sa izazovima od kojih su neki isti kao i u razvijenim zemljama, dok su neki potpuno drugaÄ?iji. Da bi se uspostavio bilo kakav sistem evaluacije u bilo kojoj zemlji i da bi opstao, neophodan je angažman zainteresiranih strana te poÅ¡tovanje principa transparentnosti i dobrog upravljanja. U zemljama u razvoju može biti teže kreirati potrebu za jednim sistemom evaluacije i njegovim „vlasniÅ¡tvom“. Nedovoljna politiÄ?ka volja i slabi institucionalni kapaciteti sporo se razvijaju. PoteÅ¡koće u saradnji i koordinaciji meÄ‘u ministarstvima mogu ugroziti napredak ka strateÅ¡kom planiranju. TakoÄ‘er, nedostatak saradnje i koorodinacije vladinih tijela i organa može biti veoma bitan faktor i u zemljama u razvoju, ali i u onim razvijenim. Kako bi nastali i sazreli, sistemi evaluacije moraju podrazumijevati politiÄ?ku volju vlade, ali i prvake koji su visoko pozicionirani i imaju jaku volju da se preuzmu politiÄ?ki rizici zagovaranja sistema evaluacije. I pored prisustva boraca za evaluaciju u državi, potreban je veliki put da se izgradi i održi jedan sistem evaluacije. Ustvari, ne postoji nijedan sluÄ?aj da je sistem monitoringa i evaluacije u javnom sektoru neke zemlje u razvoju nastao bez nekog borca za evaluaciju. Mnoge zemlje u razvoju joÅ¡ uvijek se muÄ?e da objedine jake i efikasne insti- tucije. U nekima je potrebna reforma državne službe dok su u drugima neophodne reforme zakonskog i regulatornog okvira. Na putu ka ovom cilju, meÄ‘unarodna zajednica za razvoj nastoji unaprijediti ove osnovne elemente kako bi pomogla ovakvim zemljama. Pravi je izazov izgraÄ‘ivati institucije, poduzimati reforme državne službe i upravnog ambijenta, modernizirati pravni i regulatorni okvir a u isto vrijeme graditi sistem evaluacije. Uspostavljanje sistema evaluacije može pomoći u informiranju i usmjeravanju vlade da poduzme neophodne reforme u svim oblastima. Zemlje u razvoju moraju prvo imati ili uspostaviti temelj za jedan sistem evaluacije. Mnoge zemlje se kreću upravo u ovom smjeru. Uspostavljanje ovakvog temelja znaÄ?i da zemlja ima osnovni statistiÄ?ki sistem i podatke kao i kljuÄ?ne budžetske sisteme. Podaci i informacije moraju biti odgovarajućeg kvaliteta i kvantiteta. Kao i razvijene zemlje, zemlje u razvoju moraju poznavati vlastitu poziciju i uvjete u vlastitoj zemlji – gdje se trenutno nalazi u odnosu na odreÄ‘eni program ili politiku. TakoÄ‘er, neophodan je kapacitet radne snage da se razviju, podrže i održe ovakvi sistemi. Službenici moraju biti obuÄ?eni u mode- rnim naÄ?inima prikupljanja podataka, metodama monitoringa i analiza – izazovi koji mogu biti veoma bolni u nekim zemljama u razvoju (Schacter 2002). Kao odgovor na ove izazove, mnoge organizacije za pružanje pomoći su požurile sa svojim nastojanjima da izgrade institucionalne kapacitete. Metode ukljuÄ?uju tehniÄ?ku i finansijsku pomoć za izgradnju sistema statistike, obuku u Razumijevanje pitanja koja pokreću razvojnu evaluaciju 61 oblasti monitoringa i evaluacije, dijagnostiÄ?ke procjene o spremnosti i budžetske sisteme zasnovane na rezultatima i uÄ?inku. Trend ka izradi Strategije pomoći zemlji koja je zasnovana na rezultatima može pomoći da se oblikuju dobre prakse. Pomoć zemljama u razvoju u izradi strategija smanjenja siromaÅ¡tva takoÄ‘er može doprinijeti izgradnji takvih kapaciteta. Kao dio nastojanja da podrže lokalne kapacitete zemalja u razvoju, razvojne agencije i institucije, takoÄ‘er, nastoje stvoriti mreže, kao Å¡to je on-line mreža i participativna druÅ¡tva koja razmjenjuju eskpertize i informacije. Primjeri ovakve prakse su Razvojna kapija (Development Gateway) i Azijsko druÅ¡tvo prakse (Asian Community of Practice). Može se argumentirati da su okolnosti i uvjeti u svakoj zemlji jedinstveni i da iskustvo jedne zemlje ne mora nužno imati sasvim isti uÄ?inak i u drugoj zemlji. MeÄ‘utim, kada se prihvati Ä?injenica da postoji veoma malo općeg znanja o razvoju – da se svo znanje treba prikupiti, a zatim analizirati, modificirati, razvrstati i ponovo kombinirati kako bi odgovaralo lokalnim potrebama – izvor je nevažan. Novi moto je “Skeniraj globalno – osmisli lokalnoâ€? (Fukuda-Parr, Lopes, i Malik, 2002, str. 18). MeÄ‘unarodni program za obuku u razvojnoj evaluaciji Nezavisna grupe za evaluacije Svjetske banke je 1999. godine provela istraživanje kako bi se identificirala obuka na temu razvojnog evaluiranja. DoÅ¡lo se do saznanja da ne postoji niÅ¡ta osim nekoliko programa za razvojne organizacije koji se ne ponavljaju nego se organiziraju samo po jednom. Ovakva saznanja dovela su 2001. godine do pokretanja MeÄ‘unarodnog programa za obuku u razvojnoj evaluaciji (International Program for Development Evaluation Training - IPDET), kao dio glavnih nastojanja da se izgrade kapaciteti za evaluacije u zemljama u razvoju kao i u organizacijama koje su usmjerene na pitanja razvoja. IPDET program obrazuje struÄ?njake i profesionalce koji već rade kao i one koji se pripremaju da poÄ?nu raditi, da dizajniraju i provode evaluacije u odreÄ‘enom razvojnom kontekstu. Ovaj program Ä?etverosedmiÄ?ne obuke koji se održava godiÅ¡nje u Ottawi (Kanada) u kampusu Univerziteta Carleton i uz podrÅ¡ku dru- gih organizacija, rezultanta je saradnje Nezavisne grupe za evaluiranje Svjetske banke, Fakulteta za javna pitanja na Carleton Univerzitetu te drugih orga- nizacija, ukljuÄ?ujući Kanadsku agenciju za meÄ‘unarodni razvoj (CIDA), Odjel za meÄ‘unarodni razvoj Velike Britanije (DfID), Å vicarsku agenciju za razvoj i sara- dnju (SDC), NorveÅ¡ku agenciju za razvojnu saradnju (NORAD), MeÄ‘unarodni centar za razvojna istraživanja (IDRC), MeÄ‘unarodni centar za humanitarno deminiranje iz Ženeve (GICHD), Å vedsku agenciju za meÄ‘unarodnu razvo- jnu saradnju (SIDA), Sekreterijat Komonvelta, Ministarstvo vanjskih poslova Holandije, AfriÄ?ku razvojnu banku (AfDB) i Dansku agenciju za meÄ‘unarodni razvoj (DANIDA). 62 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Kurs IPDET programa poÄ?inje dvosedmiÄ?nim osnovnim programom koji posebnu pažnju posvećuje monitoringu i evaluiranju provedbe strategija borbe protiv siromaÅ¡tva te naglaÅ¡ava znaÄ?aj MiE sistema zasnovanog na rezultatima i znaÄ?aj uÄ?ešća zainteresiranih strana. Osnovni program nudi viÅ¡e od 18 instrukci- jskih Ä?asova, sa kompletnim alatima, studijama sluÄ?ajeva, grupama za diskusije i literaturom. Skoro jedna trećina instrukcijskog vremena posvećena je stuktu- riranim sesijama za grupni rad, koji uÄ?esnicima sa sliÄ?nim interesovanjima daje mogućnost da rade zajedno na pitanjima evaluiranja razvoja iz stvarnog svijeta i da naprave preliminarni dizajn evaluacije nekog programa koji jedan od uÄ?esnika iz grupe mora primijeniti u evaluaciji nakon povratka na radno mjesto. Nakon dvije sedmice osnovnog programa, slijedi takoÄ‘er dvosedmiÄ?ni pro- gram prilagoÄ‘ene obuke u vidu 30 radionica koje nudi veliki broj veoma respe- ktabilnih i poznatih instruktora. Primjeri radionica ukljuÄ?uju i sljedeće: • dizajniranje evaluacije uÄ?inka pod pritiskom; • dizajniranje i izgradnja MiE sistema zasnovanog na rezultatima; • razumijevanje pristupa Svjetske banke evaluaciji zemalja, sektora i projekata; • koriÅ¡tenje mjeÅ¡ovitih metoda za razvojne evaluacije; • koriÅ¡tenje participativnog monitoringa i evaluacije; • evaluiranje postkonfliktnih situacija i provoÄ‘enje zajedniÄ?kih meÄ‘unarodnih evaluacija; • evaluiranje HIV/AIDS programa i • evaluiranje iskljuÄ?enih i marginaliziranih grupa stanovniÅ¡tva. IPDET je jedan od nekoliko programa u razvojnoj evaluaciji koji se nudi godiÅ¡nje. Ovaj program je obuÄ?io viÅ¡e od 2.000 profesionalaca iz ministarstava, bilateralnih i multilateralnih organizacija za pomoć, nevladinih organizacija (NVO) i drugih razvojnih subjekata. IPDET osnovni program sada se nudi po razliÄ?itim nivoima i Ä?ak po zemlja- ma. „PrilagoÄ‘ena“ verzija IPDET-a provedena je, na primjer, u Australiji (za australsku zajednicu NVO-a), Botsvani, Kanadi, Kini, Indiji, Južnoj Africi, Tunisu, Tajlandu, Trinidadu i Tobagu te u Ugandi. Ovi kraći regionalni programi – poznati i kao “mini-IPDETâ€?— visoko su interaktivni, Å¡to ukljuÄ?uje mjeÅ¡avinu prezentacija, grupa za diskusije, grupnih vježbi i studija sluÄ?ajeva. Programi su pripremljeni tako da se maksimizira struÄ?no usavrÅ¡avanje meÄ‘u kolegama, sa naglaskom na rasprave o pitanjima iz stvarnog svijeta i uÄ?enje praktiÄ?nih rjeÅ¡enja za ta pitanja. Na osnovu dokazanog uspjeha IPDET programa putem godiÅ¡njeg izvjeÅ¡tavanja i procjene uÄ?inka, Nezavisna grupa za evaluiranje trenutno radi na partnerstvu sa kineskim Ministarstvom finansija (Sektor za meÄ‘unarodne poslove), Centrom za financije Azije i Pacifika i Azijskom razvojnom bankom o prvoj instituciona- liziranoj regionalnoj ponudi programa. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 63 Program pod nazivom Shanghai IPDET (SHIPDET), nudi se dva puta godiÅ¡nje, jednom na nivou države i jednom regionalno. Uspostavljanje ovog pro- grama pokazuje nastojanja da se pomogne u razvoju kapaciteta za evaluiranje u zemljama i regionima u razvoju. Novi sistemi evaluacije Nastojanja da se izgradi jedan sistem evaluacije i da se svjetlo baci na aloci- ranje sredstava i stvarne rezultate mogu naići na jak politiÄ?ki otpor, negodovanje i odbijanje. Uzimajući u obzir prirodu vlasti u zemljama u razvoju, izgradnja sistema evaluacije takoÄ‘er može dovesti i do ponovnog oblikovanja politiÄ?kih odnosa unutar druÅ¡tva. Stvaranje jednog zrelog sistema evaluacije zahtijeva meÄ‘uzavisnost, prilagoÄ‘avanje i koordinaciju brojnih nivoa vlasti. Postiza- nje takvih uvjeta može biti veoma zahtjevno. U mnogim zemljama u razvoju, vlasti su veoma labavo povezane i joÅ¡ uvjek rade na izgradnji jake upravne kulture i transparentnih finansijskih sistema. Kao rezultat, neke vlasti mogu imati nejasne informacije o iznosima i raspodjeli raspoloživih sredstava i vjerovatno im nedostaje informacija o tome da li su ti resursi iskoriÅ¡teni za namijenjene svrhe. Mjerenje performansi vlasti u jednom takvom ambijentu je Ä?ista aproksimacija. Mnoge razvijene zemlje, ali i zemlje u razvoju, joÅ¡ uvijek rade na tome da povežu performanse sa okvirom ili strategijama javne potroÅ¡nje. Ako se takva veza ne uspostavi, nema naÄ?ina da se utvrdi da li su budžetske alokacije za odreÄ‘ene programe efikasne i da li poluÄ?uju uspjeh. Neke zemlje u razvoju poÄ?inju praviti znaÄ?ajan napredak na ovom planu. Na primjer, Indonezija je ‘90-tih poÄ?ela da uspostavlja vezu izmeÄ‘u evaluacije i postupka raspodjele godiÅ¡njih budžetskih sredstava. “Na evaluaciju se gleda kao na jedan alat koji će ispraviti politiku i poboljÅ¡ati programe javne potroÅ¡nje putem direktnije veze izmeÄ‘u Nacionalnog razvojnog plana i procesa raspodjele sredstava (Guerrero 1999, p. 5). Neke zemlje srednjeg dohotka — ukljuÄ?ujući Brazail, ÄŒile i Tursku — bilježe napredak u povezivanju potroÅ¡nje i ciljanih ishoda. Vlada Brazila izdaje posebne vladine izvjeÅ¡taje o ciljanim ishodima (OECD i PUMA 2002). Mnoge zemlje joÅ¡ uvijek rade sa duplim budžetskim sistemom, jedan za povremene troÅ¡kove i drugi za kapitalne/investicijske troÅ¡kove. Sve donedavno, u Egiptu je Ministarstvo finansija nadziralo realizaciju povremenih troÅ¡kova dok je Ministarstvo za planiranje nadgledalo realizaciju kapitalnih izdataka. Konso- lidiranje ovih budžeta unutar jednog ministarstva zasigurno je vladi olakÅ¡alo da razmotri jedan mnogo Å¡iri sistem evaluacije kako bi osigurala da su nacionalni ciljevi postignuti. Ako se u obzir uzmu posebne poteÅ¡koće uspostavljanja sistema evaluacije u zemljama u razvoju, prihvatanje parcijalnog pristupa ili pristupa „enklave“ (gdje nekoliko ministarstava predvodi usvajanje i izgradnju sistema evaluacije) radije 64 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije nego pristupa „kompletne vlade“ može biti bolje rjeÅ¡enje. PokuÅ¡aj da se ustanovi i usvoji pristup „kompletne vlade“ može biti previÅ¡e ambiciozan. Na primjer, ocjena spremnosti Republike Kirgistana koju je pripremila Svjetska banka 2002. godine preporuÄ?ila je da se pomogne i podrži Ministarstvo zdravstva (koje je već posjedovalo odreÄ‘ene kapacitete) kao potencijalni model za moguću provedbu sistema evaluacije na nivou cijele vlade. Tako su Kina, Malezija i Uganda prihvatile pristup „enklave“ i zapoÄ?ele pro- ces. Njihova nastojanja i iskustva iznesena su i opisana u narednim redovima. Evaluacija motivirana rastom – sluÄ?aj NR Kine Evaluacija je relativno novi pojam u Kini. Prije ranih ‘80-tih taj pojam je bio skoro nepoznat. To nepoznavanje pojma evaluacije utjecalo je i na orijentaciju druÅ¡tvenih nauka u to vrijeme, a tako isto i nedostatak literature o evaluaciji na kineskom jeziku te nedostatak sistematiziranih kontakata kineskih službenika sa kolegama iz drugih krajeva svijeta gdje se prakticira evaluacija. Kinezi su poduzimali neke mjere i radnje koje se odnose na evaluaciju, ukljuÄ?ujući analizu politike, ekonomske studije i menadžment, istraživanja, ocjenjivanja zavrÅ¡etaka projekata te rezimiranje iskustava. Institucionalni i tehniÄ?ki/analitiÄ?ki kapaciteti druÅ¡tvenih djelatnika postojali su na nekim institu- tima za ekonomske politike i istraživanja. MeÄ‘utim, tek 1992. godine kljuÄ?ne centralne agencije kao Å¡to su Državni ured za reviziju administracije, Ministarstvo finansija i Državna komisija za planiranje poÄ?ele su razvijati i pokretati posebne prijedloge za izgradnju kapaciteta za moni- toring i evaluaciju u Državnom vijeću. Centar za evaluaciju nauke i tehnologije i Holandski odjel za evaluiranje politika i operacija proveli su prvu zajedniÄ?ku evaluaciju nauÄ?no-tehnoloÅ¡kih programa (NCSTE i IOB 2004). Nakon kapitalne i razvojne pomoći koja se Å¡alje u Kinu tokom posljednjih 20 godina, u zemlji su znaÄ?ajno porasli kapaciteti i razumijevanje tehnoloÅ¡kih i inžinjerskih analiza, finansijskih analiza, ekonomskih analiza i modeliranja, analiza socijalnog utjecaja, analiza okoliÅ¡nog utjecaja, analiza održivosti te studija izvodivosti. Veoma je impozantno kako je brzo doÅ¡lo do ovakih promjena i napretka u Kini. PokretaÄ?ka snaga za evaluaciju u Kini bio je masivan i održiv talas naciona- lnog razvoja i ekonomskog rasta. GodiÅ¡nji bruto domaći proizvod (BDP) rastao je za viÅ¡e od 7,8 procenata na godiÅ¡njem nivou u periodu od devet godina (sve do 2007. godine). Interes za bavljenjem pitanjima u vezi sa evaluacijom proizlazi iz kineske brige za razvoj. Neke centralne agencije i institucije poput firme China International Engineering Consulting, konsultantske firme u vlasniÅ¡tvu vlade ili Ministarstva graÄ‘evinarstva ili Državne razvojne banke sada imaju izgraÄ‘ene kapacitete za evaluaciju na svojim najvećim organizacijskim nivoima. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 65 Iako je ocjena većine projekata ex post (nakon zavrÅ¡etka projekta), sve viÅ¡e se prihvata miÅ¡ljenje da bi pitanja evaluacije trebala biti ugraÄ‘ena u svaku fazu ciklusa razvojnog projekta. U Kini postoji sve veća svijest o tome da je funkcija evaluacije primjenjiva na sve dijelove projektnog ciklusa. Sada postoji interes da se uspostavi veza izmeÄ‘u evaluacije i formulacije i provedbe pro- grama. Neke evaluacije su već provedene, iako se takve evaluacije rijetko rade na jedan sveobuhvatan naÄ?in. Jedan primjer takve evaluacije desio se 2006. godine, kada je Kina po prvi put ugradila sistematsku mjeru monito- ringa i evaluacije u svoj petogodiÅ¡nji plan. Ovaj sistem koji je ukljuÄ?en u 11. PetogodiÅ¡nji plan i zasniva se na pet koraka koje su identificirali Kusek, Rist i White (2004). U aprilu 2006. godine, Kina je dva puta godiÅ¡nje pokrenula program SHIPDET kako bi se obuÄ?ili evaluatori iz Kine i regije. Partneri u ovom programu su Ministarstvo finansija, Svjetska banka, Azijska razvojna banka i Azijsko-pacifiÄ?ki centar za finansije i razvoj. Kina gradi dobar temelj za evaluaciju iako je to joÅ¡ daleko od uspjeÅ¡nog modela. U strukturi kineske vlade i upravnoj hijerarhiji mora se postići nekoliko kljuÄ?nih zadataka ukoliko postoji namjera da se sistem evaluacije i dalje razvija. Ti zadaci ukljuÄ?uju i sljedeće: • da se uspostavi jedna jaka centralna institucija nadležna za upravljanje i koordinaciju cjelokupnog sistema evaluacije; • da se uspostave formalne jedinice za evaluaciju, politike i uputstva u svim relevantnim ministarstvima i bankama; • priznanje da je doÅ¡lo pravo vrijeme da i provincije i lokalna vlast i uprava zapoÄ?nu vlastite evaluacije; • da se unutar Državnog ureda za reviziju uspostavi jedan postupak revizije sa funkcijom evaluacije tako da se nadzor i kontrola evaluacija provedenih u okviru nadležnih ministarstava kao i da se politike i uputstva o evaluaciji koje su izdale centralne organizacije za evaluaciju, relevantna ministarstva, provi- ncije i banke, mogu provoditi; • da se razviju naprednije metode evaluiranja unutar organizacijskih jedinica i odjeljenja; • da se pojaÄ?a funkcija monitoringa i supervizije u agencijama za investicije i • da se poveća broj dobro obuÄ?enih evaluatora za brojna državna ministarstva, provincije i banke koji dolaze u arenu evaluacije (Houqi i Rist 2002). 66 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Kina je prepoznala znaÄ?aj povećanja zahtjeva za rezultatima evaluacije. Ovaj kljuÄ?ni problem predstavlja izazov u mnogim zemljama koje nemaju tradiciju transparentnog rada vlasti. Budžetiranje na osnovu rezultata, izgradnja nacije i globalna konkurentnost u Maleziji MeÄ‘u zemljama u razvoju, Malezija se nalazi na samom vrhu po provedenim reformama u oblasti državne službe, posebno u vezi sa pitanjima budžeta i fina- nsija. Ove reforme zapoÄ?ete su ‘60-tih kao dio nastojanja vlade da strateÅ¡ki razvije zemlju. S obzirom da je javni sektor prepoznat kao osnovno sredstvo razvoja, naglaÅ¡ena je potreba da se ojaÄ?a državna služba putem upravnih reformi. Malezija je 1969. godine usvojila Sistem budžeta na osnovu programskih uÄ?inaka (PPBS), koji je koristila sve do ‘90-tih. Ovaj sistem je zamijenio line- arni sistem budžeta (prema budžetskim stavkama) sistemom koji je zasnovan na ishodima. Dok su ministarstva i agencije koristile strukturu program-aktivnost, u praksi je implementacija joÅ¡ uvijek liÄ?ila na linearni sistem i na jedan inkreme- ntalni pristup. Reforme budžetskog sistema su se fokusirale na sve veću odgovornost i finansijsku disciplinu raznih vladinih tijela (ministarstava i agencija) koja su imala zadatak da provedu planove socioekonomskog razvoja Malezije. Vlada je takoÄ‘er poduzela jedan broj dodatnih reformi ukljuÄ?ujući i napore da se poboljÅ¡a finansijska usklaÄ‘enost, upravljanje kvalitetom, produktivnost efikasnost vla- dinih akcija kao i upravljanje nacionalnim razvojem. Napori koje je Malezija uložila u reforme budžetskog sistema bili su usko povezani sa naporima usmjerenim ka izgradnji nacije i globalne konkurentnosti. Jedna od pokretaÄ?kih sila ovih reformskih nastojanja bila je da se reforme uvežu sa programom vizija 2020, Ä?iji je cilj bio da Malezija do 2020. godine postane potpuno razvijena zemlja. Vlada je 1990. godine PPBS sistem zamijenila Modificiranim sistemom budžetiranja (MBS). Prema PPBS sistemu, postojala je minimalna veza izmeÄ‘u izlaznih rezultata i ulaznih podataka; nastavilo se sa finansiranjem odreÄ‘enih programa bez obzira Å¡to rezultati nisu bili sistematski mjereni. S druge strane, u MBS sistemu mnogo veći akcenat je stavljen na izlazne rezultate i mjerenje utjecaja programa i vladinih akcija. U kasnim ‘90-tim, Malezija je razvila integrirani i na rezultatima zasnovani sistem upravljanja (IRBM). Sastavni dijelovi ovog sistema bili su budžetski sistem zasnovan na rezultatima i sistem ocjenjivanja uÄ?inka osoblja na osnovu rezultata. Malezija je takoÄ‘er razvila joÅ¡ dva sistema zasnovana na rezultatima — sistem upravljanja informacijama i MiE (monitoring i evaluacija) okvir — koji bi nadopunjavali sistem upravljanja (Thomas 2007). Razumijevanje pitanja koja pokreću razvojnu evaluaciju 67 IRBM sistem predstavlja jedan okvir za planiranje, implementaciju, moni- toring i izvjeÅ¡tavanje o uÄ?inku jedne organizacije. TakoÄ‘er je moguće dovesti u vezu organizacijski uÄ?inak sa uÄ?inkom osoblja. Jedan broj zemalja (ukljuÄ?ujući Afganistan, Botsvanu, Indiju, Mauricijus i Namibiju) integriraju IRBM sistem u fazama, s tim da se u prvi plan stavlja budžetiranje na osnovu rezultata i MiE na osnovu rezultata. U Maleziji je budžetski sistem glavni pokretaÄ? IRBM sistema (Thomas 2007). MIS i MiE sistemi, koji okviru strateÅ¡kog planiranja služe kao jedna dimenzija mjerenja uÄ?inka, Ä?ine IRB sistem dinamiÄ?nijim. MIS i MiE su meÄ‘usobno usko povezani kako bi se osiguralo da takav sistem rezultira ispravnom informacijom za prave osobe i u pravo vrijeme. Indikatori moraju biti i operativni i zasnovani na rezultatima. U Maleziji je razvijen integrirani okvir upravljanja uÄ?inkom, a koristi se elektronska verzija ovog okvira. (Thomas 2007). Malezijska vlada je iz vlastitog iskustva nauÄ?ila nekoliko lekcija: • potrebno je održati program izgradnje kapaciteta za kljuÄ?ne nivoe vlasti; • monitoring i izvjeÅ¡tavanje iziskuju vrijeme; • proces planiranja uÄ?inka mora se ojaÄ?ati kako bi bio Å¡to sveobuhvatniji; • nagrade i sankcije nisu srazmjerne na svim nivoima i • integriranje sa drugim inicijativama je ograniÄ?eno (Rasappan 2007). Vlada takoÄ‘er predlaže nekoliko preporuka: • rad na punom vertikalnom i horizontalnom uvezivanju; • izbjegavati razoÄ?arenja kako na politiÄ?kom tako i na operativnom nivou; • revidirati i jaÄ?ati sve politike i sisteme podrÅ¡ke i • raditi na uspostavi integriranog sistema upravljanja zasnovanog na rezultatima koji će se fokusirati na uÄ?inke vlade kao cjeline (Rasappan 2007). Iako je Malezija bila vodeća zemlja u reformama budžetskog sistema i javne uprave, te reforme nisu iÅ¡le bez poteÅ¡koća niti su bile konzistentne u toku godina. I pored toga, MBS je bila jedna veoma važna inicijativa od strane vlade, kojom se pokazala jedna dalekovidnost, inovativnost, dinamiÄ?nost i predanost da se dobije adekvatna vrijednost za novac koji se uložio u odreÄ‘ene projekte i politike koji su se provodili (World Bank 2001). Smanjenje siromaÅ¡tva kao pokretaÄ?ka sila za sistem evaluacije u Ugandi Vlada u Ugandi obavezala se da će pružati efektivne javne usluge kao podrÅ¡ku svojim prioritetima koji se odnose na smanjenje siromaÅ¡tva. Priznavanje djelo- tvornosti u pružanju usluga kao imperativ upravljanja nacionalnog razvoja jak je dokaz o predanosti te vlade da postigne dobre rezultate. Ta predanost se takoÄ‘er oÄ?ituje i kroz nekoliko tekućih prioriteta i aktivnosti koji se tiÄ?u upravljanja javnim sektorom. 68 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tokom prethodne decenije Uganda je proÅ¡la kroz sveobuhvatne ekonomske reforme i postigla makroekonomsku stabilizaciju. Kao odgovor na Sveobuhvatni razvojni okvir, i Uganda je izradila Akcioni plan borbe protiv siromaÅ¡tva (PEAP), koji je inkorporiran u državni StrateÅ¡ki dokument smanjenja siromaÅ¡tva. PEAP poziva na smanjenje apsolutne stope siromaÅ¡tva sa 44 % koliko je iznosila kasnih ‘90-tih na 10 % do 2017. godine. PEAP i MDG su u Å¡irem smislu veoma sliÄ?ni na naÄ?in da se fokusiraju na isti cilj i da dijele jedan opći cilj a to je da se vlada i partneri u razvoju drže odgovornim za cjelokupni napredak u razvoju. Uganda je postala prva država koja je proglaÅ¡ena podobnom korisnicom inicijative za prezadužene siromaÅ¡ne zemlje (HIPC). Tako se 2000. godine kvali- ficirala za veliku pomoć HIPC inicijative, u znak priznanja za sljedeće uspjehe: efikasnost strategije smanjenja siromaÅ¡tva u ovoj zemlji, savjetodavni proces u koji je bilo ukljuÄ?eno i civilno druÅ¡tvo i kontinuiranu predanost makroekono- mskoj stabilnosti. Uganda je uvela nove mjere kako bi budžetsku proceduru uÄ?inila otvoreni- jom i transparentnijom zainteresiranim unutarnjim i vanjskim faktorima. Vlada modernizira fiskalni sistem, zapoÄ?inje decentralizaciju programa planiranja i upravljanja resursima i pruža usluge lokalnom stanovniÅ¡tvu. Ministarstvo finansija, planiranja i ekonomskog razvoja (MFPED) takoÄ‘er uvodi budžetiranje orijenti- rano ka izlaznim rezultatima. Pored toga, vladine institucije biće ojaÄ?ane i viÅ¡e odgovorne graÄ‘anima. Zemlja joÅ¡ uvijek prolazi kroz poteÅ¡koće u vezi sa koordinacijom i harmoni- zacijom koja se odnosi na evaluaciju i PEAP. “Najprepoznatljivija karakteristika PEAP MiE režima je odvajanje monitoringa siromaÅ¡tva od monitoringa resursa, iako oba procesa koordinira MFPED. Ova dva aspekta monitoringa i evaluacije imaju razdvojene aktere, izvjeÅ¡tavanja, a koriste i razliÄ?ite kriterije za ocjenji- vanje. Monitoring finansijskih resursa odnosi se na ulaze, aktivnosti i sve viÅ¡e na izlazne rezultate dok se monitoring siromaÅ¡tva bazira na analiziranju ukupnih ishoda siromaÅ¡tvaâ€? (Hauge 2001). Druga pitanja koordiniranja evaluacije tiÄ?u se uspostave nove Uprave za nacionalno planiranje i sektorskih radnih grupa. Na kraju 2007. godine, Ured premijera (OPM) predstavio je radni dokument za diskusiju o monitoringu i evaluaciji nacionalnog razvojnog plana. Dva cilja ovog dokumenta bila su da revidira prednosti i slabosti akcionog plana (PEAP-a) i da predloži budući pravac monitoringa i evaluacije novog nacionalnog plana (Uganda OPM 2007a). Ovaj radni dokument prepoznao je nekoliko problema sa ovim sistemom: • “Ishodi i izlazni rezultati sektorskih ministarstava, mjerljivi indikatori sa pratećim odrednicama i ciljevima, efikasan monitoring sistem, i strateÅ¡ka upotreba evaluacije kako bi se utvrdili rezultati rada i uzroÄ?nostâ€? (Uganda OPM 2007b, p. 4) nisu jasni; Razumijevanje pitanja koja pokreću razvojnu evaluaciju 69 • Odgovornost je zasnovana na troÅ¡enju umjesto na najbitnijim mjerama uÄ?inka; • Obim podataka koji se prikupe nije izbalansiran sa zahtjevima za podacima i kapacitetom da se podaci koriste; • Kao rezultat dupliciranog i nekoordiniranog monitoringa, stvoreni su: komple- ksna i veoma opterećena aktivnost inspekcije, prikupljanje indikatora podataka i obrasci za izvjeÅ¡tavanje. Rezultat svega toga je ogromna koliÄ?ina podataka o usaglaÅ¡enosti sa pravilima i propisima koji ne daju jasan osnov za ocjenjivanje da li je za odreÄ‘eni novac dobijena odgovarajuća vrijednost kao ni analiza troÅ¡kova i efikasnosti pružanja usluga u javnom sektoru. Jedna studija koju je proveo Ured premijera Ugande (2007a, str. 6) izvjeÅ¡tava da “razlozi loÅ¡e koordi- nacije i dupliciranja mogu se odnositi viÅ¡e na strukturu motivacijskih mjera unutar državne službe, gdje su angažmani na monitoringu djelimiÄ?no motivirani željom za zaradom dnevnica kao veoma znaÄ?ajnog dodatka na platu.â€? • Nedostatak inicijative i motivacije i problemi sa preklapanjem nadležnosti u oblasti planiranja, monitoringa i evaluacije (MiE) rezultirali su time da je teÅ¡ko sastaviti jednu državnu MiE radnu grupu koja će se baviti pitanjima i izazovima monitoringa i evaluacije. • Iako su provedene brojne evaluacije, one su u pravilu provoÄ‘ene u okviru sektora i ministarstava bez upotrebe jedinstvenih standarda. • Na lokalnom nivou, ljudi se joÅ¡ uvijek ne osjećaju ukljuÄ?eni u proces donoÅ¡enja odluka. Radni dokument takoÄ‘er daje nekoliko preporuka: • povezati budžetske alokacije sa ostvarivanjem rezultata; • razmotriti mogućnost potpisivanja sporazuma o državnoj službi i/ili ugovora o uÄ?inku; • pripremiti informaciju o rezultatima na vrijeme i na naÄ?in na koji će ta informa- cija biti korisna onima koji kreiraju politike; • osigurati da su zahtjevi za informacijama i podacima u skladu sa ponudom podataka; • uspostaviti mehanizam kontrole i osiguranja kvaliteta; • osigurati da analize budu korisne kreatorima politika; • odvojiti funkcije monitoringa i evaluacije i • pojasniti uloge i odgovornosti unutar vlade u vezi sa pitanjem planiranja, monitoringa, evaluacije i drugih funkcija vezanih za osiguranje kvaliteta. Kada je rijeÄ? o budućnosti sistema evaluacije, Uganda se suoÄ?ava sa izazovom daljnjeg razvoja i uÄ?enja iz ovog napretka na putu smanjenja siromaÅ¡tva u odnosu na PEAP i Nacionalnu strategiju smanjenja siromaÅ¡tva. Evaluacija ne može biti izolovana od praksi i inicijativa donoÅ¡enja odluka koje podupiru sisteme i pro- cese nacionalnog razvoja (Hauge 2001). 70 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Implikacije novonastalih pitanja razvoja Novonastala pitanja razvoja Ä?ine evaluaciju kompleksnijom. Ovo poglavlje nudi kratak osvrt na ova pitanja i probleme, istiÄ?ući implikacije na evaluaciju. Patton (2006.) zapoÄ?inje diskusiju o najnovijim trendovima u pitanjima evalu- acije identificirajući evaluaciju kao jedno globalno javno dobro. On opisuje porast broja profesionalnih organizacija i udruženja evaluatora Å¡irom svijeta i standarda i uputstava koje ovakve organizacije uspostavljaju. On takoÄ‘er ukazuje na razvoj viÅ¡e od 100 novih modela evaluacije kao jedan nadolazeći trend. Patton koristi analogiju kako bi lakÅ¡e ilustrirao novonastalu kompleksnost evaluacije. U proÅ¡losti su evaluatori Ä?esto mogli pratiti odreÄ‘eni model (recept) u provoÄ‘enju evaluacije. Patton ovako opisuje prednosti recepta: • recepti se testiraju i tako osiguravaju repliciranje (ponavljanje); • poÅ¡to ne zahtijeva posebnu struÄ?nost i ekspertizu, poznavanje kuhanja povećava uspjeh i • recepti rezultiraju standardnim proizvodima. Recepti u kulinarstvu dobro funkcioniraju, meÄ‘utim, kod razvojnih pitanja recepti ne daju standardizirane rezultate iz razloga Å¡to je tu neophodan neki model u kojem evaluator mora Ä?esto odgovarati na veoma kompleksna pitanja. Pattonova analogija nove trendove u evaluaciji razvoja poredi sa primjerom odgajanja djeteta. Recept je jedan proces koji se odvija korak po korak. Za razliku od toga, odgoj djeteta je jedan veoma kompleksan proces u kojem hranitelji koriste znanje koje im koristi da donose odluke i reaguju na novonastale situacije. Patton opisuje i jedan drugi trend u razvojnoj evaluaciji: dolazeći do situacija koje su viÅ¡e formativne. Vrste formativnih situacija o kojima on diskutuje su evaluacije u kojima • su specificirani namjeravani i željeni ishodi, ali se sa tehnikama mjerenja eksperimentira; • model postizanja ishoda postavlja se kao hipoteza, potom se testira i usavrÅ¡ava; • primjena intervencije nije standardizirana nego se analizira i usavrÅ¡ava kako se problemi u intervenciji rjeÅ¡avaju (neka vrsta iterativnog pristupa) i • je atribucija formulirana sa mogućnošću testiranja uzroÄ?nosti koja je dio izazova. JoÅ¡ jedan novi trend je taj da se od analiziranja pojedinaÄ?ne evaluacije ide dalje ka analiziranju tokova (Rist i Stame 2006). Rist i Stame opisuju kako se druÅ¡tvo evaluatora sada oslanja na sisteme evaluativnog znanja, a ne na pojedinaÄ?ne eval- uatore niti na pojedinaÄ?ne evaluacije, kako bi proizveli znanje o evaluaciji. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 71 Osnova njihove teze jeste da jednostavno akumuliranje evaluacijskih izvjeÅ¡taja ima malo ili nimalo utjecaja na usvojeno znanje koje se može steći jedino kroz sintetiziranje istih studija. Ono Å¡to se dogaÄ‘a u oblasti razvoja svakako se odražava i na evaluaciju. Agenda razvoja će se i dalje razvijati kao odgovor na trenutna i dolazeća pitanja kao Å¡to su globalizacija, sve veći broj konflikata u svijetu, terorizam i pranje novca, povećanje jaza izmeÄ‘u bogatih i siromaÅ¡nih u svijetu, sve veći broj sudionika na razvojnoj sceni, potreba za smanjenjem duga kao i novi naglasak na bolje upravljanje i vladanje. Odgovaranje na ova pitanja pred evaluatora posta- vlja nove zahtjeve. Globalno kretanje ka sveobuhvatnom, koordiniranom i participativnom razvoju kao i demonstriranje opipljivih rezultata takoÄ‘er predstavlja nove izazove zajednici razvojnih evaluatora. DoÅ¡lo je do znaÄ?ajnih skretanja od parcijalnog ka sveobuhvatnom razvoju, od individualnog ka koordiniranom pristupu (partnerstva), od promocije rasta do smanjenja siromaÅ¡tva te promjene fokusa sa implementacije na rezultate. Å to se tiÄ?e sveobuhvatnog razvoja, na primjer, bilateralni i multilateralni donatori “sada moraju svaki projekat pozicionirati unutar jednog Å¡ireg konteksta i ispitivati njegovu održivost i potencijalni utjecaj na druÅ¡tvo, politiku i Å¡iru ekonomijuâ€? (Takamasa and Masanori 2003, p. 6). Kao Å¡to oni primjećuju: TeoretiÄ?ari razvoja takoÄ‘er su poÄ?eli vjerovati da najvažniji faktor za ekonomski razvoj nije kapital nego odgovarajuće politike i institucije. Ovaj zaokret uzroko- van je ogromnim utjecajem kojeg su ekonomisti kao Å¡to su North . . . , Stiglitz . . . i Sen . . . imali na ekonomske nauke, ukljuÄ?ujući i razvojnu ekonomiju. Ova- kav razvoj dogaÄ‘aja rezultirao je trenutnom situacijom u kojoj centralnom temom meÄ‘unarodne razvojne pomoći dominira pitanje smanjenja siromaÅ¡tva u jednom Å¡irem smislu, Å¡to ukljuÄ?uje i Å¡irenje ljudskog dostojanstva i politiÄ?ke i ekonomske slobode za ljude u zemljama u razvoju. Milenijski razvojni ciljevi (MDGs) su jedna konkretna manifestacija ovog novog razmiÅ¡ljanja o razvoju. Svjetski izvjeÅ¡taj o razvoju iz 2005. godine (World Bank 2005b) fokusira se na to Å¡ta vlade mogu uÄ?initi da stvore bolju klimu za investicije u svojim druÅ¡tvima, mjereći napredak kroz jedan set indikatora koji su dizajnirani da obuhvate elemente poslovne klime. IzvjeÅ¡taj preporuÄ?uje unapreÄ‘enje i poboljÅ¡anje institucija i ponaÅ¡anja: osmiÅ¡ljavanje bolje regulative i poreza, smanjenje barijera za konkurenciju, poboljÅ¡anje poslovnih inicijativa, borbu protiv korupcije, jaÄ?anje povjerenja javnosti prema vlastima i jaÄ?anje legi- timiteta, kao i osiguranje adekvatne primjene zakona i regulativa. Mnoga od novih pitanja u razvojnoj pomoći ukljuÄ?uju bilateralne i multila- teralne razvojne partnere i potencijalna opterećenja njihovih viÅ¡estrukih evalu- acija u zemljama u razvoju. Njihov angažman ojaÄ?ava razloge za provoÄ‘enje 72 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije zajedniÄ?kih meÄ‘unarodnih evaluacija. Takve evaluacije mogu se provoditi na nivou projekta, zemlje, sektora ili teme. One takoÄ‘er mogu uroditi efikasnijim upravljanjem troÅ¡kovima, ali i harmoniziranjem evaluacijskih metoda koje bi omogućile poreÄ‘enje rezultata. Ono Å¡to slijedi predstavlja kratku diskusiju o nekim glavnim pokretaÄ?kim snagama agende meÄ‘unarodnog razvoja i njihovim implikacijama na evalu- aciju. Ti pokretaÄ?i ukljuÄ?uju sljedeće: • milenijske razvojne ciljeve (MDGs); • Monterrey konsenzus; • parisku deklaraciju o djelotvornosti pomoći; • inicijativu prezaduženih siromaÅ¡nih zemalja (HIPC); • ulogu fondacija; • prevenciju konflikta i postkonfliktnu obnovu; • vladavinu; • borbu protiv pranja novca i finansiranja terorizma; • doznake radnika; • pitanja spolnosti; • razvoj privatnog sektora i ambijent za investicije; • okoliÅ¡nu i druÅ¡tvenu održivost i; • globalna javna dobra. Autori napominju da se ova lista faktora stalno mijenja. Dok se ova knjiga odÅ¡tampa, kljuÄ?ni faktor koji bi se mogao naći na Ä?elu liste su efekti globalne finansijske krize na svijet u razvoju. Milenijski razvojni ciljevi U septembru 2000. godine, 189 Ä?lanica UN-a i brojne meÄ‘unarodne orga- nizacije usvojile su Milenijsku deklaraciju Ujedinjenih naroda, iz koje su djelomiÄ?no proistekli Milenijski razvojni ciljevi. MDGs se sastoje od seta razvojnih ciljeva koje meÄ‘unarodna zajednica želi â– â–  MDGs: Grupa postići do 2015. godine, kao rezultat aktivnog uÄ?ešća kako razvijenih zemalja tako razvojnih ciljeva i zemalja u razvoju podjednako (Ilustracija 2.1). Ovi ambiciozni ciljevi tiÄ?u se meÄ‘unarodne smanjenja siromaÅ¡tva, humanog razvoja i stvaranja globalnog partnerstva kako bi zajednice koje se ova dva prethodna cilja postigla. Oni predstavljaju zaokret od naglaska koji je treba postići do ranije Å¡irom razvojne zajednice bio na ekonomskom rastu za koji su se dono- 2015. godine sioci odluka nadali da će ljude izvesti iz siromaÅ¡tva. Milenijski razvojni ciljevi posebno se fokusiraju na grupu mjera koje imaju za cilj smanjenje siromaÅ¡tva i poboljÅ¡anje životnih uvjeta za siromaÅ¡ne Å¡irom svijeta. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 73 Ilustracija 2.1 Milenijski razvojni ciljevi su: 1. Iskorjenjivanje ekstremnog siromaÅ¡tva i gladi; 2. Osiguranje univerzalnog osnovnog obrazovanja; 3. Promoviranje jednakosti spolova i jaÄ?anja žena; 4. Smanjenje smrtnosti djece; 5. PoboljÅ¡anje zdravlja porodilja; 6. Borba protiv HIV/AIDS-a, malarije i ostalih bolesti; 7. Osiguranje održivog okoliÅ¡a; 8. Razvoj globalnog partnerstva za razvoj. Izvor: www.un.org/millenniumgoals Osam razvojnih ciljeva ukljuÄ?uje grupu od 18 potciljeva i 48 indikatora prema kojima će se mjeriti napredak. (Zemlje u razvoju imaju razliÄ?ite mjeÅ¡avine 18 potciljeva kao i drugaÄ?ije datume do kojih ih trebaju postići, ovisno o situ- aciji u datoj zemlji.) Milenijski razvojni ciljevi su ciljevi koji su zasnovani na rezultatima, koji se moraju mjeriti, pratiti i shodno tome evaluirati. Oni predstavljaju glavne izazove sistemima evaluacija u svim zemljama. Mnoge zemlje u razvoju nemaju kapacitet da provode monitoring i evalu- aciju. Kako bi prevaziÅ¡li ovaj nedostatak, razvojne organizacije osigurale su razvoj kapaciteta u oblasti statistike, monitoringa i evaluacije, zatim tehniÄ?ku pomoć i podrÅ¡ku. Milenijski razvojni ciljevi na neki naÄ?in primoravaju zemlje u razvoju da izgraÄ‘uju kapacitete i sisteme monitoringa i evaluacije. Razvojne organizacije se pozivaju da nude tehniÄ?ku pomoć i finansiranje napora na izgradnji takvih sistema. Mnoge zemlje u razvoju joÅ¡ uvijek su u ranoj fazi izgradnje MiE sistema i polahko pronalaze put ka izgradnji sistema zasnovanih na rezul- tatima kojim će moći da se odredi stepen do kojeg su Milenijski ciljevi ispunjeni. Ocjenjivanje uspjeha na putu ispunjavanja Milenijskih razvojnih ciljeva zahtijevat će izgradnju i efikasno koriÅ¡tenje sistema evaluacije. Sistem evaluacije će, zauzvrat, trebati biti integrisan u politiÄ?ku arenu milenijskih ciljeva tako da “svima bude jasno zaÅ¡to je toliko važno prikupiti podatke i kako će se ti podaci koristiti u svrhu informiranja o tome Å¡ta vlasti i civilno druÅ¡tvo Ä?ine na ispunjavanju milenijskih ciljevaâ€? (Kusek, Rist, i White 2004, str. 17-18). Svake godine Svjetska banka i MeÄ‘unarodni monetarni fond objavljuju godiÅ¡nji Globalni izvjeÅ¡taj o monitoringu Milenijskih razvojnih ciljeva. IzvjeÅ¡taj daje jedan okvir za odgovorno upravljanje u sferi globalne razvojne politike. 74 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Globalni izvjeÅ¡taj o monitoringu iz 2004. godine fokusirao se na to kako ze- mlje svijeta provode politike i akcije potrebne za ispunjavanje Milenijskih razvo- jnih ciljeva i kako postižu razvojne ishode u vezi s tim ciljevima. On je podvukao nekoliko prioriteta za jaÄ?anje monitoringa koji ukljuÄ?uju: • jaÄ?anje temeljne razvojne statistike, Å¡to ukljuÄ?uje i pravovremenu impleme- ntaciju akcijskih planova koje su usaglasile meÄ‘unarodne statistiÄ?ke agencije; • provoÄ‘enje istraživanja o determinantama Milenijskih razvojnih ciljeva, o najbitnijim pitanjima kao Å¡to su efikasnost pomoći, kao i o razvoju jaÄ?ih metrika za kljuÄ?ne oblasti politike kao Å¡to su upravljanje i politike bogatih zemalja i njihov utjecaj na zemlje u razvoju i • produbljivanje saradnje sa partnerskim agencijama u ovoj oblasti, izgradnja konkurentskih prednosti i osiguranje koherentnog pristupa monitoringu i eva- luaciji u svim agencijama (World Bank 2004b). Globalni izvjeÅ¡taj o monitoringu iz 2005. godine ukazao je na mogućnosti koje su se otvorile nakon skorih boljih ekonomskih pokazatelja u mnogim zemljama u razvoju. Taj izvjeÅ¡taj je predstavio jednu agendu sa pet taÄ?aka koje su osmiÅ¡ljene da ubrzaju napredak: • Osigurati da razvojne napore preuzme dotiÄ?na zemlja. Povećati utjecaj razvoja kroz strategije smanjenja siromaÅ¡tva koje su u rukama zemalja i koje predvode te iste zemlje. • PoboljÅ¡ati ambijent za ekonomski rast koji će predvoditi privatni sektor. JaÄ?ati fiskalno upravljanje i menadžment, olakÅ¡ati poslovanje i investirati u infrastrukturu. • Povećati pružanje osnovnih usluga graÄ‘anima. Rapidno povećati broj zdravstvenih i obrazovnih radnika, omogućiti veće, fleksibilnije i predvidivo finansiranje intenzivnijih usluga, i ojaÄ?ati izgradnju kapaciteta. • Ukloniti trgovinske barijere. Iskoristiti ambicioznu Rundu pregovora iz Dohe Å¡to ukljuÄ?uje znaÄ?ajne reforme trgovinske politike poljoprivrednim proi- zvodima kako bi se uklonile trgovinske barijere i pojaÄ?ao princip „trgovina umjesto pomoći.â€? • UdvostruÄ?iti pomoć u razvoju u sljedećih pet godina. Pored toga, poboljÅ¡ati kvalitet pomoći, sa većim napretkom u oblasti koordinacije i harmonizacije pomoći (World Bank 2005a). Globalni izvjeÅ¡taj o monitoringu iz 2006. godine potcrtao je ekonomski rast, bolji kvalitet pomoći, reformu trgovine te upravljanje kao osnovne elemente za postizanje Milenijskih razvojnih ciljeva (World Bank 2006a). IzvjeÅ¡taj iz 2007. naglasio je dvije glavne tematske oblasti: jednakost polova, jaÄ?anje uloge žena (treći MDG) i posebne probleme sa siromaÅ¡nim zemljama gdje se sve viÅ¡e konce- ntrira ekstremno siromaÅ¡tvo (World Bank 2007f ). Razumijevanje pitanja koja pokreću razvojnu evaluaciju 75 Monterrey konsenzus U martu 2002. godine predstavnici vlada viÅ¡e od 170 zemalja, ukljuÄ?ujući i viÅ¡e od 50 državnika, sastali su se da bi raspravljali o nacrtu Monterrey konsenzusa o finasiranju razvoja. Ovaj nacrt je odražavao pokuÅ¡aj da se viÅ¡e novca podijeli najsiromaÅ¡nijim u svijetu, taÄ?nije onima koji žive sa manje od US$1 dnevno. Ono Å¡to je najznaÄ?ajnije za oblast razvojne evaluacije, Monterrey konsenzus naglasio je uzajamne odgovornosti u pokuÅ¡ajima da se dostignu Milenijski razvo- jni ciljevi. Konsenzus poziva zemlje u razvoju da poboljÅ¡aju politike i upra- vljanje, a razvijene zemlje da intenziviraju podrÅ¡ku posebno na naÄ?in da olakÅ¡aju pristup svojim tržiÅ¡tima i da nude veću i bolju pomoć. Ovaj dokument prepoznao je i potrebu za većom finansijskom pomoći kako bi se povećao životni standard u najsiromaÅ¡nijim zemljama, ali nije postavio jasne ciljeve za povećanje pomoći, za smanjenje većine dugova ili uklanjanja trgovinskih barijera (Qureshi 2004). Negdje na sredini puta izmeÄ‘u godine u kojoj su usvojeni Milenijski razvo- jni ciljevi i 2015. godine kao datuma do kada se trebaju ispuniti, Ekonomska komisija za Afriku objavila je jedan izvjeÅ¡taj u kojem se ocjenjuje napredak Afrike na putu ispunjavanja obaveza koje je prema Monterrey konsenzusu Afrika preuzela. U tom izvjeÅ¡taju se zakljuÄ?uje da je napravljen znaÄ?ajan napredak u oblasti pomoći za smanjenje vanjskog duga, ali je veoma ograniÄ?en napredak postignut u drugim kljuÄ?nim oblastima Konsenzusa. Ono Å¡to je interesantno za evaluatore, IzvjeÅ¡taj bilježi da: Postoji shvatanje da je obaveza monitoringa, koju su preuzele zemlje Afrike i njihovi razvojni partneri, izuzetno važna ukoliko se želi da se ciljevi Monterrey konsenzusa realizuju. AfriÄ?ki lideri su to prepoznali i uspostavili mehanizam praćenja napretka na putu ispunjavanja njihovih obaveza kao i obaveza njiho- vih razvojnih partnera. Nedavna institucionalizacija AfriÄ?ke ministarske konfe- rencije o finansiranju razvoja hrabar je iskorak afriÄ?kih lidera na tom planu. MeÄ‘unarodna zajednica takoÄ‘er je uspostavila jedan mehanizam za praćenje rada donatora. Na primjer, uspostavili su Forum za afriÄ?ko partnerstvo i Panel za napredak Afrike koji će pratiti napredak implementacije kljuÄ?nih obaveza u vezi sa finansiranjem razvoja. U konaÄ?nici, djelotvornost ovih mehanizama monitoringa bit će ocijenjeni u smislu njihovih mogućnosti da obećanja razvo- jnih partnera pretvore u djela jer jedino kroz provedbu ovih obaveza afriÄ?ke zemlje i meÄ‘unarodna zajednica mogu umanjiti siromaÅ¡tvo u tom regionu i postaviti temelje za svjetliju budućnost za njegove narode. (Katjomulse i drugi 2007, str. vi) 76 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Pariska deklaracija o efektivnosti pomoći Pariska deklaracija o efektivnosti pomoći je jedan meÄ‘unarodni sporazum koji je imao za cilj da se nastave sve veći napori u pravcu upravljanja pomoći koja se daje zemljama u razvoju. ViÅ¡e do 100 ministara, Ä?elnika agencija i viÅ¡ih zvaniÄ?nika prihvatilo je ovaj sporazum 02. marta 2005. godine. Jedna od karakteristika ove deklaracije koja je veoma bitna za evaluatore ticala se dogovora u vezi s tim da se koriste akcije i indikatori koje je moguće pratiti kao dio provedbe ovog sporazuma. Usvojeno je 12 indikatora kako bi se pratio i podsticao napredak radi veće djelotvornosti pomoći. Postavljeni su ciljevi za 11 od ukupno 12 indikatora za 2010. godinu (OECD 2005b). Indikatori i ciljevi koji su usvojeni, organizirani su oko pet kljuÄ?nih principa: • VlasniÅ¡tvo: Zemlje partneri obavljaju efektivno rukovoÄ‘enje svojim razvo- jnim politikama i strategijama i koordiniraju razvojne projekte; • UsklaÄ‘enost: Razvojne organizacije svoju cjelokupnu pomoć zasnivaju na razvojnim strategijama, institucijama i procedurama zemalja partnera; • Harmonizacija: projekti razvojnih organizacija su viÅ¡e harmonizirani, tra- nsparentni i kolektivno djelotvorni; • Upravljanje radi rezultata: vlasti zemalja daju naglasak upravljanju resursima i poboljÅ¡anju procesa donoÅ¡enja odluka radi postizanja rezultata; • Uzajamna odgovornost: razvojne organizacije i partneri su odgovorni za rezultate razvoja (ZajedniÄ?ki napredak ka većoj djelotvornosti pomoći 2005). Organizacija OECD je 2007. godine objavila jedan znaÄ?ajan izvjeÅ¡taj u kojem su rezimirani rezultati jednog baznog istraživanja o stanju u 2005. godini. Ovaj izvjeÅ¡taj (OECD 2007b) ocjenjuje djelotvornost pomoći kako u svijetu tako i za meÄ‘unarodne organizacije. OECD je provela istraživanje radi praćenja napretka u poboljÅ¡anju djelotvo- rnosti pomoći kao Å¡to je to naglaÅ¡eno u Monterrey konsenzusu i joÅ¡ konkretnije predviÄ‘eno Pariskom deklaracijom. Istraživanje je donijelo sljedeće zakljuÄ?ke: • Pariska deklaracija povećala je svijest i promovirala dijalog na nivou zemalja o potrebi da se poboljÅ¡aju pružanje pomoći i njeno upravljanje; • Tempo postizanja napretka u mijenjanju pristupa i praksi donatora kada je u pitanju upravljanje meÄ‘unarodnom pomoći je spor dok troÅ¡kovi dostavljanja pomoći i njenog upravljanja ostaju veoma visoki; • Postoji potreba da se pojaÄ?aju nacionalne razvojne strategije, poboljÅ¡a usaglaÅ¡enost donatorske pomoći sa prioritetima zemlje domaćina, poveća kredibilitet budžeta kao alata za alociranje sredstava i njihovo upravljanje, kao i da se poveća stepen taÄ?nosti u budžetskim procjenama u vezi sa tokovima pomoći; Razumijevanje pitanja koja pokreću razvojnu evaluaciju 77 • Mijenjanje naÄ?ina na koji se pomoć dostavlja i na koji se upravlja donosi nove troÅ¡kove koje i donatori i zemlje korisnice pomoći moraju uzeti u obzir; • Zemlje i donatori trebali bi koristiti okvire za ocjenjivanje rada kao i manje skupo izvjeÅ¡tavanje koje je orijentirano prema rezultatima. Donatori trebaju doprinijeti razvoju kapaciteta i viÅ¡e koristiti sisteme izvjeÅ¡tavanja u zemlji korisnici; • Trebaju se izgraditi kredibilniji sistemi praćenja i monitoringa kako bi se osi- gurala uzajamna odgovornost (Katjomulse i ostali 2007). Inicijativa o prezaduženim siromaÅ¡nim zemljama Svjetska banka i MMF su 1996. godine predložili HIPC inicijativu, prvi sveobu- hvatni pristup smanjenju vanjskog duga najsiromaÅ¡nijim i najzaduženijim zemljama svijeta. Inicijativu je podržalo 180 zemalja. HIPC je osmiÅ¡ljen tako da na jedan održiv nivo umanji zaduženost siromaÅ¡nih zemalja koje poduzimaju reforme ekonomske i socijalne politike. Koristi se u onim sluÄ?ajevima gdje tradicionalni mehanizam pomoći zaduženima nije dovo- ljan da pomogne zemljama da izaÄ‘u iz procesa reprogramiranja. HIPC smanjuje obim duga, umanjuje plaćanje servisiranja duga i povećava socijalnu potroÅ¡nju. Inicijativa ukljuÄ?uje i bilateralnu i multilateralnu pomoć za smanjenje duga. OÄ?ekuje se da servisiranje vanjskog duga za HIPC zemlje bude umanjeno za US$ 50 milijardi. Od januara 2009. godine odobreni su paketi smanjenja duga za 34 zemlje od kojih je 28 u Africi; utvrÄ‘eno je da joÅ¡ 7 zemalja ispunjava uvjete za pomoć (MMF 2009). HIPC je usko povezan sa sveobuhvatnim strategijama smanjenja siromaÅ¡tva. MeÄ‘unarodna razvojna zajednica je 1999. godine postigla dogovor da nacio- nalni StarteÅ¡ki dokumenti za smanjenje siromaÅ¡tva (PRSP) trebaju služiti kao osnova za koncesiono pozajmljivanje i pomoć za smanjenje zaduženosti. Te strategije ukljuÄ?uju dogovorene razvojne ciljeve za period od tri godine. One takoÄ‘er predstavljaju jednu politiÄ?ku matricu, set mjerljivih indikatora i sistem praćenja i evaluacije pomoću kojih će se mjeriti napredak. Ukoliko neka zemlja postigne te ciljeve, umanjuju joj se dugovi Å¡to predstavlja poticaj da se ubrzaju reforme i poveća uloga („vlasniÅ¡tvo“) te zemlje u tom procesu. Kao preduvjet za takvu pomoć, vlade zemalja korisnica moraju biti u stanju da prate, evaluiraju i izvjeÅ¡tavaju o reformskim mjerama i uÄ?injenom napretku na putu smanjenja siromaÅ¡tva. Ovaj preduvjet je stvorio potrebu za izgradnjom kapaciteta i pomoći u oblasti monitoringa i evaluacije. Neke zemlje u razvoju, kao Å¡to je Uganda, postigle su napredak u evaluaciji i kvalificirale su se za primanje znaÄ?ajnije pomoći HIPC inicijative. Nedostatak kapaciteta za evaluaciju predstavlja problem za neke druge zemlje koje uÄ?estvuju u HIPC inicijativi, kao Å¡to su Albanija, Madagaskar i Tanzanija. Ovim zemljama je neophodna dodatna pomoć kako bi razvile svoje kapacitete evaluiranja. 78 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Kako bi umanjila rizik budućih dužniÄ?kih kriza kod davanja koncesionih kredita ili grantova zemljama sa jako visokim stepenom zaduženosti, HIPC Inicijativa je pokrenula jedno novo pitanje: kako se evaluira djelotvornost granta (bespovratnih sredstava), za razliku od kredita i prema kojim kriterijima? Ovo pitanje predstavlja novi izazov za evaluatore razvoja. U septembru 2006. godine obilježilo se 10 godina postojanja HIPC inicijative. Od 1999. godine, izdaci HIPC zemalja za smanjenje siromaÅ¡tva su se povećali dok se servisiranje dugova umanjilo (World Bank 2007e). Ovaj rezultat pokazuje da HIPC rezultira napretkom. Uloga Fondacija Prema jednoj studiji koju je sprovela Organizacija OECD, procijenjen je iznos sredstava koji su zemljama u razvoju donirale dobrotvorne fondacije. Ova studija je jedan ozbiljan pokuÅ¡aj da se procijeni iznos sredstava koji je 15 najvećih dobro- tvornih fondacija podijelilo u 2002. godini uz pomoć odreÄ‘enih meÄ‘unarodnih donacija i izdvajanja. Ukupan iznos ovih sredstava iznosio je skoro 4 milijarde US dolara dok je ukupna meÄ‘unarodna pomoć bila oko 2 milijarde US dolara. To pre- dstavlja oko 4% ukupne razvojne pomoći i oko jedne polovine doprinosa koji se pripisuju službenom Komitetu za razvojnu pomoć . . . nevladinim organizacijama u cjelini (grupa koja ukljuÄ?uje fondacije). (Oxford Analytica 2004a) Vijeće fondacija SAD-a broji oko 56.000 privatnih i javnih fondacija u Sjedinjenim AmeriÄ?kim Državama, koje godiÅ¡nje dodijele oko 27,5 milijardi US dolara. Evropski centar za fondacije, s druge strane, broji oko 25.000 fondacija u 9 zemalja Ä?lanica EU sa godiÅ¡njom potroÅ¡njom oko 50 milijardi US dolara. Svjetskom scenom dominira nekoliko velikih fondacija ukljuÄ?ujući Bill & Melinda Gates fondaciju, Ford fondaciju, Susan Thompson Buffet fondaciju i Soros fondaciju/Otvoreno druÅ¡tvo. Mreža instituta Soros fondacije/Otvoreno druÅ¡tvo je jedan veoma utjecajan faktor na meÄ‘unarodnoj razvojnoj sceni, sa programima u viÅ¡e od 50 zemalja. Ti programi nude podrÅ¡ku u oblasti obrazovanja, medija, javnog zdravstva, žena, ljudskih prava, umjetnosti i kulture te druÅ¡tvenih, ekonomskih i pravnih reformi (Mreža SOROS fondacije 2007). Prevencija sukoba i postkonfliktna obnova U godinama nakon hladnog rata (1989 – 2001), doÅ¡lo je do 56 znaÄ?ajnih oružanih sukoba na 44 razliÄ?ita mjesta u svijetu. Procijenjeno je da je u 2003. godini suko- bima bilo pogoÄ‘eno Ä?ak 1 milijarda ljudi. Većina sukoba u tom periodu trajala je sedam ili viÅ¡e godina. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 79 Globalni troÅ¡kovi graÄ‘anskih ratova posebno su enormni. “Stvarajući teritorij koji je izvan kontrole jedne priznate vlasti, oružani sukobi podstiÄ?u trgovinu drogom, terorizam i Å¡irenje zaraznih bolestiâ€? (Collier i ostali 2003). SiromaÅ¡tvo je i uzrok i posljedica sukoba. ÄŒak 16 od 20 najsiromaÅ¡nijih zemalja u svijetu proÅ¡lo je kroz neki vid graÄ‘anskog rata većeg obima. U prosjeku, zemlje koje izaÄ‘u iz rata suoÄ?avaju se sa 44% rizika da se u prvih 5 godina mira ponovo vrate u rat. Obnova ratom razruÅ¡enih krajeva ukljuÄ?uje koordinaciju rada brojnih bila- teralnih i multilateralnih razvojnih institucija. Na primjer, u Bosni i Hercegovini je bilo aktivno 60 razvojnih organizacija, 50 je bilo aktivno na Zapadnoj Obali i u Gazi, dok ih je 82 bilo aktivno u Afganistanu. Kako bi se osiguralo da se zadovoljavaju potrebe zemlje korisnice a da bi se, s druge strane, izbje- glo dupliciranje i propusti u dodjeli pomoći, postkonfliktne obnove poseban napor ulažu u mehanizme koordinacije pomoći. Poslijeratna obnova je viÅ¡e od same obnove infrastrukture. Rekonstrukcija Ä?esto podrazumijeva i pružanje pomoći za izgradnju institucija, demokratije i izbora, nevladinih organizacija i graÄ‘anskog druÅ¡tva, policijskih snaga, budžetskih izdataka, pomoć za smanjenje duga, podrÅ¡ka platnom bilansu, podrÅ¡ka pitanjima jednakosti spolova, deminiranju, smjeÅ¡taju izbjeglica i interno raseljenih osoba, demobilizaciju i reintegraciju bivÅ¡ih vojnika. Zbog zabrinutosti u vezi sa korupcijom i potrebe da službena razvojna pomoć ima Å¡to bolji efekat, poslijeratna obnova Ä?esto povlaÄ?i sa sobom stvaranje novih kreditnih instrumenata i mehanizama. Na Zapadnoj Obali i u Gazi, na primjer, stvoren je jedan fond za multilateralne razvojne agencije kako bi se potpomoglo sa poÄ?etnim i povremenim problemima u budžetskim izdacima nove Palestinske uprave. Takvi instrumenti i mehanizmi su sada uobiÄ?ajena praksa u postkonfliktnim regijama i u ostalim dijelovima svijeta. Programi poslijeratne obnove – multisektorski programi koji koÅ¡taju mili- jarde dolara – sa sobom donose i jednu novu dimenziju poteÅ¡koća u eva- luaciji (Kreimer i ostali 1998). Evaluatori moraju ispitati utjecaj koji takav jedan u startu opterećen razvojni pristup ima na poslijeratnu obnovu i pomi- renje. Evaluiranje procesa koordinacije, koji zajedno okuplja veliku i veoma raznoliku grupu bilateralnih, multilateralnih i drugih pružatelja pomoći, pre- dstavlja jedan novi izazov. Evaluatori moraju ocijeniti nove projekte i programe u netradicionalnim oblastima razvojne pomoći, kao Å¡to su deminiranje tla ili demobilizacija i reintegracija bivÅ¡ih vojnika. Oni takoÄ‘er moraju evaluirati nove vrste meha- nizama razvojnih organizacija i kreditne instrumente kao Å¡to je jedan fond za multilateralne razvojne agencije. 80 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Bilateralne i multilateralne razvojne agencije sve viÅ¡e promatraju ekonomske uzroke i posljedice sukoba i pronalaze naÄ?ine kako da sprijeÄ?e sukob. Sve je veći naglasak na druÅ¡tvenim, etniÄ?kim i vjerskim zajednicama i njihovim meÄ‘usobnim odnosima; na upravljanje i politiÄ?ke institucije; ljudska prava; sigurnost; strukturu i kretanja ekonomije; okolinu i prirodne resurse i vanjske faktore. To znaÄ?i da evaluatori, kako bi sprijeÄ?ili ponovno izbijanje sukoba, moraju takoÄ‘er posmatrati ono Å¡to je postignuto tako i ono Å¡to bi moglo biti uraÄ‘eno u kontekstu razvoja. Uprava Iako su Ä?esto isticana iza zatvorenih vrata, pitanja uprave i korupcije izbila su u prvi plan razvoja tek sredinom ‘90-tih. Od tada potpisivane su meÄ‘unarodne konvencije kako bi se pozabavilo problemom korupcije Å¡irom svijeta. Organizacije UN-a i OECD-a usvojile su konvencije o korupciji koje ukljuÄ?uju odredbe o zaÅ¡titi od korupcije i proglaÅ¡avanje korupcije kriviÄ?nim djelom, meÄ‘unarodnoj saradnji o povratu imovine i mjerama protiv mita. Multilateralne razvojne banke takoÄ‘er su uspostavile programe protiv korupcije. Kreditiranje je usmjereno ka tome da se pomogne zemljama da izgrade djelotvorne i odgovorne institucije u javnom sektoru. Uprava i antikorupcione mjere se tretiraju u strategijama državne pomoći. Programi upravljanja nastoje unaprijediti: • borbu protiv korupcije; • upravljanje javnim sredstvima; • reformu državne službe; • reformu pravosuÄ‘a i • upravu, decentralizaciju, e-vladu i pružanje javnih usluga. Transparency International (TI), nevladina organizacija Ä?iji je cilj podići “problem korupcije na svjetsku agenduâ€?, osnovana je ranih ‘90-tih. Trenutno ima odjeljenja u 88 zemalja i u borbi protiv korupcije djeluje u saradnji sa lokalnim, državnim, regionalnim i meÄ‘unarodnim partnerima (vladinim i nevladinim) (http://www.transparency.org/). GodiÅ¡nji Indeks percepcije korupcije kojeg objavljuje Transparency Interna- tional rangira oko 140 zemalja u svijetu na osnovu percepcije državnih službenika o korupciji. Njihov Indeks davanja mita takoÄ‘er rangira zemlje izvoznice a na osnovu prijavljenih sluÄ?ajeva davanja mita. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 81 Prema nekim procjenama, godiÅ¡nje korupcija odnese viÅ¡e od 1 triliona US dolara. Mjerenje korupcije i troÅ¡kovi korupcije predstavljaju jedan izazov za cjelokupnu meÄ‘unarodnu zajednicu, ali sve veća dostupnost istraživanja i anketa koji sadrže podatke o razliÄ?itim aspe- ktima upravljanja od strane velikog broja institucija, omogućilo je stvaranje baze podataka o upravljanju Å¡irom svijeta. Zahvaljujući koriÅ¡tenju rezultata razliÄ?itih izvora i varijabli kao i novim tehnikama prikupljanja podataka, ova baza podataka sada sadrži podatke koji se odnose na 200 zemalja Å¡irom svijeta i rezultate prema kljuÄ?nim indikatorima u oblastima kao Å¡to su vladavina prava, korupcija, kvalitet regulative, djelotvornost uprave, glas graÄ‘ana i odgovornost, politiÄ?ka nestabilnost, itd. (World Bank 2007c, str. 1). Razvojne organizacije i evaluatori mogu koristiti ove podatke kao mjeru efi- kasnosti meÄ‘unarodne pomoći. Rezultati pokazuju da tamo gdje je korupcija veća, mogućnost da se pomoć potroÅ¡i neadekvatno je srazmjerno veća. Upravljanje na osnovu rezultata koristi se da bi se identificirale i pratile najsla- bije odrednice i u strukturi upravljanja državom. Ovi podaci pomažu kako bi se demistificirala i na jedan objektivniji naÄ?in sagledala neka pitanja u vezi sa vlada- vinom, a koja su ranije bila nejasna. Prikupljeni podaci će evaluatorima takoÄ‘er pomoći u prikupljanju viÅ¡e kvantitativnih rezultata evaluacija koji se odnose na lekcije nauÄ?ene iz dosadaÅ¡njeg iskustva. U isto vrijeme, evaluiranje ambijenta za investiranje i poslovanje će ukljuÄ?ivati i neke teÅ¡ke koncepte (vidi dolje poglavlje o razvoju privatnog sektora i ambijenta za investicije). Ova nova oblast se brzo razvija i zahtijevat će od evaluatora da se pravovre- meno pozabave najnovijim otkrićima i podacima. Suzbijanje pranja novca i finansiranja terorizma Pranje novca i finansiranje terorizma su dio Å¡ire borbe protiv korupcije. â– â–  Pranje novca: praksa Pranje novca je praksa poslovanja sa finansijskim transakcijama radi prikrivanja poslovanja sa identiteta, porijekla i krajnjeg odrediÅ¡ta novca. U proÅ¡losti se termin „pranje novca“ finansijskim odnosio samo na finansijske transakcije koje su na bilo koji naÄ?in povezane sa krimi- transakcijama nalnim radnjama. Danas vladina regulatorna tijela, kao Å¡to je Komisija za vrijednosne radi prikrivanja papire, Ä?esto proÅ¡iruju ovu definiciju tako da ona obuhvata bilo koju finansijsku tra- identiteta, nsakciju koja prema zakonu nije transparentna. Kao rezultat toga, nezakonita praksa porijekla i pranja novca danas je uÄ?estala i kod pojedinaca i kod malih i velikih preduzeća, krajnjeg odrediÅ¡ta novca korumpiranih službenika te Ä?lanova grupa organiziranog kriminala kao Å¡to su dileri drogom ili Ä?lanovi mafije. (Investor Dictionary.com 2006.) Prema tvrdnjama MeÄ‘unarodnog monetarnog fonda, procjenjuje se da se godiÅ¡nje „opere“ oko 1 trilion US dolara (Å¡to iznosi 2-5% globalnog bruto domaćeg proizvoda), te stoga pranje novca danas predstavlja jedan veoma ozbiljan i sve veći 82 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije meÄ‘unarodni problem koji se odražava ne samo na zemlje u razvoju nego isto tako i na razvijene zemlje. (Camdessus 1998, str. 1). Globalizacija i otvaranje granica i lakÅ¡i prelazak preko njih olakÅ¡ali su prekograniÄ?ne kriminalne aktivnosti i ilegalne finansijske tokove. Globalne inicijative borbe protiv pranja novca dobile su joÅ¡ viÅ¡e na znaÄ?aju pojavom Å¡irenja terorizma. Pranje novca može imati posebno visoku cijenu za zemlje u razvoju. Nova finansijska tržiÅ¡ta i zemlje u razvoju su... važna destinacija i lagan plijen za one koji se bave pranjem novca i koji stalno traže nova mjesta kako bi izbjegli budno oko zakona. Posljedice operacija pranja novca posebno mogu biti devastirajuće za ekonomije u razvoju. Ukoliko se ne kontroliraju oni koji se bave pranjem novca, mogu manipulirati finansijskim sistemima zemalja domaćina kako bi obavljali i Å¡irili svoje nezakonite aktivnosti . . . i mogu veoma brzo oslabiti stabilnost i izgradnju uspostavljenih institucija. (IFAC 2004, p. 5) Finansijsku radnu grupu organizacije OECD-a za pranje novca (FATF) osno- vala je 1989. godine grupa G-7 koja sada broji 31 zemlju Ä?lanicu i 2 regionalne organizacije. Ovo meÄ‘uvladino tijelo za donoÅ¡enje politika ima za cilj da raz- vija i unapreÄ‘uje nacionalne i meÄ‘unarodne politike borbe protiv pranja novca i finansiranja terorizma. Monitoring i evaluacija provedbe ugovora su u sklopu mandata FATF grupe. Provodi se multilateralno kroz uÄ?enje kolega i uzajamno evaluiranje. Proces monitoringa i evaluacije obuhvata sljedeće: Svaku zemlju Ä?lanicu po redu ispituje FATF na osnovu terenskih posjeta koje obavlja grupa sastavljena od tri ili Ä?etiri odabrana eksperta u oblasti prava, finansija i provedbe zakona a koji rade za vlade drugih zemalja Ä?lanica. Cilj posjete je da se napravi jedan izvjeÅ¡taj u kojem se ocjenjuje nivo napretka koji je zemlja koja je predmet evalu- acije postigla u implementiranju efektivnog sistema borbe protiv pranja novca i da se naznaÄ?e oblasti u kojima je neophodan daljnji napredak. (FATF 2007, str. 1) Grupa FATF je uspostavila jedan broj mjera koje se poduzimaju u sluÄ?aju nepoÅ¡tovanja preporuka. Doznake radnika Ukupne godiÅ¡nje doznake koje radnici u iseljeniÅ¡tvu poÅ¡alju u svoje zemlje pori- jekla Å¡irom svijeta nadmaÅ¡uju službenu pomoć za razvoj na godiÅ¡njem nivou. GodiÅ¡nje doznake su sa 60 milijardi US dolara, koliko su iznosile 1998. godine, porasle na 80 milijardi u 2002. godini, a u 2003. godini procjenjene su na 100 milijardi. Ovi iznosi mogu se porediti sa oko 50-60 milijardi US dolara godiÅ¡nje službene razvojne pomoći i sa 143 milijarde US dolara priliva privatnog kapi- tala u 2002. godini. Doznake izgledaju stabilnije nego priliv privatnog kapitala (Svjetska banka 2003; Oxford Analytica 2004b). Razumijevanje pitanja koja pokreću razvojnu evaluaciju 83 Doznake na globalnom nivou imaju velik utjecaj na smanjenje siromaÅ¡tva. “U prosjeku, porast emigranata od 10% u populaciji jedne zemlje dovodi do sma- njenja broja ljudi koji žive u siromaÅ¡tvu za 1,9% (US$1.00/osoba/dan)â€? (Adams i Page 2003, str. 1). Globalne doznake pomažu da se finansira domaća potroÅ¡nja u domaćinstvima, poljoprivredi, industriji i otvaranju novih malih i srednjih preduzeća u zemljama primaocima. Razvijene zemlje i zemlje u razvoju i organizacije su upoznati sa ovakvim trendovima i traže naÄ?in kako kapitalizirati ove prilive u investicijske svrhe. SkoraÅ¡nji Plan samita grupe G-8 pozvao je zemlje Ä?lanice i vlade zemalja u razvoju da pomognu da prilivi od doznaka njihovih država iz inostranstva budu od koristi njihovim porodicama i malim preduzećima, tako Å¡to će, izmeÄ‘u ostalog, podržati smanjenje troÅ¡kova transfera doznaka i otvaranje lokalnih razvojnih fondova za produktivne investicije, poboljÅ¡ati primaocima doznaka pristup finansijskim uslu- gama i pojaÄ?ati koordinaciju. (G-8 2004a, str. 7) Doznake kroz bankarski sistem će se vjerovatno povećati kako se povećavaju i restrikcije na neformalne transakcije radi striktnijih propisa kako bi se zaustavilo finansiranje teroristiÄ?kih organizacija putem neformalnih mehanizama (vidi dolje) i smanjiti dažbine za bankarske usluge kao rezultat konkurencije u sektoru bankarstva radi nastojanja da se osvoji tržiÅ¡te doznakama iz svijeta. Utjecaj doznaka na zemlje u razvoju joÅ¡ uvijek treba u potpunosti ispitati i artikulirati. Praćenje tokova globalnih doznaka i njihovo usmjeravanje u nove vrste investicija i fondova za evaluatore postat će joÅ¡ jedan novi izazov. Kako oni koji se bave razvojem joÅ¡ uvjek nisu osmislili naÄ?ine na koji obuhvatiti doznake i iskoristiti ih za smanjenje siromaÅ¡tva, evaluatori će ovu oblast pratiti sa velikim interesovanjem. Pitanje ravnopravnosti spolova: Od žene u razvoju preko spolova u razvoju do razvoja i svijesti o spolovima â– â–  Analiza Pitanje spolova odnosi se na uloge koje druÅ¡tvena zajednica dodjeljuje pitanja muÅ¡karcima i ženama. spolnosti: Analiza pitanja spolnosti ispituje pristup i kontrolu nad resursima od strane Ispitivanje muÅ¡karaca i žena. pristupa i kontrole nad Ovo pitanje se takoÄ‘er odnosi i na sistematski naÄ?in odreÄ‘ivanja Ä?esto resursima od drugaÄ?ijih razvojnih potreba i preferencija muÅ¡karaca i žena i razliÄ?itog utjecaja strane razvoja na muÅ¡karce i žene. Analiza pitanja spolnosti uzima u obzir naÄ?in na muÅ¡karaca i koji faktor pripadnosti nekoj grupaciji, rasi ili etniÄ?koj grupi dolazi u interakciju žena sa pitanjem spolnosti i uzima u obzir naÄ?in na koji dovodi do diskriminacijskih rezultata. Analiza pitanja spolnosti tradicionalno je bila usmjerena ka ženama 84 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije zbog jaza izmeÄ‘u muÅ¡karaca i žena u smislu kako oni iskoriÅ¡tavaju obrazovanje, zaposlenost, usluge, itd. Žene Ä?ine neÅ¡to viÅ¡e od polovine svjetske populacije i igraju kljuÄ?nu ulogu u ekonomskom razvoju. Ipak, njihov puni potencijal u uÄ?ešću u socioekono- mskom razvoju tek treba da se realizira. Žene i djeca joÅ¡ uvijek predstavljaju većinu siromaÅ¡nih u svijetu. Žene u nekim dijelovima svijeta u razvoju proizvode pola hrane, nose najveću odgovornost za sigurnost hrane u domaćinstvima i Ä?ine Ä?etvrtinu radne snage u industriji i trećinu u sektoru usluga... Ipak zbog težeg pristupa obrazovanju i drugim mogućnostima, produktivnost žena u odnosu na muÅ¡karce ostaje niska. Povećanje produktivnosti žena može doprinijeti rastu, efikasnosti i smanjenju siromaÅ¡tva – kljuÄ?nim razvojnim ciljevima svugdje u svijetu. (Svjetska banka 1994, str. 9) Najnoviji trendovi koji se odnose na ulogu žena u razvoju dosta se razlikuju u odnosu na tradicionalni pristup “žene u razvojuâ€? (WID pristup) tako da se danas govori o pristupu “jednakopravnost spolova i razvojâ€? (GAD) a sve viÅ¡e i o sveobuhvatnom pristupu “gender mainstreamingâ€?. Strategija WID pristupa bila je fokusirana na žene kao poseban cilj ili ciljnu grupu korisnika projekata, pro- grama i politika. “WID pristup priznaje da su žene aktivni, iako Ä?esto nepriznati, uÄ?esnici u procesu razvoja, koji daju glavni doprinos ekonomskom rastu . . . kao jedan neiskoriÅ¡ten resurs; žene se moraju uvesti u proces razvojaâ€? (Moser 1995, str. 107). Pristup GAD naglaÅ¡ava druÅ¡tvene, ekonomske, politiÄ?ke i kulturalne snage koje odreÄ‘uju naÄ?in na koji muÅ¡karci i žene sudjeluju u projektnim resursima i aktivnostima, koju korist od njih imaju i kako ih kontroliraju. On naznaÄ?ava Ä?esto razliÄ?ite potrebe i preference muÅ¡karaca i žena. Ovaj pristup preusmjerava pažnju sa žena kao grupe ka druÅ¡tveno utvrÄ‘enim odnosima izmeÄ‘u muÅ¡karaca i žena. Napredak u pitanjima jednakopravnosti spolova i jaÄ?anja žena utjelovljen je u Milenijskim razvojnim ciljevima, koji ukljuÄ?uju ciljeve i indikatore za mjerenje i evaluiranje napretka. Komitet za razvojnu pomoć (DAC) Organizacije OECD takoÄ‘er je proizveo vodeća pitanja koja pomažu menadžerima u evaluiranju razvojnih aktivnosti. Sljedeća pitanja su ukljuÄ?ena: • Da li je projekat uspio unaprijediti jednake mogućnosti i koristi za muÅ¡karce i žene? • Da li projekat daje muÅ¡karcima ili ženama povoljniji ili nepovoljniji položaj? • Da li je projekat bio djelotvoran u integriranju pitanja spolova u toj razvojnoj aktivnosti? (Woroniuk i Schalkwyk 1998) Budžetiranje prema spolnosti je jedna od naÄ?ina implementacije i ocjene koliko državnog budžeta koristi muÅ¡karcima i ženama. Drugi naÄ?in mjerenja i Razumijevanje pitanja koja pokreću razvojnu evaluaciju 85 evaluacije pomoći je ispitivanje nivoa do kojeg razvojna pomoć koristi sektorima koji “ukljuÄ?uju žene, pomažu žene, jaÄ?aju ulogu žene i generiraju rezultate u korist ženaâ€? (Jalan 2000, str. 75). S obzirom na trenutni naglasak na sveobuhva- tnim pristupima i partnerstvima, evaluiranje politika gender mainstreaminga mora se takoÄ‘er provoditi, integrirati i koordinirati u zemljama u razvoju i izmeÄ‘u partnerskih zemalja u razvoju, organizacija i agencija. U svakoj evaluaciji, važno je obratiti pažnju na to kako projekat, program ili politika imaju razliÄ?it utjecaj na muÅ¡karce i žene. Razvoj privatnog sektora i ambijenta za investiranje Mnoga pitanja se mogu svrstati u rubriku razvoja privatnog sektora i investici- jskog ambijenta. Ta pitanja ukljuÄ?uju ulogu privatnog sektora i direktnih stra- nih investicija u smanjenju siromaÅ¡tva, privatizaciju, uÄ?ešće privatnog sektora u infrastrukturnim uslugama i javno-privatno partnerstvo te pokretanje i pomoć mikro, malim i srednjim preduzećima preko finansijskih posrednika i institucija. Investicije privatnog sektora Investicije privatnog sektora sve viÅ¡e postaju priznate kao najvažniji faktor sma- njenja siromaÅ¡tva u zemljama u razvoju. U 1990-tim, investicije privatnog sekto- ra u zemljama u razvoju iznosile su oko 30 milijardi US dolara godiÅ¡nje dok je razvojna pomoć iznosila oko 60 milijardi US dolara. Do 1997. godine, privatne investicije u zemljama u razvoju dostigle su iznos od 300 milijardi US dolara dok je razvojna pomoć opala na 50 milijardi US dolara. Tako su privatne investicije porasle sa jedne polovice vrijednosti razvojne pomoći na iznos koji je Ä?ak 6 puta veći za period manji od 10 godina. â– â–  Službena Službena razvojna pomoć razvojna Mjerilo investicijske klime je i službena razvojna pomoć (ODA), koju OECD-ov pomoć: rjeÄ?nik statistiÄ?kih termina (2002a) definira kao sljedeće: Tokovi službenih finansijskih Tokovi službenih finansijskih sredstava kojim se upravlja radi promoviranja sredstava kojim ekonomskog razvoja i dobrobiti zemalja u razvoju kao glavnog cilja, a koji su se upravlja po koncesionog karaktera sa elementom granta od najmanje 25% (koristeći fiksnu koncesionim stopu diskonta od 10%). Prema sporazumu, tokovi službene razvojne pomoći stopama radi sastoje se od kontribucija vladinih agencija zemlje donatora, na svim nivoima, promoviranja prema zemljama u razvoju (“bilateralna razvojna pomoćâ€?) i multilateralnim ekonomskog razvoja i institucijama. Primanja razvojne pomoći sastoje se od isplata bilateralnih donatora dobrobiti zemalja i multilateralnih institucija. [preuzeto sa web stranice Službene razvojne pomoći] u razvoju 86 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Godine 1997. nivo pomoći je konstantno rastao prije nego je dostigao vrhu- nac koji se nastavio do 2001. godine. Ukupna razvojna pomoć zemalja Ä?lanica Komiteta za razvojnu pomoć (DAC) porasla je za 7% u 2001. godini a za 5% u 2003. godini. U 2005. godini službena razvojna pomoć zemalja Ä?lanica DAC-a porasla je za 32%, uglavnom kao rezultat veće pomoći nakon cunamija 2004. godine i programa pomoći smanjenja duga Iraka i Nigerije (OECD 2005a). U 2006. godini, obim razvojne pomoći opao je za 4,6% kao rezultat iznimno visokog duga i humanitarne pomoći iz 2004. godine (OECD 2006). Obim razvojne pomoći je tokom prethodne dekade konstantno rastao i oÄ?ekuje se da i dalje raste obzirom da su se donatori obavezali da znaÄ?ajno povećaju pomoć kako bi se postigli Milenijski razvojni ciljevi. Donatori i zemlje primaoci pomoći trebaju se pozabaviti izazovima u vezi implementacije kako bi Å¡to efikasnije iskori- stili taj povećani iznos pomoći, a posebno se trebaju pozabaviti pitanjima • postizanja komplementarnosti nacionalnih, regionalnih i globalnih razvojnih prioriteta i programa • jaÄ?anja sposobnosti zemalja primalaca pomoći da efikasno iskoriste potenci- jalno veću pomoć kao Å¡to su budžetske podrÅ¡ke (World Bank 2007a). Direktne strane investicije JoÅ¡ jedno mjerilo investicijske klime su direktna strana ulaganja (FDI), koja â– â–  Direktna igraju posebnu i sve veću ulogu u globalnom svijetu biznisa. FDI je prekograniÄ?na strana investicija u kojoj najmanje 10% vlasniÄ?kog kapitala jednog preduzeća pri- ulaganja: PrekograniÄ?na pada investitoru sa namjerom da ostvari trajni finansijski interes ili dobit u tom investicija u preduzeću i u kojem ima odreÄ‘eni nivo utjecaja na rad tog preduzeća. ÄŒesto se kojoj najmanje navode kao vodeći pokretaÄ? ekonomskog rasta i vjeruje se da nacionalnim eko- 10 % vlasniÄ?kog nomijama donose odreÄ‘enu korist (InvestorDictionary.com 2006). kapitala jednog Najveći porast u direktnim stranim investicijama izmeÄ‘u 1970. i 1999. godine preduzeća pripada desio se u zemljama u razvoju, gdje su se godiÅ¡nji prilivi investicija povećali sa investitoru sa prosjeÄ?nog iznosa manjeg od 10 milijardi US dolara u 1970-tim i manjeg od 20 namjerom da milijardi US dolara u 1980 - tim na Ä?ak $179 milijardi u 1998. godini i $208 ostvari trajnu milijardi u 1999. Ovi prilivi investicija predstavljali su veći dio direktnih stranih finansijsku investicija u svijetu (Graham i Spaulding 2005). korist u UN-ova Konferencija o trgovini i razvoju (UNCTAD) (2008.) je izvijestila preduzeću i u kojem ima o globalnom rastu direktnih stranih investicija u 2007. godini. Ovaj izvjeÅ¡taj odreÄ‘eni nivo dokumentira i porast stranih investicija u sve tri grupe ekonomija: u razvijenim utjecaja na rad zemljama, zemljama u razvoju i zemljama JugoistoÄ?ne Evrope i Komonvelta (CIS). tog preduzeća Rezultati odražavaju visok rast transnacionalnih korporacija i snažan ekonomski rast u mnogim dijelovima svijeta, kao i povećanje korporativnog profita i obilje novca u gotovini Å¡to je povećalo vrijednost prekograniÄ?nih spajanja i akvizicija. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 87 Te transakcije nastavile su Ä?initi najveći dio direktnih stranih ulaganja u 2007. godini, iako se vrijednost spajanja i akvizicija u drugoj polovini te godine smanjila. Priliv direktnih stranih investicija u razvijene zemlje porastao je Ä?etiri godine uzastopno do 2007. godine kada je dostigao vrijednost od $1 triliona. S druge strane, priliv direktnih stranih investicija u zemlje u razvoju porastao je za 16% a u tranzicijske ekonomije JugoistoÄ?ne Evrope te zemlje Komonvelta za Ä?ak 41% dostižući rekordno visoke nivoe. Privatizacija Privatizacija preduzeća u državnom vlasniÅ¡tvu bio je posebno jak trend u 1990-tim, obzirom da su mnoge zemlje nastojale preći sa socijalistiÄ?kog sistema na tržiÅ¡no orijentirane ekonomije. U mnogim zemljama gdje je država joÅ¡ uvijek vlasnik i u kojima upravlja mnogim preduzećima, ovo je joÅ¡ jedan snažan trend. “ViÅ¡e od 100 zemalja, na svim kontinentima, privatiziralo je neke ili veći dio kompanija u državnom vlasniÅ¡tvu, u svim sektorima infrastrukture, proizvodnje, prerade i usluga... Procjenjuje se da je prodato 75.000 srednjih i velikih firmi Å¡irom svijeta, zajedno sa stotinama hiljada malih poslovnih jedinica... â€? Ukupni ostvareni prihodi se procjenjuju na viÅ¡e od $735 milijardi (Nellis 1999.). Priva- tizacija je jedno kontraverzno pitanje; nastavljaju se polemike oko pitanja da li je, kada i kako najbolje privatizirati preduzeća. To nije lijek za ekonomske sla- bosti, ali se pokazalo da je privatizacija jedan koristan alat za promociju ukupne druÅ¡tvene dobiti i za poboljÅ¡anje usluga u ekonomiji i druÅ¡tvu. Implikacije na evaluaciju Kako je zajednica evaluatora razvoja odgovorila na ove inicijative? MeÄ‘unarodna finansijska korporacija (IFC) evaluira efekte intervencija na nivou projekata. Ona koristi skice poslovnog okruženja (BE skice) kako bi “predstavila mjerljive indi- katore po brojnim pitanjima poslovnog okruženja i u toku razliÄ?itih vremenskih periodaâ€? (IFC 2007). Ovaj novi alat sastavlja nepovezane podatke, pokazatelje i informacije o projektima koji se tiÄ?u poslovnog okruženja za neku zemlju i Ä?ini ga lahko dostupnim u jednom konzistentnom obliku. Razvojni struÄ?njaci i kreatori politike mogu koristiti BE Snapshots“ da bi dobili cjelovitu sliku o poslovnom okruženju u pojedinim zemljama. BE skice se takoÄ‘er mogu koristiti kao alat za monitoring ili alat za planiranje. Kako se evaluiraju ovakve vrste aktivnosti? Na jednom općem nivou, mogu se posmatrati Ä?etiri moguća indikatora: • rezultati poslovanja; • ekonomska održivost; • utjecaj na okoliÅ¡ i • razvoj privatnog sektora. 88 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije IzvjeÅ¡taj o svjetskom razvoju iz 2005. godine govori o istraživanjima o investi- cijskom i poslovnom ambijentu te poslovanju firmi, koja pomažu u prepozna- vanju naÄ?ina na koji vlade mogu poboljÅ¡ati investicijski ambijent za sve vrste preduzeća. Istraživanjima je obuhvaćeno 26.000 kompanija u 53 zemlje u razvo- ju i 3.000 mikro i neformalnih preduzeća u 11 zemalja. Ova istraživanja omogućavaju poreÄ‘enja postojećih uvjeta poslovanja i benchmarking tih uvjeta radi praćenja promjena u toku vremena. Glavni instru- ment istraživanja sastoji se od grupe kljuÄ?nih pitanja i nekoliko modula koji se mogu koristiti za dublje ispitivanje specifiÄ?nih aspekata investicijskog ambijenta i njegove veze sa produktivnošću na nivou kompanije. Pitanja se mogu kategorizirati u tri grupe: • ona koja prikupljaju informacije o profilima kompanija; • ona koja se koriste za dobijanje informacija o profilu investicijskog ambijenta u kojem kompanije posluju i • ona koja prikupljaju pokazatelje (indikatore) poslovanja firmi. KoriÅ¡teni indikatori bili su • nestabilnost politike (najveće ograniÄ?enje: nepredvidivo tumaÄ?enje regulative); • korupcija (najveće ograniÄ?enje: mito); • sudovi (najveće ograniÄ?enje: nedostatak povjerenja da sudovi Å¡tite imovinska prava) i • kriminal (najveće ograniÄ?enje: gubici uzrokovani kriminalnim radnjama). Ostali izvori indikatora investicijskog ambijenta ukljuÄ?uju usluge procjene rizika poslovanja, kreditni rejting zemlje (Euromoney Institutional Investor), indikatori rizika u zemlji (Centar za istraživanje svjetskih tržiÅ¡ta), usluga procjene rizika poslovanja u zemlji (Economist Intelligence Unit), i IzvjeÅ¡taj o globalnoj konkurentnosti (Svjetski ekonomski forum). Multilateralne razvojne banke, meÄ‘unarodne finansijske institucije, razvojne organizacije i privatni sektor ukljuÄ?eni su u takva istraživanja i daju vrijedne informacije i savjete. Stalne i povremene procjene i evaluacije investicijskih ambijenata takoÄ‘er se provode u zemljama diljem svijeta. Jedan takav primjer je baza podataka „Doing Business“, koja pruža objektivan uvid u poslovnu regu- lativu i njenu provedbu. Uporedivi indikatori u 145 zemalja ukazuju na regula- torne troÅ¡kove poslovanja u tim zemljama. Ovi indikatori mogu se koristiti za analiziranje odreÄ‘ene regulative koja može poboljÅ¡ati ili ograniÄ?iti investiranje, produktivnost i rast (World Bank 2007d). MeÄ‘utim, Nezavisna grupa evalu- atora Svjetske banke u svom izvjeÅ¡taju iz 2008. godine ukazuje na neophodna poboljÅ¡anja indikatora baze podataka „Doing Business“ (IEG 2008). Razumijevanje pitanja koja pokreću razvojnu evaluaciju 89 OkoliÅ¡na i druÅ¡tvena održivost â– â–  Korporativno Korporativna druÅ¡tvena odgovornost (CSR) ukljuÄ?uje aktivno uzimanje u obzir druÅ¡tveno ekonomskih, okoliÅ¡nih i druÅ¡tvenih utjecaja i posljedica poslovnih aktivnosti. upravljanje: Kompanije iz privatnog sektora, organizacije i vlade traže nove naÄ?ine kako bi Prihvatanje potrebe osigurali da poslovne aktivnosti i usluge ne donose Å¡tetu ekonomiji, druÅ¡tvu i privatnih okoliÅ¡u u nekoj zemlji i u oblastima u kojima posluju. Britanska vlada, na pri- kompanija da u mjer, usvojila je razne politike i zakonodavstvo kako bi podstakla CSR uopće a obzir uzimaju posebno okoliÅ¡nu i druÅ¡tvenu održivost. ekonomske, okoliÅ¡ne i Vlada vidi CSR kao doprinos poslovne zajednice naÅ¡im ciljevima održivog razvoja. druÅ¡tvene U suÅ¡tini, tu se radi o tome na koji naÄ?in kompanije uzimaju u obzir ekonomske, utjecaje i okoliÅ¡ne i druÅ¡tvene utjecaje svog rada—maksimizirajući korist, a minimizirajući posljedice svoga negativnosti... Pristup vlade jeste da podstakne i intenzivira usvajanje politike CSR poslovanja putem vodiÄ?a sa najboljom praksom i, ondje gdje je to prikladno, pametnom regu- lativom i fiskalnim stimulacijama. (BEER 2004, para. 1) Jedan od primjera meÄ‘unarodnog nastojanja na polju okoliÅ¡ne i druÅ¡tvene održivosti su Ekvatorski principi, koje su potpisale 2003. godine 10 finansijskih institucija sa Zapada. Banke iz privatnog sektora su razvile Ekvatorske principe. Oni predstavljaju jedan industrijski pristup za utvrÄ‘ivanje, ocjenjivanje i upra- â– â–  Ekvatorski vljanje okoliÅ¡nim i druÅ¡tvenim rizicima u finansiranju projekata privatnog principi: sektora. Revidirana verzija Ekvatorskih principa usvojena je 2006. godine. Nova Industrijski verzija odražava izmjene IFC-ovih vlastitih Standarda uÄ?inka u oblasti socijalne pristup za utvrÄ‘ivanje, i okoliÅ¡ne održivosti. Verzija Ekvatorskih principa iz 2006. godine odnosi se na ocjenjivanje i sve zemlje i sektore kao i na sva finansiranja projekata kapitalne vrijednosti preko upravljanje $10 miliona. okoliÅ¡nim i IFC i 61 vodeća komercijalna banka (iz Sjeverne Amerike, Evrope, Japana druÅ¡tvenim i Australije) dobrovoljno su usvojili Ekvatorske principe u finansiranju svojih rizicima u finansiranju projekata Å¡irom svijeta. Ove institucije nastoje osigurati da su projekti koje oni projekata finansiraju razvijeni na socijalno odgovoran naÄ?in i da održavaju prakse ispravnog privatnog okoliÅ¡nog upravljanja. Svrha Ekvatorskih principa je da posluže kao zajedniÄ?ka sektora osnova i okvir za provedbu pojedinaÄ?nih internih ekoloÅ¡kih i socijalnih procedura i standarda za aktivnosti finansiranja projekata u svim sektorima industrije na globalnoj razini. U donoÅ¡enju tih naÄ?ela, ove institucije se obavezuju da će pažljivo razmotriti sve prijedloge projekata za koje njihovi klijenti zatraže finansiranje. Oni se time obavezuju da neće davati kredite direktno za projekte ako dužnik neće ili ne može ispuniti zahtjeve njihove ekoloÅ¡ke i socijalne politike i procesa. Ti standardi odnose se na zaÅ¡titu okoliÅ¡a, zdravlje i sigurnost, domorodaÄ?ku populaciju, prirodna staniÅ¡ta i preseljanja (Ekvatorski principi 2007.). Davanje javnih obećanja o predanosti principima je jedna stvar, ali je njihova primjena neÅ¡to sasvim drugo. BankTrack, mreža 18 meÄ‘unarodnih nevladinih organizacija koje su se specijalizirale u finansijskom sektoru, odigrala je važnu 90 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije ulogu kada je u pitanju pomoć da se nadzire naÄ?in na koji se Ekvatorski principi provode u praksi. To je od suÅ¡tinskog znaÄ?aja za zahtjeve izvjeÅ¡tavanja o Ekva- torskim principima kao i sam naÄ?in na koji ova mreža prati rad finansijskih insti- tucija (BankTrack 2008). Globalna javna dobra Ekonomisti definiraju privatna dobra kao dobra Ä?ija potroÅ¡nja jedne osobe umanjuje koliÄ?inu tog dobra dostupnu za druge ukoliko se u meÄ‘uvremenu ne proizvede viÅ¡e tog dobra (Linux Information Project 2006). Privatna dobra su uglavnom opipljiva i većina proizvoda su privatna dobra. S druge strane, ekonomisti definiraju javna dobra kao proizvode koje â– â–  Privatna pojedinci mogu konzumirati koliko god žele bez posljedice smanjenja tog dobra dobra: za druge ljude (Linux Information Project 2006). ÄŒist zrak je, na primjer, javno Dobra Ä?ija potroÅ¡nja jedne dobro zato Å¡to udisanje Ä?istog zraka ne umanjuje koliÄ?inu Ä?istog zraka dostupnog osobe umanjuje drugim ljudima. Javna dobra su uglavnom neopipljiva; mnoga spadaju u kate- koliÄ?inu tog goriju informacija ili znanja. dobra dostupnu Globana javna dobra su javna dobra koja imaju utjecaja na cijeli svijet. Neki za druge od primjera javnih dobara su prava svojine, sigurnost, finansijska stabilnost, Ä?ist â– â–  Javna dobra: okoliÅ¡... Tako se isto i razvojna evaluacija može smatrati jednom vrstom javnog Dobra Ä?ija dobra iz razloga Å¡to se prelaze granice bilo koje organizacije pojedinaÄ?no. Jedna potroÅ¡nja od dobra evaluacijska studija može imati pozitivan „spillover“ efekat na cijelu eva- jedne osobe ne luacijsku zajednicu (Picciotto i Rist 1995, str. 23). umanjuje koliÄ?inu tog Globalna javna dobra su veoma važna jer je sve većim otvaranjem državnih dobra dostupnu granica prema vani javni domen zemalja postao sve isprepleteniji. Neko javno za druge dobro u jednoj zemlji Ä?esto zavisi od unutarnje politike, dogaÄ‘aja i izbora politika â– â–  Globalna nekih drugih zemalja i aktera u meÄ‘unarodnim odnosima (gpgNet 2008). Svako javna ovisi o javnim dobrima, bez njih ne mogu ni tržiÅ¡ta ni najbogatiji pojedinci. dobra: Javna Evaluacija je uglavnom neprepoznatljiva kod ovakvih pitanja na globalnom dobra koja nivou: nemaju konkurenciju Kolaborativni programi koji su kreirani da bi Å¡titili globalna javna dobra nisu i koja se ne predmet nezavisnih ocjenjivanja i kao takvima Ä?esto im nedostaju jasni ciljevi i mogu iskljuÄ?iti indikatori koji se mogu provjeriti. Pored toga, utjecaj politika razvijenih zemalja bilo kome i koja na siromaÅ¡ne zemlje ne procjenjuje se sistematiÄ?no iako o temama, kao Å¡to su su dostupna meÄ‘unarodna pomoć, dug, strane investicije, zagaÄ‘enje, migracija ili sistemi intele- svima ne samo ktualne svojine odluÄ?uju vlade razvijenih zemalja. (Picciotto 2002b, str. 520) u granicama jedne zemlje nego na cijelom svijetu Razumijevanje pitanja koja pokreću razvojnu evaluaciju 91 Kontrola Å¡irenja i konaÄ?no iskorjenjivanje virusa HIV/AIDS je joÅ¡ jedan pri- mjer javnog dobra koje je u vrhu mnogih meÄ‘unarodnih agendi. Isto tako, utjecaj globalizacije na siromaÅ¡ne joÅ¡ uvijek tek treba procijeniti. Razvojna evalu- acija treba postati joÅ¡ autentiÄ?nija, joÅ¡ viÅ¡e globalna i joÅ¡ viÅ¡e transnacionalna (Chelimsky i Shadish 1997). Nezavisna grupa za evaluacije Svjetske banke objavila je 2004. godine evalu- aciju angažmana Banke u globalnim programima. IzvjeÅ¡taj, pod nazivom „Evalu- iranje pristupa Svjetske banke globalnim programima: odgovori na izazove globalizacije“, bavio se istraživanjem 26 globalnih programa koje je podržala banka, izvlaÄ?eći pouke iz dizajniranja, implementacije i evaluacije globalnih pro- grama (World Bank 2004a). IzvjeÅ¡taj posebno naglaÅ¡ava 5 od ukupno 18 rezu- ltata istraživanja: • Strategija Banke u odnosu na globalne programe slabo je definirana; • Globalni programi su veoma malo povećali ukupnu pomoć; • Glasovi zemalja u razvoju su neadekvatno zastupljeni; • Globalni programi pokazuju jaz izmeÄ‘u investicija i globalne javne politike; • Potreban je nadzor nad nezavisnim globalnim programima. IzvjeÅ¡taj daje sljedeće preporuke: • Uspostaviti strateÅ¡ki okvir za uÄ?ešća Banke u globalnim programima; • Povezati finansiranje sa prioritetima; • PoboljÅ¡ati selekciju i nadzor nad portfeljem globalnih programa; • PoboljÅ¡ati upravljanje pojedinaÄ?nim programima; • Obaviti dodatne evaluacije. 92 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Sažetak Zemlje imaju razliÄ?ite pristupe uspostavljanju sistema evaluacije. Pristup „kompletne vlade“ podrazumijeva uspostavu Å¡irokog i sveobuhvatnog sistema u cijeloj vladi. „Enklava“ pristup se fokusira na jedan dio ili sektor vlade. Kod mijeÅ¡anog pristupa, neki dijelovi ili sektori vlade evaluiraju se opsežno dok se drugima evaluacija bavi sporadiÄ?no. Stvaranje sistema evaluacije joÅ¡ je teže u zemljama u razvoju zbog toga Å¡to u njima Ä?esto nedostaju demokratski politiÄ?ki sistem, jaka empirijska tradicija, državni službenici obuÄ?eni u oblastima druÅ¡tvenih nauka i efikasni admini- strativni sistemi i institucije. Razvojne agencije usredotoÄ?ene su na pomaganje zemljama u razvoju da izgrade kapacitete neophodne za uspostavu i održavanje sistema evaluacije. Mnoga kompleksna pitanja razvoja imaju utjecaj i na evaluaciju. Neke od glavnih tema koja pokreću pitanja razvoja ukljuÄ?uju i sljedeće: • Milenijski razvojni ciljevi; • Monterrey konsenzus; • Pariska deklaracija o djelotvornosti pomoći; • HIPC inicijativa; • uloga fondacija; • prevencija sukoba i postkonfliktna obnova; • upravljanje; • borba protiv pranja novca i finansiranja terorizma; • doznake radnika; • pitanja polne jednakosti; • razvoj privatnog sektora i investicijske klime; • okoliÅ¡na i druÅ¡tvena održivost i • globalna javna dobra. Ova lista nije statiÄ?na i mijenja se kao odgovor na svjetska dogaÄ‘anja. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 93 Bibliografija i dodatna literatura Adams, Richard H. Jr., and John Page. 2003. “International Migration, Remittances and Poverty in Developing Countries.â€? World Bank Policy Research Working Paper 3179, Washington, DC. BankTrack. 2008. The Equator Principles. http://www.banktrack.org/. Barslund, Mikkel, and Finn Tarp. 2007. “Formal and Informal Rural Credit in Four Prov- inces of Vietnam.â€? Discussion Paper 07-07, Department of Economics, University of Copenhagen. BEER (U.K. Department for Business Enterprise & Regulatory Reform). 2004. “What Is CSR?â€? London. http://www.csr.gov.uk/whatiscsr.shtml. Boyle, Richard. 2002. “A Two-Tiered Approach: Evaluation Practice in the Republic of Ireland.â€? In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray Rist, and Rolf Sandahl, 261–72. New Brunswick, NJ: Transaction Publishers. ———. 2005. Evaluation Capacity Development in the Republic of Ireland. ECD Work- ing Paper Series 14, World Bank, Evaluation Capacity Development, Washington, DC. Camdessus, Michael. 1998. “Money Laundering: The Importance of International Coun- termeasures.â€? Address by Managing Director of the International Monetary Fund, Washington, DC. CGAP (Consultative Group to Assist the Poor). 2003. CGAP Publications on Assessment and Evaluation. http://www.cgap.org/portal/site/CGAP/menuitem.9fab704d4469eb01678080105910 10a0/. ChannahSorah, Vijaya Vinita. 2003. “Moving from Measuring Processes to Outcomes: Lessons Learned from GPRA in the United States.â€? Paper presented at the joint World Bank and Korea Development Institute conference on “Performance Evalua- tion System and Guidelines with Application to Large-Scale Construction, R&D, and Job Training Investments,â€? Seoul, July 24–25. Chelimsky, Eleanor, and William R. Shadish, eds. 1997. Evaluation for the 21st Century: A Handbook. Thousand Oaks, CA: Sage Publications. Chemin, Matthieu. 2008. “Special Section on Microfinance. The Benefits and Costs of Microfinance: Evidence from Bangladesh.â€? Journal of Development Studies 44 (4): 463–84. Collier, Paul, V., L. Elliott, HÃ¥vard Hegre, Anke Hoeffler, Marta Reynal-Querol, and Nicholas Sambanis. 2003. Breaking the Conflict Trap: Civil War and Development Policy. Washington, DC: Oxford University Press for the World Bank. Economic Commission for Europe. 1998. Public–Private Partnerships: A New Concept for Infrastructure Development. BOT Expert Group, United Nations, New York. http://rru.worldbank.org/Documents/Toolkits/Highways/pdf/42.pdf. Equator Principles. 2004. http://www.fatf-gafi.org/dataoecd/14/53/38336949.pdf. ———. 2007. “A Milestone or Just Good PR?â€? http://www.equator-principles.com/principles.shtml. 94 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije FATF (Financial Action Task Force on Money Laundering). 2007. Monitoring the Imple- mentation of the Forty Recommendations. http://www.fatf-gafi.org/document/60/0,3343 ,en_32250379_32236920_34039228_1_1_1_1,00.html. Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Commu- nity Programs with Participants. London: MacMillan, in association with Teaching Aids at Low Cost. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evalua- tion: Alternative Approaches and Practical Guidelines. New York: Pearson Educa- tion, Inc. Friis, H. 1965. Development of Social Research in Ireland. Institute of Public Adminis- tration, Dublin. Fukuda-Parr, Sakiko, Carlos Lopes, and Khalid Malik, eds. 2002. Capacity for Develop- ment: New Solutions to Old Problems. London: Earthscan Publications. Furubo, Jan-Eric, and Rolf Sandahl. 2002. “Coordinated Pluralism.â€? In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray Rist, and Rolf Sandahl, 115–28. New Brunswick, NJ: Transaction Publishers. Furubo, Jan-Eric, Ray Rist, and Rolf Sandahl, eds. 2002. International Atlas of Evalua- tion. New Brunswick, NJ: Transaction Publishers. G-8. 2004a. G-8 Action Plan: Applying the Power of Entrepreneurship to the Eradica- tion of Poverty. Sea Island Summit, June. ———. 2004b. G-8 Plan of Support for Reform. Sea Island Summit, June. Gerrard, Christopher. 2006. “Global Partnership Programs: Addressing the Challenge of Evaluation.â€? PowerPoint presentation. http://www.oecd.org/secure/pptDocument/0,2835,en_21571361_34047972_ 36368404_1_1_1_1,00.ppt. gpgNet. 2008. The Global Network on Global Public Goods. http://www.sdnp.undp.org/gpgn/#. Graham, Jeffrey P., and R. Barry Spaulding. 2005. Going Global: Understanding For- eign Direct Investment. JPG Consulting. http://www.going-global.com/articles/understanding_foreign_direct_ investment.htm. Guerrero, R. Pablo 1999. “Evaluation Capacity Development: Comparative Insights from Colombia, China, and Indonesia.â€? In Building Effective Evaluation Capacity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 177–94. New Bruns- wick, NJ: Transaction Publishers. Hatry, Harry P., Elaine Morely, Shelli B. Rossman, and Joseph P. Wholey. 2003. How Federal Programs Use Outcome Information: Opportunities for Federal Managers. IBM Endowment for the Business of Government, Washington, DC. Hauge, Arild. 2001. “Strengthening Capacity for Monitoring and Evaluation in Uganda: A Results-Based Perspective.â€? ECD Working Paper 8, World Bank, Operations Evaluation Department, Evaluation Capacity Development, Washington, DC. Hougi, Hong, and Ray C. Rist. 2002. “Evaluation Capacity Building in the People’s Republic of China.â€? In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray Rist, and Rolf Sandahl, 249–60. New Brunswick, NJ: Transaction Publishers. IDA (International Development Association), and IMF (International Monetary Fund). 2007. Heavily Indebted Poor Countries HIPC Initiative and Multilateral Debt Relief Razumijevanje pitanja koja pokreću razvojnu evaluaciju 95 Initiative MDRI: Status of Implementation. http://siteresources.worldbank.org/DEVCOMMINT/Documentation/ 21510683/DC2007-0021 E HIPC.pdf. IDS (Institute of Development Studies). 2008. “Impact Evaluation: The Experience of Official Agencies.â€? IDS Bulletin 39 (1). http://www.ntd.co.uk/idsbookshop/details.asp?id=1030. IEG (Independent Evaluation Group). 2008. “Doing Business: An Independent Evalua- tion. Taking the Measure of the World Bank–IFC Doing Business Indicators.â€? IFAC (International Federation of Accountants). 2004. Anti–Money Laundering, 2nd ed. New York. IFC (International Finance Corporation). 2004. Strengthening the Foundations for Growth and Private Sector Development: Investment Climate and Infrastructure Development. Development Committee, Washington, DC. http://siteresources.worldbank.org/IDA/Resources/PSDWBGEXT.pdf. ———. 2007. Business Environment Snapshots. Washington, DC. http://rru.worldbank.org/documents/BES_Methodology_Note_External.pdf. IMF (International Monetary Fund). 2009. “A Fact Sheet: Debt Relief under the Heavily Indebted Poor Countries (HIPC) Initiative.â€? http://www.info.org/external/np/exr/facts/hipc.htm. Investor Dictionary.com. 2006. “Money Laundering.â€? http://www.investordictionary.com/definition/money+laundering.aspx. Jalan, Bimal. 2000. “Reflections on Gender Policy.â€? In Evaluating Gender Impact of Bank Assistance, 75–76. World Bank, Operations Evaluation Department, Washing- ton, DC. Joint Progress toward Enhanced Aid Effectiveness, High-Level Forum. 2005. Paris Declaration on Aid Effectiveness: Ownership, Harmonization, Alignment, Results, and Mutual Accountability. http://www1.worldbank.org/harmonization/Paris/FINALPARIS DECLARATION.pdf/. Katjomulse, Kavazeua, Patrick N. Osakwe, Abebe Shimeles, and Sher Verick. 2007. The Monterrey Consensus and Development in Africa: Progress, Challenges, and Way Forward. United Nations Economic Commission for Africa (UNECA), Addis Ababa. Kreimer, Alcira, John Eriksson, Robert Muscat, Margaret Arnold, and Colin Scott. 1998. The World Bank’s Experience with Post-Conflict Reconstruction. World Bank, Opera- tions Evaluation Department, Washington, DC. http://lnweb90.worldbank.org/oed/oeddoclib.nsf/b57456d58aba40e585256 ad400736404/f753e43e728a27b38525681700503796/$FILE/PostCon.pdf. Kusek, Jody Zall, Ray C. Rist, and Elizabeth M. White. 2004. “How Will We Know Millennium Development Results When We See Them? Building a Results-Based Monitoring and Evaluation System to Give Us the Answer.â€? World Bank Africa Region Working Paper 66, Washington, DC. Lawrence, J. 1989. “Engaging Recipients in Development Evaluation: The ‘Stakeholder’ Approach.â€? Evaluation Review 13 (3): 243–56. 96 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Lee, Yoon-Shik. 1999. “Evaluation Coverage.â€? In Building Effective Evaluation Capac- ity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 75–91. New Brunswick, NJ: Transaction Publications. Linux Information Project. 2006. “Public Goods: A Brief Introduction.â€? http://www.linfo.org/public_good.html. Mackay, Keith. 2002. “The Australian Government: Success with a Central, Directive Approach.â€? In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray C. Rist, and Rolf Sandahl, 157–74. New Brunswick, NJ: Transaction Publishers. ———. 2007. “Three Generations of National M&E Systems in Australia.â€? PowerPoint presentation to the Third Latin America and Caribbean Regional Conference on Monitoring and Evaluation, Lima, July 23–24. ———. 2008. M&E Systems to Improve Government Performance: Lessons from Austra- lia, Chile and Columbia. PowerPoint presentation to the High-Level Delegation from the People’s Republic of China, Washington, DC, March 6. Moser, Caroline O. N. 1995. “Evaluating Gender Impacts.â€? New Directions for Evalua- tion 67 (Fall): 105–17. NCSTE (China National Center for Evaluation of Science & Technology), and IOB (Netherland’s Policy and Operations Evaluation Department). 2004. A Country-Led Joint Evaluation of the ORET/MILIEV Programme in China. http://www.euforic.org/iob/docs/200610201336433964.pdf. Nellis, John. 1999. “Time to Rethink Privatization in Transition Economies?â€? IFC Dis- cussion Paper 38, International Finance Corporation, Washington, DC. OECD (Organisation for Economic Co-operation and Development). 2002a. OECD Glossary of Statistical Terms. http://stats.oecd.org/glossary/index.htm. ———. 2002b. “Public Management and Governance: Overview of Results-Focused Management and Budgeting in OECD Member Countries.â€? Paper presented at the 23rd annual meeting of OECD senior budget officials, Washington, DC, June 3–4. ———. 2003. Joint OECD DAC/Development Centre Experts’ Seminar on Aid Effective- ness and Selectivity: Integrating Multiple Objectives into Aid Allocations. Develop- ment Assistance Committee. http://www.oecd.org/document/51/0,2340 ,en_2649_34435_2501555_119808_1_1_1,00.html. ———. 2004a. Final ODA Data for 2003. http://www.oecd.org/dataoecd/19/52/34352584.pdf. ———. 2004b. The Istanbul Ministerial Declaration on Fostering Growth of Innovative and Internationally Competitive SMEs. http://www.oecd.org/document/16/0,3343,en_2649_201185_32020176_1_1_1_1,00. html. ———. 2005a. “Aid Rising Sharply, According to Latest OECD Figures.â€? http://www.oecd.org/dataoecd/0/41/35842562.pdf. ———. 2005b. The Paris Declaration. Development Co-operation Directorate. http://www.oecd.org/document/18/0,2340,en_2649_3236398_35401554_1_1_1_1,00. html. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 97 ———. 2006. Final ODA Data for 2005. http://www.oecd.org/dataoecd/52/18/37790990.pdf. ———. 2007a. “Development Aid from OECD Countries Fell 5.1 Percent in 2006.â€? http://www.oecd.org/document/17/0,3343,en_2649_33721_38341265_1_1_1_1,00 .html. ———. 2007b. Final ODA Flows in 2006. http://www.oecd.org/dataoecd/7/20/39768315.pdf. ———. 2007c. “Monitoring the Paris Declaration.â€? http://www.oecd.org/department/0,3355,en_2649_15577209_1_1_1_1_1,00.html. OECD, and PUMA (Public Management Committee). 2002. “Overview of Results- Focused Management and Budgeting in OECD Member Countries.â€? Twenty-third annual meeting of OECD Senior Budget Officials, Washington, DC, June 3–4. Oxford Analytica. 2004a. “Foundations Muscle into Aid Arena.â€? August 10, Oxford. ———. 2004b. “Remittances Fund Investment Growth.â€? September 7, Oxford. Patton, M. Q. 1997. Utilization-Focused Evaluation. 3rd ed. Thousand Oaks, CA: Sage Publications. ———. 2006. “Recent Trends in Evaluation.â€? Paper presented to the International Finance Corporation, Washington, DC, May 8. Picciotto, Robert. 2002a. “Development Cooperation and Performance Evaluation: The Monterrey Challenge.â€? World Bank, Operations Development Department, Washing- ton, DC. ———. 2002b. “Development Evaluation as a Discipline.â€? International Program for Development Evaluation Training (IPDET) presentation, Ottawa, June. ———. 2003. “International Trends and Development Evaluation: The Need for Ideas.â€? American Journal of Evaluation 24: 227–34. Picciotto, Robert, and Ray C. Rist. 1995. Evaluating Country Development Policies and Programs: New Approaches and a New Agenda. San-Francisco: Jossey-Bass Publishers. Pollin, Robert. 2007. Microcredit: False Hopes and Real Possibilities. Foreign Policy in Focus. http://www.fpif.org/fpiftxt/4323. Public Services Organisation Review Group. 1969. Report of the Public Services Organi- zation Review Group. Dublin: Stationary Office. Qureshi, Zia. 2004. Millennium Development Goals and Monterrey Consensus: From Vision to Action. World Bank, Washington, DC. http://wbln0018.worldbank.org/eurvp/web.nsf/Pages/Paper+by+Qureshi/US$File/ MOHAMMED+QURESHI.PDF. Rasappan, Arunaselam. 2007. “Implementation Strategies and Lessons Learnt with Results-Based Budgeting Malaysia.â€? Training course on program and performance budgeting, ITP Pune, India, October 1–5. http:// blog-pfm.imf.org/pfmblog/files/rasappan_implementation_strategies_les- sons_malaysia.pdf. Republic of France. 2001. Ministry of the Economy, Finance, and Industry. “Towards New Public Management.â€? Newsletter on the Public Finance Reform 1 (September), Paris. 98 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Rist, Ray C., and Nicoletta Stame, eds. 2006. From Studies to Streams: Managing Evalu- ative Systems. New Brunswick, NJ: Transaction Books. Schacter, Mark. 2000. “Sub-Saharan Africa: Lessons from Experience in Supporting Sound Governance.â€? ECD Working Paper 7, World Bank, Evaluation Capacity Department, Washington, DC. Soros Foundations Network. 2007. “About OSI and the Soros Foundation Network.â€? http://www.soros.org/about/overview. Takamasa, Akiyama, and Kondo Masanori, eds. 2003. “Global ODA since the Monter- rey Conference.â€? Foundation for Advanced Studies on International Development (FASID), International Development Research Institute, Tokyo. http://www.fasid.or.jp/english/publication/research/pdf/global.pdf. Tavistock Institute, in association with GHK and IRS. 2003. The Evaluation of Socio- Economic Development: The GUIDE. http://coursenligne.sciences-po.fr/2004_2005/g_martin/guide2.pdf. Thomas, Koshy. 2007. “Integrated Results-Based Management in Malaysia.â€? In Results Matter: Ideas and Experiences on Managing for Development Results. Asian Devel- opment Bank. http://www.adb.org/Documents/Periodicals/MfDR/dec-2007.pdf. Trosa, Sylvie. 2008. “Towards a Postbureaucratic Management in France.â€? Politique et management public (2). Uganda Office of the Prime Minister (OPM). 2007a. National Integrated Monitoring and Evaluation Strategy (NIMES) : 2006–2007 Bi-Annual Implementation Progress Report. Kampala. ———. 2007b. “Working Note: Monitoring and Evaluation of the National Development Plan.â€? October, Kampala. UNCTAD (United Nations Conference on Trade and Development). 2008. “Foreign Direct Investment Reached New Record in 2007.â€? Press Release. http://www.unctad.org/Templates/Webflyer.asp?docID=9439&intItemID= 2068&lang=1. UNECA (United Nations Economic Commission for Africa). 2007. “Financing Develop- ment Section, Trade, Finance, and Economic Commission for Africa, Addis Ababa.â€? http://www.uneca.org/eca_programmes/trade_and_regional_integration/ documents/MonterreyConsensusMainReport.pdf. United Nations Office on Drugs and Crime. 2006. The United Nations Convention against Transnational Organized Crime and Its Protocols. http://www.unodc.org/unodc/en/treaties/CTOC/index.html. U.S. Department of Labor. 1993. Government Performance and Results Act. Employ- ment & Training Administration, Washington, DC. http://www.doleta.gov/performance/goals/gpra.cfm. U.S. GAO (Government Accountability Office). 2003. Executive Guide: Effectively Implementing the Government Performance and Results Act. http://www.gao.gov/special.pubs/gpra.htm. World Bank. n.d. “About Private Participation in Infrastructure.â€? http://www.worldbank.org/infrastructure/ppi/. ———. 1994. Enhancing Women’s Participation in Economic Development. Washington, DC: World Bank. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 99 http://books.google.ca/books?id=CJBmEClPci8C&dq=World+Bank.+1994.+ Enhancing+Women%E2%80%99s+Participation+in+Economic+Development.+Was hington,+DC:+World+Bank.&printsec=frontcover&source=bn&hl=en&ei= IPy2SdntFYueMoTU_NcK&sa=X&oi=book_result&resnum=4&ct=result# PPA5,M1. ———. 1996b. World Bank Participation Sourcebook. http://www.worldbank.org/wbi/sourcebook/sbhome.htm. ———. 1999. “Monitoring and Evaluation Capacity Development in Africa.â€? Précis Spring (183). http://wbln0018.worldbank.org/oed/oeddoclib.nsf/7f2a291f9f1204c685256808006a0 025/34b9bade34aca617852567fc00576017/US$FILE/183precis.pdf. ———. 2001. Strategic Directions for FY02–FY04. Washington, DC. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/24cc3bb1f94ae11c85256808006a0 046/762997a38851fa0685256f8200777e15/US$FILE/gppp_main_report_phase_2. pdf#page=21. ———. 2003. Global Development Finance 2003. Washington, DC: World Bank. http:// siteresources.worldbank.org/INTRGDF/Resources/GDF0slide0show103010DC- 0press0launch.pdf. ———. 2004a. “Evaluating the World Bank’s Approach to Global Programs: Addressing the Challenges of Globalization.â€? Independent Evaluation Group, Washington, DC. http://www.worldbank.org/oed/gppp/. ———. 2004b. Global Monitoring Report 2004: Policies and Actions for Achieving the Millennium Development Goals. Washington, DC: World Bank. ———. 2005a. Global Monitoring Report 2005: Education for All. Washington, DC: World Bank. ———. 2005b. World Development Report 2005: A Better Investment Climate for Every- one. Washington, DC: World Bank. ———. 2006a. Global Monitoring Report 2006: Equity and Development. Washington, DC: World Bank. ———. 2007a. Aid Architecture: An Overview of the Main Trends in Official Develop- ment Assistance Flows, Executive Summary. http://siteresources.worldbank.org/IDA/Resources/Aidarchitecture-exec summary.pdf. ———. 2007b. Conflict Prevention and Reconstruction. http://lnweb18.worldbank.org/ESSD/sdvext.nsf/67ByDocName/Conflict PreventionandReconstruction. ———. 2007c. The Data Revolution: Measuring Governance and Corruption. http://web.worldbank.org/WBSITE/EXTERNAL/NEWS/0,,contentMDK: 20190210~menuPK:34457~pagePK:34370~piPK:34424~theSitePK:4607,00.html. ———. 2007d. Doing Business: Economy Profile Reports. Washington, DC: World Bank. http://rru.worldbank.org/DoingBusiness/. ———. 2007e. The Enhanced HIPC Initiative: Overview. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTDEBTDEPT/ 0,,contentMDK:21254881~menuPK:64166739~pagePK:64166689~piPK:64166646~ theSitePK:469043,00.html. 100 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije ———. 2007f. Global Monitoring Report 2007: Development and the Next Generation. Washington, DC: World Bank. ———. 2008. Online Atlas of the Millennium Development Goals: Building a Better World. http://devdata.worldbank.org/atlas-mdg/. Woroniuk, B., and J. Schalwyk. 1998. “Donor Practices: Evaluation and Preparation Tipsheet.â€? OECD, Paris. Web stranice Finansije CGAP (Consultative Group to Assist the Poor). http://www.cgap.org/. ———. Assessment and Evaluation. http://www.cgap.org/publications/assessment_eval- uation.html. The Equator Principles. http://www.equator-principles.com/index.shtml. Tedeschi, Gwendolyn Alexander. 2008. Overcoming Selection Bias in Microcredit Impact Assessments: A Case Study in Peru. http://www.informaworld.com/smpp/cont ent~content=a792696580~db=all~order=page. World Bank. Doing Business: Economy Profile Reports. http://rru.worldbank.org/ DoingBusiness/. Rod OECD (Organisation for Economic Co-operation and Development). “Gender Tipsheet, Evaluation.â€? Development Assistance Committee. http://www.oecd.org/datao- ecd/2/13/1896352.pdf. Upravljanje Transparency International. http://www.transparency.org/. World Bank. 2007a. Governance Matters. http://info.worldbank.org/governance/ wgi2007/ and http://info.worldbank.org/governance/wgi2007/pdf/booklet_decade_ of_measuring_governance.pdf. ———. 2007b. Untitled Video. http://web.worldbank.org/WBSITE/EXTERNAL/ NEWS/0,,contentMDK:21400275~menuPK:51416191~pagePK:64257043~piPK: 437376~theSitePK:4607,00.html. Milenijski razvojni ciljevi United Nations. Millennium Development Goals. http://www.un.org/millennium goals/. Razumijevanje pitanja koja pokreću razvojnu evaluaciju 101 SiromaÅ¡tvo Poverty-Environment Web site. http://www.povertyenvironment.net. World Bank. AdePT software to make poverty analysis easier and faster. econ.worldbank.org/programs/poverty/adept. ———. PovertyNet newsletter. http://www.worldbank.org/poverty. 102 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije IZGRADNJA SISTEMA MONITORINGA I EVALUACIJE ZASNOVANOG NA REZULTATIMA “NaÅ¡i planovi se ne ostvaruju zbog toga Å¡to nemaju cilj. Kada Ä?ovjek ne zna ka kojoj luci jedri, ni jedan vjetar nije povoljan vjetar.â€?    —SENECA Poglavlje 3: Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima • Važnost monitoringa i evaluacije zasnovane na rezultatima • Å ta su monitoring i evaluacija zasnovani na rezultatima? • Tradicionalni pristup naspram monitoringa i evaluacije zasnovanih na rezultatima • Deset koraka u izgradnji sistema monitoringa i evaluacije zasnovanog na rezultatima Poglavlje 4: Razumijevanje konteksta evaluacije i programske teorije promjene • “Front endâ€? analiza • Identifikacija glavnih klijenata i kljuÄ?nih dionika • Razumijevanje konteksta • Razdvajanje postojećeg znanja • Izgradnja, koriÅ¡tenje i procjena teorije promjene Poglavlje 5:Razmatranje evaluacionog pristupa • Opći pristupi evaluaciji • Izazovi napredovanja POGLAVLJE 3 Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima Å irom svijeta vlade nastoje odgovoriti na pritiske i zahtjeve za poboljÅ¡anje uvjeta života njihovih graÄ‘ana. Unutarnji i vanjski pritisci i zahtjevi na vlade i razvojne organizacije uzrokuju iznalaženje novih naÄ?ina za poboljÅ¡anje javne uprave. PoboljÅ¡anja mogu ukljuÄ?ivati veću odgovo- rnost i transparentnost te veću efektivnost intervencija. Sistem moni- toringa i evaluacije zasnovan na rezultatima (MiE) je menadžmentski alat koji pomaže pri praćenju napretka te demonstrira utjecaj razvojnih projekata, programa i politika.1 Ovo poglavlje ima Ä?etiri glavna dijela: • Važnost monitoringa i evaluacije zasnovanih na rezultatima • Å ta su monitoring i evaluacija zasnovani na rezultatima? • Tradicionalni pristup naspram monitoringa i evaluacije zasnovanih na rezultatima • Deset koraka u izgradnji sistema monitoringa i evaluacije zasnovanog na rezultatima 105 Važnost monitoringa i evaluacije zasnovanih na rezultatima U zemljama u razvoju raste pritisak da se poboljÅ¡a uÄ?inak javnog sektora. Kako bi odgovorili na ove pritiske, zemlje razvijaju sisteme upravljanja uÄ?inkom. Ovi novi sistemi ukljuÄ?uju reforme pri odreÄ‘ivanju budžeta, ljudskih resursa, te orga- nizacione kulture. Da bi se procijenilo daju li napori javnog sektora rezultate, postoji takoÄ‘er potreba za mjerenjem uÄ?inka. MiE sistemi prate rezultate koje su (ili nisu) ostvarili vlade i ostale strane. Mnoge inicijative utjeÄ?u na vlade da usvajaju sisteme javne uprave koji daju pozitivne rezultate. Milenijski razvojni ciljevi i inicijativa prezaduženih siromaÅ¡nih zemalja (HIPC) su dva primjera takvih inicijativa. Strategija nave- dena u ovom poglavlju gradi se na iskustvu razvijenih zemalja – posebno onih u Organizaciji za ekonomsku saradnju i razvoj (OECD) – ali, takoÄ‘er, odražava izazove i poteÅ¡koće s kojima se suoÄ?avaju mnoge zemlje u razvoju dok nastoje pokrenuti sisteme za mjerenje uÄ?inka. Izazovi u ovim zemljama se kreću od nedostatka kapaciteta vjeÅ¡tina pa do slabih struktura uprave i sistema koji su daleko od transparentnih. Iako je primarni fokus ovog poglavlja poboljÅ¡anje efi- kasnosti i odgovornosti vlade koristeći ispravan sistem monitoringa i evaluacije, principi i strategije se isto tako mogu primijeniti na organizacije, politike, pro- grame i projekte. Sistem zasnovan na rezultatima osigurava bitne informacije o javnom sektoru ili organizacionom uÄ?inku. Može pomoći kreatorima politika, onima koji donose odluke te drugim dionicima da odgovore na osnovna pitanja jesu li obećanja održana i jesu li ishodi ostvareni. MiE je sredstvo kojim se mogu demonstrirati poboljÅ¡anja ili pak nedostatak poboljÅ¡anja (Tekstualni okvir 3.1). IzvjeÅ¡tavajući o rezultatima raznih intervencija, vlade i druge organizacije mogu promovirati svoj kredibilitet i povjerenje javnosti. Pružanje informacija javnosti takoÄ‘er podupire razvojni program koji se pomjera ka većoj odgovornosti za pružanje pomoći. Dobar sistem monitoringa i evaluacije zasnovan na rezultatima može biti jako koristan kao motivacijski i menadžmentski alat, pomaže pri fokusiranju pažnje na ostvarivanje rezultata koji su važni organizaciji i njenim dionicima te osigurava podsticaj za uspostavljanje kljuÄ?nih ciljeva i svrha koji se bave tim rezultatima. 106 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 3.1 Snaga mjerenja rezultata Mjerenje rezultata je kritiÄ?no iz sljedećih razloga: • Ukoliko ne mjerite rezultate, ne možete napraviti razliku izmeÄ‘u uspjeha i neuspjeha. • Ako ne možete vidjeti uspjeh, ne možete ga nagraditi. • Ukoliko ne možete nagraditi uspjeh, vjerovatno onda nagraÄ‘ujete neuspjeh. • Ukoliko ne vidite uspjeh, ne možete iz njeg niÅ¡ta nauÄ?iti. • Ukoliko ne možete prepoznati neuspjeh, ne možete ga popraviti. • Ako možete pokazati rezultate, možete dobiti podrÅ¡ku javnosti. Izvor: Osborn i Gaebler 1992. Ovakav sistem monitoringa i evaluacije menadžerima takoÄ‘er osigurava važne informacije o tome da li je strategija kojom se intervencija provodi odgovarajuća, ispravna, i adekvatna promjenama koje se intervencijom hoće postići. Dobar sistem monitoringa i evaluacija je takoÄ‘er bitan izvor informacija za postavljanje smjernica i poboljÅ¡anje intervencija kako bi se maksimizirala vjerovatnoća uspjeha. Pomaže identificiranju obećavajućih intervencija u ranoj fazi tako da ih je moguće implementirati i u drugim prilikama. Imati dostupne podatke o tome koliko dobro odreÄ‘eni projekt, praksa, program ili politika osigu- rava korisne informacije za formuliranje i opravdanost budžetskih zahtjeva. To takoÄ‘er omogućava razumnu dodjelu ograniÄ?enih resursa intervencijama koje će omogućiti ostvarivanje najveće koristi. Jednom kada se ishodi uspostave, odaberu indikatori i postave ciljevi, orga- nizacija ih može nastojati ostvariti. Sistem monitoringa i evaluacije može pružiti pravovremenu informaciju osoblju o napretku te može pomoći u ranoj identi- fikaciji eventualne slabosti koja zahtijeva korektivne mjere. Podaci monitor- inga takoÄ‘er osiguravaju informacije o netipiÄ?nim vrijednostima (podruÄ?ja koja rade naroÄ?ito dobro ili naroÄ?ito loÅ¡e). Evaluacija zatim može biti poduzeta da se pronaÄ‘e Å¡ta objaÅ¡njava te netipiÄ?ne vrijednosti. Å ta su to monitoring i evaluacija zasnovani na rezultatima Informacije zasnovane na rezultatima mogu doći iz dva komplementarna izvora: sistema monitoringa i sistema evaluacije (Tekstualni okvir 3.2). Oba sistema su veoma bitna za efikasno mjerenje uÄ?inka. Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 107 â– â–  Monitoring zasnovan na rezultatima: Tekstualni okvir 3.2 Razlika izmeÄ‘u monitoringa zasnovanog na Kontinuiran proces rezultatima i evaluacije zasnovane na rezultatima prikupljanja i Monitoring zasnovan na rezultatima je kontinuiran proces prikupljanja i analiziranja analiziranja informacija zasnovanih na kljuÄ?nim indikatorima te poreÄ‘enje informacija stvarnih rezultata sa oÄ?ekivanim rezultatima kako bi se odredilo koliko dobro zasnovan na kljuÄ?nim se implementira projekt, program ili politika. To je kontinuiran proces indikatorima kako odreÄ‘ivanja napretka ka eksplicitnim, kratkoroÄ?nim, srednjoroÄ?nim i bi se odredio dugoroÄ?nim rezultatima praćenjem pokazatelja kretanja ka ostvarenju napredak ka specifiÄ?nih, unaprijed odreÄ‘enih, ciljeva upotrebom indikatora. Monitoring ciljevima zasnovan na rezultatima može osigurati povratnu informaciju o napretku (ili â– â–  Cilj: Mjerljiva nepostojanju napretka) osoblju i onima koji donose odluke, koji informacije koliÄ?ina promjena mogu koristiti na razliÄ?ite naÄ?ine kako bi poboljÅ¡ali uÄ?inak. koju je potrebno Evaluacija zasnovana na rezultatima je procjena planiranih, tekućih ili ostvariti u datom zavrÅ¡enih intervencija kako bi se odredila njihova relevantnost, efektivnost i vremenskom okviru za odreÄ‘eni efikasnost, utjecaj i održivost. Namjera je osigurati informacije koje su vje- indikator rodostojne, upotrebljive, omogućavajući ukljuÄ?ivanje nauÄ?enih lekcija u pro- ces donoÅ¡enja odluka. Evaluacija intervenciju posmatra u Å¡irem pogledu, â– â–  Indikator: Mjera sistematski postavljajući pitanje da li je napredak ka cilju ili odreÄ‘eni ishod uzrokovan in- praćena tokom tervencijom ili postoje neka druga objaÅ¡njenja za promjene koje je odabrao vremenskog sistem monitoringa. Pitanja evaluacije mogu ukljuÄ?ivati sljedeće: perioda koje indicira napredak • Jesu li ciljevi i ishodi vjerodostojni? (ili nepostojanje • Koliko efektivno i efikasno se ostvaruju? istog) ka cilju • Koji neoÄ?ekivani efekti su uzrokovani intervencijom? â– â–  Evaluacija • Da li intervencija predstavlja strategiju za rjeÅ¡avanje odreÄ‘enog skupa zasnovana na rezul- potreba koja je najviÅ¡e isplativa i održiva. tatima: Procjena planiranih, tekućih ili zavrÅ¡enih intervencija kako bi se odredila Tradicionalni pristup nasuprot monitoringu i evaluaciji njihova releva- ntnost, efikasnost, zasnovanim na rezultatima efektivnost, utjecaj i održivost. Vlade već duži period koriste tradicionalni monitoring i evaluaciju – praćenje â– â–  Utjecaj: DugoroÄ?na troÅ¡kova i prihoda, nivoa osoblja i resursa, aktivnosti programa i projekata, broj korist (rezultat) uÄ?esnika te proizvedenih dobara i usluga, na primjer. MeÄ‘utim, potrebno je koji je ostvaren napraviti razliku izmeÄ‘u tradicionalnog i MiE zasnovanih na rezultatima: kada se ostvari serija ishoda • Tradicionalni monitoring i evaluacija se fokusiraju na monitoring i evalu- (Milenijski razvojni ciljevi su primjeri aciju ulaznih podataka, aktivnosti i izlaznih podataka (tj. na implementaciju utjecaja). projekta ili programa). • Monitoring i evaluacija zasnovani na rezultatima kombiniraju tradicionalni pristup monitoringa implementacije sa procjenom izlaznih podataka ili viÅ¡e rezultata općenito. 108 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Upravo je ovo povezivanje napretka implementacije sa napretkom u ostva- â– â–  Tradicionalni monitoring i rivanju željenih ciljeva ili rezultata vladine politike i programa ono Å¡to moni- evaluacija: toring i evaluaciju Ä?ine korisnima kao alat javne uprave. Implementacija ovog monitoring i tipa sistema monitoringa i evaluacije omogućava organizaciji modificiranje i evaluacija koji se fokusiraju na prilagoÄ‘avanje teoriji promjene i procesu implementacije a kako bi se direktnije implementaciju podržalo ostvarivanje željenih ciljeva i rezultata. projekta ili programa Teorija promjene â– â–  Monitoring i evaluacija Jedan naÄ?in na koji možemo posmatrati razlike izmeÄ‘u tradicionalnog i monito- zasnovani na rezultatima: ringa i evaluacije zasnovanih na rezultatima je da razmotrimo teoriju promjene. monitoring i Prema Kuseku i Ristu (2004), teorija promjene predstavlja ono kako se oÄ?ekuje evaluacija koji da intervencija dovede do željenih rezultata (ViÅ¡e informacija o teoriji promjene kombiniraju tradicionalni i definicije možete naći u Poglavlju 4). Modeli teorije promjene tipiÄ?no imaju pristup sa pet glavnih komponenti: ulazne elemente, aktivnosti, izlazne rezultate, ishode, i procjenom utjecaj (Tabela 3.1). Neki modeli teorije promjene takoÄ‘er ukljuÄ?uju druge kara- rezultata. kteristike, ukljuÄ?ujući ciljane grupe, te vanjske i unutraÅ¡nje faktore. â– â–  Teorija promjene: Teorija o tome Tabela 3.1 Glavne komponente teorije promjene kako inicijativa vodi do željenih Komponenta Opis rezultata Ulazni elementi Resursi koji idu u projekt, program ili politiku (finansiranje, angažiranje osoblja, opreme, programski materijali, i tako dalje). Aktivnosti Å ta radimo. Aktivnosti možemo oznaÄ?iti glagolima („trgovati“, „osigurati“, „omogućiti“, „dostaviti“). Izlazni rezultati Å ta proizvodimo. Izlazni rezultati su opipljivi proizvodi ili usluge nastali kao rezultat aktivnosti. ObiÄ?no se izražavaju imenicama. ObiÄ?no nemaju modifikatore. Opipljivi su i moguće ih je brojati. Ishodi ZaÅ¡to to radimo. Ishodi su promjene u ponaÅ¡anju koje nastaju iz izlaznih rezultata projekta (prestati puÅ¡iti, kljuÄ?anje vode, koriÅ¡tenje noćnih mreža). Ishodi se mogu povećavati, smanjivati, poboljÅ¡avati, unapreÄ‘ivati ili održavati. Utjecaji DugoroÄ?ne promjene koje nastaju akumulacijom ishoda. Mogu biti sliÄ?ni strateÅ¡kim ciljevima. Izvor: Kusek and Rist 2004. Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 109 Ilustracija 3.1 Program teorije promjene (logiÄ?ki model) za ostvarenje ishoda i utjecaja Utjecaji • dugoroÄ?ni, Å¡iroko rasprostranjeno poboljÅ¡anje u druÅ¡tvu Rezultati Ishodi • promjene u ponaÅ¡anju, namjeravane i nenamjeravane, pozitivne i negativne Izlazni rezultati • proizvodi i usluge - proizvedeni/obavljene IzvrÅ¡avanje Aktivnosti • zadaci poduzeti da se ulazni elementi transformiraju u izlazne Ulazni elementi • finansije,ljudski i materijalni resursi Izvor: Binnendijk 2000. Teorija promjene se može prikazati grafiÄ?ki (Ilustracija 3.1). Ovaj model se može koristiti da se uokviri pristup zasnovan na rezultatima u problem kao Å¡to je smanjenje smrtnosti djece terapijom oralne rehidracije (Ilustracija 3.2). Indikatori uÄ?inka Monitoring ukljuÄ?uje odreÄ‘ivanje napretka ka ostvarenju ishoda ili utjecaja. Ishod se ne može odrediti direktno, meÄ‘utim, prvo ga treba prevesti u set indika- tora koji kad se pravilno izmjere osiguravaju informacije o tome jesu li ili nisu ostvareni ishodi ili utjecaji. Indikator uÄ?inka je „varijabla koja omogućava verifi- kaciju promjena u razvojnoj intervenciji ili pokazuje ishode relativne onome Å¡to je planirano“ (OECD 2002, str.29). Na primjer, ako država odabere za cilj poboljÅ¡anje zdravlja djece tako Å¡to će smanjiti infektivna oboljenja kod djece za 30 procenata u narednih pet godina, potrebno je da prvo identificira set indikatora koji prevode promjene kod uÄ?estalosti oboljenja djece od infektivnih bolesti u neka odreÄ‘enija mjerenja. 110 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 3.2 Primjer programske teorije promjene (logiÄ?ki model) za smanjenje oboljenja kod djece upotrebom terapije oralne rehidracije Utjecaj • smanjenje oboljenja kod djece Rezultati • povećana upotreba terapije oralne rehidracije Ishod u borbi protiv dijareje kod djece (promjena u ponaÅ¡anju) Izlazni rezultati • povećana materinska svijest i pristup uslugama terapije oralnom rehidracijom IzvrÅ¡avanje • medijske kampanje za edukaciju majki, osoblje Aktivnosti u zdravstvu obuÄ?eno za pružanje terapije oralnom rehidracijom itd. Ulazni elementi • sredstva, zalihe, treneri, itd. Izvor: PrilagoÄ‘eno od Binnendijk 2000. Indikatori koji mogu pomoći pri procjeni promjena u oboljenjima kod djece mogu ukljuÄ?ivati sljedeće: • uÄ?estalost i prevalencija infektivnih oboljenja, kao Å¡to je hepatitis (direktna determinanta) • nivo zdravstvenog stanja majki (indirektna determinanta) • mjera u kojoj djeca imaju pristup Ä?istoj vodi. Kumulativni dokaz o skupu indikatora je ono Å¡to menadžeri ispituju da bi utvrdili da li njihov program bilježi napredak. Nijedan ishod ili utjecaj ne treba mjeriti samo jednim indikatorom. Mjerenje razgraniÄ?enih setova indikatora (set indikatora koji je podijeljen na sastavne dijelove) osigurava važne informacije kao Å¡to su, koliko dobro vladini programi i politike rade na ostvarivanju ciljanih ishoda ili utjecaja. TakoÄ‘er se koriste pri identifikaciji pozicija koje funkcioniraju bolje ili loÅ¡ije od prosjeka (netipiÄ?ni) i politike koje funkcioniraju ili ne funkcioniraju dobro. Ukoliko, na primjer, set indikatora otkrije da vremenom sve manje djece ima dostupnu Ä?istu Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 111 vodu, vlada ovu informaciju može koristiti da uradi reformu programa koji imaju za cilj poboljÅ¡ati snabdijevanje vodom ili ojaÄ?ati one programe koji pružaju informacije roditeljima o potrebi sanitacije vode prije nego je daju djeci. Informacije dobivene iz monitoring sistema otkrivaju uÄ?inak samo onoga Å¡to se posmatra (iako se može porediti sa prethodnim uÄ?inkom i sa nekim planira- nim nivoom trenutnog ili predviÄ‘enog uÄ?inka [ciljevi]). Podaci monitoringa ne otkrivaju zaÅ¡to je nastao dati nivo uÄ?inka niti pružaju uzroÄ?na objaÅ¡njenja o pro- mjenama u uÄ?inku od jednog izvjeÅ¡tajnog perioda do drugog ili od jedne pozicije do druge. Ova informacija dolazi iz sistema evaluacije. Sistem evaluacije ima komplementarnu, i posebnu, funkciju unutar okvira menadžmenta zasnovanog na rezultatima. Sistem evaluacije omogućava: • detaljnu studiju ishoda i utjecaja zasnovanih na rezultatima; • upotrebu i drugih izvora podataka osim indikatora koji se prate; • ispitivanje faktora koje je previÅ¡e teÅ¡ko ili previÅ¡e skupo stalno pratiti; • istraživanje zaÅ¡to i kako se trendovi koje pratimo monitoringom kreću u pravcu u kom se kreću. Podatke o utjecaju i posljediÄ?nim atributima ne treba uzimati olahko. Oni mogu igrati važnu ulogu u raspodjeli strateÅ¡kih resursa. Deset koraka u izgradnji sistema monitoringa i evaluacije zasnovanog na rezultatima Izgradnja kvalitetnog sistema monitoringa i evaluacije zasnovanog na rezultatima ukljuÄ?uje 10 koraka (Ilustracija 3.3): 1. provoÄ‘enje procjene spremnosti; 2. usaglaÅ¡avanje ishoda uÄ?inka koje treba pratiti i evaluirati; 3. odabir kljuÄ?nih indikatora za monitoringa rezultata; 4. prikupljanje baznih podataka o indikatorima; 5. planiranje poboljÅ¡anja: postavljanje realnih ciljeva; 6. monitoring rezultata; 7. upotreba informacija evaluacije; 8. izvjeÅ¡tavanje o nalazima; 9. upotreba nalaza; 10. održavanje sistema monitoringa i evaluacija unutar organizacije. 112 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 3.3 Deset koraka u dizajniranju, izgradnji, i održavanju sistema monitoringa i evaluacije zasnovanog na rezultatima odabir kljuÄ?nih planiranje provoÄ‘enje indikatora za poboljÅ¡anja: upotreba procjene praćenje odabir realnih informacija koriÅ¡tenje spremnosti ishoda ciljeva evaluacije nalaza 1 2 3 4 5 6 7 8 9 10 usaglaÅ¡avanje prikupljanje monitoring izvjeÅ¡tavanje održavanje o ishodima baznih podataka rezultata o nalazima MiE sistema koje treba pratiti o indikatorima unutar i evaluirati organizacije Izvor: Kusek i Rist 2004. Korak 1: ProvoÄ‘enje procjene spremnosti provoÄ‘enje procjene spremnosti 1 2 3 4 5 6 7 8 9 10 Procjena spremnosti je naÄ?in odreÄ‘ivanja kapaciteta i volje vlade i njenih razvo- jnih partnera da izrade sistem monitoringa i evaluacije zasnovan na rezultatima. Ova procjena se bavi pitanjima kao Å¡to je prisustvo ili odsustvo boraca, poticaja, uloga i odgovornosti, organizacionih kapaciteta te poÄ?etnih prepreka u uspostavi sistema. Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 113 Poticaji Prvi dio procjene spremnosti ukljuÄ?uje razumijevanje koji to poticaji postoje za pokretanje izgradnje sistema monitoringa i evaluacije (i koje to prepreke mogu otežavati napredak). Pitanja koja treba razmotriti ukljuÄ?uju sljedeće: • Å¡ta to pokreće potrebu za izgradnju sistema monitoringa i evaluacije? • ko su borci za izgradnju i upotrebu sistema MiE? • Å¡ta je to Å¡to motiviÅ¡e one koji pokreću izgradnju MiE sistema? • ko će imati koristi od sistema? • ko neće imati koristi? Uloge i odgovornosti Sljedeće Å¡to je važno je identificirati ko je trenutno odgovoran za izradu podataka u organizaciji i u drugim relevantnim organizacijama i ko su glavni korisnici podataka. Pitanja koja treba razmotriti ukljuÄ?uju sljedeće: • koje su uloge centralnih i linijskih ministarstava u procjeni uÄ?inka? • koja je uloga krovne revizijske agencije? • da li ministarstva i agencije meÄ‘usobno razmjenjuju informacije? • postoji li politiÄ?ka pozadina dobivenih podataka? • ko u državi izraÄ‘uje podatke? • gdje se na razliÄ?itim nivoima u vladi koriste podaci? Organizacioni kapaciteti KljuÄ?ni element koji upravlja spremnošću organizacije za MiE sistem zasnovan na rezultatima odnosi se na vjeÅ¡tine, resurse, i iskustvo koji su dostupni orga- nizaciji. Pitanja koja treba razmotriti ukljuÄ?uju sljedeće: • ko u organizaciji posjeduje tehniÄ?ke vjeÅ¡tine za dizajniranje i implementaciju MiE sistema? • ko ima vjeÅ¡tine da upravlja takvim sistemom? • koji sistemi podataka trenutno postoje u organizaciji i kojeg su kvaliteta? • koja tehnologija je dostupna za podrÅ¡ku neophodnog sistema podataka? Kapa- citet baze podataka, dostupnost analize podataka, softver za izvjeÅ¡tavanje itd. trebaju biti dijelovi procjene. • koji fiskalni resursi su dostupni za dizajniranje i implementaciju MiE sistema? • koje iskustvo organizacija ima sa sistemima izvjeÅ¡tavanja o uÄ?inku? 114 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Prepreke Kao i kod svake organizacione promjene, važno je razmotriti Å¡ta to može stajati na putu efektivnoj implementaciji. Pitanja koja treba razmotriti ukljuÄ?uju sljedeće: • postoji li nedostatak fiskalnih resursa, politiÄ?ke volje, boraca za sistem, strate- gije vezane za ishod, ili iskustvo? • ukoliko postoje, kako se takve prepreke mogu prevazići? Dobra praksa sugeriÅ¡e da uspjeh u uspostavi efikasnog MiE sistema može ovi- siti o raznim faktorima, ukljuÄ?ujući sljedeće: • jasan mandat za MiE na državnom nivou • strateÅ¡ki dokumenti za smanjenje siromaÅ¡tva, zakoni i propisi • jako vodstvo i podrÅ¡ka na najviÅ¡im nivoima vlade • pouzdane informacije koje se mogu koristiti za politiku u upravljanje u donoÅ¡enju odluka • civilno druÅ¡tvo koje radi partnerski sa vladom u izgradnji i praćenju informa- cija o uÄ?inku • džepovi inovacija koji mogu služiti kao poÄ?etna praksa ili pilot programi Na kraju procjene spremnosti, visoki vladini zvaniÄ?nici suoÄ?avaju se sa pita- njem da li krenuti naprijed sa izgradnjom MiE sistema. U suÅ¡tini, pitanje je „ići ili ne ići“ (sada, uskoro ili možda kasnije). Korak 2: UsaglaÅ¡avanje ishoda uÄ?inka za monitoring i evaluaciju 1 2 3 4 5 6 7 8 9 10 usaglaÅ¡avanje ishoda koje treba pratiti i evaluirati Važnije je stvoriti interes za procjenu ishoda i utjecaja koje organizacija ili vlada nastoji ostvariti nego se fokusirati na pitanja implementacije (ulazni elementi, Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 115 aktivnosti i izlazni rezultati). Nakon svega, ishodi – kao Å¡to je poboljÅ¡anje pokrića predÅ¡kolskih programa ili poboljÅ¡anje uÄ?enja meÄ‘u djecom u osnovnoj Å¡koli – ono je Å¡to otkriva jesu li ili nisu ostvarene odreÄ‘ene koristi. StrateÅ¡ki ishodi i utjecaji se trebaju fokusirati i upravljati raspodjelom resursa i aktivnosti vlade i njenih razvojnih partnera. Ove utjecaje treba izvesti iz strateÅ¡kih prioriteta države. Pitanja koja treba razmotriti kada se pravi lista ishoda ukljuÄ?uju sljedeće: • Postoje li državni/sektorski ciljevi (na primjer, Vizija 2016)? • Jesu li data politiÄ?ka obećanja za odreÄ‘eno poboljÅ¡anje uÄ?inka u odreÄ‘enom podruÄ?ju? • Da li graÄ‘anski biraÄ?ki podaci (kao Å¡to su graÄ‘anske bodovne kartice) indici- raju odreÄ‘ene interese? • Je li donatorsko kreditiranje vezano za odreÄ‘ene ciljeve? • Je li prisutno odobravanje propisa? • Je li vlada preuzela ozbiljne obaveze za ostvarenje Milenijskih razvojnih ciljeva (MRC)? UsaglaÅ¡avanje ishoda je politiÄ?ki proces koji zahtijeva podrÅ¡ku i sagla- snost kljuÄ?nih interesnih strana. Brainstorming sesije, intervjui, ciljane grupe, i istraživanja se provode kako bi se razumjele njihove potrebe. Ishodi Ä?ine eksplicitnim namjeravane rezultate djelovanja („znati gdje ideÅ¡ prije nego kreneš“). Predstavljaju rezultate za koje se klijent nada da će ih ostva- riti. Prije nego Å¡to ih bude moguće ostvariti moraju se prevesti u set kljuÄ?nih indi- katora. Jasno postavljanje ishoda – i izvoÄ‘enje indikatora na osnovu njih – bitno je za dizajniranje i izgradnju MiE sistema zasnovanog na rezultatima. Korak 3: Odabir kljuÄ?nih indikatora za monitoring ishoda odabir kljuÄ?nih indikatora za monitoring ishoda 1 2 3 4 5 6 7 8 9 10 116 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ono Å¡to se izmjeri i uradi se. Precizna specifikacija onoga Å¡to se mjeri u cilju da se ocijeni ostvarivanje ishoda ne samo da pomaže praćenju napretka nego takoÄ‘er može biti snažan motivacijski alat za fokusiranje napora i poravnavanje unutar organizacije, ukoliko se to uradi dovoljno rano u procesu. Indikator je mjera koja kada se tokom vremena sistematski prati ukazuje na napredak (ili nepostojanje napretka) ka cilju. Odgovara na pitanje „Kako ćemo prepoznati uspjeh kada ga vidimo?“ U novom MiE sistemu, svi indikatori trebaju biti kvantitativni, kvalitativni indikatori dolaze kasnije kada je MiE sistem u zreli- joj fazi. Indikator razvoja je osnovna djelatnost u izgradnji MiE sistema; upravlja svim narednim prikupljanjima podataka, analizama, i izvjeÅ¡tavanjima. PolitiÄ?ka i metodoloÅ¡ka pitanja u izradi vjerodostojnih i odgovarajućih indikatora ne treba potcijeniti. Schiavo – Campo (1999) primjećuju (smatraju) da indikatori trebaju biti „CREAM“ tj.: • jasni (precizni i nedvosmisleni); • relevantni (odgovarajući datom subjektu); • ekonomiÄ?ni (dostupni po razumnoj cijeni) • adekvatni (u stanju osigurati dovoljnu osnovu za procjenu uÄ?inka) i • moguće je vrÅ¡iti monitoring (podložni nezavisnoj validaciji). Nekad je moguće smanjiti troÅ¡kove koristeći već dostupne indikatore (iako evaluatori trebaju biti svjesni rizika pri koriÅ¡tenju takvih indikatora). Prije nego Å¡to se to uradi važno je razmotriti koliko su relevantni indikatori. Neke indikatore može biti potrebno prilagoditi ili dopuniti drugima koji su relevantniji za projekt, program ili politiku koja se evaluira. Broj indikatora zavisi o tome koliko ih je potrebno da bi se odgovorilo na pitanje „Je li ishod ostvaren?“ Ovaj broj se kreće od dva do sedam. Jednom kad se odaberu, ti indikatori nisu uklesani u kamen. Novi se mogu dodati a stari odbaciti poÅ¡to se sistem monitoringa usmjerava i poboljÅ¡ava tokom vremena. Odabrane indikatore uÄ?inka i strategije prikupljanja podataka koriÅ¡tene pri prikupljanju informacija o ovim indikatorima treba postaviti u stvarnost (Kusek i Rist 2004). Faktori koje treba razmotriti ukljuÄ?uju: • Koji sistemi podataka postoje? • Koji podaci se trenutno mogu dobiti? • Koliki kapacitet postoji za proÅ¡irenje dubine i Å¡irine prikupljanja podataka i analizu? Kompletiranjem svake ćelije u matrici prikazanoj u Tabeli 3.2. dobijamo ideju o izvodljivosti stvarne implementacije svakog indikatora. Primjeri indikatora su prikazani u Tabeli 3.3. Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 117 • Evaluatori trebaju razviti vlastite indikatore da bi zadovoljili potrebe evalu- acije koju provode. • Razvoj dobrih indikatora zahtijeva viÅ¡e od pokuÅ¡aja. Potrebno je vremena da se dostignu konaÄ?ni indikatori. • Sve indikatore treba navesti neutralno a ne kao „povećanje“ ili „smanjenje“. • Evaluatori trebaju raditi pilote, pilote, pilote! Tabela 3.2 Matrica za odabir indikatora PoteÅ¡koće Ko će Metod Ko UÄ?estalost TroÅ¡kovi pri analizirati i Ko će Izvor prikupljanja prikuplja prikupljanja prikupljanja prikupljanju iznositi koristiti Indikator podataka podataka podatke? podataka podataka podataka podatke? podatke 1. 2. 3. Izvor: Kusek i Rist 2004. Tabela 3.3. Primjer okvira uÄ?inka: ishodi i indikatori Ishod Indikatori Bazne linije Ciljevi PoboljÅ¡anje pokrivenosti Procenat podobne urbane djece upisane predÅ¡kolskog programa u predÅ¡kolsko Procenat podobne ruralne djece upisane u predÅ¡kolsko PoboljÅ¡ani ishodi uÄ?enja u Procenat uÄ?enika 6 razreda sa 70 posto osnovnoj Å¡koli bodova ili viÅ¡e na standardizovanim testovima iz matematike i znanosti Procenat uÄ?enika 6 razreda sa odliÄ?nim standardizovanim testovima iz matematike i znanosti u poreÄ‘enju sa podacima iz baznih linija Izvor: Kusek i Rist 2004. 118 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Korak 4: Prikupljanje baznih podataka o indikatorima 1 2 3 4 5 6 7 8 9 10 prikupljanje baznih podataka o indikatorima Mjerenje napretka (ili nepostojanja istog) ka ishodima poÄ?inje odreÄ‘ivanjem i opisom poÄ?etnog stanja. Prikupljanje baznih podataka u suÅ¡tini znaÄ?i odreÄ‘ivanje prvih mjera indikatorima kako bi odredili „Gdje smo danas“? Bazna linija uÄ?inka pruža informacije (kvalitativne i kvantitativne) o uÄ?inku indikatora na poÄ?etku (ili neposredno prije) intervencije. Ustvari, jedna stvar pri odabiru indikatora je dostupnost baznih podataka, Å¡to omogućava praćenje uÄ?inka relativno do baznih linija. Izvori baznih podataka mogu biti primarni (prikupljeni naroÄ?ito za ovaj sistem mjerenja) ili sekundarni (prikupljani u druge svrhe). Sekundarni podaci mogu doći iz organizacije, od vlade ili iz meÄ‘unarodnih izvora podataka. KoriÅ¡tenje takvih podataka može uÅ¡tedjeti vrijeme sve dok oni pružaju potrebne informacije. Veoma je teÅ¡ko vratiti se i prikupiti primarne bazne podatke ako kasnije otkrijemo da sekundarni izvor ne zadovoljava potrebe evaluacije. Mogući izvori baznih podataka ukljuÄ?uju sljedeće: • Pisane podatke (papirne ili elektronske) • Pojedince angažovane na projektu, programu ili politici • Javnost • ObuÄ?eni posmatraÄ?i • MehaniÄ?ka mjerenja i testovi • Geografski informacioni sistemi Jednom kada se izvor baznih podataka za indikatore odabere, evaluator odluÄ?uje ko će prikupljati podatke i kako. OdreÄ‘uje i razvija instrumente za pri- kupljanje podataka, kao Å¡to su oblici prikupljanja informacija iz fajlova ili zapisa, protokolarnih intervjua, istraživanja, i opservacionih instrumenata. Pri razvijanju instrumenata za prikupljanje, na umu imaju praktiÄ?na pitanja: Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 119 • Jesu li dobri podaci trenutno dostupni (ili lahko pristupaÄ?ni)? • Mogu li se podaci osigurati u regularnom vremenskom roku kako bi se omogućilo praćenje napretka? • Je li planirano prikupljanje primarnih podataka izvodivo i ekonomiÄ?no? Postoji mnogo naÄ?ina za prikupljanje podataka (kao Å¡to je obraÄ‘eno u poglavlju 9). Mogu se rangirati od najmanje rigoroznih, najmanje formalnih, i manje skupih do najrigoroznijih, najformalnijih i najskupljih (Ilustracija 3.4). Tabela 3.4 pokazuje treći korak u razvoju rezultata za obrazovnu politiku: uspostavljanje baznih linija. Ilustracija 3.4 Spektar metoda prikupljanja podataka intervjui sa kljuÄ?nim panel informatorima ankete konverzacija intervjui sa sa fokusnom grupom dotiÄ?nim zapažanja jednokratne pojedincima uÄ?esnika ankete pregled cenzusi zvaniÄ?nih podataka intervjui (sistem upravljanja direktna u zajednici informacijama i posmatranja administrativni terenske podaci) eksperimenti posjete ankete na terenu neformalni/manje strukturirani formalni/viÅ¡e strukturirani Izvor: Kusek i Rist 2004. 120 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 3.4 Primjer okvira uÄ?inka: ishodi, indikatori i bazne linije Ishod Indikatori Bazne linije Ciljevi PoboljÅ¡anje pokrivenosti Procenat podobne urbane 76 procenata u urbanim predÅ¡kolskog programa djece upisane u predÅ¡kolski podruÄ?jima u 1999. odgoj 40 procenata u ruralnim Procenat podobne ruralne podruÄ?jima u 2000. djece upisane u predÅ¡kolsko PoboljÅ¡ani rezultati uÄ?enja u Procenat uÄ?enika 6 razreda U 2002. 47 procenata osnovnoj Å¡koli sa 70 posto bodova ili viÅ¡e uÄ?enika osvojilo je 70 posto na standardizovanim ili bolje u matematici a 50 testovima iz matematike i posto ili bolje u znanosti znanosti U 2002. srednji rezultat za Procenat uÄ?enika 6 razreda uÄ?enike 6 razreda bio je 68 sa odliÄ?nim posto u matematici i 53 standardizovanim testovima posto u znanosti. iz matematike i znanosti u poreÄ‘enju sa podacima iz baznih linija Izvor: Kusek i Rist 2004. Korak 5: Planiranje za poboljÅ¡anja: Izbor realnih ciljeva planiranje poboljÅ¡anja: odabir realnih ciljeva 1 2 3 4 5 6 7 8 9 10 Sljedeći korak – uspostavljanje ciljeva- je zadnji korak u izgradnji okvira uÄ?inka. Prema Kuseku i Ristu (2004. str.91), „U suÅ¡tini!“ ciljevi su kvantificirani nivoi indikatora koje zemlja, druÅ¡tvo ili organizacija hoće da ostvare u datom vremenu“. Većina rezultata i gotovo svi utjecaji u meÄ‘unarodnom razvoju su kompleksni i odvijaju se samo tokom dugog vremenskog perioda. Stoga postoji potreba za uspostavljanjem srednjoroÄ?nih ciljeva koji odreÄ‘uju koliko napretka i rezultata će se ostvariti, u kom vremenskom okviru, i na kom nivou raspodjele resursa. Mjerenje uÄ?inka prema ovim ciljevima može ukljuÄ?ivati direktne i zamjenske indikatore, kao i upotrebu kvalitativnih i kvantitativnih podataka. Prema teoriji Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 121 promjene utjecaj se može smatrati dugoroÄ?nim ciljem koji intervencijom ultimativno nastojimo ostvariti. Rezultati su set slijednih i izvodivih ciljeva (relativno prema baznim podacima) za indikatore koje se nadamo ostvariti tokom implementacije, unutar odreÄ‘enog, realnog (politiÄ?kog i budžetskog) vremenskog okvira. Drugim rijeÄ?ima, ako organizacija vremenom postigne svoje ciljeve, ostvarit će svoje rezultate (pod uvjetom da ima dobru teoriju promjene i da je uspjeÅ¡no implementira). Kada se postavljaju ciljevi za indikatore, važno je jasno razumjeti sljedeće: • osnovnu ili baznu startnu poziciju (na primjer, prosjek protekle tri godine, proÅ¡la godina, prosjeÄ?ni trend); • teoriju promjene i naÄ?in disegregacije u set vremenski ograniÄ?enih ciljeva; • nivoe finansiranja i personalne resurse u vremenskom okviru za cilj; • koliÄ?inu vanjskih resursa oÄ?ekivanu za dopunu programskih trenutnih resursa; • relevantne politiÄ?ke razloge; • organizaciono (posebno menadžersko) iskustvo u realizaciji projekata i pro- grama u ovom supstantivnom podruÄ?ju. Ilustracija 3.5 prikazuje kako identificirati ciljne vrijednosti koje treba ostvariti kao jedan korak u lancu koji će vremenom dovesti do ostvarenja ishoda. Samo jedna ciljna vrijednost treba biti odreÄ‘en za svaki indikator. Ako indika- tor nikada prije nije bio upotrebljavan, evaluator treba biti pažljiv kod postavljanja odreÄ‘enog cilja i umjesto toga treba postaviti parametre. Ciljeve treba postavljati srednjoroÄ?no (ne viÅ¡e od tri godine) te ukljuÄ?iti realne vremenske okvire za ostva- rivanje. Većina ciljeva se postavlja godiÅ¡nje, ali se neki mogu postaviti kvartalno ili na duže periode. Ilustracija 3.5 Identifikacija oÄ?ekivanog ili željenog nivoa poboljÅ¡anja zahtijeva izbor ciljeva uÄ?inka Nivo indikatora Željeni nivo Ciljani bazne linije poboljÅ¡anja uÄ?inak pretpostavlja konaÄ?ni i Željeni nivo uÄ?inka koji treba + oÄ?ekivani nivo ulaznih el, = dostići u odreÄ‘enom Aktivnosti izlaznih vremenu rezultata Izvor: Kusek i Rist 2004. 122 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 3.5 prikazuje posljednji korak u razvoju ishoda za obrazovnu politiku: postavljanje ciljeva uÄ?inka. Ova kompletirana matrica sada postaje okvir uÄ?inka. DefiniÅ¡e rezultate i osigurava plan za odreÄ‘ivanje da li je program bio uspjeÅ¡an u ostvarivanju ovih ishoda. Okvir definira dizajn MiE sistema zasnovanog na rezultatima koji će poÄ?eti pružati informacije o tome ostvaruju li se privremeni rezultati na putu ostvarivanja dugoroÄ?nog ishoda. Okvir pomaže evaluatorima dizajnirati evaluaciju. TakoÄ‘er, može pomoći menadžerima sa budžetom, raspodjelom resursa, angažiranjem osoblja te drugim funkcijama. Menadžeri trebaju Ä?esto konsultirati okvir kako bi osigurali da se projekt, program ili politika kreću ka željenom ishodu. Usmjeravanje uÄ?inka je kritiÄ?no pri dostizanju ishoda politike. Koristeći par- ticipativni proces koji ukljuÄ?uje bazne indikatore i željeni nivo poboljÅ¡anja tokom vremena je kljuÄ? za MiE zasnovan na rezultatima. Tabela 3.5 Primjer okvira uÄ?inka: Ishod Indikatori Bazna linija Ciljevi PoboljÅ¡anje pokrivenosti Procenat podobne urbane 76 procenata u urbanim 85 procenata u urbanim predÅ¡kolskog programa djece upisane u podruÄ?jima u 1999. podruÄ?jima do 2006. predÅ¡kolski odgoj Procenat podobne ruralne 40 procenata u ruralnim 60 procenata u ruralnim djece upisane u podruÄ?jima u 2000. podruÄ?jima do 2006. predÅ¡kolsko PoboljÅ¡ani rezultati uÄ?enja Procenat uÄ?enika 6 U 2002. 47 procenata Do 2006. 80 posto uÄ?enika u osnovnoj Å¡koli razreda sa 70 posto uÄ?enika osvojilo je 70 će osvojiti 70 posto ili bodova ili viÅ¡e na posto ili bolje u matematici bolje u matematici a 67 standardizovanim a 50 posto ili bolje u posto će osvojiti 70 posto testovima iz matematike i znanosti ili bolje u znanosti. znanosti Procenat uÄ?enika 6 U 2002. srednji rezultat za U 2006. srednji rezultat će razreda sa odliÄ?nim uÄ?enike 6 razreda bio je 68 biti 78 posto za standardizovanim posto u matematici i 53 matematiku i 65 posto za testovima iz matematike i posto u znanosti znanost znanosti u poreÄ‘enju sa podacima iz baznih linija Izvor Kusek i Rist 2004. Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 123 Korak 6: Monitoring rezultata 1 2 3 4 5 6 7 8 9 10 monitoring rezultata Monitoring sistem zasnovan na rezultatima prati implementaciju (ulazne ele- mente, aktivnosti i izlazne rezultate) i rezultate (ishode i utjecaj). Ilustracija 3.6 prikazuje kako se svaki od ovih tipova monitoringa uklapa u model. Svaki ishod ima broj indikatora, od kojih svaki ima cilj. Potrebno je koordi- nirati i upravljati serijom aktivnosti i strategija kako bi se ostvarili ovi ciljevi (grafika 3.7). Povezivanjem monitoringa implementacije sa monitoringom rezultata je veoma bitno. Ilustracija 3.8 je primjer za smanjenje smrtnosti djece. Ilustracija 3.6 KljuÄ?ni tipovi monitoringa Utjecaji Rezultati Monitoring rezultata Ishodi Izlazni rezultati Monitoring implementacije Implementacija Aktivnosti (sredstva i strategije) Ulazni elementi Izvor: PrilagoÄ‘eno iz Binnendijk 2000. 124 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 3.7 Veze izmeÄ‘u monitoringa implementacije i monitoringa rezultata Ishod Monitoring rezultata. Cilj 1 Cilj 2 Cilj 3 Sredstva i Sredstva i Sredstva i strategije strategije strategije (viÅ¡egodiÅ¡nji i (viÅ¡egodiÅ¡nji i (viÅ¡egodiÅ¡nji i Monitoring implementacije. godiÅ¡nji planovi godiÅ¡nji planovi godiÅ¡nji planovi rada) rada) rada) Izvor: Kusek i Rist 2004. Ilustracija 3.8 Primjer povezivanja implementacije sa monitori- ngom rezultata Utjecaj Smanjenje oboljenja kod djece Ishod Smanjiti smrtnost djece Smanjenje sluÄ?ajeva oboljenja probavnog sistema Cilj u djetinjstvu za 20 procenata u tri godine prema baznoj liniji • poboljÅ¡anje programa prevencije kolere Sredstva i • osigurati dodatke vitamina A strategije • koristiti oralnu terapiju rehidracije Izvor: Kusek i Rist 2004. Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 125 Rad sa partnerima je sve viÅ¡e norma u razvojnom poslu. Mnogi partneri na najnižem nivou ove hijerarhije potencijalno doprinose ulaznim elementima, aktivnostima, i krajnjim rezultatima kao dio strategije za ostvarenje ciljeva (Ilustracija 3.9). Ilustracija 3.9 Postizanje rezultata kroz partnerstvo Utjecaj Ishod Ishod Ishod Cilj1 Cilj 2 Sredstva i Sredstva i Sredstva i strategija strategija strategija Partner 1 Partner 1 Partner 1 Partner 2 Partner 2 Partner 2 Partner 3 Partner 3 Partner 3 Izvor: Kusek i Rist 2004. 126 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Jak MiE sistem mora biti podržan budžetom, planom angažiranja osoblja te planiranjem aktivnosti. Izgradnja efektivnog MiE sistema ukljuÄ?uje administra- tivne i institucionalne zadatke, ukljuÄ?ujući sljedeće: • uspostava prikupljanja podataka, analizu, i smjernice izvjeÅ¡tavanja; • odreÄ‘ivanje ko će biti odgovoran za koju aktivnost; • uspostavljanje naÄ?ina kontrole kvaliteta; • odreÄ‘ivanje rokova i troÅ¡kova; • djelovanje kroz uloge i odgovornosti vlade, drugih razvojnih partnera, i civilnog druÅ¡tva; • uspostavljanje smjernica za transparentnost i razmjenu informacija i analiza. Da bi bio uspjeÅ¡an svaki MiE sistem treba sljedeće: • vlasniÅ¡tvo; • menadžment; • održavanje; • kredibilitet. Korak 7 KoriÅ¡tenje informacija evaluacije koriÅ¡tenje informacija evaluacije 1 2 3 4 5 6 7 8 9 10 Evaluacija igra važnu ulogu u nadopuni informacija prikupljenih tokom monito- ringa ka ishodima i utjecajima. Dok monitoring otkriva Å¡ta radimo u odnosu na indikatore, ciljeve i ishode, evaluacija otkriva da li: • radimo pravu stvar (strategija); • stvari radimo ispravno (operacije); • postoje bolji naÄ?ini obavljanja tog posla (uÄ?enje). Evaluacija može rijeÅ¡iti mnoga važna pitanja koja prevazilaze jednosta- van monitoring sistem. Na primjer, dizajn mnogih intervencija je zasnovan na odreÄ‘enim posljediÄ?nim pretpostavkama o problemu ili pitanju koje treba rijeÅ¡iti. Evaluacija može potvrditi ili preispitati ove posljediÄ?ne pretpostavke koristeći Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 127 evaluaciju zasnovanu na teoriji i logiÄ?kim modelima (kao Å¡to je kazano u pogla- vlju 4). Evaluacija, takoÄ‘er, može zalaziti dublje u interesantne ili problematiÄ?ne rezultate ili trendove koji nastaju iz monitoring sistema (otkrivanje, na pri- mjer zaÅ¡to djevojÄ?ice ranije napuÅ¡taju seoske Å¡kole nego djeÄ?aci). Evaluacija se može koristiti kao dodatak monitoringu • uvijek kada postoji neoÄ?ekivan rezultat ili netipiÄ?ni uÄ?inak koji zahtijeva dodatno istraživanje; • kada se vrÅ¡i raspodjela resursa ili budžeta kroz projekat, program ili politiku; • kada se donosi odluka da li ili ne proÅ¡iriti pilot; • kada postoji duži period bez napretka, a bez jasnog objaÅ¡njenja zaÅ¡to je to tako; • kada sliÄ?ni programi ili politike pokazuju razliÄ?ite rezultate ili kada indikatori za isti rezultat pokazuju razliÄ?ite trendove; • kada pokuÅ¡avamo razumjeti popratne efekte intervencija; • kada uÄ?imo o zaslugama, vrijednosti, i znaÄ?aju onoga Å¡to je uraÄ‘eno i • kada pažljivo posmatramo troÅ¡kove u odnosu na koristi. Ako se vlada i organizacije odluÄ?e osloniti na informacije prikupljene u MiE sistemu, u tom sluÄ?aju će puno toga ovisiti o kvalitetu i vjerodostojnosti priku- pljenih informacija. SiromaÅ¡ne, netaÄ?ne i pristrasne informacije nikome ne koriste. Korak 8: IzvjeÅ¡tavanje o nalazima 1 2 3 4 5 6 7 8 9 10 izvjeÅ¡tavanje o nalazima OdreÄ‘ivanje koje nalaze predoÄ?iti kome, u kom formatu, i u kojim intervalima je kritiÄ?an dio MiE. Analiziranje i predoÄ?avanje podataka • pruža informacije o statusu projekta, programa i politike; • doprinosi indicijama za probleme; • kreira prilike za razmatranje poboljÅ¡anja u implementaciji strategija; • pruža važne informacije tokom vremena o trendovima i pravcima; 128 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • pomaže pri potvrdi ili preispitivanju teorije promjene iza projekta, programa ili politike. (Analiza podataka i izvjeÅ¡tavanje su detaljno obraÄ‘eni u narednim poglavljima). Evaluator mora odrediti koje su glavne taÄ?ke odluÄ?ivanja na nivoima projekta, programa ili politika, tako da je jasno kada će MiE nalazi biti najviÅ¡e korisni onima koji donose odluke. Ako podaci i analize doÄ‘u prekasno, neće biti u stanju utjecati na odluke. Svi važni rezultati moraju biti predoÄ?eni, bilo da su pozitivni ili negativni (Tabela 3.6). Dobar MiE sistem treba osigurati sistem ranog upozorenja za detekci- ju problema ili nekonzistentnosti, kao i demonstraciju vrijednosti intervencije. IzvjeÅ¡taji o uÄ?inku trebaju ukljuÄ?ivati objaÅ¡njenja o slabim ili razoÄ?aravajućim ishodima i potrebno je dokumentirati svaki korak već poduzet na njihovom rjeÅ¡avanju. Kada analizira i predstavlja podatke, evaluator treba • porediti indikatore podataka sa baznim i ciljanim te tu informaciju pružiti u jednostavno razumljivoj grafici (pogledati Poglavlje 13); • porediti trenutne podatke sa proÅ¡lim te pogledati obrasce i trendove; • biti pažljiv oko donoÅ¡enja zakljuÄ?aka koji su zasnovani na nedovoljnim info- rmacijama (Å¡to se viÅ¡e podataka prikupi to evaluator može biti sigurniji da su trendovi stvarni); • zaÅ¡tititi glasnika, ljude koji donose loÅ¡e vijesti ne treba kažnjavati (neprijatni nalazi mogu ukazivati na nove trendove ili obavijestiti menadžere o proble- mima u ranoj fazi, omogućavajući im tako potrebno vrijeme za rjeÅ¡avanje ovih problema). Tabela 3.6 Primjer Tabele o izvjeÅ¡tavanju o ishodima Bazna Razlika Indikator ishoda linija Trenutno Ciljano (ciljano-trenutno) Stepen hepatitisa (N=6.000) 30 35 20 –5 Procenat djece sa poboljÅ¡anim ukupnim zdravstvenim 20 20 24 –4 stanjem (N=9.000) Postotak djece koja pokazuju 4 od 5 pozitivnih 50 65 65 0 rezultata na fiziÄ?kim vježbama (N= 3.500) Procenat djece sa poboljÅ¡anim nutritivnim statusom 80 85 83 2 (N=14.000) Izvor Kusek i Rist 2004. Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 129 Korak 9: KoriÅ¡tenje nalaza koriÅ¡tenje nalaza 1 2 3 4 5 6 7 8 9 10 Srž MiE sistema nije jednostavno generiranje informacija zasnovanih na rezulta- tima, nego dostavljanje tih informacija odgovarajućim korisnicima u razumnom vremenskom roku tako da ih oni mogu uzeti u obzir (ili odabrati da ih ignoriÅ¡u) pri upravljanju projektima, programima ili politikama. Razvojni partneri i civilno druÅ¡tvo imaju važne uloge pri koriÅ¡tenju informacija za jaÄ?anje odgovornosti, transparentnosti, i procedure raspodjele resursa. Strategije za razmjenu informa- cija koje mogu biti implementirane na bilo kom vladinom nivou ukljuÄ?uju sljedeće: • OjaÄ?ati medije. Mediji mogu pomoći kod Å¡irenja informacija prikupljenih u MiE sistemu zasnovanom na rezultatima. TakoÄ‘er mogu pomoći u iznoÅ¡enju primjera korupcije i pozivu za bolju upravu. • DonoÅ¡enje propisa o slobodi informacija. Sloboda informacija je moćan alat koji se može koristiti za razmjenu informacija sa zainteresovanim stranama. • Uspostaviti e-vladu. E-vlada ukljuÄ?uje upotrebu informacionih tehnologija za osiguranje bolje dostupnosti, dosega, informacija i usluga. E-vlada omogućava zainteresovanim stranama meÄ‘usobnu interakciju direktno sa vladom kako bi dobili informacije pa Ä?ak i obavljanje posla online. • Dodavanje informacija u interne i eksterne internet fajlove. Informacije se mogu razmjenjivati postavljanjem informacija, kao i objavljivanjem nalaza o uÄ?inku, na internim (agencije ili vlade) i eksternim web stranicama. Mnoge agencije takoÄ‘er razvijaju baze podataka koje je moguće pretraživati za MiE nalaze. • Objavljivati godiÅ¡nje izvjeÅ¡taje o budžetu. Najbolji naÄ?in da se objavi kako je novac poreznika potroÅ¡en je objavljivanje budžeta. Tako se graÄ‘anima omogućava posmatranje kvaliteta i nivoa usluga koje obavlja vlada i priori- tetima koje vlada daje odreÄ‘enim uslugama ili programima. • UkljuÄ?ivanje civilnog druÅ¡tva i grupa graÄ‘ana. UkljuÄ?ivanje civilnog druÅ¡tva i grupa graÄ‘ana ohrabruje grupe da se viÅ¡e djelatno orijentiÅ¡u, viÅ¡e odgovorno i vjerovatnije prihvate informacije koje trebaju. • JaÄ?anje zakonodavnog nadzora. Zakonodavstvo u mnogim zemljama, razvi- jenim i onim u razvoju traži informacije o uÄ?inku kao dio njihove nadzorne funkcije. Zakonodavstvo traži da vide da se budžet koristi efektivno. 130 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije JaÄ?anje ureda glavnog revizora. Ured glavnog revizora je kljuÄ?ni partner u odreÄ‘ivanju koliko efektivno funkcionira vlada. Kako revizijske agencije traže sve viÅ¡e informacija o tome koliko dobro funkcionira javni sektor, pro- grami, projekti i politike se efektivnije implementiraju. Razmijeniti i porediti nalaze sa razvojnim partnerima. Kao rezultat uvoÄ‘enja državne strategije smanjenja siromaÅ¡tva i sliÄ?nih strategija i politika, razvojni partneri (posebno bilateralne i multilateralne agencije za pomoć) razmjenjuju i porede rezultate i nalaze. Razumijevanje korisnosti informacija o uÄ?inku za razne korisnike je kljuÄ?ni razlog za izgradnju MiE sistema na prvom mjestu. KljuÄ?ni potencijalni korisnici u mnogim druÅ¡tvima, kao Å¡to su graÄ‘ani, NVO, i privatni sektor se Ä?esto izosta- vljaju iz toka informacija. MiE podaci imaju internu (vlada) i eksternu (druÅ¡tvo) upotrebu koju treba prepoznati i legitimirati (Tekstualni okvir 3.3). Tekstualni okvir 3.3 Deset upotreba rezultata nalaza Rezultati nalaza se mogu koristiti da se: 1. odgovori na zahtjeve za odgovornost izabranih zvaniÄ?nika i javnosti 2. pomogne formuliranje i opravdanje budžetskih zahtjeva 3. pomogne pri odlukama o raspodjeli operativnih resursa 4. zaÄ?ne detaljno ispitivanje koji problemi uÄ?inka (teorijom promjene ili implementacijom) postoje i koje korekcije su potrebne 5. pomogne u motiviranju osoblja da nastavi praviti poboljÅ¡anje programa 6. prati uÄ?inak izvoÄ‘aÄ?a radova i korisnika grantova (viÅ¡e nije dovoljno da oni samo dokumentuju to Å¡to rade) 7. osiguraju podaci za posebnu detaljnu evaluaciju programa 8. pomogne praćenje vrÅ¡enja usluga prema preciznim ciljevima ishoda (da li stvari radimo ispravno?) 9. podrže strateÅ¡ki i drugi dugoroÄ?ni napori u planiranju (da li Ä?inimo prave stvari?) 10. komunicira sa javnošću da se izgradi javno povjerenje. Izvor: Hatry 1999. Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 131 Korak 10: Održavanje MiE sistema unutar organizacije 1 2 3 4 5 6 7 8 9 10 održavanje MiE sistema unutar organizacije Osiguranje dugovjeÄ?nosti i koriÅ¡tenja MiE sistema zasnovanog na rezultatima je izazov. Å est komponenti su krucijalne za održivost: • potražnja • jasne uloge i odgovornosti • povjerenje i pouzdane informacije • odgovornost • kapacitet • poticaji. Svaka komponenta treba stalnu pažnju sve vrijeme kako bi se osigurala održivost sistema. Potražnja Potražnja za MiE se može izgraditi i održavati na nekoliko naÄ?ina: • Ugradnjom formalne strukture koja zahtijeva redovno izvjeÅ¡tavanje o rezulta- tima uÄ?inka (na primjer: zahtjevi godiÅ¡njeg izvjeÅ¡tavanja za organizacione jedinice). • Publiciranje dostupnosti ovih informacija preko medija, tako stvarajući potražnju od vladinih tijela, grupa graÄ‘ana, donatora i javnosti. • Uvesti u praksu prevoÄ‘enje strategija u odreÄ‘ene ciljeve, tako da će oni zainte- resovani za strateÅ¡ki pravac organizacije moći pratiti napredak ka ostvarenju tih ciljeva. Jasne uloge i odgovornosti Jedna od najvažnijih strukturalnih intervencija za institucionaliziranje MiE sistema je izrada jasnih, formalnih linija autoriteta i odgovornosti za prikupljanje, analiziranje i izvjeÅ¡tavanje informacija o uÄ?inku. 132 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije To zahtijeva: • davanje jasnih smjernica ko je odgovoran za koju komponentu MiE sistema i izgradnju odgovornosti u pojedinaÄ?ne preglede uÄ?inka; • izgradnju sistema koji povezuje centralno planiranje i finansijske funkcije sa linijskim/sektorskim funkcijama da bi se podstakla veza izmeÄ‘u ciklusa raspodjele budžeta i pružanja MiE informacija, a Å¡to je u suÅ¡tini budžetski sistem uÄ?inka i • izgradnju sistema gdje postoji potražnja za informacijama na svakom nivou sistema (to jest, ne postoji dio sistema gdje informacija samo proÄ‘e a da ne bude upotrijebljena). Pouzdane i vjerodostojne informacije Sistem informacija o uÄ?inku mora biti u stanju proizvesti dobre i loÅ¡e vijesti. Prema tome, kreatori informacija trebaju zaÅ¡titu od politiÄ?kih represalija. Informa- cija dobivena u sistemu treba biti transparentna i predmet nezavisne verifikacije (na primjer, revizija rada vlade od strane državnog revizijskog ureda ili bilo koje nezavisne grupe univerzitetskih profesora). Odgovornost Potrebno je pronaći naÄ?ine za razmjenu transparentnih informacija sa vanjskim dionicima koji imaju interesa u uÄ?inku. KljuÄ?ne interesne grupe koje treba uzeti u obzir ukljuÄ?uju organizacije civilnog druÅ¡tva, medije, privatni sektor i vladu. Kapacitet ProvoÄ‘enje procjene spremnosti i fokusiranje na organizacione kapacitete je jedna od prvih stvari koja se razmatra kod izgradnje MiE sistema. KljuÄ?ni ele- menti za izgradnju ukljuÄ?uju jake tehniÄ?ke vjeÅ¡tine u prikupljanju podataka i ana- lizi, menadžmentske vjeÅ¡tine u postavljanju strateÅ¡kih ciljeva i organizacionog razvoja, prikupljanje postojećih podataka i sistem njihovog dobijanja, trenutna dostupnost finansijskih resursa, i institucionalno iskustvo sa monitoringom i evaluacijom. Poticaji Poticaje treba uvesti da bi se podstakla upotreba informacija o uÄ?inku. Uspjeh treba priznati i nagraditi, a probleme rjeÅ¡avati. Glasnike ne treba kažnjavati, orga- nizaciono uÄ?enje se mora vrednovati, a budžetske uÅ¡tede raspodijeliti. Korumpi- rani ili nedjelotvorni sistemi se ne mogu uzimati u obzir kada se prikupljaju kvalitetne informacije i analize. Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 133 ZakljuÄ?ni komentari Ne postoje obaveze da izgradnju MiE sistema treba vrÅ¡iti po ovim koracima (10 koraka) – mogu se razvijati strategije sa viÅ¡e ili manje koraka. Izazov je da se kljuÄ?ne funkcije i aktivnosti prepoznaju, logiÄ?ki svrstaju i implementiraju odgovarajućim slijedom. MiE sistem zasnovan na rezultatima je moćan menadžmentski alat. Može pomoći u izgradnji i poticanju primjena naÄ?ina na koji vlade i organizacije rade. TakoÄ‘er mogu pomoći izgradnju baze znanja onoga Å¡to funkcionira i onoga Å¡to ne funkcionira. MiE sistem zasnovan na rezultatima treba biti ažuriran. Mora imati stalnu pažnju, resurse i politiÄ?ku volju. Potrebno je vremena da se izgradi kulturna promjena i da se nastojanja usmjere prema rezultatima, ali vrijeme, nastojanja i nagrade su vrijedni truda. Potreba za izgradnju kapaciteta nikada ne prestaje, jedini put kojim se organizacija može kretati je silazni. Nekoliko koraka može pomoći da se osigura da MiE sistem opstane i da se održava: • ÄŒuvati one koji se za njeg bore na svojoj strani i pomoći im. • Uvjeriti ministarstvo finansija i zakonodavstvo da MiE sistem treba dovoljno resursa, kao Å¡to to treba i budžetski sistem (koliÄ?ina resursa dodijeljenih MiE sistemu treba biti otprilike jednaka koliÄ?ini dodijeljenoj budžetskom sistemu). • Iskoristiti svaku priliku da se informacije o rezultatima vežu za budžet i odluke o dodjeli resursa. • PoÄ?eti sa pilot nastojanjima da se demonstrira efektivan MiE zasnovan na rezultatima. • PoÄ?eti sa strategijom enklave (izgraÄ‘enih, na primjer, oko otoka inovacije) prije nego sa pristupom gdje je ukljuÄ?ena Ä?itava vlada. • Pratiti napredak ka implementaciji i ostvarenju rezultata. • Dopuniti uÄ?inak monitoringa evaluacijom da se osigura bolje razumijevanje javnih sektorskih rezultata. Jednom kada se okvir razvije za evaluaciju (Korak 7), može se koristiti okvir za izradu teorije promjene, odabrati pristup, poÄ?eti pisanje pitanja i odabrati dizajn evaluacije. Ova pitanja su obraÄ‘ena u poglavljima 4 - 7. Sažetak MiE sistem zasnovan na rezultatima može biti vrijedan alat od pomoći kreato- rima politika i onima koji donose odluke u praćenju ishoda i utjecaja projekata, programa i politika. Za razliku od tradicionalne evaluacije, MiE zasnovan na 134 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije rezultatima prevazilazi isticanje ulaznih i izlaznih elemenata i fokusira se na ishode i utjecaje. To je kljuÄ?na arhitektura za svaki sistem mjerenja uÄ?inka. MiE sistemi zasnovani na rezultatima • koriste podatke baznih linija da opiÅ¡u problem prije nego se krene sa inicijativom • prate indikatore za ishod koji treba ostvariti • prikupljaju podatke o ulaznim elementima, aktivnostima, i izlaznim rezu- ltatima te njihovom doprinosu u ostvarivanju ishoda • procjenjuju robusnost i primjerenost angažirane teorije promjene • ukljuÄ?uju sistemsko izvjeÅ¡tavanje zainteresovanih strana • izvode se sa strateÅ¡kim partnerima • prikupljaju informacije o uspjehu ili neuspjehu partnerske strategije u ostva- rivanju predviÄ‘enih rezultata • konstantno nastoje osigurati vjerodostojne i korisne informacije kao alat menadžmenta PreporuÄ?uje se deset koraka u dizajniranju i izgradnji MiE sistema zasnova- nog na rezultatima: 1. provoÄ‘enje procjene spremnosti 2. usaglaÅ¡avanje ishoda uÄ?inka koje treba pratiti i evaluirati 3. odabir kljuÄ?nih indikatora za monitoring ishoda 4. prikupljanje baznih podataka o indikatorima 5. planiranje poboljÅ¡anja: postavljanje realnih ciljeva 6. izgradnja monitoring sistema 7. upotreba informacija evaluacije 8. izvjeÅ¡tavanje o nalazima 9. koriÅ¡tenje nalaza 9. održavanje MiE sistema unutar organizacije. Izgraditi i održavati MiE sistema zasnovanog na rezultatima nije lahko. Zahti- jeva stalnu posvećenost, borbu, vrijeme, nastojanje i resurse. Mogu se pojaviti organizacioni, tehniÄ?ki i politiÄ?ki izazovi. Originalnom sistemu može trebati nekoliko revizija kako bi zadovoljio potrebe organizacije. Ali, taj posao je vrije- dan truda. Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 135 Poglavlje 3 Aktivnosti Aplikacijska vježba 3.1: Poredaj stvari logiÄ?no Koliko je spremna vaÅ¡a organizacija da dizajnira i implementira MiE sistem zasnovan na rezultatima? Ocijenite vaÅ¡u organizaciju za svaku od sljedećih dimenzija, te napiÅ¡ite komentare da objasnite vaÅ¡u ocjenu. Razgovarajte sa kolegom o bilo kakvim preprekama za implementaciju i o naÄ?inu na koji se prepreke mogu rijeÅ¡iti. 1. Poticaji (zaokružite odgovarajuću ocjenu): puno poticaja malo poticaja nekoliko nepovoljnosti komentari: strategije za poboljÅ¡anje: 2. Uloge i odgovornosti (zaokružite odgovarajuću ocjenu): veoma jasne donekle jasne priliÄ?no nejasne komentari: strategije za poboljÅ¡anje 3. Organizacioni kapacitet (zaokružite odgovarajuću ocjenu): odliÄ?an dovoljan slab komentari: strategije za poboljÅ¡anje: 4. Prepreke (zaokružite odgovarajuću ocjenu): ne postoje ozbiljne prepreke veoma malo prepreka ozbiljne prepreke komentari: strategije za poboljÅ¡anje: 136 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Aplikacijska vježba 3.2: Identificiranje ulaznih elemenata, aktivnosti, izlaznih rezultata, ishoda i utjecaja Identificirajte da li je svaka od sljedećih izjava ulazni element, aktivnost, izlazni rezultat, ishod, ili dugoroÄ?ni utjecaj. Ako je moguće, razgovarajte sa kolegom i objasnite na osnovu Ä?ega ste kategorizirali svaku izjavu. 1. Mikro preduzeća u vlasniÅ¡tvu žena znaÄ?ajno doprinose smanjenju siromaÅ¡tva u zajednicama gdje obavljaju djelatnost. 2. Vlada je osigurala sredstva za pozajmice za mikro preduzeća. 3. Vlada je odobrila 61 aplikaciju za programe diplomanata. 4. Ministarstvo obrazovanja je odredilo trenere za kurs. 5. Sedamdeset dvije žene zavrÅ¡ile obuku. 6. Prihod diplomanata povećan za 25 procenata u prvoj godini nakon zavrÅ¡etka kursa. 7. Stotinu žena pohaÄ‘alo obuku u upravaljanju mikropreduzećima. 8. Informacije o dostupnosti programa kredita za mikropreduzeća objavljene u zajednicama. Aplikacijska vježba 3.3: Razvoj indikatora 1. Identificirati program ili politiku koja vam je poznata. Å ta je glavni utjecaj koji nastoji ostvariti? Koja dva ishoda biste oÄ?ekivali da vidite ako je intervencija na putu da ostvari taj utjecaj? Utjecaj:________________________________________________ Ishod 1:________________________________________________ Ishod 2:_________________________________________________ 2. PoÄ?evÅ¡i sa ishodima, identificirajte dva ili tri indikatora koja biste koristili za praćenje napretka. Ishod 1:_______________________________________________________ Indikator a:_____________________________________________ Indikator b:_____________________________________________ Indikator c:_____________________________________________ Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 137 Ishod 2:_______________________________________________________ Indikator a:_____________________________________________ Indikator b:_____________________________________________ Indikator c:_____________________________________________ Utjecaj:________________________________________________ Indikator a:_____________________________________________ Indikator b:_____________________________________________ Indikator c:_____________________________________________ 138 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Napomene 1. Ovo poglavlje koje se uglavnom oslanja na Kuseka i Rista (2004), eksplicitno se bavi monitoringom. Ostatak je iskljuÄ?ivo posvećen evaluaciji. Bibliografija i dodatna literatura Binnendijk, Annette. 2000. “Results-Based Management in the Development Coopera- tion Agencies: A Review of Experience.â€? Paper prepared for the OECD/DAC Work- ing Party on Aid Evaluation, Paris, February 10–11 (revised October 2000). Boyle, R., and D. Lemaire, eds. 1999. Building Effective Evaluation Capacity. New Brunswick, NJ: Transaction Books. IFAD (International Fund for Agriculture Development). 2002. A Guide for Project M&E: Managing for Impact in Rural Development. Rome. www.ifad.org/evaluation/guide/. Furubo, Jan-Eric, Ray C. Rist, and Rolf Sandahl, eds. 2002. International Atlas of Evalu- ation. New Brunswick, NJ: Transaction Books. Hatry, Harry P. 1999. Performance Measurement: Getting Results. Washington, DC: Urban Institute Press. Khan, M. Adil. 2001. A Guidebook on Results-Based Monitoring and Evaluation: Key Concepts, Issues and Applications. Government of Sri Lanka, Ministry of Plan Implementation, Monitoring and Progress Review Division, Colombo. Kusek, Jody Zall, and Ray C. Rist. 2001. “Building a Performance-Based Monitoring and Evaluation System: The Challenges Facing Developing Countries.â€? Evaluation Journal of Australasia 1 (2): 14–23. ———. 2003. “Readiness Assessment: Toward Performance Monitoring and Evaluation in the Kyrgyz Republic.â€? Japanese Journal of Evaluation Studies 31 (1): 17–31. ———. 2004. Ten Steps to Building a Results-Based Monitoring and Evaluation System. Washington, DC: World Bank. Malik, Khalid, and Christine Roth, eds. 1999. Evaluation Capacity Development in Asia. United Nations Development Programme Evaluation Office, New York. Osborn, David, and Ted Gaebler. 1992. Reinventing Government. Boston: Addison- Wesley Publishing. OECD (Organisation for Economic Co-operation and Development). 2002. Glossary of Key Terms in Evaluation and Results-Based Management. Development Co-opera- tion Directorate and Development Assistance Committee. Paris. Schiavo-Campo, Salvatore. 1999. “‘Performance’ in the Public Sector.â€? Asian Journal of Political Science 7 (2): 75–87. UNPF (United Nations Population Fund). 2002. Monitoring and Evaluation Toolkit for Program Managers. Office of Oversight and Evaluation. www.unfpa.org/monitoring/toolkit.htm. Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 139 Valadez, Joseph, and Michael Bamberger. 1994. Monitoring and Evaluation Social Programs in Developing Countries: A Handbook for Policymakers, Managers, and Researchers. Washington, DC: World Bank. Weiss, Carol. 1972. Evaluation Research: Methods for Assessing Program Effectiveness. Englewood Cliffs, NJ: Prentice Hall. Wholey, Joseph S., Harry Hatry, and Kathryn Newcomer. 2001. “Managing for Results: Roles for Evaluators in a New Management Era.â€? American Journal of Evaluation 22 (3): 343–47. World Bank. 1997. World Development Report: The State in a Changing World. Wash- ington, DC. Web stranice IDRC (International Development Research Centre). 2004. Evaluation Planning in Program Initiatives. Ottawa. http://web.idrc.ca/uploads/user-S/108549984812 guideline-web.pdf. IFAD (International Fund for Agricultural Development). Practical Guide on Monitoring and Evaluation of Rural Development Projects. http://www.ifad.org/ evaluation/oe/process/guide/index.htm. Kellogg Foundation. 1998. Evaluation Handbook. http://www.wkkf.org/Pubs/Tools/ Evaluation/Pub770.pdf. Specialist Monitoring and Evaluation Web Sites. http://www.mande.co.uk/ specialist.htm. Uganda Communications Commission. 2005. “Monitoring and Evaluation.â€? In Funding and Implementing Universal Access: Innovation and Experience from Uganda. International Development Research Centre, Ottawa. http://www.idrc .ca/en/ev-88227-201-1-DO_TOPIC.html. World Bank. Core Welfare Indicators Questionnaire. Washington, DC. http://www4 .worldbank.org/afr/stats/cwiq.cfm. ———.2001. Tools: Capturing Experience Monitoring and Evaluation. Upgrading Urban Communities Resource Framework, Washington, DC. http://web.mit .edu/urbanupgrading/upgrading/issues-tools/tools/monitoring-eval.html# Anchor-Monitoring-56567. ———. 2008. Online Atlas of the Millennium Development Goals: Building a Better World. Washington, DC. http://devdata.worldbank.org/atlas-mdg/. 140 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Poglavlje 4 Razumijevanje konteksta evaluacije i programa teorije promjene Ovo poglavlje je prvo od dva poglavlja koje istražuje planiranje evalu- acije. Ovo poglavlje govori o poÄ?etku evaluacije – kako poÄ?eti. Vrlo je vjerovatno da će evaluacija koja poÄ?inje dobro isplaniranim dizajnom biti zavrÅ¡ena na vrijeme i u okviru budžeta te da će zadovoljiti potrebe klijenta i ostalih zainteresovanih strana. “Front-endâ€? analiza istražuje i identificira lekcije iz proÅ¡losti, potvrÄ‘uje ili preispituje teoriju koja je iza programa, te postavlja kontekst koji utjeÄ?e na program. Ovo poglavlje ima pet glavnih dijelova: • “Front-endâ€? analiza • Identifikacija glavnih klijenata i kljuÄ?nih dionika • Razumijevanje konteksta • Razdvajanje postojećeg znanja • Izgradnja, koriÅ¡tenje i procjena teorije promjene 141 “Front-endâ€? analiza Gdje poÄ?eti? Ukoliko želite stići na taÄ?no odrediÅ¡te, najbolje je poÄ?eti sa pronalaženjem pravaca koji tamo vode i onoga Å¡ta su ostali već nauÄ?ili o stazi koja vodi ka tom odrediÅ¡tu. Htjet ćete prikupiti kritiÄ?ne informacije za odluke o vremenskim okvirima, troÅ¡kovima, opasnostima i procesima. â– â–  “Front-endâ€? “Front-endâ€? analiza je istraživanje pitanja ili problema da se odredi Å¡ta je analiza: poznato o njemu i kako nastaviti razvijati evaluativan pristup. To je ono Å¡to evalu- Istraživanje ator radi da otkrije Å¡ta da radi. U “Front-endâ€? analizi, evaluator istražuje sljedeće pitanja ili tipove pitanja: problema da se odredi Å¡ta se o • Ko je glavni klijent za evaluaciju? Ko su ostali važni dionici? Koja pitanja njemu zna i identificirati za evaluaciju? kako nastaviti sa razvojem • Kako će proraÄ?un vremena evaluacije u odnosu na implementaciju projekta, evaluativnog programa ili politike utjecati na evaluaciju? pristupa do • Koliko vremena ima za zavrÅ¡etak evaluacije? njega • Å ta je priroda i opseg dostupnih resursa? • Da li je teorija druÅ¡tvenih nauka relevantna za evaluaciju? • Å ta su evaluacije sliÄ?nih programa otkrile? Kakva su pitanja pokrenuta? • Å ta je teorija promjene iza projekta, programa, ili politike? • Koji postojeći podaci se mogu koristiti za ovu evaluaciju? Mnogi evaluatori su nestrpljivi da zavrÅ¡e planiranje evaluacije i pohrle u pri- kupljanje podataka. PokuÅ¡avaju obaviti istraživaÄ?ki posao u isto vrijeme kad i prikupljanje podataka. Ali, kompletiranje dobre “Front-endâ€? analize je kritiÄ?no za uÄ?enje o intervenciji. Može uÅ¡tedjeti vrijeme i novac za evaluaciju, osigurati da evaluacija zadovolji potrebe klijenta te da održi ili izgradi veze ne samo sa kli- jentom nego i sa kljuÄ?nim dionicima. Najvažnije je da dobra “Front-endâ€? analiza može osigurati da evaluacija rjeÅ¡ava pravo pitanje da bi se dobile potrebne info- rmacije, umjesto da se prikupljaju podaci koji nikada neće biti koriÅ¡teni. Na poÄ?etku evaluacije, mnogi evaluatori tipiÄ?no prave pretpostavke, od kojih neke mogu biti netaÄ?ne. Mogu na primjer, pretpostaviti da postoji bogata infra- struktura podataka kada je ustvari samo nekoliko podataka dostupno. Mogu pre- tpostaviti da će im iskusni konsultanti sa Å¡irokim znanjem o zemlji pomoći sa evaluacijom, da bi poslije saznali da su ljudi na koje su raÄ?unali ustvari zauzeti vlastitim projektima. Period istraživanja je potreban da se sazna o dostupnosti podataka i ostalih resursa. U fazi front-end analize takoÄ‘er treba odrediti da li je zajedniÄ?ka evaluacija potrebna i moguća. Ukoliko postoji interes i ako je prikladan, partneri trebaju odrediti ko će preuzeti koju ulogu. TakoÄ‘er, potrebno je da se slože u vezi sa pitanjem kao Å¡to je odreÄ‘ivanje vremena evaluacije. 142 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Balansiranje oÄ?ekivanih troÅ¡kova i koristi evaluacije OÄ?ekivani troÅ¡kovi i koristi evaluacije i kako ih balansirati treba biti na dnevnom redu tokom planiranja front-end analize. Koristi evaluacije mogu ukljuÄ?ivati sljedeće: • donoÅ¡enje odluka zasnovano na dokazima Å¡to vodi razumnim odlukama o tome Å¡ta povećati u odreÄ‘enom razmjeru ili replicirati, Å¡ta unaprijediti, ili Å¡ta ukinuti ili smanjiti u odreÄ‘enom razmjeru; • doprinos toku znanja o tome Å¡ta radi (i pod kojim okolnostima), a Å¡ta ne i • izgradnju lokalnog kapaciteta. TroÅ¡kovi evaluacije su takoÄ‘er važni. O njima treba razmiÅ¡ljati u pogledu • troÅ¡kova programa (potroÅ¡iti 50.000 dolara da bi evaluirali program od 25.000 dolara nema smisla); • terete evaluacije korisnicima programa i drugim od kojih se traži da provode vrijeme pružajući informacije ili na drugi naÄ?in pomažu evaluatorima i • nastale Å¡tete u smislu gubitka reputacije evaluatora i evaluacijske zajednice ako postoji vjerovatnoća da rezultati budu osporeni zbog evaluacije visoko politiÄ?kog, kontraverznog programa ili ako nije bilo dovoljno vremena da se provede opsežna evaluacija. Zamke u procesu planiranja “front-endâ€? analize Vjerovanje da se sve može biti isplanirano unaprijed - i ako uradimo “front-endâ€? analizu, evaluacija će proteći glatko – je potencijalna zamka procesa planiranja “front-endâ€? analize. Druge zamke ukljuÄ?uju sljedeće: • otpor modificiranju originalnog plana (Leeuw 2003); • McDonaldizacija druÅ¡tva – „proces u kom principi restorana brze hrane sve viÅ¡e dominiraju sektorima ameriÄ?kog druÅ¡tva kao i u ostatku svijeta“ (Ritzer 1993, str.1) (ova fraza je naroÄ?ito primjenjiva kada popisi, spisak stvari koje treba uraditi, i okvire zamijene reflektivno razmiÅ¡ljanje); • fiksna uvjerenja („truizmi“) koji iskaÄ?u kada se provodi planiranje “front-endâ€? analize („Randomizirani eksperimenti? Ni sluÄ?ajno: previÅ¡e komplikovano, previÅ¡e skupo, i previÅ¡e teÅ¡ko provodivo u razvojnom kontekstu“); • „grupno razmiÅ¡ljanje“ (kretanje sa pozicijom grupe kako bi se ostalo dijelom grupe usprkos dilemama koje imamo u vezi sa pozicijom) i • neproporcionalno vaganje pogleda moćnih (automatsko vaganje vrijednosti sugestije prema statusu onoga ko sugestiju iznese). Razumijevanje konteksta evaluacije i programa teorije promjene 143 Identificiranje glavnog klijenta i kljuÄ?nih dionika Važan dio “front-endâ€? analize je identifikacija glavnih klijenata i kljuÄ?nih dionika projekta, programa, ili politike. Identificiranje dionika ne mora uvijek biti jednostavno. Glavni klijent TipiÄ?no, jedan kljuÄ?ni dionik ili grupa dionika sponzoriÅ¡e ili traži evaluaciju i glavni je primalac njenih izlaznih rezultata. Ovaj dionik ili grupa dionika je glavni klijent evaluacije. Potrebe ovog klijenta će imati veliki utjecaj na evaluaciju. Glavni klijent može • odobravati i finansirati program; • odobravati i finansirati evaluaciju; • biti odgovaran javnosti za intervenciju i • biti strana kojoj su evaluatori odgovorni. Postoji jedan glavni klijent. Važno se sresti sa glavnim klijentom (ili predsta- vnikom, kao Å¡to je upravni odbor, u sluÄ?aju grupe klijenata) u ranoj fazi kako bi se pomoglo u identificiranju pitanja za evaluaciju iz njegove perspektive. Tokom ovog sastanka, evaluatori trebaju pitati o vremenskim potrebama klijenta i namjeravanoj upotrebi evaluacije. Evaluator, koji prvo sluÅ¡a i ispituje klijenta da odredi pitanja koja su razlog zahtjeva za evaluaciju, može ponovo posjetiti klijenta da predstavi viÅ¡e opcija o naÄ?inima na koje se može pristupiti evaluaciji ili predložiti jedinstven preporuÄ?eni pristup evaluaciji. Dionici Dionici su ljudi i organizacije koji nisu klijent sa ulogom u intervenciji. ObiÄ?no, to su oni koje intervencija pogaÄ‘a, bilo da je to tokom intervencije ili u godinama koje dolaze. Važno je ukljuÄ?iti kao dionike one koji obiÄ?no ne bi bili pitani da uÄ?estvuju u evaluaciji. Dionici mogu ukljuÄ?ivati â– â–  Dionik: osoba ili organizacija • uÄ?esnike; koja nije klijent • direktne korisnike; koji ima ulogu u • indirektne korisnike; intervenciji • razvojne organizacije koje osiguravaju sredstva; • vladine zvaniÄ?nike, izabrane zvaniÄ?nike, vladine uposlenike sa relevantnim interesima, kao Å¡to su planeri i bolniÄ?arke javnog zdravstva; • direktore programa, osoblje, Ä?lanove upravnog odbora, menadžere i volontere; • kreatore politike i 144 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • zajednice i interesne grupe ili asocijacije, ukljuÄ?ujući one koje mogu imati razliÄ?it program od zvaniÄ?nika programa. Dionici obiÄ?no intervenciji pristupaju iz razliÄ?itih perspektiva. Donator se može pitati je li novac potroÅ¡en na odgovarajući naÄ?in i je li intervencija efekti- vna.. Program menadžer se brine upravlja li se intervencijom dobro i generiÅ¡u li se nauÄ?ene lekcije. UÄ?esnici programa mogu htjeti veću ili bolju uslugu. Kreatori politike se mogu brinuti da li intervencija ima namjeravani utjecaj. Drugi u zaje- dnici mogu htjeti replicirati ili proÅ¡iriti intervenciju ili limitirati ono Å¡to smatraju negativnim konsekvencama intervencije. Ova raznolikost interesa je dobra stvar, Å¡to se može otkriti u poÄ?etnoj diskusiji. Uloga svakog pojedinca ili grupe u odnosu na evaluaciju i njenu potencijalnu upotrebu treba biti jasno identificirana (Tabela 4.1). Identifikacija i ukljuÄ?ivanje kljuÄ?nih dionika KljuÄ?ni dionici se mogu identificirati pregledom dokumenata o intervenciji i razgovorom sa glavnim klijentom evaluacije, sponzorima programa, osobljem programa, lokalnim zvaniÄ?nicima, i uÄ?esnicima programa. Dionici se mogu intervjuirati inicijalno ili skupa u malim grupama. U kontaktiranju dionika o evaluaciji, planer evaluacije mora biti jasan o tome Å¡ta je svrha razgovora sa svakim dionikom (Ä?ineći ih svjesnim o predstojećoj evaluaciji, tražeći da identi- ficiraju pitanja koja bi željeli da se rijeÅ¡e evaluacijom). Povećanje upotrebe evaluacije je proces koji poÄ?inje sastancima sa glavnim klijentom i ukljuÄ?ivanjem glavnih dionika u dizajn evaluacije. To nije neÅ¡to Å¡to se deÅ¡ava kada je izvjeÅ¡taj o evaluaciji zavrÅ¡en i pred objavljivanje. Za neke evalu- acije sastanci sa kljuÄ?nim dionicima se održavaju periodiÄ?no ili se Ä?ak uspostavlja formalnija struktura. Menadžer evaluacije može postaviti strukturu savjetodavnog ili upravnog odbora. Razumijevanje konteksta evaluacije i programa teorije promjene 145 Tabela 4.1 Uloga dionika u evaluaciji Donijeti Osigurati Kreirati operativne ulaz za Samo Dionici politiku odluke evaluaciju Reagirati zainteresovani Oni koji razvijaju program Oni koji finansiraju program ZvaniÄ?nici koji odobravaju, odbori, ili agencije Davaoci drugih resursa (objekti, zalihe, naturalni doprinosi) ÄŒelnici agencija za implementaciju i viÅ¡i menadžeri Program menadžeri odgovorni za implementaciju Osoblje programa Osoblje monitoringa Direktni korisnici programa Indirektni korisnici programa Potencijalni usvojitelji programa Ljudi iskljuÄ?eni iz programa (prema ulaznim kriterijima, na primjer) Ljudi koji doživljavaju negativne efekte programa ili evaluacije Ljudi koji gube moć kao rezultat programa Ljudi koji gube prilike kao rezultat programa ÄŒlanovi zajednice ili javnost Ostali Izvor: Autori UkljuÄ?ivanje kljuÄ?nih dionika u ranoj fazi daje evaluatorima bolje razumi- jevanje intervencije, Å¡ta se nastoji ostvariti, te pitanja i izazove s kojima se pri tom suoÄ?avaju. Evaluacioni tim će biti bolje informiran u vezi sa pitanjima koja se pokrivaju evaluacijom kao i o odreÄ‘enim informacijama koje su potrebne, kada će informacije biti potrebne, i ko ih može pružiti. Sastajanje sa kljuÄ?nim dio- nicima pomaže u osiguranju da evaluacija neće promaÅ¡iti glavna kritiÄ?na pitanja. TakoÄ‘er pomaže pri „pridobijanju“ za evaluaciju: uvjeravanjem dionika da će 146 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije pitanja koja postave biti pažljivo razmotrena prije će povećati njihovu podrÅ¡ku i interes za evaluaciju. Ovako se gradi evaluacija. Stepen do kog se dionici aktivno ukljuÄ?uju u dizajn i implementaciju evalu- acije zavisi o nekoliko faktora, ukljuÄ?ujući resurse i odnose. Dionici možda ne budu u mogućnosti priuÅ¡titi slobodno vrijeme zbog njihovih stalnih obaveza, na primjer, ili mogu postojati politiÄ?ki razlozi zaÅ¡to evaluacija treba biti Å¡to je moguće viÅ¡e nezavisna. ProvoÄ‘enje analize dionika Mnoga uputstva su razvijena da se pomogne sa analizom dionika. Na njihovoj web stranici VodiÄ? za upravljanje kvalitetom, nauke o menadžmentu za zdravlje i Fond Ujedinjenih naroda (1998) iznose jedan takav proces za identificiranje i procjenu važnosti kljuÄ?nih ljudi, grupa ljudi, ili institucija koje mogu znaÄ?ajno utjecati na uspjeh evaluacije. Oni takoÄ‘er sugeriÅ¡u nekoliko drugih razloga za provoÄ‘enje analize dionika: • identificirati ljude, grupe, i institucije koje mogu utjecati na evaluaciju (pozi- tivno ili negativno); • predvidjeti koju vrstu utjecaja, pozitivnog ili negativnog, ove grupe će imati na evaluaciju i • razviti strategije da se dobije Å¡to je moguće efikasnija podrÅ¡ka za inicijativu i da se smanje prepreke za uspjeÅ¡nu implementaciju evaluacije. Tekstualni okvir 4.1 prikazuje jedan Å¡ablon za provoÄ‘enje analize dionika. Donekle sliÄ?na Tabela 4.1 naglaÅ¡ava izgradnju podrÅ¡ke i smanjenje otpora evalu- aciji. Koliko je važno biti inkluzivan, takoÄ‘er, važno je da se ne bude previÅ¡e inkluzivan jer ponekad možemo iziritirati ljude koji su na periferiji intervencije kad ih želimo ukljuÄ?iti. Ponekad evaluatori direktno ukljuÄ?uju jednog ili viÅ¡e dionika u planiranje i provoÄ‘enje evaluacije. (Participativne evaluacije su obraÄ‘ene u Poglavlju 5.) U ovim situacijama, evaluator omogućava ukljuÄ?ivanje dionika u • formuliranju ToR-a (projektnog zadatka); • izboru evaluacijskog tima; • analiziranju podataka i • identifikaciji nalaza i formuliranju zakljuÄ?aka i preporuka (Mikkelsen 2005). Razumijevanje konteksta evaluacije i programa teorije promjene 147 Tekstualni okvir 4.1 Kako provesti analizu dionika • Razmjena ideja sa kolegama da se identificiraju ljudi, grupe i institucije koje će utjecati na intervenciju ili biti pogoÄ‘eni intervencijom. Navesti ih u koloni dionika u tabeli. • Identificirati specifiÄ?ne interese koje svaki dionik ima u evaluaciji. Razmo- triti pitanja kao Å¡to su potencijalne koristi evaluacije za dionike, promjene koje evaluacija može tražiti od dionika da ih uÄ?ine, i projektne aktivnosti koje mogu uzrokovati Å¡tetu ili napraviti konflikt dionicima. Zabilježiti ove interese u kolonu pod nazivom „interesi dionika u projektu, programu ili politici.“ • Identificirati koliko je važan interes svakog dionika za uspjeh evaluacije. Razmotriti (a) ulogu koju kljuÄ?ni dionici moraju igrati da bi evaluacija bila uspjeÅ¡na i mogućnost da dionici igraju tu ulogu i (b) vjerovatnoća utjecaja negativne reakcije dionika na evaluaciju. Za svakog dionika zabilježiti procjenu u kolonu pod nazivom „procjena potencijalnog utjecaja“ tako Å¡to ćemo oznaÄ?iti sa „A“ veoma važno, sa „B“ priliÄ?no važno, i „C“ ne tako važno. • Razmotriti vrste akcija koje se mogu preduzeti da se dobije podrÅ¡ka dio- nika i da se smanji otpor. Razmotriti kako pristupiti svakom dioniku. Koju vrstu pitanja će dionici htjeti da evaluacija obradi? Koliko je važno ukljuÄ?iti dionike u proces planiranja? Postoje li druge grupe pojedinaca koje mogu utjecati na dionike da podrže evaluaciju? Zabilježite strategije za dobijanje podrÅ¡ke ili smanjenje prepreka evaluaciji u posljednju kolonu tabele. Tabela u okviru. Primjer obrasca za provoÄ‘enje analize dionika Procjena Potencijalne potencijalnog strategije za Interes dionika utjecaja dobijanje za projekat, evaluacije na podrÅ¡ke ili program ili dionike i dionika smanjenje Dionik politiku na evaluaciju prepreka Izvor: Management Sciences for Health and the United Nations Children’s Fund 1998 148 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Razumijevanje konteksta Front-end analiza takoÄ‘er istražuje odnos izmeÄ‘u etapa programa i svrhe Å¡iroke evaluacije. Život projekta, programa, ili politike može se zamisliti kao progresija gdje se razliÄ?ita evaluacijska pitanja postavljaju u razliÄ?itim etapama. Na primjer, ne bi imalo smisla evaluirati da li su ciljevi programa ostvareni samo nekoliko mjeseci nakon Å¡to su osigurana sredstva. Pogodnije pitanje u ovoj ranoj fazi moglo bi biti da li program ima ulazne elemente neophodne za implementaciju. Pancer i Westhus (1989) predstavljaju tipologiju za ovu progresiju etapa pro- grama i evaluacijska pitanja (Tabela 4.2). Pitanja koja su ukljuÄ?ili su samo pri- mjeri, mnoga potencijalna pitanja mogu biti postavljena u svakoj fazi. JoÅ¡ jedan korak u “front-endâ€? analizi je odrediti sadržaj politike. Istraživanje može identificirati evaluacije provedene na sliÄ?nim programima. Evaluator poÄ?inje prikupljanjem evaluacijskih izvjeÅ¡taja pregledajući ih za data pitanja, odabrani tip pristupa, koriÅ¡tene instrumente, i nalaze. Ako je evaluacija za novu intervenciju, evaluaciju možda treba dizajnirati bez mapa puta iz prethodnih evaluacija. MeÄ‘utim, ovo je rijedak sluÄ?aj. Tabela 4.2 Pitanja koja treba postaviti u razliÄ?itim fazama evaluacije Etapa razvoja programa Evaluacijska pitanja koja treba postaviti 1.  Procjena socijalnih problema i U kom obimu su zadovoljene potrebe potreba zajednice? OdreÄ‘ivanje ciljeva 2. ​ Å ta se mora uraditi da se zadovolje te potrebe? 3. ​Dizajniranje programskih Koje servise koristiti da se ostvare alternativa željene promjene? Odabir alternative 4. ​ Koji od mogućih pristupa programu je najrobusniji? 5.  Implementacija programa Kako program pustiti u rad? 6.  Rad programa Radi li program kako je planirano? Ishodi programa/efekti/utjecaji 7. ​ Ima li program željene efekte? Efikasnost programa 8. ​ Jesu li efekti programa ostvareni u okviru razumnih troÅ¡kova Izvor: PrilagoÄ‘eno iz Pancer i Westhus 1989. Razumijevanje konteksta evaluacije i programa teorije promjene 149 KoriÅ¡tenje postojećeg znanja “Front-endâ€? analiza istražuje postojeće teoretsko i empirijsko znanje o projektu, programu, ili politici. Ovo je takoÄ‘er poznato kao koriÅ¡tenje fonda znanja. â– â–  Fond znanja Znanje koje dolazi iz evaluacija i ostalih istraživanja druÅ¡tvenih nauka, Tijelo ukljuÄ?ujući ekonomske studije, se povećava svakodnevno. Žurnali koji sadrže postojećeg teorijskog i Ä?lanke koji sintetiziraju akumulaciju znanja o odreÄ‘enoj temi, kao Å¡to je utjecaj empirijskog veliÄ?ine razreda na uÄ?enje ili utjecaj nutritivnih programa budućih majki na težinu znanja o novoroÄ‘enÄ?eta. Problemski usmjerena istraživanja o tome kako organizacione projektu, funkcije kombinuju teorije i istraživanja iz tako raznolikih disciplina kao Å¡to je programu, ili organizaciona sociologija, kognitivna psihologija, teorija javnog izbora, te pravo politici i ekonomija (Scott 2003; Swedberg 2003). Organizacije kao Å¡to je Campbell Collaboration (http://www.campellcollaboration.org/) prikazuju kvalitet evalu- acija na datu temu te ih sintetiziraju da bi zadovoljili njihove kriterije. Repozitoriji nasumiÄ?nih eksperimenata u polju kaznenog pravosuÄ‘a i prevencije kriminala, programa socijalnog blagostanja, te zdravstveni i obrazovni programi ukazuju da se provodi viÅ¡e od 10.000 „eksperimenata“ (Petrosino i ostali 2003). U orga- niziranju i planiranju evaluacije bitno je identificirati i pregledati relevantan fond znanja (okvir 4.2). Tekstualni okvir 4.2 KoriÅ¡tenje fonda znanja o prevenciji kriminala Analize podataka o prevenciji kriminala sugeriÅ¡u da je 29 programa uspjelo, 25 nije, a 28 je bilo obećavajuće (informacije o ostalih 68 programa nisu bile jasne). Ovi nalazi su zasnovani na sintezi viÅ¡e od 600 evaluacija, ukljuÄ?ujući evaluaciju prevencije kriminala u Å¡koli i u porodici, programe smanjenja pro- valnih kraÄ‘a, hapÅ¡enja vezanih za droge, policijska žariÅ¡ta, incijative zatvo- renih krugova, nadzor susjedstva, monitoring program, i tipovi zatvorskih sankcija i programa (upravljanje srdžbom, program obuke, kognitivni pro- gram fokusirani na smanjenje recidiva, boot kampovi, i tako dalje). Izvor: Sherman i ostali 2002. Izgradnja, koriÅ¡tenje i procjenjivanje teorije promjene Zadnji dio “front-endâ€? analize je izrada teorije promjene i razumijevanje kako je koristiti i procjenjivati. Osnovna logika ili teorija promjene je važna tema za evaluaciju, bilo da je to tokom ex ante ili ex post faze studije. Ova sekcija se bavi 150 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije pitanjem zaÅ¡to koristiti teoriju promjene, kako izraditi teoriju promjene, i kako procijeniti teoriju promjene. Iako definicije mogu varirati (vidjeti Poglavlje 3), jedna definicija teorije promjene glasi da je to „inovativni alat za dizajn i evaluaciju inicijativa druÅ¡tvenih â– â–  Teorija promjena“ vrsta „nacrta sastavnih blokova“ potrebnih da se ostvare dugoroÄ?ni promjene: ciljevi inicijative druÅ¡tvene promjene (ActKnowledge and Aspen Institute Skica gradivnih blokova koji su 2003). Teorija promjene se takoÄ‘er može posmatrati kao prikaz naÄ?ina na koji se potrebni da se oÄ?ekuje da organizacija ili inicijativa ostvare rezultat i kao identifikacija osnovne dostignu pretpostavke. dugoroÄ?ni cilljevi Teorija promjene mora inicijativa druÅ¡tvene • Opisati slijed ulaznih elemenata projekta, programa, ili politike koja će se promjene koristiti; aktivnosti koje će ulazni elementi podržavati; izlazni rezultati ka kojima se program, projekt ili politika budžetiraju (jedna aktivnost ili kombi- nacija aktivnosti); i oÄ?ekivani ishodi i utjecaji; • Identificirati dogaÄ‘aje ili uvjete koji mogu utjecati na ostvarivanje ishoda; • Identificirati pretpostavke koje program Ä?ini o uzrocima i posljedicama; • Identificirati kritiÄ?ne pretpostavke koje, na osnovi politike i okoliÅ¡nog konte- ksta i pregleda literature, evaluacija treba istražiti. Identifikacija dogaÄ‘aja ili uvjeta koji mogu utjecati da li će intervencija ostva- riti željeni ishod je osobito data meÄ‘upovezanost i kompleksnost razvojnih pro- grama. MeÄ‘unarodne razvojne institucije sada nude programsko zaduživanje, Å¡to zemljama u razvoju daje veću diskreciju nego programsko finansiranje. Kao Å¡to Pawson (2006) indicira: Važna promjena u javnoj politici posljednjih godina bila je rast kompleksnosti, viÅ¡ekriterijskih, viÅ¡elokacijskih, viÅ¡e-agencijskih, viÅ¡epredmetnih programa... Razlozi su jasni. Korijeni socijalnih problema se prepliću. Zdravsteni nedostaci možda potjeÄ?u iz nepovoljnosti obrazovanja, nejednakosti tržiÅ¡ta rada, okoliÅ¡nih dispariteta, stambene iskljuÄ?enosti, razliÄ?itih obrazaca žrtava kriminala itd. Oni koji donose odluke su tako poÄ?eli razmiÅ¡ljati o tome da li se, pojedinaÄ?nim mjerama, intervencijama koje tretiraju samo jedno pitanje, tretiraju samo simptomi. Pawson vjeruje da u takvim sluÄ?ajevima evaluatori trebaju • Razumjeti osnovnu teoriju programa; • Istražiti postojeće dokaze kroz sintezu istraživanja; • Posmatrati kompleksan program kao lanac intervencija, sa jednim setom dio- nika koji osiguravaju resurse (materijalne, socijalne, kognitivne, ili emotivne) drugom setu dionika, oÄ?ekujući da će uslijediti promjena u ponaÅ¡anju. Razumijevanje konteksta evaluacije i programa teorije promjene 151 Kada se evaluacija planira, mora se obratiti pažnja na pitanja kako će teo- rija promjene koja stoji iza programa biti izgraÄ‘ena i testirana. Potrebno je koristiti vizualne dojmove da se pomogne pri pregledu kljuÄ?nih komponenti i interakcija projekta, programa ili politike. Treba pokazati uzroke i posljedice projekta, programa, ili politike – veza u lancu rezoniranja o tome Å¡ta uzrokuje Å¡ta. Željeni utjecaj ili cilj se Ä?esto prikazuje kao posljednja veza u modelu. Vrijednost teorije promjene je u tome da ona vizuelno prenosi vjerovanja o tome zaÅ¡to će projekt, program, ili politika vjerovatno uspjeti u dostizanju njiho- vih ciljeva. Teorija promjene takoÄ‘er odreÄ‘uje komponente programa i njihove meÄ‘usobne odnose. Osigurani su resursi koji omogućavaju organizaciji da poÄ?ne aktivnosti kako bi ostvarila odreÄ‘ene ciljeve. Ovi resursi, aktivnosti, rezultati, željeni ishodi, i utjecaji su meÄ‘usobno povezani. U nekim sluÄ?ajevima, evaluatori mogu uvidjeti da intervencija već ima teoriju promjene. Ako je to sluÄ?aj, trebaju je pažljivo pregledati. U mnogim sluÄ?ajevima će biti neophodno rafinirati ili preraditi postojeću teoriju promjene i potvrditi je sa ljudima koji su već ukljuÄ?eni. Ukoliko ne postoji teorija promjene, evaluator je treba izraditi i vrednovati je sa programskim menadžerom i osobljem, ukoliko je to moguće. Sa teorijom promjene, pretpostavke se takoÄ‘er moraju identificirati. NajkritiÄ?nije od ovih pretpostavki koju evaluacija treba testirati (na osnovu preovlaÄ‘ujućeg politiÄ?kog okruženja kao i iz pregleda literature) takoÄ‘er treba identificirati. Teorije promjene otvaraju „crnu kutiju“ da pokažu kako se od inte- rvencije oÄ?ekuje da konvertuje ulazne elemente, aktivnosti, i izlazne rezultate u rezultate (Ilustracija 4.1). Važno je identificirati Å¡ta se dogaÄ‘a u Å¡irem kontekstu – to jest u okruženju u kome program djeluje. Ovo okruženje (politiÄ?ko, makroekonomsko, i tako dalje) utjeÄ?e na sve dijelove sistema (Ilustracija 4.2). Ilustracija 4.1 Put od ulaznih elemenata do rezultata Rezultati Ulazni el. Aktivnosti Izlazni rezu. Crna kutija Ishodi Utjecaji Okruženje Izvor: Autori. 152 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 4.2 Potencijalni utjecaji okruženja na rezultate programa Sadržaj politike PolitiÄ?ko okruženje Ulazni el. Aktivnosti Izlazni rezultati Makroekonomska slika Crna kutija Stanje javnosti Ishodi Utjecaj Pomoćni igraÄ?i Okruženje Izvor: Autori. Iza svakog projekta, programa, ili politike Ä?esto postoji teorija promjene koja Ä?eka da bude artikulirana. Teorija vizualno može biti predstavljena na razliÄ?ite naÄ?ine, koristeći razliÄ?ite obrasce ili modele. Ovo predstavljanje se ponekad zove teorija modela, logiÄ?kih modela, okviri promjena, logiÄ?ki okviri, modeli lanca rezultata, te modeli ishoda. Svaki je varijacija na temu koja prikazuje teoriju promjene. Teorija promjene treba izložiti neformalan lanac, pokazati utjecaje, i identificirati kljuÄ?ne pretpostavke. ZaÅ¡to koristiti teoriju promjene? Teorija promjene je vrijedna evaluatorima i dionicima zato Å¡to im omogućava da zajedno rade na izgradnji „ svima razumljive vizije dugoroÄ?nih ciljeva, kako dostići te ciljeve, i Å¡ta će se koristiti da se tokom rada mjeri napredak“ (ActKnowledge and Aspen Institute 2003). Teorija promjene takoÄ‘er se može koristiti za izvjeÅ¡tavanje o rezultatima evaluacije. IzvjeÅ¡taj Kellog Foundation (2004) razmatra važnost komunikacije za uspjeh i održivost programa izvjeÅ¡tavanja. Identificira tri primarna naÄ?ina na koja predstavljanje teorije promjene može podržati strateÅ¡ke marketinÅ¡ke napore: Razumijevanje konteksta evaluacije i programa teorije promjene 153 • Opisivanje programa na jeziku jasnom i dovoljno specifiÄ?nom da se može razumjeti i evaluirati; • Fokusiranjem pažnje i resursa na prioritetne operacije programa i kljuÄ?ne rezultate u cilju uÄ?enja i poboljÅ¡anja programa; • Razvojem ciljanih komunikacija i marketinÅ¡kih strategija. Globalno, artikuliranje teorije promjene za projekt, program, ili politiku ima nekoliko koristi: • Pomaže identificiranje elemenata programa koji su kritiÄ?ni za uspjeh. • Pomaže izgradnju općeg razumijevanja programa i oÄ?ekivanja meÄ‘u dioni- cima zasnovano na zajedniÄ?kom jeziku. • Osigurava osnovu za evaluaciju. • Identificira mjere za odreÄ‘ivanje napretka intervenirajućih varijabli od kojih zavisi ishod. • Identificira pretpostavke koje mogu postati jedna osnova za identifikaciju evaluacijskih pitanja. Izrada teorije promjene Menadžeri Ä?esto razvijaju teoriju promjene dok prave koncept projekta, programa ili politike. Tokom ovog procesa mogu ukljuÄ?iti dionike. Teorija promjene nije uvijek eksplicitna, i nije uvijek ili neophodno konzistentna od poÄ?etka do kraja za datu intervenciju. Za druge intervencije, teorija promjene može da ne postoji. U ovom sluÄ?aju evaluator je treba izgraditi. Istraživanje teorije promjene treba Ä?initi osnovu svake evaluacije. Prije poÄ?etka pregleda ili izrade teorije promjene, evaluatori moraju imati jasno razumijevanje svrhe i ciljeva projekta, programa ili politike. Potrebno je razmotriti tri glavna pitanja: • Da li istraživanje i evaluacija temelje projekt, program, ili politiku? • Å ta je logika ili lanac rezultata projekta, programa, ili politike? • Koje su kljuÄ?ne pretpostavke postavljene? Proces poÄ?inje uÄ?enjem, Å¡to je viÅ¡e moguće o sliÄ?nim intervencijama i evalu- acijama. Sa novim informacijama poÄ?inje proces izvlaÄ?enja logike programa i kljuÄ?nih pretpostavki. PoÅ¡to je logika identificirana postavlja se u lanac dogaÄ‘aja i mapira se ili crta. Zatim se identificiraju kljuÄ?ne pretpostavke (Ilustracija 4.3). 154 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 4.3 Proces izrade teorije promjene KljuÄ?ne Logika pretpostavke Nalazi prethodnih istraživanja i evaluacija Izvor: Autori. Da li su nalazi ranijih istraživanja i evaluacija ukljuÄ?eni u program? Razvoj teorije promjene poÄ?inje identifikacijom i pregledom istraživanja i evaluacijske literature. Na primjer, prethodna istraživanja mogu pokazati da, kada se kontroliraju ostali faktori, se postavlja pozitivan odnos izmeÄ‘u akademskog uÄ?inka uÄ?enika i ukljuÄ?ivanja roditelja u zadaće djeteta. Ili evaluacija ranijeg programa obrazovanja u urbanom podruÄ?ju zemlje u razvoju može pronaći donekle uspjeÅ¡ne nalaze za komponentu programa koja ukljuÄ?uje posjete uÄ?itelja domovima uÄ?enika. Kada se zavrÅ¡i pretraga literature i identificiraju bilo kakvi relevantni nalazi, može se izraditi teorija promjene da se predvidi Å¡ta će se desiti kao rezultat sliÄ?ne intervencije. Može biti neophodno izraditi teorije promjene bez koristi od nalaza prethodnih istraživanja i evaluacija. U tom sluÄ?aju teorija će zasigurno biti slabija. Pregled evaluacijske literature treba poÄ?eti sa Å¡irom identifikacijom mogućih izvora istraživanja i evaluativnih informacija. Izvori ukljuÄ?uju sljedeće: • Evaluacijske studije koje je provela vlastita organizacija • Organizacija za ekonomsku saradnju i razvoj/Odbor za pomoć u razvoju (OECD/DAC) spremiÅ¡te publikacija i dokumenata ili informacija po zemljama • Evaluacijske studije koje su provele razvojne organizacije, razvojne banke, nevladine organizacije (NVO), i ostali • ÄŒlanci u evaluacionim žurnalima • Primjenjena istraživanja opisana u žurnalima i psiholoÅ¡kim, socioloÅ¡kim, obrazovnim, i ostalim poljima o odreÄ‘enim temama. • Istraživanja o teorijama razvoja Razumijevanje konteksta evaluacije i programa teorije promjene 155 Tekstualni okvir 4.3 Pregled literature o programima za poboljÅ¡anje uspjeha uÄ?enika u regionu Južne Afrike Evaluatori u razvojnoj organizaciji su angažovani da evaluiraju obrazovni pro- gram u Africi Ä?iji cilj je poboljÅ¡ati uspjeh uÄ?enika u razredu. ReÄ?eno im je da su kućne posjete uÄ?itelja u nižim razredima u susjednoj zemlji povezane sa boljim uspjehom uÄ?enika. Evaluatori su poÄ?eli sa pretraživanjem istraživaÄ?ke i evaluacijske literature. Prvo su posmatrali istraživanje o obrazovanju i uspjehu u osnovnoj Å¡koli da bi utvrdili koji su nalazi bili dostupni pri sliÄ?nim intervencijama. Fokusirali su se na International Journal of Educational Research, teh American Education Research Journal, Early Childhood Research and Practice, i Journal od Educational Research. TakoÄ‘er su provjerili Development Gateway, DAC Evaluation Resource Centre, i Educa- tion Resources Information Center za evaluaciju. Tokom ovog procesa evalu- atori su pronaÅ¡li neka sliÄ?na istraživanja i nekoliko projekata i programa koji su izgledali sliÄ?no. Evaluacijski tim je proÄ?itao istraživaÄ?ku i evaluacijsku litera- turu kako bi Å¡to viÅ¡e nauÄ?ili o pitanjima i nalazima iz sliÄ?nih programa u dru- gim državama. Izvor: Autori IzvrÅ¡ni sažeci i zakljuÄ?ci ili nauÄ?ene lekcije su dobro mjesto da se odredi relevantnost evaluacijskih izvjeÅ¡taja. Kod istraživaÄ?kih Ä?lanaka, sažeci se mogu brzo proÄ?itati. Zbog ograniÄ?enog vremena, evaluatori ih trebaju brzo pregledati kako bi naÅ¡li važne informacije. Kada evaluatori lociraju relevantna istraživanja i nalaze evaluacije, potrebno ih je pažljivo istražiti (Tekstualni okvir 4.3). Å ta je logika programa? Logika programa, politike, ili projekta gleda svrhu i ciljeve intervencije i posta- vlja „ukoliko se desi X, onda se treba desiti Y.“ OdreÄ‘eni su detalji o prirodi željene promjene: ciljane populacije, nivo promjene potreban da bi se signali- zirao uspjeh i vremenski okvir u kom se oÄ?ekuje da se takva promjena desi. Lanac „ako-onda“ stavovi – teorija promjene – tada je formiran. Mali komadi papira ili karte mogu se koristiti da se bilježe iskazi u lancu aktivnosti. Lahko ih je pomjerati uokolo, dodavati ili uklanjati kako se lanac gradi. Evaluatori Ä?esto rade unazad od dugoroÄ?nog cilja, identificiraju logiÄ?ki lanac dogaÄ‘aja sve dok ne doÄ‘u do trenutne situacije. Ako je teorija promjene već 156 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije izraÄ‘ena, evaluator mora proći kroz sliÄ?an proces da bi rekonstruirao teoriju promjene. Razmotrite primjer intervencije da se obuÄ?e ljudi u tehnici razvoja evaluacije (Ilustracija 4.4). OÄ?ekivani rezultati ove intervencije bili bi izrada kvalitetnije evaluacije i donoÅ¡enje boljih odluka donesenih na osnovu dokaza. (Krajnji cilj bio bi poboljÅ¡anje u razvoju, ali poÅ¡to toliko faktora utjeÄ?e na razvoj, evaluatori ne pokuÅ¡avaju mjeriti ovaj krajnji ishod). Jednostavan lanac za ovu intervenciju može ukljuÄ?ivati sljedeće: ako su evaluatori bolje obuÄ?eni, onda će provoditi bolje evaluacije, Å¡to će onda rezultirati korisnim informacijama za kreatore politika, a Å¡to će zatim dovesti do donoÅ¡enja odluka na osnovu dokaza. Korisne informacije trebaju rezultirati boljim odluÄ?ivanjem onih koji donose odluke. Ono Å¡to je do sada predstavljeno je linearni model. Dobra teorija promjene ne pretpostavlja jednostavan odnos uzroka i posljedice; nego prikazuje komple- ksne odnose koristeći okvire i strelice koje potonje vežu sa ranijim – ili poslije sa kasnije – dijelovima teorije promjene. Oni takoÄ‘er detaljiÅ¡u kljuÄ?ne pretpo- stavke na kojima poÄ?iva model, ukljuÄ?ujući glavne kontekstualne ili okoliÅ¡ne faktore ili dogaÄ‘aje koji će vjerovatno imati utjecaja na intervenciju. Å ta su kljuÄ?ne pretpostavke? PoÄ?etni logiÄ?ki lanac Ä?esto izgleda linearan. Kada evaluatori razmotre mnoge faktore koji imaju utjecaja na njihov projekt, program ili politiku, teorija pro- mjene postaje kompleksnija. Pri identifikaciji logike programa, takoÄ‘er se moraju identificirati pretpostavke koje evaluatori izvode u samom procesu promjene. Pretpostavke koje imaju najveći rizik za uspjeh intervencije (kljuÄ?ne pretpo- stavke) zatim mogu biti ispitane i testirane kao dio evaluacije. Pretpostavke Ä?esto možemo svrstati u jednu od Ä?etiri grupe: Ilustracija 4.4 Jednostavna teorija promjene za poboljÅ¡anje donoÅ¡enja odluka Trening evaluatora Kvalitetnije Korisnije Bolje Obuka evaluacije informacije odluke Izvor: Autori. Razumijevanje konteksta evaluacije i programa teorije promjene 157 • Navod o vezi izmeÄ‘u dugoroÄ?nog, srednjoroÄ?nog i ranog ishoda na mapi; • Ostvarenje tvrdnje da su svi važni preduvjeti za uspjeh identificirani; • Opravdanje veza izmeÄ‘u aktivnosti programa i ishoda koji se oÄ?ekuje da ga ostvare; • Implicitna ili eksplicitna razumijevanja kontekstualnog ili faktora okruženja koji bi vjerovatno podržali ili usporili napredak ka rezultatima i opseg u kom su rezultati ostvareni. Evaluatori prouÄ?avaju nastalu logiku i istražuju njene pretpostavke. Moguća pitanja koja se mogu postaviti ukljuÄ?uju sljedeće: • Je li ova teorija promjene vjerovatna? Vodi li slijed dogaÄ‘aja vjerovatnom dugoroÄ?nom cilju? • Je li ova teorija promjene izvodiva? Postoje li mogućnosti i resursi da se implementira strategija koja će ostvariti ishod? • Može li se ova teorija testirati? Jesu li odreÄ‘ene mjere kako će se odrediti uspjeh? (Anderson 2004) TakoÄ‘er mogu pitati ovo: • Å ta se to joÅ¡ deÅ¡ava u okruženju a da bi moglo pomoći ili koÄ?iti intervenciju? Pretpostavke se zapisuju a zatim ukljuÄ?uju u slijed dogaÄ‘aja. Mogu se koristiti komadići papira tako da se mogu reorganizirati da bi odgovarali teoriji koja se pojavljuje. Ne treba identificirati sve pretpostavke, lista bi bila predugaÄ?ka. MeÄ‘utim, kljuÄ?ne pretpostavke – one koje predstavljaju najveći rizik za uspjeh programa, a ispostavi se da su lažne – moraju se identificirati. U primjeru programa obuke, kljuÄ?ne pretpostavke mogu ukljuÄ?ivati sljedeće: • evaluatori nemaju spremne dostupne izvore obuke koji mogu zadovoljiti njihove potrebe; • evaluatori mogu dobiti finansijske resurse za uÄ?ešće u obuci; • obuka je odgovarajuća njihovim potrebama evaluatora; • evaluatori vrednuju obuku i motivirani su da uÄ?e; • evaluatorima je data podrÅ¡ka i ostali resursi koji im trebaju tako da mogu provesti u praksu ono Å¡to su nauÄ?ili na obuci; • evaluatori trebaju imati vjeÅ¡tinu pisanja izvjeÅ¡taja potrebnu da informacije efikasno prenesu vladinim agencijama; • oni koji donose odluke u vladi koristit će njihove rezultate evaluacije da bi donosili bolje odluke zasnovane na dokazima. 158 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Da bi ovaj lanac bio efikasan, kritiÄ?ne pretpostavke moraju biti utvrÄ‘ene. Mogu se navesti skupa sa dijagramom teorije promjene ili ucrtane u dijagram teorije promjene (grafika 4.5). Å ablon teorije promjene Kellog Foundation (2004) sugeriÅ¡e evaluatorima da koriste Å¡ablon da im pomogne objasniti teoriju promjene (Ilustracija 4.6). Da bi koristili Å¡ablon teorije promjene, Kellog Foundation sugeriÅ¡e evaluato- rima da poÄ?nu u sredini modela (problema ili pitanja). Ovo je srce Å¡ablona i srž teorije promjene. U ovom prostoru evaluator piÅ¡e jasnu izjavu o problemu ili pitanju kojim će se intervencija baviti. U drugom koraku, Potrebe zajednice/sredstva, evaluator odreÄ‘uje potrebe i sredstva zajednice ili organizacije. Ukoliko je procjena potreba izvrÅ¡ena ili ako su potrebe zajednice ili organizacije prioritizirane, tu informaciju treba ukljuÄ?iti ovdje. U trećem koraku, Željeni rezultati, Kellog sugeriÅ¡e da evaluator identificira Å¡ta se od intervencije oÄ?ekuje da ostvari kako kratkoroÄ?no tako i dugoroÄ?no. Ovo uglavnom može biti vizija za budućnost. Unosi u ovom okviru će postati, izlazni rezultati, ishodi, i utjecaji. Ilustracija 4.5 Dijagram jednostavne teorije promjene sa identificira- nim kljuÄ?nim pretpostavkama VjeÅ¡tina pisanja Zadovoljene izvjeÅ¡taja adekvatna potrebe za komunikaciju sa polaznika vladom Visoko kvalitetne Korisne Bolje Obuka evaluacije informacije odluke Dovoljno Dati resursi da se vremena za uÄ?enje prati Å¡ta su nauÄ?ili Izvor: Autori. Razumijevanje konteksta evaluacije i programa teorije promjene 159 Ilustracija 4.6 Å ablon teorije promjene Strategije Pretpostavke 5 6 Problem ili pitanja Željeni rezultati Utjecajni faktori 1 (izlazni rezultati, ishodi, i uÄ?inak) 4 3 Potrebe zajednice/sredstva 2 Izvor: Kellogg Foundation 2004. U Ä?etvrtom koraku, Utjecajni faktori, Kellog od evaluatora traži da navede potencijalne prepreke i podrÅ¡ke koji mogu utjecati na željenu promjenu. Ovo mogu biti faktori rizika, postojeća politika u okruženju, ili drugi faktori (mogu doći iz pregleda istraživanja i evaluacijske literature ili iz drugih izvora). U petom koraku, Strategije, evaluator treba navesti opće uspjeÅ¡ne strategije koje je istraživanje identificiralo kao korisno u sliÄ?nim zajednicama ili orga- nizacijama u ostvarenju vrste rezultata koje projekt, program, ili politika nastoje izazvati („najbolja praksa“). U posljednjem koraku, Pretpostavke, Kellog od evaluatora traži da navede pretpostavke o tome kako će i zaÅ¡to identificirane strategije promjene raditi u zajednici ili organizaciji. To mogu biti principi, vjerovanja, ili ideje. Å ablon teorije promjene se zatim može koristiti da se napravi grafiÄ?ki prikaz teorije promjene. Ako je grupa ljudi ukljuÄ?ena u izradu teorije promjene, svaka osoba (ili grupa) može dobiti prazan Å¡ablon koji će popuniti. Kada su svi Å¡abloni popunjeni, grupa može raspravljati o njima i postići saglasnost. 160 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ovo je jedna vrsta Å¡ablona. Može se revidirati ili prilagoditi da zadovolji odreÄ‘ene potrebe ili praksu organizacije. Na primjer, evaluator će htjeti ukazati ne samo na uspjeÅ¡ne strategije nego takoÄ‘er i na neuspjeÅ¡ne (koje treba izbjegavati). Primjeri izrade teorije promjene Dva primjera ilustruju kako evaluator izraÄ‘uje teoriju promjene. Prvi opisuje program za poboljÅ¡anje akademskog uspjeha tako Å¡to uÄ?itelji posjećuju domove uÄ?enika. Drugi opisuje program koji koristi participacijske radionice da se smanji korupcija u vladi. PoboljÅ¡anje uspjeha uÄ?enika preko posjeta uÄ?itelja domovima uÄ?enika Razmotrite sljedeću situaciju. Zreo program treba evaluirati, ali nema teoriju promjene. Evaluator je treba poÄ?eti izraÄ‘ivati tako Å¡to prolazi kroz istraživanja i evaluacijsku literaturu (kao Å¡to je opisano u okviru 4.3). Željeni cilj programa je poboljÅ¡anje akademskog uspjeha uÄ?enika. Intervencija je posjeta uÄ?itelja domovima uÄ?enika. Logika situacije je sljedeća: ako uÄ?itelj (ulazni element) posjeti (aktivnost) domove uÄ?enika (ulazni element) i razgovara sa roditeljima (izlazni rezultat), oni će biti viÅ¡e osjećajni prema djetetu (ishod ). Roditelji će bolje razumjeti Å¡kolske potrebe u vezi sa zavrÅ¡avanjem domaće zadaće na vrije- me i potrebe da djeca pohaÄ‘aju Å¡kolu svaki dan (izlazni rezultat); kao rezultat oni će se pobrinuti da se oboje desi (ishod). Zato Å¡to dijete radi zadaću i pohaÄ‘a Å¡kolu redovno, te ima suosjećajnog uÄ?itelja, tada će se uspjeh uÄ?enika povećati (utjecaj). Evaluator koji izraÄ‘uje teoriju promjene poÄ?inje sa namjeravanim rezultatom – veći uspjeh u Ä?itanju – i mjestima na dnu dijagrama, u ovom sluÄ?aju (Ilustracija 4.7). Sljedeće, evaluator identificira intervenciju tako Å¡to piÅ¡e „posjeta uÄ?itelja domovima uÄ?enika“ na vrhu. Odatle evaluator identificira tri moguća rezultata posjete domovima: • uÄ?itelj stiće razumijevanje kućne kulture uÄ?enika; • roditelji dobivaju informaciju o tome Å¡ta Å¡kola oÄ?ekuje od uÄ?enika i • uÄ?itelji i roditelji su u mogućnosti rjeÅ¡avati problem koji spreÄ?ava uÄ?enika da ima dobre rezultate u Å¡koli. Razumijevanje konteksta evaluacije i programa teorije promjene 161 Ilustracija 4.7 Teorija promjene za program poboljÅ¡anja uspjeha uÄ?enika u Ä?itanju preko posjeta uÄ?itelja njihovim domovima Posjete uÄ?itelja domovima uÄ?enika Razmjena stavova izmeÄ‘u uÄ?itelja i roditelja UÄ?itelji Znanje roditelja Identifikacija razumijevaju o oÄ?ekivanjima Å¡kole posebnih problema kućnu kulturu za uÄ?enike koji onemogućavaju uspjeh uÄ?enika (zdravlje, emocije, ostalo) Simpatije uÄ?itelja PodrÅ¡ka roditelja PodrÅ¡ka roditelja Znanje roditelja o prema djeci i i podsticanje djece za redovnije oÄ?ekivanju Å¡kole za njihovom pogledu za zadaće i Å¡kolske pohaÄ‘anje Å¡kole uÄ?enike na svijet zadatke PoduÄ?avanje u Svijest uÄ?enika o PohaÄ‘anje UÄ?enici primaju smislu pogodnom i radu uÄ?enika posebnu pomoć razumljivom za uÄ?enike Moral uÄ?enika PoboljÅ¡anje uvjeta (zdravstvenih, osjećajnih) Uspjeh u Ä?itanju Izvor: Weiss 1972, 50. 162 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Iz svakog od ova tri moguća rezultata, evaluator identificira ostale rezultate, praveći lanac rezultata i interakciju rezultata. Na primjer, iz rezultata „uÄ?iteljevo razumijevanje kućne kulture“, evaluator identificira lanac rezultata koji ukljuÄ?uje sljedeće: • tada uÄ?itelji imaju simpatiju za njihove uÄ?enike i njihov pogled na svijet; • zatim uÄ?itelj poÄ?inje poduÄ?avati na naÄ?in koji viÅ¡e odgovara uÄ?eniku; • zatim se moral uÄ?enika poveća i • zatim se uÄ?enikov uspjeh u Ä?itanju poveća. Evaluator zatim identificira ostale moguće rezultate iz svakog od origi- nalnih mogućnosti, sve sa zavrÅ¡etkom u uspjehu u Ä?itanju. Neki od lanaca rezu- ltata takoÄ‘er meÄ‘usobno djeluju sa drugim mogućim rezultatima. Ova teorija promjene takoÄ‘er identificira nekoliko pretpostavki, u ovom sluÄ?aju, oni se navode umjesto da se unose u dijagram. Ovo su pretpostavke koje evaluator identificira: • djeca dolaze iz porodica sa dva roditelja i kućom; • roditelji su dostupni u njihovim domovima kada su i uÄ?itelji dostupni; • uÄ?itelji su voljni ići u posjetu; • roditelji će poželjeti dobrodoÅ¡licu uÄ?iteljima u njihovim domovima; • roditelji će se osjećati komforno i diskutirat će o njihovim pogledima na obra- zovanje njihove djece; • uÄ?itelji će bolje razumjeti kućnu kulturu i tako biti viÅ¡e suosjećajni sa uÄ?enicima; • uÄ?itelji će prilagoditi poduÄ?avanje i stilove poduÄ?avanja koristeći ono Å¡to su nauÄ?ili iz posjeta domovima; • roditelji se hoće ukljuÄ?iti u uÄ?enje uÄ?enika i žele da njihova djeca pohaÄ‘aju Å¡kolu, rade zadaće, te postignu akademski uspjeh; • roditelji nemaju potrebu da njihova djeca rade i • niÅ¡ta drugo se ne deÅ¡ava u Å¡kolskom ili kućnom okruženju, a Å¡to bi moglo uzrokovati poboljÅ¡anje uspjeha uÄ?enika. Evaluacija bi bila izraÄ‘ena da odgovori na ove pretpostavke koje su literatura ili dionici identificirali kao kritiÄ?ne. Koristeći participativne radionice za borbu protiv korupcije, razmotrite drugaÄ?iji primjer. Program namjerava uvesti participativne radionice kako bi se smanjila korupcija u vladi. Da bi se izradila teorija promjene, evaluator poÄ?inje pisanjem dugoroÄ?nog cilja za smanjenje korupcije na dnu dijagrama a intervenciju piÅ¡e na vrhu dijagrama. Glavni dogaÄ‘aji predviÄ‘eni da se dese postavljaju se u slijed dogaÄ‘aja izmeÄ‘u ovo dvoje (Ilustracija 4.8) (Haaruis 2005). Razumijevanje konteksta evaluacije i programa teorije promjene 163 Ilustracija 4.8 Teorija promjene za program za upotrebu na participativnoj radi- onici o smanjenju korupcije u vladi Antikorupcioni program koji naglaÅ¡ava participativnu radionicu • potaknut će politiku dijaloga • pomoći će u uspostavi procesa „razmjene i uÄ?enjaâ€? “najbolje prakseâ€? i “dobrih primjeraâ€? Å¡to će imati utjecaja na ponaÅ¡anje (kao Å¡to je potpisivanje obećanja o integritetu) • ukljuÄ?it će proces uÄ?enja koji će biti viÅ¡e nego ad hoc ili jednokratni napor i pomoći će upravljanje “akcionog istraživanjaâ€? • ojaÄ?at će uÄ?esnike • ukljuÄ?it će partnerstvo i mreže sa razliÄ?itim dionicima unutar civilnog druÅ¡tva uspostavljajući (ili jaÄ?ajući) socijalni kapital meÄ‘u partnerima • objelodanit će kome se može vjerovati u borbi protiv korupcije, a kome ne • realizacije “brzih pobjedaâ€? ohrabrit će ostale da se ukljuÄ?e u borbu protiv korupcije • aktivnosti, takoÄ‘er, pomažu uspostavu „ostrva integriteta“ Å¡to će imati funkciju primjera Razvoj lokalnog vlasniÅ¡tva dok se bave antikorupcionim aktivnostima Postojanje efekta curenja iz ovih radionica u druge segmente druÅ¡tva • povećana svijest javnosti o negativnostima korupcije • povećati svijest o negativnosti korupcije unutar civilnog druÅ¡tva • izgradnja institucija uspostavom ili jaÄ?anjem razliÄ?itih stubova integriteta • transparentno druÅ¡tvo i transparentna i odgovorna država • izlazna strategija za Svjetsku banku Pomoći će uspostavu (ili jaÄ?anje) državnog sistema integriteta Å¡to će pomoći uspostavi dobre uprave Å¡to će smanjiti korupciju Izvor: Leeuw, Gils, and Kreft 1999. 164 Iako su mnoge pretpostavke identificirane, evaluator ograniÄ?ava pretpostavke koje će evaluacija istražiti na tri kljuÄ?ne, a koje su zasnovane na pregledu litera- ture i diskusijama sa klijentom i dionicima: • participativne radionice su efektivne i zadovoljavaju potrebe uÄ?esnika i programa; • uÄ?esnici imaju vjeÅ¡tine, stav, i motivaciju da uÄ?estvuju u radionicama i • uÄ?esnici će razviti smisao „lokalnog vlasniÅ¡tva“, stvarajući efekt curenja. Terminologija i grafiÄ?ki prikaz teorije promjene Kako je teorija programa narasla do glavne snage u evaluaciji, nastala je konfu- zija u vezi sa terminologijom, ukljuÄ?ujući termine kao Å¡to je logiÄ?ki modeli, modeli ishoda, modeli teorije. Patton (2002), na primjer, razlikuje logiÄ?ki model od teorije promjene, navodeći da je jedini kriterij za logiÄ?ki model da prikazuje razuman, odbranjiv i dosljedan red od ulaznih elemenata preko aktivnosti do izlaznih rezultata, ishoda, i utjecaja. Suprotno tome, teorija promjene takoÄ‘er mora odrediti i objasniti pretpostavljenu, hipoteziranu ili testiranu uzroÄ?nu pove- zanost. Bez obzira na odreÄ‘enu terminologiju ili koriÅ¡teni format, sve predstavke teorije promjene trebaju prikazati uzroÄ?ni slijed, pokazati utjecaje, i identificirati kljuÄ?ne pretpostavke. Modeli teorije promjene se mogu predstaviti vizualno dijagramima toka na razliÄ?ite naÄ?ine. U ovom dijelu ilustriramo nekoliko formata. Standardni dijagram toka Dijagrami toka su najÄ?ešći format koji se koristi za ilustriranje teorije promje- ne. Dijagram toka ilustrira slijed rezultata koji teÄ?e (ili rezultira) iz aktivnosti i izlaznih elemenata (Ilustracija 4.9). To je veoma fleksibilan logiÄ?ki model sve dok su predstavljene osnovne komponente – ulazni elementi, aktivnosti, izlazni â– â–  Dijagram rezultati i rezultati. RazliÄ?iti nivoi rezultata (neposredni, srednji, finalni) mogu se toka: Dijagram prikazati da se osigura da dijagram toka indicira kako su konaÄ?ni rezultati ostva- koji ilustrira slijed rezultata reni. Kada se koristi ovaj format, evaluatori trebaju navesti svoje pretpostavke, koji nastaju iz ukljuÄ?ujući faktore u vanjskom okruženju koji mogu utjecati na obim u kom aktivnosti i intervencija ostvaruje namjeravane rezultate. izlaznih UzroÄ?no-posljediÄ?na veza može se objasniti koristeći „ako-onda“ izjave. Na elemenata. primjer, „ako je aktivnost provedena, tada će nastati ovi izlazni rezultati. Ako su izlazni rezultati ostvareni, onda će oni voditi do prvog nivoa neposrednih rezultata.“ Razumijevanje konteksta evaluacije i programa teorije promjene 165 Ilustracija 4.9 Standardni grafikon toka Ulazni elementi Aktivnosti Izlazni rezultati Ishodi Utjecaji Pretpostavka â– â–  Slijed 1. rezultata: 2. UzroÄ?ni slijed za razvoj interven- 3. cije koji utvrÄ‘uje Izvor: Autori. neophodni slijed za ostvarenje željenih ciljeva, poÄ?evÅ¡i sa Standardni dijagram toka sa naglaskom na pretpostavke ulaznim elemen- JoÅ¡ jedan dizajn za teoriju promjene prikazan je u Ilustraciji 4.10. Ovaj model tima, preko ukljuÄ?uje pretpostavke kao principe koji stoje iza dizajna inicijative. aktivnosti i izlaznih Standardni slijed rezultata rezultata, te kulminacijom u Slijed rezultata – takoÄ‘er poznat i kao slijed uÄ?inka – je sliÄ?an dijagramu toka, ishode, utjecaje ali ne odgovara nužno odreÄ‘enim aktivnostima sa odreÄ‘enim izlaznim rezu- i povratne ltatima ili rezultatima. Zato Å¡to ne pokazuje iste detalje kao dijagram toka u vezi informacije sa uzroÄ?nim slijedom aktivnosti, izlaznih elemenata i rezultata, korisnik se treba 166 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 4.10 Dijagram toka koji naglaÅ¡ava pretpostavke Pretpostavka Ulazni elementi Aktivnosti Izlazni rezultati Ishodi PoÄ?eci Planirani Rad OÄ?ekivani Rezultati Izvor: PrilagoÄ‘eno od Kellogg Foundation 2004. uvjeriti da ono Å¡to je „pojednostavljeno“ ne zamijeni ono Å¡to je „standard“. Kao i u drugim vizualnim prikazima, utjecaj vanjskih faktora je eksplicitno uzet u obzir. Ulazni elementi, aktivnosti, i izlazni rezultati se Ä?esto koriste kao mjera efikasnosti; rezultati se koriste da odrede efikasnost programa (Ilustracija 4.11). Ilustracija 4.11 Standardni lanac rezultata PodruÄ?je kontrole Izlazni rezultati PodruÄ?je utjecaja interno koji dopiru do izvan organizaciji direktnih korisnika organizacije Izlazni Ishodi Ishodi Ulazni elem. Aktivnosti Utjecaji rezultati (kratkoroÄ?ni) (dugoroÄ?ni) Eksterni faktori Izvor: Canadian Department of Foreign Affairs and International Trade 2005. Razumijevanje konteksta evaluacije i programa teorije promjene 167 Mnogi primjeri gotovih modela dostupni su na Univerzitetu Wisconsin Extension web stranici. Linkovi stranice su dati na kraju ovog poglavlja. LogiÄ?ki okvir (logiÄ?ka matrica) Varijanta modela teorije promjene je logiÄ?ki okvir, ili kako se obiÄ?no â– â–  LogiÄ?ki okvir naziva, logiÄ?ka matrica. LogiÄ?ka matrica povezuje aktivnosti, rezultate, svrhu, (logiÄ?ka i ciljeve programa, politike, ili projekta u hijerarhiju. Za svaku komponentu matrica): programa, projekta, ili politike, evaluator identificira indikatore uÄ?inka koji su Matrica koja povezuje potrebni, izvore informacija za svaki indikator, i pretpostavku. LogiÄ?ke matrice aktivnosti, pojaÅ¡njavaju ciljeve projekta, programa ili politike i identificiraju uzroÄ?ne veze rezultate, svrhu izmeÄ‘u ulaznih elemenata, procesa, izlaznih rezultata, ishoda, i utjecaja. Mnoge i ciljeve razvojne organizacije zahtijevaju upotrebu logiÄ?kih matrica i obuÄ?ili su osoblje programa, za njihovu upotrebu. politike i LogiÄ?ka matrica je u suÅ¡tini 4 – 4 matrica koja sažima kritiÄ?ne elemente pro- projekta u hijerarhiju jekta, programa, ili politike. Pristup se bavi kljuÄ?nim pitanjima na metodiÄ?ki naÄ?in, koristeći uzroÄ?nu logiku. LogiÄ?ka matrica se može koristiti u razliÄ?ite svrhe: • poboljÅ¡anje kvaliteta dizajna projekta, programa ili politike tražeći specifika- ciju jasnih ciljeva, upotrebu indikatora uÄ?inka, i procjenu rizika; • sažimanje dizajna kompleksnih aktivnosti; • pomoć osoblju u pripremi detaljnih operativnih planova i • osiguranje osnova za ciljeve za pregled aktivnosti, monitoring i evaluaciju (World Bank 2004). LogiÄ?ka matrica je temeljito kritikovana. Važne kritike ukljuÄ?uju sljedeće: • Kada razvija logiÄ?ku matricu, evaluator se može izgubiti u detaljima i izgubiti iz vida veću sliku. • Podaci baznih linija nisu naglaÅ¡eni. • LogiÄ?ke matrice su Ä?esto previÅ¡e jednostavne, Ä?ak i za jednostavne dizajne projekta. Kao Å¡to je Gasper (1997) primijetio „ne može se sve važno smjestiti na jednu do tri stranice, dijagram od Ä?etiri pet nivoa“. • Mnogi korisnici logiÄ?kih matrica ne uspijevaju prepoznati da matrica ukljuÄ?uje neke stvari a druge izostavlja. Okvir je zamiÅ¡ljen kao pomoć pri provoÄ‘enju evaluacije, a ne kao zamjena evaluaciji. • LogiÄ?ka matrica ne traga za nenamjeravanim ishodima; njen opseg je ograniÄ?en na navedene ciljeve. • Nakon Å¡to se logiÄ?ka matrica pripremi, nastoji je se popraviti, a ne ažurirati, tako ona postaje „zakljuÄ?ana-matrica“ (Gasper 1997). LogiÄ?ka matrica za djeÄ?iju kliniku može ukljuÄ?ivati imunizaciju kao jednu od svojih aktivnosti, sa ciljanim rezultatima imunizacije 50 procenata sve djece ispod 168 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Å¡est godina u odreÄ‘enoj oblasti (Tabela 4.3). Ako se ovaj cilj ostvari, sluÄ?ajevi djeÄ?ijih oboljenja koja se mogu sprijeÄ?iti trebali bi se smanjiti. Ovo smanjenje treba ostvariti ukupni cilj smanjenja broja smrtnih sluÄ?ajeva djece mlaÄ‘e od Å¡est godina. Druga kolona u Tabeli 4.3 identificira indikatore koji verificiraju obim do kog je svaki cilj ostvaren. Treća i Ä?etvrta kolona odreÄ‘uju gdje će se prikupljati podaci kako bi se procijenio uÄ?inak prema indikatorima i kako bi se napravile pretpo- stavke o prirodi i dostupnosti tih podataka. Procjena teorije promjene Kada se teorija promjene izradi, evaluatori prave korak unazad i procjenjuju kvalitet teorije sa razliÄ?itih stajaliÅ¡ta. Ova stajaliÅ¡ta ili okviri ukljuÄ?uju procjenu u odnosu na socijalne potrebe; • logike i vjerodostojnosti; • poreÄ‘enjem sa istraživanjima i praksom; • poredeći program teorije promjene sa jednom ili viÅ¡e relevantnih nauÄ?nih teo- rija i • preko preliminarnih opservacija (prilagoÄ‘eno od Rossi, Freeman, i Lipsey 1999). Teorija promjene treba biti u stanju odgovoriti na sljedeća pitanja: • Je li model taÄ?an prikaz programa? • Jesu li svi elementi dobro definirani? • Postoje li neke praznine u logiÄ?kom slijedu dogaÄ‘aja? • Jesu li elementi nužno dovoljni? • Jesu li odnosi vjerodostojni i konzistentni? • Je li realno pretpostaviti da će program rezultirati ostvarenjem zacrtanih ciljeva na smislen naÄ?in? Kellog Foundation (2004) je razvila popis za procjenu kvaliteta logiÄ?kog modela. Sljedeća lista kriterija je prilagoÄ‘ena iz te liste: • Glavne aktivnosti potrebne za implementaciju programa su navedene; • Aktivnosti su jasno vezane za odreÄ‘enu teoriju programa; • Glavni resursi potrebni za implementaciju programa su navedeni; • Resursi odgovaraju vrsti programa; • Sve aktivnosti imaju dovoljno odgovarajućih resursa. Razumijevanje konteksta evaluacije i programa teorije promjene 169 Tabela 4.3 LogiÄ?ki okvir za program smanjenja smrtnosti djece 170 Komponenta Indikatori uÄ?inka Verifikacija Pretpostavke Cilj:PoboljÅ¡ati ekonomsko i druÅ¡tveno stanje PoboljÅ¡anja u porodiÄ?nom dohotku Anketiranje žena i njihovih porodica × procenat porodica koje uÄ?estvuju domaćinstava u vezi PoboljÅ¡anje mjera poboljÅ¡anja ekonomskog socijalnog i zdravstvenog stanja, stanja ishrane i zdravstnog stanja svih uÄ?ešća u obrazovanju Ä?lanova Cilj: Osigurati ženama mogućnosti da rade i uÄ?e domovi dnevnog boravka • ​ Iz anketa: promjene u Drugi Ä?lanovi dok se njihova djeca nalaze u domovima centra funkicioniraju i osiguravaju zapoÅ¡ljavanju i porodice za dnevni boravak dostupnu, brigu odgovarajućeg obrazovanju žena i održavaju ili kvaliteta tokom radnih sati te tako njihova evaluacija su poboljÅ¡avaju omogućavaju promjenu za omogućeni zaposlenje i zapoÅ¡ljavanje žena i obrazovne Evaluacija kvaliteta njege primanja. aktivnosti; se vrÅ¡i na osnovu Ekonomski uvjeti posmatranja. ostaju stabilni ili se popravljaju. Izlazni rezultati: • njegovatelji obuÄ?eni; Podaci iz MIS o PorodiÄ?ni uvjeti obuÄ?eni njegovatelji, supervizori, i direktori; • ​​ • kuće nadograÄ‘ene i rade; polaznicima domovima i omogućavaju • ​domovi dnevnog boravka se nadograÄ‘uju i materijalima majkama iz dnevnih rade; • materijali napravljeni i podijeljeni; centara da nastave • ​ materijali se razvijaju; Evaluacija polaznika • MIS funkcioniÅ¡e; nakon osnovne obuke i pružati njegu • ​postoji administrativni sistem i •  sistem upravljanja informacijama (MIS) tokom stalne obuke postoji. Aktivnosti: resursi Plan akcije, budžet, i • odabrati njegovatalje i supervizore i pružiti budžet raÄ?unovodstveni podaci. osnovnu obuku; Studije koje pokazuju da •  nadogradnja kuća; tehnologija odabrani model i plan •  razvoj materijala; ljudski resursi rade. • razvoj administrativnog sistema; • pružanje njege u dnevenim centrima; Evaluacije da se odredi • pružanje stalne obuke i supervizije i jesu li aktivnosti dobro • razvoj MIS. provedene Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Izvor: Inter-American Development Bank (http://www.iadb.org/sds/soc/eccd/6example.html#ex1). Sažetak Evaluatori se moraju oduprijeti težnji da pohrle u evaluaciju bez plana. Front- end analiza je vrijedan dio planiranja koji pomaže evaluatorima da dobiju veću sliku projekta, programa ili politike. Front-end analiza može odgovoriti na važna pitanja o evaluaciji, ukljuÄ?ujući raspored vremena, vrijeme za zavrÅ¡etak, ljude koji su ukljuÄ?eni, resurse, dizajn, teoriju promjene i logiku te postojeće znanje. Jedan dio analize prednjeg kraja je identificiranje ljudi ili grupa ukljuÄ?enih u intervenciju. Analiza dionika je jedan naÄ?in da se identificirijau kljuÄ?ni dionici evaluacije i da se odredi Å¡ta oni znaju o evaluaciji, Ä?ime mogu doprinijeti, i Å¡ta oÄ?ekuju od evaluacije. Drugi dio Front-end analize je posmatranje konteksta intervencije. Evaluatori moraju identificirati i uÄ?iti iz sliÄ?nih istraživanja i iz evaluacija sliÄ?nih interve- ncija. Evaluatori postavljaju razliÄ?ita pitanja u razliÄ?itim fazama životnog ciklusa intervencije, tako da je identifikacija faze intervencije važna. Izrada teorije promjene na kojoj poÄ?iva intervencija pomaže evaluatorima i dionicima da vizulaiziraju intervenciju i odrede pretpostavke na kojima poÄ?iva program a koje će trebati istražiti u evaluaciji. Dok postoje razliÄ?iti naÄ?ini da se grafiÄ?ki predstavi teorija promjene, sve treba biti zasnovano na nalazima sliÄ?nih istraživanja i evaluacija, prikazano logiÄ?kim slijedom, identificirati dogaÄ‘aje koji mogu utjecati na rezultate i prikazati uzroÄ?ni slijed dogaÄ‘aja. ObiÄ?no teorije promjene prikazuju ulazne elemente, aktivnosti, izlazne rezultate i rezultate, kao i njihov meÄ‘usobni odnos te okruženje u kom se dogaÄ‘a svaki od njih. Razumijevanje konteksta evaluacije i programa teorije promjene 171 Poglavlje 4 Aktivnosti Aktivnost 4.1: primjena teorije promjene Razmotrimo mikrokreditni program koji za cilj ima promovirati nove životne uvjete i poboljÅ¡ati dobrobit domaćinstava tako Å¡to će pomoći ženama, posebno siromaÅ¡nim ruralnim ženama da se zaposle i izgrade poduzetniÄ?ke vjeÅ¡tine, te tako povećaju primanja u domaćinstvu. DugoroÄ?ni cilj je promovirati razvoj privatnog sektora te povećati ekonomski rast. Krediti u prosjeku od US$225 maksimalno do US$500. Osigurani su kao ukupna suma za radni kapital ili ula- ganje u mikrobiznise. Trajanje kredita se kreće od 1 do 10 godina sa prosjekom od 2,3 godine. Grejs period od jedne godine je osiguran. Povezana komponenta izgradnje kapaciteta pokriva osnovne knjigovodstvene i finansijske troÅ¡kove. Ilustracija A pokazuje pojednostavljen logiÄ?ki model koji prikazuje mikrokreditni program. Ilustracija B prikazuje detaljniji grafiÄ?ki prikaz teorije promjene za isti mikrokreditni program. Zaokružene stavke u Ilustraciji B prikazuju glavne faktore u okruženju koji mogu utjecati na ostvarenje ciljeva programa. Razmi- slite o pretpostavkama na kojima poÄ?iva ovaj program. Navedite pet kljuÄ?nih pretpostavki na kojima se temelji ovaj program: 1. ______________________________________________________ 2. ______________________________________________________ 3. ______________________________________________________ 4. ______________________________________________________ 5. ______________________________________________________ Ilustracija A Jednostavna teorija promjene za mikrokreditni program Prihodi i Pristup poÄ?etnom PoboljÅ¡ani zapoÅ¡ljavanje kapitalu za životni uvjeti lokalnog male biznise stanovniÅ¡tva Finansijski VjeÅ¡tine u Smanjenje menadžment poslovanju i siromaÅ¡tva savjeti i podrÅ¡ka finansijskom menadžmentu 172 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija B Kompleksnija teorija promjene za mikrokreditni program Žene imaju ograniÄ?en pristup ekonomskim prilikama zbog manje mogućnosti pristupa kreditima i ostalim proizvodnim resursima te druÅ¡tvenoj kontroli Doznake Radnicima SliÄ?ni programi koje je finansirala vlada Projekt nudi kredit, tehniÄ?ku Drugi bilateralni pomoć i grupne informacije mikrofinansijski programi Makroekonomsko okruženje Žene pokreću biznis Fondacijski programi NVO Žene stvaraju profit programi KratkoroÄ?no poboljÅ¡anje Profiti se ponovo ulažu stanja domaćinstva Stalno poboljÅ¡anje u stanju Održavanje biznisa domaćinstva Utjecaj na PoboljÅ¡an smjeÅ¡taj ishranu, zdravlje, i odijevanje PoboljÅ¡ano obrazovanje Ekonomski napredak djevojÄ?ica Razumijevanje konteksta evaluacije i programa teorije promjene 173 Aplikacijska vježba 4.2: Analizirajte vaÅ¡ program Razmotrite program ili projekt na kome trenutno radite ili neki drugi program koji poznajete, ali niste direktno ukljuÄ?eni. Razvijte grafiku koja prikazuje teoriju promjene za ovaj program ili projekt. Provjerite jeste li identificirali pretpostavke na kojima se temelji program ili projekt, posebno one koji se odnose na faktore vanjskog okruženja. Bibliografija i dodatna literatura ActKnowledge and Aspen Institute. 2003. Theory of Change. Roundtable on Community Change. http://www.theoryofchange.org/. Anderson, Andrea, A. 2004. “The Community Builder’s Approach to Theory of Change: A Practical Guide to Theory Development.â€? Presentation at the Aspen Institute Roundtable on Community Change, New York. http://www.aspeninstitute.org/atf/cf/ percent7BDEB6F227-659B-4EC8-8F84-8DF- 23CA704F5 percent7D/rcccommbuildersapproach.pdf. Bell, P. 1997. “Using Argument Representations to Make Thinking Visible for Individu- als and Groups.â€? In Proceedings of CSCL ’97: The Second International Conference on Computer Support for Collaborative Learning, eds. R. Hall, N. Miyake, and N. Enyedy, 10–19. Toronto: University of Toronto Press. Bruning, R. H., G. J. Schraw, M. M. Norby, and R. R. Ronning. 2004. Cognitive Psychol- ogy and Instruction. 4th ed. Upper Saddle River, NJ: Pearson Merrill Prentice-Hall. Canadian Department of Foreign Affairs and International Trade. 2005. Six Easy Steps to Managing for Results: A Guide for Managers. April. Evaluation Division, Ottawa. CIDA (Canadian International Development Agency). 2005. Case Study #1: Jamaica Environmental Action Program ENACT. Caribbean Division, Americas Branch. http:// www.acdi-cida.gc.ca/CIDAWEB/acdicida.nsf/En/EMA-218131811-PHY#1. Eggen, P., and D. Kauchak. 1999. Educational Psychology: Windows on Classrooms. 4th ed. Upper Saddle River, NJ: Merrill: Prentice-Hall. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evalua- tion: Alternative Approaches and Practical Guidelines. New York: Person Education. Funnell, S. 1997. “Program Logic: An Adaptable Tool for Designing and Evaluating Programs.â€? Evaluation News and Comment 6 (1): 5–7. Gagne, R. M., and W. D. Rohwer Jr. 1969. “Instructional Psychology.â€? Annual Review of Psychology 20: 381–418. Gasper, D. 1997. “Logical Frameworks: A Critical Assessment Managerial Theory.â€? Pluralistic Practice Working Paper 264, Institute of Social Studies, The Hague. ———. 2000. “Evaluating the ‘Logical Framework Approach’ towards Learning-Ori- ented Development Evaluation.â€? Public Administration Development 20 (1): 17–28. 174 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Haarhuis, Carolien Klein. 2005. “Promoting Anticorruption Reforms: Evaluating the Implementation of a World Bank Anticorruption Program in Seven African Coun- tries.â€? http://igitur-archive.library.uu.nl/dissertations/2005-0714-200002/full.pdf. Healy, A. F, and D. S. McNamara. 1996. “Verbal Learning Memory: Does the Modal Model Still Work?â€? Annual Review of Psychology 47: 143–72. Heubner, T. A. 2000. “Theory-Based Evaluation: Gaining a Shared Understanding Between School Staff and Evaluators.â€? In Program Theory in Evaluation: Challenges and Opportunities, eds. Patricia J. Rogers, T. A. Hacsi, A. Petrosino, and T. A. Huebner, 79–90. New Directions for Evaluation No. 87. San Francisco, CA: Jossey-Bass. Kassinove, H., and M. Summers. 1968. “The Developmental Attention Test: A Prelimi- nary Report on an Objective Test of Attention.â€? Journal of Clinical Psychology 24 (1): 76–78. Kellogg Foundation. 2004. Logic Model Development Guide. Battle Creek, MI. http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf. Leeuw, Frans, Ger Gils, and Cora Kreft. 1999. “Evaluating Anti-Corruption Initiatives: Underlying Logic and Mid-Term Impact of a World Bank Program.â€? Evaluation 5 (2): 194–219. Leeuw, Frans L. 1991. “Policy Theories, Knowledge Utilization, and Evaluation.â€? Knowledge and Policy 4: 73–92. ———. 2003. “Reconstructing Program Theories: Models Available and Problems to Be Solved.â€? American Journal of Evaluation 24 (1): 5–20. Mikkelsen, B. 2005. Methods for Development Work and Research: A New Guide for Practitioners. Thousand Oaks, CA: Sage Publications. MSH (Management Sciences for Health), and UNICEF (United Nations Children’s Fund). 1998. “Quality Guide: Stakeholder Analysis.â€? In Guide to Managing for Qual- ity. http://ERC.MSH.org/quality. Newman, David Kent. 2007. “Theory: Write-up for Conceptual Framework.â€? http://deekayen.net/theory-write-conceptual-framework. Ormrod, J. E. 2006. Essentials of Educational Psychology. Upper Saddle River, NJ: Pearson Merrill Prentice-Hall. Owen, J. M., and P. J. Rogers. 1999. Program Evaluation: Forms and Approaches. Thou- sand Oaks, CA: Sage Publications. Pancer, S. Mark, and Anne Westhues. 1989. “A Developmental Stage Approach to Pro- gram Planning and Evaluation.â€? Evaluation Review 13 (1): 56–77. Patton, M. Q. 2002. Qualitative Research and Evaluation Methods. 3rd ed. Thousand Oaks, CA.: Sage Publications. Pawson, Ray. 2006. Evidence-Based Policy: A Realistic Perspective. New Brunswick, NJ: Sage Publications. Petrosino, Anthony, Robert A. Boruch, Cath Rounding, Steve McDonald, and Iain Chalmers. 2003. “The Campbell Collaboration Social, Psychological, Educational, and Criminological Trials Register C20SPECTR.â€? http://www.campbellcollaboration.org/papers/unpublished/petrosino.pdf. Razumijevanje konteksta evaluacije i programa teorije promjene 175 Porteous, Nancy L., B. J. Sheldrick, and P. J. Stewart. 1997. Program Evaluation Tool Kit: A Blueprint for Public Health Management. Ottawa-Carleton Health Department, Ottawa. http://www.phac-aspc.gc.ca/php-psp/tookit.html. ———. 2002. “Introducing Program Teams to Logic Models: Facilitating the Learning Process.â€? Canadian Journal of Program Evaluation 17 (3): 113–41. Prensky, Marc. 2001. “Digital Natives, Digital Immigrants.â€? On the Horizon 9 (5). http:// www.marcprensky.com/writing/Prensky percent20-percent20Digital percent20Natives,percent20Digital percent20Immigrants percent20- percent20Part1.pdf. Ritzer, George. 1993. The McDonaldization of Society. Rev. ed. Thousand Oaks, CA: Pine Forge Press. Rogers, Patricia J., T. A. Hacsi, A. Petrosino, and T. A. Huebner, eds. 2000. Program Theory in Evaluation: Challenges and Opportunities. New Directions in Evaluation No. 87. San Francisco: Jossey-Bass Publishers. Rossi, P., H. Freeman, and M. Lipsey. 1999. Evaluation: A Systematic Approach. Thou- sand Oaks, CA: Sage Publications. Scott, M. 2003. “The Benefits and Consequences of Police Crackdowns.â€? Problem- Oriented Guides for Police, Response Guide 1. U.S. Department of Justice, Office of Community-Oriented Policing Services, Washington, DC. Scriven, Michael. 2007. Key Evaluation Checklist. http://www.wmich.edu/evalctr/checklists/kec_feb07.pdf. Shadish, W. R. Jr., T. D. Cook, and L. C. Leviton. 1991. Foundations of Program Evalu- ation. Thousand Oaks, CA: Sage Publications. Sherman, L. W., D. Farrington, B. C. Welsh, and D. L. MacKenzie, eds. 2002. Evidence- Based Crime Prevention. London: Routledge. Stufflebeam, Daniel L. 2001. Evaluation Models. New Directions for Evaluation No. 89. San Francisco, CA: Jossey-Bass. Stufflebeam, D. L., G. F Madaus, and T. Kellaghan, eds. 2000. Evaluation Models. 2nd ed. Boston: Kluwer Academic Publishers. Suthers, D. D., and A. Weiner. 1995. Belvédère. http://lilt.ics.hawaii.edu/belvedere/index.html. Suthers, D. D., E. E. Toth, and A. Weiner 1997. “An Integrated Approach to Implement- ing Collaborative Inquiry in the Classroom.â€? In Proceedings of CSCL ’97: The Sec- ond International Conference on Computer Support for Collaborative Learning, eds. R. Hall, N. Miyake, and N. Enyedy, 272–79. Toronto: University of Toronto Press. Swedberg, Richard. 2003. Principles of Economic Sociology. Princeton, NJ: Princeton University Press. Taylor-Powell, Ellen. 2005. Logic Models: A Framework for Program Planning and Evaluation. University of Wisconsin Extension, Program Development and Evalua- tion. http://www.uwex.edu/ces/pdande/evaluation/pdf/nutritionconf05.pdf. U.S. GAO (General Accounting Office). 1991. Designing Evaluations. Washington, DC. http://www.gao.gov/special.pubs/10_1_4.pdf. 176 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Weiss, Carol H. 1997. Evaluation: Methods for Studying Programs and Policies. Upper Saddle River, NJ: Prentice-Hall. World Bank. 1996. World Bank Participation Sourcebook. Washington, DC: World Bank. http://www.worldbank.org/wbi/sourcebook/sbhome.htm. ———. 2004. Monitoring and Evaluation: Some Tools, Methods and Approaches. Opera- tions Evaluation Department/Evaluation Capacity Development, Washington, DC. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/b57456d58aba40e585256ad 400736404/a5efbb5d776b67d285256b1e0079c9a3/$FILE/MandE_tools_ methods_approaches.pdf. Worthen, Blaine. R., James R. Sanders, and Jody L. Fitzpatrick. 1997. Program Evalua- tion. New York: Longman. Web stranice Campbell Collaboration. http://www.campbellcollaboration.org/. Community Toolbox. A Framework for Program Evaluation: A Gateway to Tools. http:// ctb.lsi.ukans.edu/tools/EN/sub_section_main_1338.htm. Evaluation Center, Western Michigan University. The Checklist Project. http://www .wmich.edu/evalctr/checklists/checklistmenu.htm#mgt. IDRC (International Development Research Centre). 2004. Evaluation Planning in Program Initiatives Ottawa, Ontario, Canada. http://web.idrc.ca/uploads/user- S/108549984812guideline-web.pdf. Suthers, D., and A. Weiner. 1995.Groupware for Developing Critical Discussion Skills. http://www-cscl95.indiana.edu/cscl95/suthers.html. University of Wisconsin-Extension. Logic Model. http://www.uwex.edu/ces/pdande/ evaluation/evallogicmodel.html. ———. Examples of Logic Models. http://www.uwex.edu/ces/pdande/evaluation/eval- logicmodelexamples.html. Teorije promjene Audience Dialogue. 2007a. “Enhancing Program Performance with Logic Models.â€? http://www.uwex.edu/ces/lmcourse/, http://www.wkkf.org/pubs/tools/ evaluation/pub3669.pdf. ———. 2007b. “Program Logic: An Introduction.â€? http://www.audiencedialogue.org/ proglog.htm. AusAid. 2005. “Section 3.3: The Logical Framework Approach and Section 2.2: Using the Results Framework Approach.â€? http://www.ausaid.gov.au/ausguide/default.cfm. BOND. 2001. Guidance Notes Series I: Beginner’s Guide to Logical Framework Analysis. http://www.ngosupport.net/graphics/NGO/documents/english/273_BOND_Series_1. doc. Davies, Rick. 2003. “Network Perspective in the Evaluation of Development Interventions: More than a Metaphor.â€? Paper presented at the EDAIS Conference Razumijevanje konteksta evaluacije i programa teorije promjene 177 “New Directions in Impact Assessment for Development: Methods and Practice,â€? November 24–25. http://www.enterprise-impact.org.uk/conference/Abstracts/Davies. shtml and http://www.mande.co.uk/docs/nape.doc. Department for International Development. 2002. Tools for Development: A Handbook for Those Engaged in Development Activity Performance and Effectiveness. http:// www.dfid.gov.uk/pubs/files/toolsfordevelopment.pdf. den Heyer, Molly. 2001a. A Bibliography for Program Logic Models/Logframe Analysis. Evaluation Unit, International Development Research Centre. http://www .idrc.ca/uploads/user-S/10553606170logframebib2.pdf and http://www.mande .co.uk/docs/Phillips.ppt. ———. 2001b. “The Temporal Logic Modelâ„¢: A Concept Paper.â€? http://www.idrc.ca/ uploads/user-S/10553603900tlmconceptpaper.pdf. Inter-American Development Bank. http://www.iadb.org/sds/soc/eccd/bexample .html#ex1. International Fund for Agricultural Development. 2003. Annotated Example of a Project Logframe Matrix. http://www.ifad.org/evaluation/guide/3/3.htm and http://www.ifad.org/evaluation/guide/annexb/index.htm. JISC infoNet. 2001. Engendering the Logical Framework. http://www.jiscinfonet .ac.uk/InfoKits/project-management/InfoKits/infokit-related-files/ logical-framework-information. ———. 2004. Logical Framework (LogFRAME) Methodology. http://www.jiscinfonet .ac.uk/InfoKits/project-management/InfoKits/infokit-related-files/ logical-framework-information. Kellogg Foundation. 2004. Evaluation Logic Model Development Guide: Using Logic Models to Bring Together Planning, Evaluation, and Action. http://www.wkkf .org./Pubs/Tools/Evaluation/Pub3669.pdf. Knowledge and Research Programme on Disability and Healthcare Technology. 2004. Constructing a Logical Framework. http://www.kar-dht.org/logframe .html. McCawley, Paul F. 1997. The Logic Model for Program Planning and Evaluation. Uni- versity of Idaho Extension. http://www.uidaho.edu/extension/LogicModel.pdf. NORAD (Norwegian Agency for Development Cooperation). 1999. The Logical Frame- work Approach: Handbook for Objectives-Oriented Planning. 4th ed. http://www.norad.no/default.asp?V_ITEM_ID=1069. PPM&E Resource. 2005. Logical Framework Approach. portals.wdi.wur.nl/ppme/index. php?Logical_Framework_Approach. Rugh, Jim. “The Rosetta Stone of Logical Frameworks.â€? http://www.mande.co.uk/docs/ Rosettastone.doc. SIDA (Swedish International Development Agency). 2004. The Logical Framework Approach: A Summary of the Theory behind the LFA Method. http://www.sida .se/shared/jsp/download.jsp?f=SIDA1489en_web.pdf&a=2379. Usable Knowledge, USA. 2006. Online Logic Model Training: An Audiovisual Presenta- tion. http://www.usablellc.net/Logic percent20Modelpercent20percent 28Online percent29/Presentation_Files/index.html. 178 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Weiss, Carol. 1972. Evaluation Research: Methods for Assessing Program Effectiveness. Englewood Cliffs, New Jersey: Prentice Hall. Wikipedia. 2006. “Logical Framework Approach.â€? http://en.wikipedia.org/wiki/ Logical_framework_approach. Kritika logiÄ?kog okvira Bakewell, Oliver, and Anne Garbutt. 2006. The Use and Abuse of the Logical Framework Approach A Review of International Development NGOs’ Experiences. Swedish Inter- national Development Agency. http://www.sida.se/shared/jsp/download.jsp?f=LFA- review.pdf&a=21025. MISEREOR. 2005. Methodological Critique and Indicator Systems. http://www .misereor.org/index.php?id=4495. Alternativne verzije logiÄ?kog okvira Broughton, Bernard. 2005. A Modified Logframe for Use in Humanitarian Emergencies. http://www.mande.co.uk/docs/EmergencyLogframeBroughton.doc. Shaikh, Partha Hefaz. 2005. Intertwining Participation, Rights-Based Approach and Log Frame: A Way Forward in Monitoring and Evaluation for Rights-Based Work. http://www.mande.co.uk/docs/PIFA_Article_PDF.pdf. SIDA Civil Society Centre. 2006. Logical Framework Approach, with an Appreciative Approach. http://www.sida.se/shared/jsp/download.jsp?f=SIDA28355en_LFA_web .pdf&a=23355. Razumijevanje konteksta evaluacije i programa teorije promjene 179 Poglavlje 5 Razmatranje evaluacijskog pristupa Razvoj se sada ne fokusira na projekte nego na programe i politike, a naglasak je na održivosti. Raznovrsni pristupi dizajniranju i provoÄ‘enju evaluacija koriste se u rjeÅ¡avanju ovih Å¡irih i kompleksnijih tema. Ovo poglavlje posmatra neke od ovih pristupa. U ovom poglavlju obraÄ‘uje se sljedeće: • Opći pristupi evaluaciji • Izazovi napredovanja 181 Opći pristupi evaluaciji Od 1990-tih, meÄ‘unarodna zajednica se polahko kreće od projekata ka progra- mima ka partnerskim pristupima pomoći razvoju (vidjeti Tabelu 1.3). Partnerski pristupi ukljuÄ?uju veliki broj dionika, koji su ukljuÄ?eni u većoj mjeri u komple- ksnije operacije, kao Å¡to su sektorski pristupi finansiranju. Evaluacije velikih programa su konsenkventno postale viÅ¡e participativne i združeno se provode, iako su združene evaluacije joÅ¡ uvijek norma. Obnovljeni pozivi za povećano nevezano finansiranje vladama – kao Å¡to su one izražene u Accri 2008. godine – podrazumijevaju veće izazove evaluaciji u budućnosti. Razvijeni su razni pristupi da bi se zadovoljila promjenjiva priroda razvoja evaluacije. Izbor pristupa evaluaciji djelimiÄ?no zavisi od konteksta. Pristupi nisu nužno uzajamno iskljuÄ?ivi, a evaluacije mogu kombinirati elemente dva ili viÅ¡e pristupa. Pristupi ukljuÄ?uju sljedeće: • prospektivnu evaluaciju; • evaluativnu procjenu; • evaluaciju zasnovanu na cilju; • evaluaciju bez cilja; • multilokacijsku evaluaciju; • grupnu evaluaciju; • socijalnu procjenu; • socijalnu i okoliÅ¡nu procjenu; • participacijsku evaluaciju; • mapiranje ishoda; • brzu procjenu; • sintezu evaluacija i meta-evaluacija i • druge pristupe. Koji god pristup da se odabere, moraju se preduzeti isti koraci planiranja: definiranje pitanja evaluacije, identifikacija mjera, prikupljanje i analiza podataka, izvjeÅ¡tavanje na osnovu nalaza. â– â–  Prospektivna evaluacija: Prospektivna evaluacija Evaluacija vjerovatnih Prospektivna evaluacija se provodi ex ante, tj. predloženi program se pregleda ishoda prije nego Å¡to zapoÄ?ne, u pokuÅ¡aju da se analizira njegov vjerovatni uspjeh, pre- predloženog projekta, dvide troÅ¡kovi te analiziraju alternativni prijedlozi i predviÄ‘anja. Prospektivnu programa ili evaluaciju provode evaluacijske organizacije unutar zakonodavnih grana. Takav politike primjer je Ured za odgovornost ameriÄ?ke vlade 182 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 5.1 Vrste dalekosežnih pitanja i naÄ?in kako na njih odgovoriti Svrha pitanja Kritika analiza drugih ProvoÄ‘enje vlastitih analiza Predvidjeti budućnost Koliko dobro je Koje su buduće potrebe, administracija predvidjela troÅ¡kovi, i konsekvence? i buduće potrebe, troÅ¡kove i konsekvence? PoboljÅ¡anje budućih Å ta je vjerovatan uspjeh Koji pravac djelovanja akcija administrativnog ili ima najveći potencijal za kongresnog prijedloga? uspjeh? Izvor: U.S. GAO 1990. (GAO)—preimenovan kao takav 2004. – a odgovoran je ameriÄ?kom Kongresu. GAO evaluatori ponekad pomažu vladi pri donoÅ¡enju odluka osiguravajući analitiÄ?ke informacije o pitanjima i opcijama potencijalnih programa (U.S. GAO1990). GAO Ä?esto pitaju o vjerovatnom uspjehu predloženih novih programa. Oni pregledaju informacije o alternativnim prijedlozima i analiziraju rezultate sliÄ?nih programa koji su u toku ili su zavrÅ¡eni. Tabela 5.1 identificira Ä?etiri vrste dalekosežnih pitanja koje se od GAO traže da ih istraži. Većina prospektivnih evaluacija ukljuÄ?uje sljedeće vrste aktivnosti: • kontekstualnu analizu predloženih programa ili politika; • pregled evaluacijskih studija sliÄ?nih programa ili politika i sinteza nalaza i lekcija iz proÅ¡losti i • predviÄ‘anje vjerovatnoće uspjeha ili neuspjeha, ako budući kontekst nije pre- viÅ¡e razliÄ?it od proÅ¡log, i sugestije o jaÄ?anju predloženih programa i politika ako oni koji donose odluke hoće ići naprijed (GAO 1990). (Resursi i primjeri raznih vrsta procjena nalaze se u listi web stranica na kraju ovog poglavlja). â– â–  Procjena Procjena evaluativnosti evaluativno- sti: Procjena evaluativnosti je kratka preliminarna studija koja se preduzima da se Kratka odredi hoće li evaluacija biti korisna i izvodiva. Ovaj tip preliminarne studije preliminarna studija pomaže u pojaÅ¡njenju ciljeva programa, ili projekta, identificira dostupne resurse preduzeta da se podataka, ukazuje na nedostatke i identificira podatke koje treba razviti, identi- odredi da li bi ficira kljuÄ?ne dionike i pojaÅ¡njava njihove potrebe za informacijama. Može se evaluacija bila takoÄ‘er redefinirati svrha evaluacije i metodi njenog provoÄ‘enja. Ako interve- korisna i nciju posmatramo kao implementiranu na osnovu implikacija za odreÄ‘ivanje izvodiva Razmatranje evaluacijskog pristupa 183 vremenskog rasporeda i dizajna evaluacije, procjena evaluativnosti može uÅ¡tediti vrijeme i pomoći da se izbjegnu skupe pogreÅ¡ke. Wholey i njegove kolege su razvili pristup u procjeni evaluativnosti ranih 70-tih kako bi iznijeli vjerovanje da su mnoge evaluacije propale zbog neslaganja izmeÄ‘u „retorike i realnosti“ (Nay i Kay 1982, str. 225). Procjenu evaluativnosti su gledali kao sredstvo omogućavanja komunikacije izmeÄ‘u evaluatora i dionika. Predložili su upotrebu procjene evaluativnosti kao sredstvo za odreÄ‘ivanje je li program „evaluativan“ i za fokusiranje na evaluaciju (Fitzpatrick, Sanders, i Worthen 2004). Procjena evaluativnosti je prvobitno razvijena kao preteÄ?a suma- tivnoj evaluaciji; njena se uloga od tada proÅ¡irila da bi ukljuÄ?ila pojaÅ¡njenje svrhe formativne studije ili da funkcionira kao alat za planiranje (Smith 1989). U procjeni evaluativnosti, evaluatori obavljaju preliminarne radove da odrede može li se evaluacija provesti. Ako je, na primjer, predložena evaluacija zasno- vana na cilju, nedostatak jasnih programskih ciljeva ili slaganja meÄ‘u dionicima može biti problematiÄ?an. Sve dok ne postoje jasni ciljevi i slaganje, prerano je za evaluaciju. Ponekad mjere nisu dostupne, u tom sluÄ?aju treba ih razviti prije nego Å¡to intervencija može biti evaluirana. Procjena evaluativnosti se stoga fokusira na izvodivost provoÄ‘enja evalu- acije. Ukoliko nije izvodivo da se dizajnira evaluacija iz dostupnih informacija ili intervenciji nedostaje dosljedna teorija promjene, treba obaviti joÅ¡ prelimi- narnih radova. Procjena evaluativnosti može pomoći u razjaÅ¡njenju intervencije i željenih rezultata. ÄŒesto se ostvari dijalog o ciljevima, izlaznim rezultatima, ciljanoj populaciji, te namjeravanim ishodima intervencije tako da se može postići saglasnost o onome Å¡to treba ostvariti. Grupa Ä?esto provodi procjenu evaluativnosti, ukljuÄ?ujući dionike, kao Å¡to su implementatori, administratori, kao i evaluatori. Da bi proveo procjenu evalu- ativnosti tim: • pregleda materijale koji definiraju i opisuju intervenciju; • identificira modifikacije intervencije; • intervjuira menadžere i osoblje o njihovom poimanju ciljeva intervencije; • intervjuira dionike o njihovom poimanju ciljeva intervencije; • razvija ili rafinira model teorije promjene; • identificira izvore podataka i • identificira ljude i organizacije koje mogu implementirati sve moguće pre- poruke evaluacije. 184 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Jedna od potencijalnih koristi procjene evaluativnosti je da može dovesti do realnije i odgovarajuće evaluacije. Smith (1989) i Wholey (1987) takoÄ‘er uka- zuju da može poboljÅ¡ati: • sposobnost razlikovanja izmeÄ‘u neuspjeha intervencije i neuspjeha evaluacije; • procjenu dugoroÄ?nih ishoda; • ulaganje dionika u intervenciju; • izvedbu intervencije; • razvoj evaluacije i evaluativnih vjeÅ¡tina osoblja; • vidljivost i odgovornost za intervenciju; • administrativno razumijevanje intervencije; • izbore politika i • stalnu podrÅ¡ku intervenciji. Evaluacija zasnovana na cilju Evaluacija zasnovana na cilju mjeri stepen u kojem je program ili intervencija ostvarila jasne i odreÄ‘ene ciljeve (Patton 1990). Fokus evaluacije je na posta- â– â–  Evaluacija vljene ishode (ciljeve) projekta, programa, ili politike. Ovo je tipiÄ?na evaluacija zasnovana na koja je većini ljudi poznata - osnova je evaluacionih sistema projekta kod većine cilju: Evaluacija koja razvojnih organizacija. mjeri Jedna kritika pristupa zasnovanog na cilju je da se koncentrira na ekono- opseg do kojeg mske i tehniÄ?ke aspekte umjesto na socijalne i humane aspekte evaluativnosti program Ili (Hrschheim i Smithson 1988). Druga kritika je da se takva evaluacija fokusira intervencija na zadane ciljeve. Ostvarenje drugih važnih ciljeva – koji mogu biti implicitni ostvaruje jasne i specifiÄ?ne prije nego eksplicitni ili se o njima može raspravljati tokom sastanaka odbora ili ciljeve odjela, ali da ne budu ukljuÄ?eni u zadane ciljeve projekta – se ne evaluira. Treća kritika je da ne posmatra nenamjeravane efekte (pozitivne ili negativne). Ovo mogu biti ozbiljni previdi. Evaluacija novog postrojenja za tretman vode, na primjer, može se fokusirati na zadane ciljeve projekta, izgradnju, funkcioniranje i održavanje postrojenja za tretman vode da bi se proizvela Ä?ista voda u odreÄ‘enoj koliÄ?ini svakog dana i da zadovolji potrebe odreÄ‘enog broja domaćinstava ili zajednica. ÄŒesto se previde efekti koje intervencija ima na ljude, koji žive na zemljiÅ¡tu na kom je planirana gradnja i koje treba preseliti. Neuspjeh da se artiku- lira cilj za preseljenje koje ostavlja ljude sa poboljÅ¡anim, održivim sredstvima za život, predstavlja ozbiljan propust. Evaluacija pravi problem ukoliko ne postavlja pitanje o preseljenju zato Å¡to to nije formalni, eksplicitni cilj projekta. Razmatranje evaluacijskog pristupa 185 Evaluacija treba tražiti nepredviÄ‘ene pozitivne ili negativne efekte inter- vencije. Iako specifiÄ?ni ciljevi možda nisu artikulirani, evaluacija može koristiti da dokumentira smanjenje sluÄ?ajeva oboljenja koji se prenose vodom u zajedni- cama koje sada imaju Ä?istu vodu. Evaluacija zasnovana na rezultatima, metod koji je zastupljen u ovom tekstu, traga za rezultatima koji su artikulirani ili koji nisu artikulirani kao ciljevi. Evalu- acija zasnovana na ciljevima se može ojaÄ?ati ukoliko je otvorena za neoÄ?ekivane pozitivne ili negativne rezultate. Evaluacija bez cilja Evaluacija bez cilja je razvijena kao reakcija na onu zasnovanu na cilju. Scriven (1972b), koji je prvi predložio evaluaciju bez cilja, bio je i glavni zagovornik ovog pristupa. â– â–  Evaluacija U evaluaciji bez cilja, evaluator Ä?ini namjerne pokuÅ¡aje da izbjegne svu bez cilja: retoriku vezanu za ciljeve programa. Evaluatori ne raspravljaju o ciljevima sa Evaluacija gdje osobljem i ne Ä?itaju programske broÅ¡ure ili prijedloge. Oni evaluiraju samo pro- evaluatori Ä?ine gramske uoÄ?ljive ishode i efekte koji se mogu dokumentirati u odnosu na potrebe namjerne pokuÅ¡aje da uÄ?esnika (Patton 2002). Kao Å¡to Scriven (1972b, str. 2) primjećuje: izbjegnu svu Ukratko, meni izgleda da je razmatranje i evaluacija ciljeva ne samo nepotrebno retoriku koja je nego i mogući kontaminirajući korak.... Å to manje eksterni evaluator Ä?uje o vezana za ciljevima projekta, manje se razvija tunel-vizija, viÅ¡e će pažnje biti poklonjeno ciljeve projekta zasnivajući posmatranju stvarnih efekata (nego provjeravanju navodnih efekata). evaluaciju samo Evaluacija bez cilja prikuplja podatke o efektima i efikasnosti programa bez na stepenu na kom ona ograniÄ?enja uskim fokusom na ciljeve. Takva evaluacija bilježi stvarno iskustvo zadovoljava uÄ?esnika programa u njihovim uvjetima. Zahtijeva se da evaluatori suspendiraju potrebe sud o onome Å¡to program pokuÅ¡ava ostvariti i umjesto toga se fokusiraju na ono uÄ?esnika Å¡to se stvarno deÅ¡ava. Iz ovih razloga, ova evaluacija je posebno kompatibilna sa kvalitativnim upitima, iako se mogu primijeniti i kvantitativne i kvalitativne metode. Scriven (1997) predlaže provoÄ‘enje odvojenih evaluacija bez cilja i evaluacija zasnovanih na cilju kako bi se povećala jaÄ?ina i smanjile slabosti svakog pristupa. Wholey, Harty, i Newcomer (1994) opisuju sljedeće karakteristike evaluacije bez cilja: • Evaluator izbjegava biti svjestan ciljeva programa. • PredodreÄ‘eni ciljevi ne smiju suziti fokus studije evaluatora. • Evaluator ima minimalan kontakt sa menadžerom i osobljem programa. • Fokus se postavlja na stvarne ishode prije nego na namjeravane ishode. 186 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Generalno je teÅ¡ko u razvojnom kontekstu izbjeći poznavanje ciljeva interve- ncije. Može biti neizvodivo i nepoželjno za evaluatora da ima minimalan kontakt sa osobljem programa. Ipak, koristeći pristup zasnovan na rezultatima evaluator može koristiti mnoge elemente evaluacije bez cilja. Multilokacijske evaluacije U intervencijama velikih razmjera, Ä?esto je neophodno posmatrati impleme- ntaciju intervencije na razliÄ?itim lokacijama. Te evaluacije se nazivaju multilo- â– â–  Multilokaci- kacijske. Intervencija se može implementirati na isti naÄ?in na svim lokacijama. jske evalu- Multilokacijska evaluacija osigurava informacije o ukupnom iskustvu interve- acije: Evaluacija koja ncije kao i o dubljem razumijevanju nastalih varijacija. istražuje Multilokacijske evaluacije mogu odgovoriti na pitanja kao Å¡to su sljedeća: intervencije • Koje osobine implementacije intervencije su zajedniÄ?ke svim lokacijama? implementirane na razliÄ?itim • Koje osobine variraju i zaÅ¡to? lokacijama • Postoje li razlike u ishodima zasnovane na tim varijacijama? Pribavljanje temeljitih informacija je kljuÄ?. Da bi to uradili evaluatori Ä?esto koriste studije sluÄ?aja za multilokacijske evaluacije. Lokacije se obiÄ?no odabiru za studiju zato Å¡to predstavljaju odreÄ‘ene karakteristike (na primjer, veliÄ?ina, etniÄ?ka pripadnost, socio-ekonomski status) Å¡to može rezultirati u sistemskim razlikama u implementaciji intervencije i rezultatima. Naravno, može biti teÅ¡ko odrediti jesu li varijacije u intervenciji uzrokovale te razlike. U nekim sluÄ?ajevima, intervencije pokazuju uÄ?inke zbog jedinstvenih razlika u postavkama, kao Å¡to su jako vodstvo ili graÄ‘anske aktivnosti. U drugim sluÄ?ajevima, promjene se mogu objasniti sistemskim razlikama, kao Å¡to su regionalne razlike. Ove razlike mogu imati implikacije na replikaciju. Multilokacijska evaluacija mora zabilježiti klimu u kojoj intervencija funkci- onira kao i kulturne, geografske, ekonomske, razlike u veliÄ?ini ili neke druge sistemske razlike koje mogu imati varijacije u iskustvima i ishodima. UÄ?ešće dionika je važno, zato Å¡to dionici mogu pomoći evaluatorima da bolje razumiju lokalnu situaciju. Multilokacijska evaluacija je tipiÄ?no jaÄ?a nego evaluacija jedinstvene interve- ncije na jednoj lokaciji. Može se vjerodostojnije sažeti u većim populacijama, zato Å¡to ukljuÄ?uje viÅ¡e primjera i raznovrsniji set situacija u intervenciji. Mogu se izvesti „unutraÅ¡nje analize“ kao i „meÄ‘uanalize“ lokacija. Ukupni nalazi, kao i konzistentni nalazi u intervenciji, osiguravaju jaÄ?e dokaze o efikasnosti interve- ncije nego oni prikupljeni na jednom mjestu. Razmatranje evaluacijskog pristupa 187 PoreÄ‘enje intervencija kroz lokacije će vjerovatno osigurati raspon lekcija i strategija koje se mogu koristiti u raznim situacijama. Dobra praksa takoÄ‘er može nastati iz multilokacijskih evaluacija. Važno je, meÄ‘utim, imati na umu da lokacije odabrane na osnovu procjene evaluatora, Ä?ak iako su odabrane da predstavljaju odreÄ‘ene karakteristike, ne predstavljaju statistiÄ?ki populaciju i ne otkrivaju nužno svu dobru praksu. U provoÄ‘enju viÅ¡elokacijske evaluacije, evaluatori moraju osigurati da je pri- kupljanje podataka Å¡to viÅ¡e standardizirano. Isti podaci se moraju prikupljati na isti naÄ?in ako želimo da poreÄ‘enje ima smisla. Ovo prikupljanje zahtijeva dobro obuÄ?eno osoblje, dostupnost istih podataka na svim lokacijama te dovoljno info- rmacija unaprijed da se dizajniraju instrumenti prikupljanja podataka. Svaka lokacija je razliÄ?ita. Neki indikatori se mogu porediti, ali svaka lokacija može imati neznatno drugaÄ?iji fokus. PolitiÄ?ki, socijalni, ekonomski, i histori- jski kontekst mogu oblikovati implementaciju projekta te tako i samu evaluaciju (Johnston i Stout 1999). Grupna evaluacija â– â–  Grupna Grupna evaluacija je sliÄ?na multilokacijskoj evaluaciji, ali je namjera razliÄ?ita evaluacija: Generalno posmatra grupu sliÄ?nih ili srodnih intervencija koje skupa predstavljaju Evaluacija koja skup intervencija. Posmatra ovu „grupu“ intervencija u jednoj ili viÅ¡e postavki. posmatra grupu Kao i multilokacijska evaluacija, grupna evaluacija ne namjerava odrediti da li sliÄ?nih ili srodnih intervencija radi kako bi osigurala odgovornost. Ne evaluira uspjeh ili neuspjeh intervencija pojedinih intervencija niti identificira intervencije koje se prekidaju. Namjera joj je nauÄ?iti Å¡ta se desilo u grupama te da se otkriju zajedniÄ?ke teme i nauÄ?ene lekcije. Informacija se objavljuje samo skupno, tako da nijedan projekt nije identificiran. Kao i u multilokacijskim evaluacijama uÄ?ešće dionika je kljuÄ?no. Grupne evaluacije se razlikuju od multilokacijskih tako Å¡to se ne zanimaju generalizacijom niti repliciranjem. Varijacije se posmatraju kao pozitivne, zato Å¡to se pojedini projekti prilagoÄ‘avaju njihovom kontekstu. Grupna evaluacija se viÅ¡e fokusira na uÄ?enje nego na izvlaÄ?enje ukupnih zakljuÄ?aka o kvalitetu ili vri- jednosti programa. Iako ne postoje odreÄ‘ene metodologije za grupne evaluacije, takve evaluacije Ä?esto koriste kvalitativne pristupe da se dopune kvantitativni podaci. Moguće je zamisliti grupne evaluacije kao viÅ¡estruku studiju sluÄ?aja, uz razmjenu informa- cija po sluÄ?ajevima putem mrežnih konferencija Å¡to je znaÄ?ajna karakteristika ovog pristupa. 188 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Nedostatak grupnih evaluacija je da one ne pokazuju rezultate pojedinih lokacija niti uzimaju u obzir planirane ili neplanirane varijacije. Podaci pokazuju samo zbirne informacije. Socijalna procjena Socijalna procjena je postala važan dio mnogih evaluacija. Socijalna procjena posmatra socijalnu strukturu, procese, i promjene unutar grupe ili zajednice. TakoÄ‘er, može posmatrati trendove koji imaju utjecaja na grupu. Socijalna procjena je glavni instrument koji se koristi da se osigura da se socijalni utjecaj razvojnih projekata, programa i politika uzmu u obzir. Koristi se â– â–  Socijalna za razumijevanje kljuÄ?nih socijalnih pitanja i rizika te da odredi socijalne utjecaje procjena: Procjena koja intervencije na razliÄ?ite dionike. Posebna namjera socijalne procjene je da odredi posmatra je li vjerovatno da projekt uzrokuje Å¡tetan socijalni utjecaj kao Å¡to je raseljavanje socijalnu stanovnika da se napravi mjesto za elektranu. Mogu se postaviti strategije da se strukturu, ublaže Å¡tetni utjecaji ako su ti utjecaji poznati i potvrÄ‘eni. Te strategije kojim se procese i ublažavaju Å¡tetni utjecaji se zatim mogu pratiti i procijeniti kao dio evaluacije. promjene The World Bank Participation Sourcebook (1996) identificira sljedeće svrhe unutar grupe ili zajednice socijalne procjene: • Identificirati kljuÄ?ne dionike i uspostaviti odgovarajući okvir za njihovo uÄ?ešće u odabiru projekta, dizajnu i implementaciji. • Osigurati da ciljevi projekta i poticaji za promjenom budu prihvatljivi gru- pama ljudi koji bi trebali imati koristi od toga te da su spolne i ostale socijalne razlike odslikane u dizajnu projekta. • Procijeniti socijalni utjecaj investicionih projekata, gdje su identificirani Å¡tetni utjecaji, odrediti kako ih prevazići ili barem u dovoljnoj mjeri ublažiti. • Razviti sposobnost na odgovarajućem nivou da se omogući uÄ?ešće, razrijeÅ¡e konflikti, dozvoli vrÅ¡enje usluga te da se provedu mjere ublažavanja prema potrebi. Knjiga izvora identificira sljedeća Ä?esta pitanja koja se postavljaju tokom soci- jalne procjene: • Ko su dionici? Jesu li ciljevi projekta konzistentni sa njihovim potrebama, interesima i kapacitetima? • Koji socijalni i kulturni faktori utjeÄ?u na mogućnost dionika da sudjeluju ili imaju koristi od predloženih akcija? • Koji je utjecaj projekta ili programa na razne dionike, posebno žene i osjetljive grupe? Koji socijalni rizici (nedostatak posvećenosti ili kapaciteta te neko- mpatibilnost sa postojećim uvjetima) mogu utjecati na uspjeh projekta ili programa? Razmatranje evaluacijskog pristupa 189 • Koji institucionalni sporazumi su potrebni za uÄ?ešće u izradi projekta? Postoje li adekvatni planovi za izgradnju potrebnog kapaciteta? Alati i pristupi u socijalnoj procjeni ukljuÄ?uju sljedeće: • analizu dionika; • gender analizu; • procjenu ruralnog uÄ?ešća; • posmatranje, intervjue, i fokusne grupe; • mapiranje, analizu zadataka, i rangiranje imućnosti i • radionice koje se fokusiraju na planiranje projekta orijentirane na ciljeve. Primjeri kljuÄ?nih indikatora za monitoring socijalnog utjecaja ukljuÄ?uju sljedeće: • stopa uÄ?ešća po socijalnim grupama u dobrovoljnim testiranjima; • stopa uÄ?ešća po socijalnim grupama u aktivnostima savjetovanja; • izvjeÅ¡taji o povećanoj upotrebi prezervativa i • procenat Ä?lanova zajednice koji uÄ?estvuju u brizi o ljudima koji imaju H I V / AIDS i ljudi koji vode brigu o njihovim porodicama. Tekstualni okvir 5.1 sadrži primjer inkorporacije socijalne procjene u projekt. Socijalna i okoliÅ¡na procjena Sve viÅ¡e, razvojne organizacije prepoznaju potrebu za programima i projek- tima koji se bave socijalnim i pitanjima okoliÅ¡a, te potrebu da se evaluira ostva- renje okoliÅ¡nih i socijalnih ciljeva. Većina razvojnih organizacija se drži skupa temeljnih okoliÅ¡nih i socijalnih standarda te identificira potencijalne okoliÅ¡ne i socijalne utjecaje kao dio programa ili kao dio procesa odobravanja projekta. Ako se projekt ili program odobre, ovi potencijalni utjecaji se prate tokom impleme- ntacije te se procjenjuju po zavrÅ¡etku programa ili projekta. Socijalna i okoliÅ¡na procjena se posmatraju kao neodvojive jedna od druge. Razvojne organizacije sada prepoznaju ulogu koju lokalno stanovniÅ¡tvo mora imati u dizajnu, implementaciji i monitoringu intervencija koje imaju implikacije na okoliÅ¡ i prirodne resurse. Lokalno stanovniÅ¡tvo i drugi dionici su partneri u oÄ?uvanju i upravljanju prirodnim resursima. Socijalna i evaluacija okoliÅ¡a može biti jedina svrha evaluacije ili može biti jedna komponenta evaluacije. 190 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 5.1 Socijalna procjena kreditnog projekta i poljoprivrednog razvoja Azerbejdžana Projekt privatizacija farmi, koji je omogućio fleksibilnije i viÅ¡e prilagodljive kredite, implementiran je da se podruÄ?ja farmi u Azerbejdžanu dovedu na prijaÅ¡nji nivo proizvodnje. Projekt se fokusirao na upis nekretnina, razvoj tržiÅ¡ta zemljom, te pružanje kredita i informacija o muÅ¡karcima i ženama, posebno onima sa niskim primanjima. Cilj socijalne procjene bio je osigurati da je predložena intervencija zasnovana na dioniÄ?kom vlasniÅ¡tvu (obavezivanje) i da je oÄ?ekivana korist socijalno prihvatljiva. Informacije prikupljene procjenom pomogle su menadžerima da dizajniraju monitoring uÄ?ešća i proces evaluacije. Prva faza socijalne procjene ukljuÄ?ila je sljedeće komponente: • pregled sekundarnih podataka, ukljuÄ?ujući ranije procjene; • pregled domaćinstava i žena u tri od Å¡est regiona, nakon Ä?ega je uslijedila kvalitativna brza procjena; • polustrukturirani intervjui pojedinaca (farmera, upravnika farmi, nezaposlenih radnika, predsta- vnika zajednica, ženskih grupa, lokalnih udruženja, tehniÄ?ara, vladinih zvaniÄ?nika); • posmatranje na licu mjesta (Ä?lan tima živio je sa porodicom na farmi da bi proveo posmatranje na licu mjesta o utjecaju privatizacije farmi); • pet fokusnih grupa sa homogenim grupama dionika; • konsultacije sa kreatorima politike i administratorima kao i sa lokalnim i meÄ‘unarodnim NVO-ima; • diskusije sa bivÅ¡im menadžerima državnih farmi i predstavnicima zajednice; • seminar sa dionicima. Procjena je organizirana oko Ä?etiri stuba: • Socijalni razvoj. KljuÄ?ni interes fokusiran na siromaÅ¡tvo, gender, i socijalnu iskljuÄ?enost • Institucije: baza moći ruralnih podruÄ?ja se mijenjala, otežavajući identifikaciju kljuÄ?nih dionika. Postojala su ograniÄ?ena istraživanja socijalnih organizacija i nedostatak analiza o utjecaju rura- lne migracije • UÄ?ešće: konfuzija i nejasnoće u procesu zemljiÅ¡ne reforme su se pojavili. Raspodjela zemljiÅ¡ta smanjila je siromaÅ¡tvo, ograniÄ?en je utjecaj bivÅ¡ih upravnika farmi i pomogla je u jaÄ?anju ruralne populacije. Povećao se pristup kreditima, ali je kamata ostala visoka (15-18 procenata). • Monitoring/evaluacija: Indikatori djelovanja su koriÅ¡teni u monitoringu implementacije. Indika- tori su vezali ulazne elemente i aktivnosti kvantitativnim mjerenjem oÄ?ekivanih izlaznih rezultata i utjecaja. Procjenom se, takoÄ‘er, posmatrao utjecaj u obliku povećanja produktivnosti, povećanja pri- hoda, smanjenja siromaÅ¡tva te zadovoljstva uÄ?esnika. Izvor: Kudat i Ozbilgin 1999. Razmatranje evaluacijskog pristupa 191 Socijalnu i procjenu okoliÅ¡a treba provoditi ne samo na projektima sa oÄ?iglednim okoliÅ¡nim efektima (fabrike papira i celuloze, naftovodi) nego i kod intervencija kao Å¡to je izgradnja nove Å¡kole ili finansiranje kreditne linije. Ako organizaciji nedostaju okoliÅ¡ni i socijalni standardi, evaluatori mogu koristiti standarde države u kojoj organizacija funkcionira, Equator Principi ISO â– â–  Ekvator 14031, Održive razvojne strategije: Knjiga resursa (Dalal Clayton i Ba 2002). principi: Industrijski Ekvator principi pristup za Ekvator principi su set principa koji pomaže finansijskim institucijama pri odreÄ‘ivanje, odreÄ‘ivanju, procjeni i upravljanju okoliÅ¡nim i socijalnim rizicima u projektu procjenu, i upravljanje finansiranja projekata sa ukupnim kapitalnim troÅ¡kovima od najmanje 10 miliona okolinskim i dolara (smanjeno sa 50 miliona 2006). Principi služe kao zajedniÄ?ka osnova i socijalnim okvir za implementaciju pojedinaÄ?nih, internih, okoliÅ¡nih, i socijalnih procedura rizicima u i standarda za razvojne projekte. privatnom sektoru ISO 14031 finansiranja MeÄ‘unarodne organizacije za standardizaciju (ISO) razvile su i održavaju projekata meÄ‘unarodne standarde za upravljanje okoliÅ¡em, poznate kao ISO 14031. Sta- ndard, prvi put objavljen 1999. godine, proces je internog procesa upravljanja i alat razvijen da osigura menadžerima pouzdane i verificirane informacije kontinu- â– â–  ISO 14031: irano. Pomaže u odreÄ‘ivanju da li okoliÅ¡no djelovanje organizacije zadovoljava Set kriterije koje je postavila uprava organizacije. Evaluacija okolinskog djelovanja meÄ‘unarodnih i okolinske revizije pomažu menadžmentu da procijene status svog okolinskog Standarda za upravljanje djelovanja te da identificiraju podruÄ?ja za poboljÅ¡anje (ISO 1999). okoliÅ¡em koji su Evaluacija okolinskog djelovanja pomaže uspostavljanjem procesa za: razvile • odabir indikatora; MeÄ‘unarodne organizacije za • prikupljanje i analiziranje podataka; Standardizaciju • procjenu informacija prema kriterijima okolinskog djelovanja (ciljevi); • izvjeÅ¡tavanje i komunikaciju i • periodiÄ?ne preglede i poboljÅ¡anje ovog procesa. Održive razvojne strategije: Knjiga resursa Knjiga resursa koju je objavila Organizacija za ekonomsku saradnju i razvoj (OECD) i Razvojni program Ujedinjenih naroda(UNDP) pružaju fleksibilno, neobavezujuće vodstvo kako razviti, procijeniti i implementirati nacionalne strategije za održivi razvoj u skladu sa principima zacrtanim u smjernicama strategija za održivi razvoj (Dalal-Clayton and Ba 2002). 192 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Knjiga sadrži ideje i studije sluÄ?aja o glavnim zadacima u procesu strategije. Njene smjernice su namijenjene državama, organizacijama i pojedincima koji se bave održivim razvojem na državnom i lokalnim nivoima, kao i meÄ‘unarodnim organizacijama koje se bave podrÅ¡kom takvom razvoju. Participacijska evaluacija Participacijska evaluacija postavlja ideju ukljuÄ?enja dionika na novi nivo. UkljuÄ?uje raspodjelu odgovornosti za planiranje evaluacije, implementaciju i izvjeÅ¡tavanje ukljuÄ?ujući dionike u definiranje pitanja evaluacije, prikupljanje i â– â–  Participaci- analizu podataka, izradu i pregled izvjeÅ¡taja. jska evalu- Paulmer (2005, str. 19) opisuje participacijsku evaluaciju kao acija: Evaluacija u kolektivnu procjenu programa od strane dionika i korisnika. Oni su takoÄ‘er akci- kojoj se jski orijentirani i izgraÄ‘uju kapacitet dionika te omogućavaju saradnju i raspodjelu odgovornosti za donoÅ¡enja odluka za veću upotrebu rezultata evaluacije. Mogu postojati razliÄ?iti planiranje, nivoi uÄ?ešća prema korisnicima u evaluaciji. implementaciju i izvjeÅ¡tavanje Postoje dva primarna cilja u participaciji i participativnim pristupima: dijele izmeÄ‘u dionika, koji • Participacija kao proizvod gdje je Ä?in uÄ?ešća cilj i jedan od indikatora uspjeha. mogu pomoći • Participacija kao proces kojim se ostvaruje zadani cilj. definirati pitanja evaluacije, Prema Pattonu (1997), osnovni principi participacijske evaluacije su sljedeći: prikupljati i analizirati • Proces evaluacije ukljuÄ?uje vjeÅ¡tine uÄ?esnika u postavljanju cilja, prioriteta, podatke te odabiranju pitanja, analizi podataka te donoÅ¡enju odluka o podacima. pripremiti • UÄ?esnici su vlasnici (posvećeni) evaluacije, poÅ¡to oni donose odluke i vlastite izvjeÅ¡taj zakljuÄ?ke. • UÄ?esnici osiguravaju da se evaluacija fokusira na metode i rezultate koje sma- traju važnim. • Ljudi rade zajedno, omogućavaju i promoviÅ¡u jedinstvo grupe. • Svi aspekti evaluacije su razumljivi i znaÄ?ajni uÄ?esnicima. • Samoodgovornost se visoko cijeni. • Moderatori djeluju kao resursi za uÄ?enje: uÄ?esnici djeluju kao oni koji donose odluke i kao evaluatori. Razmatranje evaluacijskog pristupa 193 Konvencionalnim istraživanjima su razvijene i dokumentirane smjernice za odreÄ‘ene tehnike u pokuÅ¡aju povećanja pouzdanosti i validnosti podataka. Participacijska evaluacija ne funkcionira prema jasno zacrtanim pravilima koja struÄ?njaci predaju onima koji prikupljaju podatke. Umjesto toga, smjernice za prikupljanje podataka se razvijaju kroz koncenzus, refleksiju, dijalog i iskustvo (Narayan 1996). Pristup participacijske evaluacije prima sve viÅ¡e pažnje u razvojnom konte- kstu. Sve se viÅ¡e koristi za razvojne projekte, posebno inicijative zasnovane u zajednicama. Participacijska evaluacija je joÅ¡ jedan korak dalje od modela neza- visne evaluacije ili evaluatora kao struÄ?njaka. Participativni pristup identificira a zatim ukljuÄ?uje ljude, agencije i orga- nizacije koje imaju interesa za dato pitanje. Ljudi podrazumijevaju djecu, žene, i muÅ¡karce u zajednici, posebno one iz marginaliziranih grupa. TakoÄ‘er ukljuÄ?uju osoblje agencije, kreatore politike, i sve one na koje utjeÄ?u odluke donesene u procesu participativnog istraživanja (Narayan1996). U participacijskoj evaluaciji, od dionika se može tražiti da vode dnevnike ili žurnale njihovih iskustava sa intervencijom. Mogu pomoći sa intervjuima ostalih u zajednici. Mogu takoÄ‘er biti ukljuÄ?eni u analizu podataka, interpretaciju nalaza i pomoći pri razvoju preporuka. Planiranje odluka, kao Å¡to je identificiranje pitanja, mjera i strategije priku- pljanja podataka, donose se skupa sa uÄ?esnicima. To je prije združeni proces nego tradicionalni proces koji ide od vrha prema dolje. (Tabela 5.2). Pristup uÄ?ešća obiÄ?no povećava kredibilitet rezultata evaluacije u oÄ?ima oso- blja programa, kao i vjerovatnoću da će se rezultati koristiti. Zastupnici partici- pativne evaluacije istu vide kao alat za jaÄ?anje uÄ?esnika i povećanje lokalnog kapaciteta za ukljuÄ?ivanje u razvojni proces. Tabela 5.2 Osobine tehnika participativne evaluacije i tradicionalne evaluacije Participacijska Tradicionalna • fokus uÄ?esnika i vlasniÅ¡tvo • fokus i vlasniÅ¡tvo donatora • fokus na uÄ?enje • fokus na odgovornost i procjenu • fleksibilan dizajn • predodreÄ‘eni dizajn • viÅ¡e neformalne metode • formalne metode • autsajderi kao moderatori • autsajderi kao evaluatori Izvor: Autori. 194 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Participacijska evaluacija predstavlja znaÄ?ajan izazov. UkljuÄ?uje viÅ¡e transa- kcijske troÅ¡kove nego tradicionalna evaluacija, zato Å¡to održavanje sastanaka i uvjeravanje da svi razumiju Å¡ta se oÄ?ekuje uzima vrijeme i zahtijeva znaÄ?ajne vjeÅ¡tine. Grupe nastoje ići kroz proces u kojem su razlike pomirene i norme grupe razvijene prije nego se grupa fokusira na ostvarenje datog zadatka. Ovaj dinamiÄ?ni grupni proces se ponekad naziva „formiranje, talasanje, normiranje i izvoÄ‘enje“. Nakon formiranja, prirodno je da slijedi period konflikta (talasanje). Ako grupa proÄ‘e kroz konflikte, uspostavit će specifiÄ?nije sporazume kako će raditi zajedno (normiranje). Kada se sporazumi uspostave, krenut će se u izvedbu datog zadatka (izvoÄ‘enje). Mogu takoÄ‘er postojati izazovi u formiranju egalitarskog tima u kulturi gdje razliÄ?iti Ä?lanovi imaju razliÄ?it status u zajednici. Evaluator koji hoće provoditi evaluaciju uÄ?ešća mora imati moderatorske, vjeÅ¡tine saradnje i vjeÅ¡tine upravljanja konfliktom (ili imati nekoga s tim vjeÅ¡tinama ko će preuzeti vodstvo). On ili ona moraju takoÄ‘er imati sposobnost provesti pravovremenu obuku o osnovnim vjeÅ¡tinama i tehnikama vezanim za evaluaciju i grupne pro- cese svojstvene u participaciji. Ljudi obuÄ?eni za provoÄ‘enje tradicionalne evaluacije mogu postaviti pitanje objektivnosti participacijske evaluacije. Postoji rizik da oni najbliži intervenciji neće biti u stanju vidjeti Å¡ta se stvarno deÅ¡ava ako to nije ono Å¡to oni oÄ?ekuju da vide. Evaluacija stvarno može postati „zarobljena“ i izgubiti objektivnost. UÄ?esnici se mogu plaÅ¡iti iznoÅ¡enja negativnih pogleda, zato Å¡to se pribojavaju da ih drugi u grupi mogu prognati ili da će se intervencija zaustaviti, rezultirajući gubitkom novca za zajednicu ili da viÅ¡e nikad neće dobiti priliku da razvojna organizacija radi sa njima. Pristupajući participatornoj evaluaciji iz perspektive uÄ?enja može se pomoći u smanjenju ovih strahova. Evaluatori trebaju razmotriti stepen do kojeg se kredibilitet može dovesti u kompromis (u pogledu autsajdera) odabirući radije participativni nego nezavisni evaluacijski pristup. Gariba (1998) opisuje kako rijeÄ? evaluacija uzrokuje pomijeÅ¡ane reakcije meÄ‘u donatorima i implementatorima. Donatori mogu biti zabrinuti kako će evaluacija utjecati na projekt (to jest, uzrokovati njeno proÅ¡irenje ili gaÅ¡enje). Implementatori projekta se mogu pribojavati da bi evaluacija mogla omalovažiti njihove pristupe menadžmentu projekta. Gariba opisuje kako participativna evaluacija može biti uspjeÅ¡an i sistematiÄ?an naÄ?in uÄ?enja iz iskustva. Participativnom evaluacijom, partneri u razvojnoj intervenciji mogu izvući lekcije iz njihove interakcije i preduzeti korektivne akcije da poboljÅ¡aju efektivnost i efikasnost budućih aktivnosti. Razmatranje evaluacijskog pristupa 195 Gariba (1998) Opisuje kritiÄ?ne elemente participativne evaluacije: • Evaluacija je sredstvo uÄ?enja: ovaj princip Ä?ini glavnu paradigmu izbora. Svrha nije istražiti nego napraviti priliku za sve dionike, ukljuÄ?ujući donatore, da se nauÄ?i iz njihovih uloga u vježbi razvojne intervencije. • Evaluacija kao dio razvojnog procesa: aktivnost evaluacije nije diskretna i odvojiva od samog razvojnog procesa. Rezultati i odgovarajući alati postaju alati za promjenu prije nego historijski izvjeÅ¡taji. • Evaluacija kao partnerstvo i raspodjela odgovornosti: u metodologiji procjene participativnog utjecaja svi akteri imaju manje-viÅ¡e istu težinu (ovo je veliki kontrast tendenciji za evaluatore da uspostave sindrom „mi“ profesionalci i „oni“ akteri projekta i korisnici). Evaluator se transformira iz istraživaÄ?a u promotera i uÄ?esnika. Prema Kanadskoj meÄ‘unarodnoj razvojnoj agenciji (CIDA 2004), ako dionici uÄ?estvuju u razvoju rezultata, oni će najvjerovatnije doprinijeti implementaciji intervencije. CIDA vjeruje da participativna evaluacija takoÄ‘er • izgraÄ‘uje odgovornost unutar zajednice; • daje viÅ¡e realistiÄ?nu orijentaciju evaluaciji; • povećava saradnju i • jaÄ?a lokalne uÄ?esnike ukljuÄ?ujući ih u proces evaluacije. Tekstualni okvir 5.2 ilustrira jednu tehniku koriÅ¡tenu u participativnoj evaluaciji. Mapiranje ishoda Kanadski meÄ‘unarodni istraživaÄ?ki centar (IDRC) je razvio inovativan pristup evaluaciji. Pristup mapiranja ishoda nastoji ne zamijeniti tradicionalne oblike evaluacije, nego ih dopuniti, fokusirajući se na srodnu promjenu u ponaÅ¡anju. Mapiranje ishoda se fokusira na jedan odreÄ‘en tip rezultata: promjena ponaÅ¡anja. Fokus je viÅ¡e na ishodima nego na ostvarenju razvojnih utjecaja, koji se sma- traju „silaznim“ i koji reflektiraju mnoga nastojanja i intervencije. PokuÅ¡aj taÄ?ne procjene doprinosa bilo koje organizacije utjecaju, IDRC smatra uzaludnim. â– â–  Mapiranje Umjesto toga mapiranje ishoda traži da se posmatraju ponaÅ¡anja, koja nastaju ishoda: viÅ¡estrukim nastojanjima, kako bi se poboljÅ¡ala izvedba projekta, programa i Mapiranje politike. promjene u ponaÅ¡anju Pod mapiranjem ishoda, graniÄ?ni partneri – pojedinci, grupe i organizacije koje su u interakciji sa projektom, programom i politikom – identificirani su. Mapiranje ishoda pretpostavlja da graniÄ?ni partneri kontroliÅ¡u promjenu. TakoÄ‘er pretpostavlja da je njihova uloga kao vanjskog posrednika da im osigura pristup 196 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 5.2 Izgradnja povjerenja kroz participacijsku evaluaciju U Maroku grupa medijatora je gradila povjerenje meÄ‘u ženama tražeći da se okupe u krug i drže za ruke. Zatim je tražila od žena da se upetljaju a da ne puÅ¡taju ruke. „Autsajder“ im je zatim naložio da se raspetljaju – vježba je trajala Å¡est minuta. Zatim su tražili da grupa ponovi vježbu. Drugi put ženama je trebalo10 sekundi da se raspetljaju. Medijator je pomogao grupi da donesu zakljuÄ?ak o ulogama „autsajdera“: autsajderi generalno bolje funkcioniraju kao medijatori i katalizatori nego kao lideri. Lokalni narod zna bolje kako naći rjeÅ¡enje njihovim problemima, zato Å¡to ih oni žive. Izvor: Svjetska banka 1996. novim resursima, idejama ili prilikama u odreÄ‘enom vremenskom periodu. NajuspjeÅ¡niji programi, prema onima koji zastupaju mapiranje ishoda, su oni koji prebacuju ovlasti i odgovornosti ljudima koji djeluju unutar projekta ili programa. Fokus mapiranja ishoda su ljudi. Predstavlja pomjeranje od procjene utjecaja razvoja projekta ili programa prema opisivanju promjena u naÄ?inu kako se ljudi ponaÅ¡aju tokom aktivnosti bilo pojedinaÄ?no bilo unutar grupa ili organizacija. Mapiranje ishoda osigurava put modeliranja onoga Å¡to program namjerava uÄ?initi. Razlikuje se od većine logiÄ?kih modela zato Å¡to prepoznaje da razliÄ?iti graniÄ?ni partneri funkcioniraju unutar razliÄ?itih logiÄ?kih i sistema odgovornosti. Mapiranje ishoda nudi metod za monitoring promjena kod graniÄ?nih partnera i u programu kao organizaciji. PodstiÄ?e program da redovno procjenjuje kako poboljÅ¡ati uÄ?inak. Mapiranje ishoda se takoÄ‘er može koristiti kao alat procjene zavrÅ¡etka programa kada je svrha evaluacije prouÄ?iti program kao cjelinu. Zagovornici mapiranja ishoda vjeruju da se mnogi programi, posebno oni koji se fokusiraju na izgradnju kapaciteta, mogu bolje planirati za procjenu njihovog doprinosa razvoju fokusirajući se na ponaÅ¡anje. Na primjer, cilj pro- grama može biti da se osigura zajednici pristup Ä?istoj vodi instaliranjem filtera za preÄ?išćavanje. Tradicionalni metod evaluacije može evaluirati rezultate prebroja- vanjem instaliranih filtera i mjerenjem promjena u nivou kontaminata u vodi prije i poslije nego su instalirani. Pristup mapiranja ishoda bi se fokusirao na ponaÅ¡anje. PoÄ?eo bi sa pretpo- stavkom da voda ne ostaje Ä?ista ako je ljudi vremenom ne održavaju. Ishodi pro- grama bi zatim bili evaluirani fokusiranjem na ponaÅ¡anje onih koji su odgovorni za Ä?istoću vode – posebno, promjene u nabavci i upotrebi odgovarajućih alata, Razmatranje evaluacijskog pristupa 197 vjeÅ¡tina i znanja. Mapiranjem ishoda bi se evaluiralo kako ljudi prate nivo konta- minacije, mijenjaju filtere ili dovode struÄ?njake kada je to potrebno. Pjesma o mapiranju ishoda, koju je napisao Terry Smutylo, bivÅ¡i direktor evaluacija u MeÄ‘unarodnom razvojnom centru, sažima neke od problema koje nastoji rijeÅ¡iti (link snimku izvedbe „The Output Outcome Downstream Impact Blues“Terryija Smutyloa, nalazi se na listi web stranica na kraju ovog poglavlja.) Rezultat ishod silazni utjecaja blues Rezultat, ishod, utjecaj: Za koga, od koga, kaže ko? Ne traži utjecaj sa atribucijom Postoji nestaÅ¡na mala rijeÄ? sve viÅ¡e u upotrebi U razvojnim programima koje hoće da zloupotrijebi Postaje opsesija i sada svi u akciju Zato Å¡to opstanak ovisi o tom nedostižnom utjecaju REFREN I Zato Å¡to utjeÄ?e na svakom mjestu u svako vrijeme MožeÅ¡ ga naći iza ugla ili bilo gdje Ali ako se desi na naÄ?in koji nisi odabrao DobijeÅ¡ te rezultate ishoda silaznog utjecaja blues. Sada kad donatori utjecaj traže, Å¡ta uistinu hoće da vide Je lijepa mala sliÄ?ica njihove fantazije E to je neÅ¡to Å¡to dobar evaluator nikada uradio ne bi Koristio rijeÄ? utjecaj, a da o njoj dobro ne promisli. Ali sada donatori Ä?esto kažu i to je fakat Idi tamo i utjecaj nam daj Trebate promijeniti živote ljudi i pomoći nama preuzeti zasluge Ili sljedeći put kada sredstva budete htjeli Hm hm Možda ih dobiti nećete moći REFREN I Zato Å¡to utjeÄ?e na svakom mjestu u svako vrijeme MožeÅ¡ ga naći iza ugla ili bilo gdje Ali ako se desi na naÄ?in koji nisi odabrao DobijeÅ¡ te rezultate ishoda silaznog utjecaja blues. 198 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Brza procjena Brza procjena zadovoljava potrebe brzih i i manje skupih evaluacija. Posebno su korisne u evaluacijskom kontekstu zemalja u razvoju, gdje su vrijeme i drugi resursi ograniÄ?eni. Ovi ograniÄ?eni resursi, nedostatak podataka baznih linija, nizak nivo pismenosti, Å¡to upotrebu namjenskih upitnika Ä?ini neophodnim i ograniÄ?eni budžet evaluacije, Ä?esto otežavaju provoÄ‘enje podrobnije evaluacije. Dok ne postoji fiksna definicija Å¡ta je to brza procjena, generalno se opisuje kao most izmeÄ‘u formalnog i neformalnog prikupljanja podataka – „priliÄ?no brz i priliÄ?no Ä?ist“ pristup prije nego „brz i prljav“. Brza procjena se može opisati kao sistematiÄ?an, polustrukturiran pristup kojeg obiÄ?no na terenu provodi tim evalu- atora. Idealan tim je raznolik tako da odslikava razliÄ?ite perspektive. Brza procjena se najbolje koristi kada posmatramo proces, a ne ishode i utjecaje. Generalno, nastoje se prikupiti samo najbitnije informacije – „što se mora znati“ a ne „što bi bilo dobro znati“ – prikupljene kroz kvantitativni i kvalitativni pristup. Osnovna orijentacija brze procjene u razvojnoj evaluaciji je „tražiti da se razumije“, zato Å¡to će neosuÄ‘ujući pristup vjerovatnije pokrenuti otvorenu i iskrenu konverzaciju. VrÅ¡e se posjete lokacijama, zato Å¡to posmatranje intervencije unutar njenih postavki osigurava naznake koliko ona dobro funkcionira. KljuÄ?ni zadatak je identificirati ljude za intervenciju koji imaju raspon iskustava i perspektiva, posebno onih koje bi evaluacija najvjerovatnije previdjela. Mala, ali veoma raznolika, grupa kljuÄ?nih informatora može biti veoma efekti- vna u sagledavanju cjelokupnog stanja situacije. VjeÅ¡tine sluÅ¡anja su veoma bitne. Brza procjena može koristiti iste metode prikupljanja podataka i analize podataka kao i bilo koji drugi tip evaluacije. Razlika je obiÄ?no u djelokrugu. ObiÄ?no je brza procjena malog djelokruga, gdje se kontaktira nekoliko kljuÄ?nih ljudi na malom broju lokacija. Mora se koristiti viÅ¡e izvora informacija, zato Å¡to viÅ¡estruki izvori povećavaju kredibilitet, smanjuju sklonost te osiguravaju perspektivu cjeloku- pnosti. Stoga, podatke iz intervjua kljuÄ?nih informatora treba dopuniti informaci- jama iz prethodnih izvjeÅ¡taja i studija, bilježaka i dokumenata kao i podataka prikupljenih preko posmatranja, fokusnih grupa, grupnih intervjua i anketa. Å to su informacije iz ovih izvora konzistentnije, jaÄ?e je povjerenje u nalaze. U mjeri u kojoj se koriste kvalitativni metodi, velike vjeÅ¡tine bilježenja su jako bitne. Pomažu evaluatoru voditi žurnal u kom bilježi posmatranja, teme, neravnine, interpretacije i sve Å¡to se dogodi za vrijeme terenske posjete. To zatim treba razmijeniti sa ostalim Ä?lanovima tima kako bi se pomoglo u identificiranju zajedniÄ?kih tema. Razmatranje evaluacijskog pristupa 199 â– â–  Brza Pri provoÄ‘enju brze procjene, evaluatori trebaju imati sljedeće savjete na umu: procjena: SistematiÄ?an, • Pregledati sekundarne podatke prije nego se krene na teren. polustrukturiran • Kada se doÄ‘e na teren, posmatrati, sluÅ¡ati, pitati, i bilježiti. pristup • Praviti dobre biljeÅ¡ke tokom procesa; ne samo da su dobre biljeÅ¡ke bitne za evaluaciji koji na izvjeÅ¡taj nego takoÄ‘er pomažu pri izvlaÄ?enju smisla iz informacija koje su terenu obiÄ?no prikupili razliÄ?iti Ä?lanovi tima. provodi tim evaluatora Strategije i nauÄ?ene lekcije u provoÄ‘enju brzih procjena indiciraju da sljedeće treba razmotriti prije nego se preduzme brza procjena: • Izraditi raznolik, viÅ¡edisciplinarni tim saÄ?injen od muÅ¡karaca i žena. • Kada je to moguće angažovati insajdera (neko ko je upoznat sa intervencijom i lokalnim podruÄ?jem) i autsajdera (neko ko će na stvari gledati na novi naÄ?in). • Koristiti male, a ne velike timove da se poveća interakcija. • Podijeliti tim na one koji prikupljaju podatke i one koji izvlaÄ?e smisao iz njih. • Biti voljan ići gdje je potrebno (teren, tržnice, podruÄ?ja glavnog puta), a ne samo ondje gdje je pogodno ići. • Održavati fleksibilnost i prilagodljivost zato Å¡to nove informacije mogu pro- mijeniti plan evaluacije (FAO 1997). Sinteza evaluacija Sinteza evaluacija je koristan pristup kada su već provedene mnoge evaluacije rezultata sliÄ?nih intervencija. Omogućava evaluatoru da posmatra intervencije koje se bave sliÄ?nim pitanjima ili teme koje identificiraju sliÄ?nosti. Korisno je kada evaluacija nastoji pronaći ukupnu efikasnost intervencije. Chelimsky i Morra (1984) su model donijeli u Å¡iri kontekst politike kada su primijenili tehniku na predominantne kvalitativne kao i kvantitativne evaluacije intervencije. Do tada se sinteza evaluacije koristila sa evaluacijama koje su posuÄ‘ivane predominantno kvantitativnim analizama, kao Å¡to su efekti nutri- tivnih programa za mlade žene na težinu i smrtnost novoroÄ‘enÄ?adi ili efekat veliÄ?ine razreda na uspjeh uÄ?enika u obrazovanju. Koncept iza nužnosti sinteze evaluacija je taj da pojedinaÄ?ne evaluacije mogu pružiti korisne informacije o odreÄ‘enim intervencijama. Tako, svaka od pojedinaÄ?nih svaka od pojedinaÄ?nih evaluacija je previÅ¡e specifiÄ?na i u odreÄ‘enom kontekstu, da bi omogućila opći stav o utjecaju intervencije. MeÄ‘utim, kada se kombinuju rezultati viÅ¡e studija, moguće je iznijeti generalne stavove o utjecaju intervencije (pa Ä?ak i politike). Jedna prednost sinteze evaluacija je da koriste dostupna istraživanja, Ä?ineći ih tako manje skupim za provoÄ‘enje od drugih tipova evaluacije. Druga 200 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije pre-dnost je da kreira veću bazu za procjenu utjecaja intervencije, povećavajući pouzdanost donoÅ¡enja generalnih stavova o utjecaju. Izazov je lociranje svih relevantnih studija, objavljenih i neobjavljenih, odreÄ‘ivanje kvaliteta svake evaluacije i – kada je to primjenjivo – pribavljanje skupa podataka koji se kombiniraju za sekundarnu analizu. Sinteza evaluacija treba ukljuÄ?ivati sljedeće: • jasno postavljene procedure za identifikaciju evaluacija i definiranje njihovog djelokruga; • transparentan kriterij kvaliteta za donoÅ¡enje odluka o ukljuÄ?ivanju ili iskljuÄ?ivanju evaluacija iz sinteze; • procedure za primjenu kriterija kvaliteta (koje Ä?esto radi panel umjesto pojedinac); • navode za sve pregledane evaluacije; • sažet opis svake evaluacije ukljuÄ?en u sintezu i nalaze o temama ili varijablama â– â–  Sinteza od interesa i evaluacija: • propuste ili ograniÄ?enja sinteze. Pristup u kom evaluator Ponekad se koriste samo neki elementi sinteze evaluacija. U sluÄ?aju opisanom posmatra u Tekstualnom okviru 5.3, na primjer, ne pojavljuju se izvjeÅ¡taji o pregledu intervencije koje kvaliteta, Å¡to baca sumnju na nalaze sinteze. se bave sliÄ?nim Termini sinteza evaluacije i meta-evaluacija se ponekad naizmjeniÄ?no koriste pitanjima ili u literaturi evaluacije. Mi pravimo razliku izmeÄ‘u ovo dvoje. Kao Å¡to se ovdje teme koje identificiraju koristi, sinteza evaluacija se odnosi na analitiÄ?ki sažetak rezultata evaluacija koje sliÄ?nosti zadovoljavaju minimum standardnih kvaliteta. Suprotno tome meta-evaluacija se Razmatranje evaluacijskog pristupa 201 Tekstualni okvir 5.3 KoriÅ¡tenje sinteze evaluacija za mjerenje koristi za okolinu Odsjek za meÄ‘unarodni razvoj U.K. (DfID) 2000. godine objavio je studiju sinteze evaluacija o okoliÅ¡nim projektima u 1990-tim, ali je imalo smisla da su koristi za okoliÅ¡ viÅ¡e „generalno pretpostavljene nego kritiÄ?ki ispitane“ (str.1). Studija okolinske sinteze je provedena da ispita 49 projekata koje je podržao DfID u pet zemalja kako bi se procijenila implementacija i utjecaj DfID bilateralnog projekta podrÅ¡ke za poboljÅ¡anje i zaÅ¡titu okoliÅ¡a. Projekti nisu bili primarno okolinski nego su pokrivali Å¡irok spektar okolinskih inte- rvencija (efikasnost energije, industrije, Å¡umarstva, biodiverziteta, poljo- privrede, i urbanog poboljÅ¡anja). Nakon posmatranja 49 studija, evaluatori su zakljuÄ?ili da postoji „praznina izmeÄ‘u visokih prioriteta politike koje je DfID prikljuÄ?ila pitanjima okoliÅ¡a.... i onoga Å¡to je stvarno uÄ?injeno u smislu pozitivnog okolinskog utjecaja“. Izvor: DfID 2000, 1. odnosi na struÄ?ni pregled jedne ili viÅ¡e evaluacija prema profesionalnim standa- rdima kvaliteta. â– â–  Meta-evalu- acija: StruÄ?ni Drugi pristupi pregled jedne Drugi pristupi, teorije i modeli se takoÄ‘er koriste u razvojnim evaluacijama. ili viÅ¡e evalu- acija prema Većina su varijacija na temu participativne evaluacije. ÄŒitaoci će naći elemente profesionalnim nekih modela u evaluaciji zasnovanoj na rezultatima, kao Å¡to je pouzdanost nekih standardima teorija testiranja teorije promjene i fokusiranje na upotrebu od poÄ?etka i tokom kvaliteta procesa evaluacije identificirajući i ukljuÄ?ujući dionike. U ovom dijelu opisani su sljedeći pristupi: • evaluacija fokusirana na upotrebu; • evaluacija osnaživanja; • realistiÄ?na evaluacija; • inkluzivna evaluacija ; • korisniÄ?ka evaluacija i • horizontalna evaluacija. 202 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Evaluacija fokusirana na upotrebu Evaluacija fokusirana na upotrebu predlaže da evaluaciju treba cijeniti prema njenoj upotrebi i kako se ustvari koristi. Patton (2002, p. 173), Ä?ija glavna knjiga o evaluaciji fokusiranoj na upotrebi doživljava svoje Ä?etvrto izdanje (2008), istu opisuje kao poÄ?etak sa „identifikacijom i organizacijom odreÄ‘enih relevantnih ljudi koji donose odluke i korisnika informacija (ne nejasnih pasivnih posmatraÄ?a) koji će informacije koje evaluacija proizvede koristiti“. To je evaluacija foku- sirana na namjensku upotrebu za namjenske korisnike. Namjenski korisnici su oni koji imaju odgovornost da primijene nalaze evaluacije i implementiraju njene â– â–  Evaluacija preporuke. Evaluacija fokusirana na upotrebu pomaže primarnim korisnicima fokusirana na da odaberu model sadržaj i metode evaluacije koji najviÅ¡e odgovaraju njihovoj upotrebu: situaciji. Evaluacija je cijenjena po tome kako je Evaluacija osnaživanja korisna i kako Evaluacija osnaživanja je upotreba koncepata, tehnika i nalaza evaluacije da se ustvari koristi se potakne napredak i samoodreÄ‘enje. (Fetterman, Kaftarian, and Wandersman 1996). Evaluacija osnaživanja potvrÄ‘uje visoko poÅ¡tovanje ljudskih kapaciteta da izrade znanje o svom vlastitom iskustvu i naÄ‘u rjeÅ¡enja za probleme sa kojima se suoÄ?avaju. Pomažući ljudima da ostvare njihove ciljeve kao pojedinci i Ä?lanovi zajednice te da poboljÅ¡aju životne uvjete, ovlaÅ¡tenje može stvoriti osjećaj dobrostanja i pozitivnog rasta (Fetterman and Wanders-man 2004). â– â–  Evaluacija osnaživanja: Upotreba Fetterman and Wandersman (2004) opisuju ulogu evaluatora koji daje ovlast koncepata, kao ulogu „kritiÄ?kog prijatelja“. Oni zagovaraju da Ä?lanovi zajednice vode evalu- tehnika i nalaza aciju. Evaluator treba imati ulogu medijatora, koji će utjecati viÅ¡e nego kontroli- evaluacije da se rati evaluaciju. potakne Evaluacija osnaživanja ima neke karakteristike evaluacije fokusirane na napredak i upotrebu. Oba pristupa su dizajnirana da budu od pomoći, konstruktivna i korisna samoodreÄ‘enje u svakoj fazi evaluacije (Fetterman and Wandersman 2004). Ali, Patton (1997) iznosi svoj stav da dok se evaluacija jaÄ?anja preklapa sa participacijskim pristu- pom u vezi sa vlasniÅ¡tvom, relevantnosti i izgradnji kapaciteta, njen definirajući fokus je poticaj samoodreÄ‘enja. Evaluacija jaÄ?anja prevazilazi i najviÅ¡e partici- pacijsku evaluaciju u tome da je evaluator-medijator zagovornik razvlaÅ¡tenja i promovira politiÄ?ki program promjene. Opisujući razliku izmeÄ‘u evaluacije ovlaÅ¡tenja i participacijske evaluacije, Alkin i Christie (2004, str. 56) navode: PoÅ¡to participacijska evaluacija nastaje iz upotrebnog okvira, cilj participativne evaluacije je povećanje upotrebe kroz ove aktivnosti (dizajn, implementacija, analiza, i interpretacija) nasuprot ovlaÅ¡tenju onih koji su bili potlaÄ?eni, a Å¡to je politiÄ?ki ili emancipativno u prirodi. Razmatranje evaluacijskog pristupa 203 RealistiÄ?na evaluacija Pawson and Tilley (2004, str. 1) opisuju realistiÄ?nu evaluaciju kao „vrstu evalu- acije koju vodi teorija“. Oni je vezuju za teoriju promjene i programsku teoriju. Da bi se izgradila teorija mora se razumjeti ukupni kontekst u kojem se deÅ¡ava intervencija, kako intervencija funkcionira u odreÄ‘enom kontekstu i da li radi. â– â–  RealistiÄ?na Prema Pawsonu and Tilley (2004, str. 22), realistiÄ?na evaluacija omogućava evaluacija: „koherentan i konzistentan okvir“ za naÄ?in na koji evaluacija ukljuÄ?uje programe. evaluacija koju vodi teorija i Prepoznaje važnost dionika da planiraju razvoj i izradu, ali drži pravac izmeÄ‘u koja osigurava zanemarivanja dionika (zbog njihove sklonosti vlastitom interesu) i smatra ih koherentan i sveznajućim i nepogreÅ¡ivim (zbog njihovog poznavanja unutraÅ¡njih prilika). konzistentan Dionici se tretiraju kao struÄ?njaci koji mogu pogrijeÅ¡iti i Ä?ije razumijevanje treba okvir za naÄ?in formalizovati i testirati (Pawson i Tilley 2004). na koji RealistiÄ?na evaluacije je izvedena iz Å¡irokog obima pristupa istraživanjima i evaluacija ukljuÄ?uje evaluaciji. Oslanja se na dijelove ili sve druge pristupe. RealistiÄ?na evaluacija programe, može biti kvalitativna i kvantitativna, Ä?esto se kombiniraju oba metoda, ali se tretira dionike ne odreÄ‘uje uzroÄ?ni odnos izmeÄ‘u intervencije i ishoda eksperimentiranjem. kao struÄ?njake UzroÄ?ni odnos je odreÄ‘en prikazom teorije iza koje intervencija radi. koji mogu Koraci se zatim postavljaju logiÄ?kim slijedom da se testira hipoteza kojom pogrijeÅ¡iti, i oslanja se na se odreÄ‘uje Å¡ta bi kome moglo koristiti i u kojim okolnostima. Pawson i druge pristupe Tilley (2004) indiciraju da realistiÄ?na evaluacija može biti izazovna, zato Å¡to evaluaciji. jednostavna formula ne osigurava jednostavne recepte za dobijanje nalaza. Inkluzivna evaluacija Inkluzivna evaluacija se fokusira na ukljuÄ?enje najmanje povlaÅ¡tenih Ä?lanova populacije kao dio sistematiÄ?nog istraživanja zasluga ili vrijednosti projekta, programa ili politike. Inkluzivna evaluacija se zasniva na podacima, ali poda- cima prikupljenim od najmanje povlaÅ¡tenih dionika, oni koji tradicionalno nisu dovoljno predstavljeni. Inkluzivna evaluacija ne ukljuÄ?uje one koji su tradiciona- lno ukljuÄ?eni u evaluacije (Mertens 1999). Kao i evaluacija ovlaÅ¡tenja, inkluzivna evaluacija je transformaciona â– â–  Inkluzivna paradigma. evaluacija: Inkluzivna evaluacija bi postavljala pitanja kao Å¡to su sljedeća: Evaluacija koja ukljuÄ?uje • Koje su to važne razlike unutar populacije koju služi? najmanje • Kako se vrÅ¡e usluge unutar razliÄ?itih podgrupa? povlaÅ¡tene • Na kojim vrijednostima poÄ?iva distribucija usluga? Ä?lanove populacije Procjena korisnika Procjena korisnika je kvalitativni alat za istraživanje koji se koristi za poboljÅ¡anje utjecaja razvojnih operacija prikupljanjem stavova ciljanih korisnika u vezi sa planiranom ili u vezi sa intervencijom koja je u toku“ (Salmen 1999, str. 1). 204 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Kao i inkluzivna evaluacija, ovaj pristup nastoji ukljuÄ?iti grupe koje su Ä?esto zanemarene. Ovaj pristup fokusiran na projektu je razvila Svjetska banka kasnih ‘80-tih godina da bi dopunila svoj viÅ¡etehniÄ?ki i finansijski evaluacioni fokus. Generalno se primjenjivala na projekte sa komponentom vrÅ¡enja usluga. Procjena korisnika ukljuÄ?uje ultimativnog klijenta i korisnike projekta, zato Å¡to povećano uÄ?ešće korisnika u pomoći pri oblikovanju dizajna projekta, osigu- rava povratne informacije monitoringa. TakoÄ‘er, osigurava da njihovi stavovi u â– â–  Procjena utjecaju povećaju njihovo vlasniÅ¡tvo, u njihovom razvoju, Ä?ineći ih tako kljuÄ?nim korisnika: akterima u ostvarenju potrebnih i željenih promjena. Alat koji se Cilj procjene korisnika je procijeniti vrijednosti aktivnosti onako kako ih vide koristi da se korisnici projekta i integrirati te nalaze u projektne aktivnosti. Procjena korisnika poboljÅ¡a utjecaj zauzima centralni dio u socijalnoj procjeni pomažući u povezivanju kulture sa razvojnih operacija donoÅ¡enjem odluka. (Salmen 1999). prikupljanjem stavova Horizontalna evaluacija namjeravanih Horizontalna evaluacija je relativno novi evaluativni pristup koji kombinuje pro- korisnika u vezi ces interne procjene sa eksternim pregledom posmatraÄ?a. Kombinacija je dizajni- sa planiranom ili rana da neutralizira „iskrivljene odnose moći koji preovladavaju u tradicionalnim u vezi sa intervencijom eksternim evaluacijama, stvarajući povoljniju atmosferu za uÄ?enje i subsekventno koja je u toku. poboljÅ¡anje programa“ (Thiele i ostali 2006, str. 1). Horizontalna evaluacija se Ä?esto koristi da se nauÄ?i i da se poboljÅ¡aju istraživaÄ?ke i razvojne metodologije koje stoje iza razvoja. Pristup se koristio u Andean regionalnom programu pri razvijanju novih istraživaÄ?kih i razvojnih metodologija i u Ugandi pri procjeni participativnog pristupa tržiÅ¡nog lanca. (Thiele and others 2006, str. 1). KljuÄ? pristupa horizontalnoj evaluaciji su dvije grupe dionika. Prva su lokalni uÄ?esnici, koji predstavljaju kritiÄ?ni proces koji se istražuje i pružaju preporuke kako ga poboljÅ¡ati. Druga su posjetioci (kolege iz drugih organizacija ili pro- â– â–  Horizontalna evaluacija: jekata koji rade na sliÄ?nim temama), koji procjenjuju proces, ukazuju na dobre Evaluacija koja i loÅ¡e strane, te daju sugestije za poboljÅ¡anje (Thiele and others 2006). Kompo- kombinira nenta horizontalne evaluacije je radionica koja dvjema grupama omogućava da internu procjenu se sastanu. procesa sa eksternim pregledom posmatraÄ?a Razmatranje evaluacijskog pristupa 205 Sažetak Pristup evaluaciji je naÄ?in posmatranja ili konceptualiziranja evaluacije na opći naÄ?in. ÄŒesto ukljuÄ?uje filozofiju i skup vrijednosti. Neki pristupi se koriste godinama, dok su drugi razvijeni ili primjenjivani u relativno skorije vrijeme za razvoj evaluacije. KljuÄ?ne osobine pristupa evaluacije su sažeti u tabeli 5.3. Opisani pristupi su uveliko koriÅ¡teni na nivou pojedinaÄ?nih intervencija. Poglavlje 11 se bavi kompleksnim evaluacijama kompleksnih razvojnih inte- rvencija, koje sve viÅ¡e postaju norma. 206 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 5.3 Svrha, karakteristike, prednosti i izazovi razliÄ?itih pristupa evaluacije Evaluativni pristup Svrha/filozofija Karakteristike/aktivnosti Prednosti Izazovi Prospektivna Pregleda inetrevenciju prije nego Pruža kontekstualnu analizu projekta, Upotreba sekundarnih Može se osloniti na poÄ?ne. programa ili politike. analiza smanjuje opus evaluativnih Pregleda zavrÅ¡ene evaluacije sliÄ?nih troÅ¡kove evaluacije. izvjeÅ¡taja o blisko- programa da identificira lekcije i pitanja. Može se baviti i rijeÅ¡iti srodnim programima. Odgovara na oÄ?ekivana pitanja o vjerovatnom uspjehu. PredviÄ‘a uspjeh ili neuspjeh i sugerira pitanja i time osnažiti naÄ?in jaÄ?anja predložene intervencije program prije nego ukoliko se ide ka njenoj ralizaciji. poÄ?ne. Razmatranje evaluacijskog pristupa Procjena OdreÄ‘uje da li bi evaluacija bila Pregleda materijale i dostupne podatke. Može voditi do realnije Može nepotrebno evaluativnosti korisna i provodiva. Provjerava zajedniÄ?ko razumijevanje i pogodnije evaluacije i odgoditi evaluaciju ako Omogućava komunikaciju programskih ciljeva. bolje dizajniranih se primijeni na sve izmeÄ‘u evaluatora i dionika. programa. programe prije nego Intervjuira menadžere,dionike i ljude u se provede evaluacija. RazjaÅ¡njava svrhu formativne intervenciji koji mogu implementirati Može izgraditi podrÅ¡ku studije ili funkcionira kao alat za preporuke. dionika i poboljÅ¡ati planiranje. razumijevanje ciljeva Razvija model teorije promjene. Može sprijeÄ?iti troÅ¡kove evaluacija koje nisu u stanju odgovoriti na data pitanja zbog praznina u podacima. Zasnovana na Mjeri jesu li ciljevi zadovoljeni. Identificira ciljeve. Može pojednostaviti Može propustiti važne cilju Služi kao osnova većini Procjenjuje da li intervencija dostiže evaluaciju jasnom efekte koji nisu donatorski projektnih ciljeve (normativna evaluacija). metodologijom eksplicitno navedeni evaluacijskih sistema. poreÄ‘enjem stvarnog kao ciljevi. sa standardnim. Bez cilja Otvara opcije za prikupljanje Nastoji sprijeÄ?iti da evaluatori postanu Povećava vjerovatnoću Omogućava ograniÄ?en podataka o efektima i efikasnosti zarobljeni ciljevima programa limitirajući da će nepredviÄ‘eni kontakt sa osobljem programa bez ograniÄ?enja uskim kontakt sa menadžerima i osobljem popratni efekti biti programa; fokusiranjem na date ciljeve. programa. primijećeni. evaluatorima može biti teÅ¡ko izbjegavati upoznavanje sa 207 ciljevima programa. Tabela 5.3 nastavak Evaluativni 208 pristup Svrha/filozofija Karakteristike/aktivnosti Prednosti Izazovi Multilokacijski Istražuje intervencije sa IzgraÄ‘uje uÄ?ešće dionika. ÄŒesto može voditi Zahtijeva standardnom implementacijom u Prikuplja detaljnije informacije nego neki identifikaciji dobre standardizovano svim lokacijama ili planiranim drugi pristupi. prakse. prikupljanje podataka. varijacijama da bi se odredili uvjeti Prikuplja jaÄ?e nalaze Zahtijeva dobro obuÄ?eno u kojima program najbolje ostvaruje Odabire lokacije da predstavljaju odreÄ‘ene karakteristike koje mogu rezultirati u nego evaluacija osoblje, pristup svim svoje ciljeve. pojedinaÄ?ne intervencije lokacijama i dovoljno sistematiÄ?nim razlikama u implementaciji i Mora zabilježiti klimu u kojoj rezultatima intervencije. na pojedinaÄ?noj lokaciji. informacija na vrijeme intervencija funkcionira, kao i Može se baviti unutar i da bi se izradili kulturne, geografske, ekonomske, Opisuje i poredi intervencije unutar instrumenti prikupljanja njihovog konteksta kako bi se osigurao meÄ‘ulokacijskim veliÄ?inske ili druge sistematske analizama. podataka. razlike koje mogu utjecati na spektar lekcija i strategija za bavljenje raznim situacijama. Može mjeriti visoko varijacije. kontekstualno- specifiÄ?ne nalaze po lokacijama koje nisu reprezentativne. Klaster Posmatra grupu sliÄ?nih ili srodnih IzgraÄ‘uje uÄ?ešće dionika. Fokusira se na uÄ?enje Pokazuje ukupne intervencija koje zajedno Potiskuje generalizaciju i repliciranje. prije nego na izvlaÄ?enje rezultate, a ne rezultate predstavljaju skup intervencija. općih zakljuÄ?aka o sa pojedinih lokacija. Varijaciju vidi kao pozitivnu stvar. kvalitetu ili vrijednosti Ispituje „klaster“ intervencija u jednoj ili viÅ¡estrukoj postavci . Koristi viÅ¡estruke studije sluÄ?ajeva, uz programa. razmjenu informacija meÄ‘u sluÄ?ajevima. Socijalna Posmatra razne socijalne Istražuje konzistentnost izmeÄ‘u ciljeva Identificira potencijalne Može izgubiti fokus na procjena strukture, procese i promjene intervencije i potreba, interesa i Å¡tetne socijalne interakciju sa pitanjima unutar grupe ili zajednice. kapaciteta dionika. utjecaje, tako da se okoliÅ¡a baveći se samo Djeluje kao glavni instrument da Bavi se efektima socijalnih i kulturnih mogu primijeniti jednim dijelom se osigura da socijalni utjecaji faktora o sposobnosti dionika da strategije ublažavanja. jednaÄ?ine. razvojnih intervencija budu uzeti uÄ?estvuju ili imaju koristi od intervencije. u obzir. Istražuje razliÄ?ite intervencije na podskupove dionika. OkoliÅ¡na i Evaluira ostvarenja okoliÅ¡nih i Fokusira se na socijalne i okoliÅ¡ne aspekte NaglaÅ¡ava Može zahtijevati socijalna socijalnih ciljeva. svih intervencija, ne samo onih koje se preovladavajuću važnost tehniÄ?ku struÄ?nost. procjena fokusiraju samo na okoliÅ¡ ili samo na socijalnih i okoliÅ¡nih socijalne nejednakosti. aspekata intervencije. Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Korisna je kada su socijalna procjena i procjena utjecaja na okoliÅ¡ jedina svrha evaluacije. Participativna Dijeli sa dionicima odgovornost za UkljuÄ?uje uÄ?esnike u postavljanje ciljeva, Povećava kredibilitet Zahtijeva evaluatore sa planiranje, implementiranje i uspostavljanje prioriteta, odabir pitanja, rezultata evaluacije u dobrim vjeÅ¡tinama izvjeÅ¡tavanje o evaluaciji. analizu podataka i donoÅ¡enje odluka o oÄ?ima osoblja programa fasilitacije, saradnje i Participaciju gleda kao proizvod podacima. i vjerovatnoću da će se upravljanja konfliktom, gdje je Ä?in participacije cilj i jedan Omogućava grupnu saradnju, jedinstvo rezultati koristiti. kao i vjeÅ¡tine obuke od indikatora uspjeha. grupe i samoodgovornost. Daje ovlaÅ¡tenje uÄ?esnika u tehnikama uÄ?esnicima i povećava evaluacije. Participaciju takoÄ‘er razmatra kao Ulogu evaluatora mijenja u ulogu proces kojim se ostvaruju zadati medijatora i vodiÄ?a, gdje su uÄ?esnici ti koji lokalne kapacitete. ÄŒesto posmatrana kao ciljevi. donose odluke i vode evaluaciju. da nije nezavisna. Mapiranje Dopunjava tradicionalnije oblike Posmatra ponaÅ¡anja proistekla iz Proizlaze iz Ima potrebu za ishoda evaluacije fokusirajući se na srodne viÅ¡estrukih napora da se pomogne „Downstream Outcome evaluacijom utjecaja sa Razmatranje evaluacijskog pristupa promjene u ponaÅ¡anju; fokus je na poboljÅ¡ati izvedba projekta, programa ili Blues“ (vidjeti tekst). nezavisnošću i ljudima i ishodima prije nego na politike osiguravajući nove alate tehnike i odgovornošću. ostvarenju razvojnih utjecaja. resurse. Identificira graniÄ?ne partnere da bi se procijenio njihov utjecaj na promjene. Opisuje promjene u naÄ?inu na koji se ljudi ponaÅ¡aju tokom aktivnosti kao pojedinci i kao Ä?lanovi grupa ili organizacija. Brza procjena Zadovoljava potrebe brze i manje ObiÄ?no se koristi sistematiÄ?ni, Služi kao veza izmeÄ‘u ObiÄ?no je malog skupe evaluacije; generalno traži polustrukturirani pristup. formalnog i neformalnog djelokruga. prikupljanje samo najbitnijih ObiÄ?no se koristi analiza dokumenata, prikupljanja podataka; Osigurava ograniÄ?ene, informacija da se osiguraju intervjui i kratke posjete lokacijama. najbolje se koristi kada uglavnom opisne indikacije uÄ?inka. se posmatraju procesi i informacije. Mora koristiti viÅ¡e od jednog izvora pitanja. informacija. Zahtijeva dobre vjeÅ¡tine sluÅ¡anja i bilježenja. Sinteza Locira i vrednuje kvalitet svih Locira sve relevante studije. Koristi dostupne Mogu se javiti evaluacija relevantnih evaluacija i kombinira ili Uspostavlja kriterije za odreÄ‘ivanje kvaliteta evaluacije i istraživanja, poteÅ¡koće pri lociranju sažima njihove rezultate; korisna je studija. smanjujući troÅ¡kove. svih relevantnih studija i kada su već provedene mnoge IzraÄ‘uje veću i jaÄ?u pri prikupljanju evaluacije o intervenciji. UkljuÄ?uje samo kvalitetne studije. podataka. osnovu za procjenu Kombinira rezultate ili na drugi naÄ?in utjecaja. Nosi poneÅ¡to rizika sintetizira nalaze iz studija o kljuÄ?nim pristrasnosti pri odabiru mjerama. „kvalitetnih“ evaluacija, Može se koristiti sa kvalitativnim ili (ovi rizici se mogu kvantitativnim podacima. ublažiti upotrebom 209 panela). 210 Tabela 5.3 nastavak Evaluativni pristup Svrha/filozofija Karakteristike/aktivnosti Prednosti Izazovi Fokusirana na Sudi o intervenciji prema upotrebi i PoÄ?inje identifikacijom i organizacijom UgraÄ‘uje upotrebu NaglaÅ¡ava primarnog upotrebu naÄ?inu na koji se zaista koristi. odreÄ‘enih, relevantnih ljudi koji donose evaluacije fokusirajući klijenta; može ne odluke i koriste informacije (ne se od poÄ?etka na ciljanu ukljuÄ?ivati druge dionike. neodreÄ‘ene, pasivne posmatraÄ?e) koji će korist ciljanih korisnika. koristiti informacije koje evaluacija proizvede. Osnaživanje Koristi koncepte, tehnike, i nalaze Ide iznad participacijske evaluacije odajući Daje prednost Mijenja ulogu evaluatora evaluacije da potakne poboljÅ¡anje i duboko poÅ¡tovanje kapacitetu ljudi da obespravljenim u zastupnika (evaluacija samoodreÄ‘enje. kreiraju znanje o vlastitim iskustvima i grupama. se može posmatrati kao razviju rjeÅ¡enja problema s kojima se politiÄ?ka i pristrasna). suoÄ?avaju. RealistiÄ?na Osigurava koherentan i Izvedena iz Å¡irokog spektra pristupa Ocrtava teoriju na kojoj Zna da svaki model konzistentan okvir za programe istraživanjima i evaluacijama oslanja se na bi intervencija mogla programa treba evaluacije kroz opis konteksta; dijelove ili cjelinu drugih pristupa. raditi, pod kojim pojedinaÄ?no odrediti. posmatra kako program treba raditi Koristi kvalitativno istraživanje, uvjetima i za koga. i da li postoji uzroÄ?ni odnos izmeÄ‘u kvantitativno istraživanje ili oba. programa i datog ishoda. Inkluzivna UkljuÄ?uje najmanje povlaÅ¡tene Prikuplja podatke od najmanje povlaÅ¡tenih Fokusira se na najmanje Mijenja ulogu evaluatora dionike kao dio sistemskog dionika, ne ukljuÄ?uje one koji su povlaÅ¡tene dionike i u zastupnika (evaluacija istraživanja zasluga i vrijednosti tradicionalno ukljuÄ?eni u evaluacije. razliku u vrÅ¡enju usluga. se može posmatrati kao projekta, programa ili politike. politiÄ?ka i pristrasna). KorisniÄ?ka PoboljÅ¡ava utjecaj razvojnih UkljuÄ?uje korisnike projekta, povećavajući Koristi pristup saradnje Odvaja sagledavanje operacija prikupljanjem stavova njihov osjećaj vlasniÅ¡tva. koji izgraÄ‘uje vlasniÅ¡tvo pitanja okoliÅ¡a i socijalne ciljanih korisnika u vezi sa i kapacitet, a povećava konsenkvence. planiranom ili u vezi sa evaluacijom vrijednost evaluacije koja je u toku. uzimajući u obzir poglede korisnika. Horizontalna Kombinira proces interne procjene Koristi se da se nauÄ?e i poboljÅ¡aju Kombinira snagu Razumije da pregledi sa eksternim pregledom istraživaÄ?ke i razvojne metodologije o samo-evaluacije i kolega mogu biti posmatraÄ?a da bi se neutralizirali razvoju. pregleda eksternih uzajamno pozitivni. Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije iskrivljeni odnosi moći koji posmatraÄ?a. preovladavaju u tradicionalnim eksternim evaluacijama. Izvor: Autori. Poglavlje 5 Aktivnosti Aplikacijska vježba 5.1: Odabir pristupa evaluaciji koji najbolje odgovara Odaberite evaluacioni pristup za analizu svakog od ispod opisanih zadataka. Opi- sati pristup, navesti koristi koje osigurava i izazove koje predstavlja, obrazložite svoj izbor. 1. Procijenite strateÅ¡ki fokus tehniÄ?ke pomoći zemlji na osnovu nalaza studija u pet zemalja koje su uradile razliÄ?ite razvojne organizacije. 2. Identificira uspjeÅ¡nu obrazovnu intervenciju koja je implementirana u projekti- ma i programima vaÅ¡e organizacije kako bi se poboljÅ¡ao obrazovni sistem u regionu. 3. Evaluirajte najznaÄ?ajnija pitanja u vezi prirodnih resursa zemlje i sektora okoliÅ¡a. 4. Procijenite razvoj sektora riže u zemlji, ukljuÄ?ujući važnost riže u trenutnom kulturnom, socijalnom i ekonomskom kontekstu; sistemi proizvodnje riže; prepreke s kojima se suoÄ?avaju farmeri; provedena istraživanja i razvijene tehnologije; budući prioriteti za budući razvoj riže. 5. Evaluirajte evaluaciju koju je provela razvojna organizacija koja je primila milione dolara za finansiranje meÄ‘unarodnog poljoprivrednog istraživanja tokom proteklih 30 godina. Razmatranje evaluacijskog pristupa 211 Napomena 1. Veći dio informacija u ovom dijelu je preuzet od Earl, Carden, and Smutylo (2001). Bibliografija i dodatna literatura Alkin, Marvin, and Christina Christie. 2004. “An Evaluation Theory Tree.â€? In Evaluation Roots: Tracing Theorist Views and Influences, ed. M. Alkin. 12–65, Thousand Oaks, CA: Sage Publications. Chambers, R. 1991. “Shortcut and Participatory Methods for Gaining Social Information for Projects.â€? In Putting People First: Sociological Variables in Rural Development, 2nd ed., ed. M. M. Cernea, 515–37. Washington, DC: World Bank. Chelimsky, E., and L. G. Morra. 1984. “Evaluation Synthesis for the Legislative User.â€? In Issues in Data Synthesis, ed. W. H. Yeaton and P. M. Wortman, 75–89. New Direc- tions for Program Evaluation No. 24. San Francisco: Jossey-Bass. Christie, Christina, and Marvin Alkin. 2004. “Objectives-Based Evaluation.â€? In Ency- clopedia of Evaluation, ed. Sandra Mathison. 281–85. Thousand Oaks, CA: Sage Publications. CIDA (Canadian International Development Agency). 2004. CIDA Evaluation Guide 2004. Ottawa. Cousins, J. B., and L. M. Earl, eds. 1995. Participatory Evaluation in Education. Bristol, PA: Falmer Press. Dalal-Clayton, Barry, and Stephen Ba. 2002. Sustainable Development Strategies: A Resource Book. Sterling, VA: Earthscan Publications. http://www.nssd.net/res_book.html#contents. DFID (Department for International Development). 2000. Environment: Mainstreamed or Sidelined? Environmental Evaluation Synthesis Study EV626, January, London. http://www.dfid.gov.uk/aboutdfid/performance/files/ev626s.pdf. Duignan, Paul. 2007. Introduction to Strategic Evaluation: Section on Evaluation Approaches, Purposes, Methods, and Designs. http://www.strategicevaluation.info/se/documents/104f.html. Earl, Sarah, Fred Carden, and Terry Smutylo. 2001. Outcome Mapping: Building Learn- ing and Reflection into Development Programs. International Development Research Centre, Ottawa. http://www.dgroups.org/groups/pelican/docs/Mapping_M&E_capacity_ 080606.pdf. ECDPM (European Centre for Development Policy Management). 2006. Study on Capacity, Change and Performance: Mapping of Approaches Towards M&E of Capacity and Capacity Development. Maastricht. Eerikainen, Jouni, and Roland Michelevitsh. 2005. “Environmental and Social Sus- tainability. Methodology and Toolkit: Various Approaches.â€? International Program for Development Evaluation Training (IPDET) presentation, Ottawa, July. 212 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije FAO (Food and Agriculture Organization of the United Nations). 1997. “Rapid Rural Appraisal.â€? In Marketing Research and Information Systems Marketing and Agribusi- ness. Rome. http://www.fao.org/docrep/W3241E/w3241e09.htm. Fetterman, David M. 2001. Foundations of Empowerment Evaluation. Thousand Oaks, CA: Sage Publications. Fetterman, David M., S. Kaftarian, and A. Wandersman, eds. 1996. Empowerment Evalu- ation: Knowledge and Tools for Self-Assessment and Accountability. Thousand Oaks, CA: Sage Publications. Fetterman, David M., and Abraham Wandersman. 2004. Empowerment Evaluation Prin- ciples in Practice. New York: Guilford Publications. ———. 2007. “Empowerment Evaluation: Yesterday, Today, and Tomorrow.â€? American Journal of Evaluation 28 (2):179–98. http://homepage.mac.com/profdavidf/documents/EEyesterday.pdf. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evalua- tion: Alternative Approaches and Practical Guidelines. New York: Pearson. Gariba, Sulley. 1998. “Participatory Impact Assessment: Lessons From Poverty Allevia- tion Projects in Africa.â€? in Knowledge Shared: Participatory Evaluation in Develop- ment Cooperation, ed. Edward T. Jackson and Yussuf Kassam, 64–81. Bloomfield, CT: Kumarian Press. Gill, M., and A. Spriggs. 2002. The Development of Realistic Evaluation Theory through the Evaluation of National Crime Prevention Programmes. http://www.evaluationcanada/distribution/20021010_gill_martin_spriggs_angela. pdf. Glass, Gene V., and Mary Lee Smith. 1979. “Meta-Analysis of Research on Class Size and Achievement.â€? Educational Evaluation and Policy Analysis 1 (1): 2–16. Hirschheim, R., and S. Smithson. 1988. “A Critical Analysis of Information Systems Evaluation.â€? In IS Assessment: Issues and Changes, eds. N. Bjorn-Andersen and G. B. Davis. Amsterdam: North-Holland. ISO (International Organization for Standardization). 1999. Environmental Management: Performance Evaluation Guidelines. ISO 14301, Geneva. Johnston, Timothy, and Susan Stout. 1999. Investing in Health: Development in Health, Nutrition, and Population Sector. World Bank, Operations Evaluation Department, Washington, DC. http://wbln0018.worldbank.org/oed/oeddoclib.nsf/6e14e487e87320f785256808006a0 01a/daf8d4188308862f852568420062f332/US$FILE/HNP.pdf. Khon Kaen University. 1987. Proceedings of the 1985 International Conference on Rapid Rural Appraisal. Rural Systems Research and Farming Systems Research Projects, Khon Kaen, Thailand. Kretzmann, John P., John L. McKnight, and Deborah Puntenney. 1996. A Guide to Mass- ing Local Business Assets and Modulizing Local Business Capabilities. Skokie, IL: ACTA Publications. Kudat, Ayse, and Bykebt Ozbilgin. 1999. Azerbaijan Agricultural Development and Credit Program. http://lnweb18.worldbank.org/ESSD/sdvext.nsf/61ByDocName/Azerbaijan Razmatranje evaluacijskog pristupa 213 AgriculturalDevelopmentandCreditProject/US$FILE/AzerbaijanAgricultural DevelopmentandCreditProject424KbPDF.pdf. Kumar, Krishna, ed. 1993. Rapid Appraisal Methods. Washington, DC: World Bank. Light, R. J., and D. B. Pillemer. 1984. Summing Up: The Science of Reviewing Research. Cambridge, MA: Harvard University Press. Mertens, D. 1999. “Inclusive Evaluation: Implications of Transformative Theory for Evaluation.â€? American Journal of Evaluation 20 (1): 1–14. Narayan, Deepa. 1996. Toward Participatory Research. World Bank Technical Paper 307, World Bank, Washington, DC. http:// www-wds.worldbank.org/external/default/WDSContentServer/WDSP/IB/1996 /04/01/000009265_3980625172923/Rendered/PDF/multi0page.pdf. Nay, J., and P. Kay. 1982. Government Oversight and Evaluability Assessment. Lexing- ton, MA: Heath. OECD (Organisation for Economic Co-operation and Development). 1997. Searching for Impact and Methods: NGO Evaluation Synthesis Study. Development Assistance Committee, Paris. http://www.eldis.org/static/DOC5421.htm. Patton, Michael Q. 1990. Qualitative Evaluation and Research Methods. 2nd ed. Thou- sand Oaks, CA: Sage Publications. ———. 1997. Utilization-Focused Evaluation: The New Century Text. Thousand Oaks: CA: Sage Publications. ———. 1997. “Toward Distinguishing Empowerment Evaluation and Placing It in a Larger Context.â€? Evaluation Practice 18 (2):147–63. ———. 2002. Qualitative Evaluation and Research Methods, 3rd ed. Thousand Oaks, CA: Sage Publications. ———. 2008. Utilization-Focused Evaluation. 4th ed. Thousand Oaks, CA: Sage Publications. Paulmer, Hubert E. 2005. “Evaluation Guidelines of International Development Aid Agencies: A Comparative Study.â€? International Rural Planning and Development, School of Environmental Design and Rural Development, University of Guelph, Ontario. Pawson, Ray, and Nick Tilley. 2004. “Realistic Evaluation.â€? In Encyclopaedia of Evalua- tion, ed. Sandra Matthieson, 359–67. Thousand Oaks, CA: Sage Publications. Picciotto, Robert. 2007. “The New Environment for Development Evaluation.â€? Ameri- can Journal of Evaluation 28: 509–21. Preskill, Hallie, and Darlene Russ-Eft. 2005. Building Evaluation Capacity: 72 Activities for Teaching and Training. Thousand Oaks, CA: Sage Publications. Salmen, Lawrence F. 1999. Beneficiary Assessment Manual for Social Funds. World Bank, Social Protection Team Human Development Network, Washington, DC. http://lnweb18.worldbank.org/ESSD/sdvext.nsf/07ByDocName/Beneficiary AssessmentManualforSocialFunds/US$FILE/ percent5BEnglish percent5D+ Beneficiary+Assessment+Manual.pdf. Sanders, J. R. 1997. “Cluster Evaluation.â€? In Evaluation for the 21st Century: A Hand- book, eds. E. Chelimsky and W. R. Shadish Jr., 396–401. Thousand Oaks, CA: Sage Publications. 214 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Scrimshaw, N., and G. R. Gleason. 1992. Rapid Assessment Procedures: Qualitative Methodologies for Planning and Evaluation of Health Related Programs. Boston: International Nutrition Foundation for Developing Countries. Scriven, Michael. 1972a. “Objectivity and Subjectivity in Educational Research.â€? In Philosophical Redirection Educational Research: The Seventy-First Yearbook of the National Society for the Study of Education, ed. L. G. Thomas. Chicago: University of Chicago Press. ———. 1972b. “Pros and Cons about Goal-Free Evaluation.â€? Evaluation Comment 3: 1–7. ———. 1991. Evaluation Thesaurus. 4th. ed. Thousand Oaks, CA: Sage Publications. Smith, M. F. 1989. Evaluability Assessment: A Practical Approach. Boston: Kluwer Academic Press. Smith, Mary Lee, and Gene V. Glass. 1980. “Meta-Analysis of Research on Class Size and Its Relationship to Attitudes and Instruction.â€? American Educational Research Journal 17: 419–33. Smith, Nick L., and Paul R. Brandon, eds. 2007. Fundamental Issues in Evaluation. New York: Guilford Press. Smutylo, Terry. “The Output Outcome Downstream Impact Blues.â€? http://www.idrc.ca/en/ev-65284-201-1-DO_TOPIC.html. Thiele, G., A. Devaux, C. Velasco, and D. Horton. 2007. “Horizontal Evaluation: Foster- ing Knowledge Sharing and Program Improvement within a Network.â€? American Journal of Evaluation 28 (4): 493–508. Thiele, G., A. Devaux, C. Velasco, and K. Manrique. 2006. “Horizontal Evaluation: Stimulating Social Learning among Peers.â€? International Potato Center, Papa Andina Program, Lima, Peru. Draft of May 18. http://www.dgroups.org/groups/pelican/docs/Hor_Evaln_18_05.doc?ois=no. Tilley, Nick. 2000. Realistic Evaluation: An Overview. Paper presented at the Founding Conference of the Danish Evaluation Society, Nottingham Trent University, Septem- ber. http://www.danskevalueringsselskab.dk/pdf/Nick percent20Tilley.pdf. Turpin, R. S., and J. M. Sinacore, eds. 1991. Multisite Evaluations. New Directions for Program Evaluation No. 50. San Francisco, CA: Jossey-Bass. U.S. GAO (General Accounting Office) 1990. Prospective Evaluation Methods: The Prospective Evaluation Synthesis. Washington, DC. http://www.gao.gov/special.pubs/10_1_10.PDF. ———. 1992. The Evaluation Synthesis. Washington, DC. http://www.gao.gov/special.pubs/pemd1012.pdf. Wandersman, A., J. Snell-Johns, B. E. Lentz, D. M. Fetterman, D. C. Keener, M. Livet, P. S. Imm, and P. Flaspoler. 2005. “The Principles of Empowerment Evaluation.â€? In Empowerment Evaluation Principles in Practice, eds. D. M. Fetterman and A. Wan- dersman, 27–41. New York: Guilford. Wholey, J. S. 1987. “Evaluability Assessment: Developing Program Theory.â€? In Using Program Theory in Evaluation, ed. L. Bickman, 77–92. New Directions for Program Evaluation No. 33. San Francisco: Jossey-Bass. Wholey, J. S., H. P. Hatry, and K. E. Newcomer, eds. 1994. Handbook of Practical Pro- gram Evaluation. San Francisco: Jossey-Bass. Razmatranje evaluacijskog pristupa 215 World Bank. 1996. World Bank Participation Sourcebook. Washington, DC. http://www.worldbank.org/wbi/sourcebook/sba108.htm#D. ———. 2004. “Social Assessment.â€? In Turning Bureaucrats into Warriors. 135–38. Washington, DC. http://www.worldbank.org/afr/aids/gom/manual/GOM-Chapter percent2024.pdf. Web stranice Equator Principles. http://www.equator-principles.com/, http://www.ifc.org/ifcext/equa- torprinciples.nsf/Content/ThePrinciples. Frechtling, Joy, and Laure Sharp Westat, eds. 1997. User-Friendly Handbook for Mixed- Method Evaluations. Washington, DC: National Science Foundation. http://www.nsf. gov/pubs/1997/nsf97153/start.htm. IFC (International Finance Corporation). Environmental and Social Policies and Guide- lines. http://www.ifc.org/ifcext/enviro.nsf/Content/PoliciesandGuidelines. ISO (International Organization for Standardization). ISO 14031. http://www.iso .org/iso/catalogue_detail?csnumber=23149, http://www.iso-14001.org.uk/ iso-14031.htm, and http://www.altech-group.com/ftp/EPEarticle.pdf. IUCN (World Conservation Union). Sustainability Assessment. http://www.iucn .org/themes/eval/search/iucn/sustassess.htm. World Bank. 2009. Social Analysis. http://web.worldbank.org/WBSITE/ EXTERNAL/TOPICS/EXTSOCIALDEVELOPMENT/EXTSOCIALANALYSIS/ 0,,menuPK:281319~pagePK:149018~piPK:149093~theSitePK:281314,00.html. Klaster evaluacija AusAid. 2004. Governance in PNG: A Cluster Evaluation of Three Public Sector Reform Activities. Evaluation and Review Series 35, Sydney. http://www.ausaid .gov.au/publications/pdf/governance_in_png_qc35.pdf. Evaluacija osnaživanja Empowerment Evaluation Blog. http://www.eevaluation.blogspot.com/. Socijalna i procjena okruženja Lanco Amarkantak Thermal Power. Environmental & Social Review. Report prepared for the IFC Board of Directors. http://www.ifc.org/ifcext/spiwebsite1 .nsf/1ca07340e47a35cd85256efb00700ceeC126975A64D3306E852572A000487BD. Procjena evaluabilnosti Lewin Group. 1997. An Evaluability Assessment of Responsible Fatherhood Programs. http://fatherhood.hhs.gov/evaluaby/intro.htm. 216 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Sinteza evaluacija Kruse, S. E., T. Kyllönen, S. Ojanperä, R. C. Riddell, and J. Vielaj. Searching for Impact and Methods: NGO Evaluation Synthesis Study. Institute of Development Studies, University of Helsinki. http://www.eldis.org/static/DOC5421.htm. Evaluacija zasnovana na cilju IFAD (International Fund for Agricultural Development). Country Program Evaluation of the People’s Republic of Bangladesh. http://www.ifad.org/evaluation/public_html/ eksyst/doc/country/pi/bangladesh/bangladesh.htm. Evaluacija bez cilja Evaluation Center, Western Michigan University. http://www.wmich.edu/evalctr/project- pub.html. Meta evaluacija Campbell Collaboration Online Library. http://www.campbellcollaboration.org/frontend. aspx. ViÅ¡elokacijska evaluacija Australian HIV Test Evaluation Group. 1995. Multisite Evaluation of Four AntiHIV-1/ HIV-2 Enzyme Immunoassays. http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?cmd=R etrieve&db=PubMed&list_uids=7882108&dopt=Abstract/. SRI International. 2001. A Multisite Evaluation of the Parents as Teachers (PAT) Project. http://policyweb.sri.com/cehs/projects/displayProject.jsp?Nick=pat. Mapiranje ishoda African Health Research Fellowship Program. Strengthening Leadership Capacity to Improve the Production and Use of Health Knowledge in Africa. http://www.idrc .ca/fr/ev-34425-201-1-DO_TOPIC.html. Participacijska evaluacija Contra Costa Health Services. 2009. Preventing Chronic Disease: A Participatory Evalu- ation Approach. http://www.cchealth.org/groups/chronic_disease/guide/evaluation. php. Community Integrated Pest Management. 2001. Picturing Impact: Participatory Evalua- tion of Community IPM in Three West Java Villages. http://www.communityipm.org/ docs/Picturing percent20Impact/Picturing percent20 Impact percent20top percent20page.html. Razmatranje evaluacijskog pristupa 217 Participacijska evaluacija Glewwe, Paul, Michael Kremer, and Sylvie Moulin. 1998. Textbooks and Test Scores: Evidence from a Prospective Evaluation in Kenya. http://www.econ.yale .edu/~egcenter/infoconf/kremer_paper.pdf. Brza procjena UNICRI (United Nations Interregional Crime and Justice Research Institute), and ACI (Australian Institute of Criminology). Global Programme against Trafficking in Human Beings, Rapid Assessment: Human Smuggling and Trafficking from the Phil- ippines. http://www.unodc.org/pdf/crime/trafficking/RA_UNICRI.pdf. Socijalna procjena World Bank. 1996. “Morocco: Fez Medina Rehabilitation Project.â€? In World Bank Par- ticipation Sourcebook. Washington, DC: World Bank. http://www.worldbank .org/wbi/sourcebook/sba108.htm#D. Evaluacija fokusirana na upotrebu Evaluation Center, Western Michigan University. Utilization-Focused Evaluation Check- list. http://www.wmich.edu/evalctr/checklists/ufechecklist.htm. 218 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije DIZAJNIRANJE I PROVOÄ?ENJE “ Ne postoji granica do koje se stvari mogu iskomplicirati, jedna stvar uvijek vodi ka drugoj“ —E. B. White Poglavlje 6: Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice • Izvori pitanja • Vrste pitanja • Identificiranje i odabir pitanja • Razvoj dobrih pitanja • Dizajniranje evaluacije Poglavlje 7: Izbor dizajna za uzrok i posljedicu, normativna, i opisna evaluacijskih pitanja • Povezivanje pitanja sa dizajnom • Dizajn za uzroÄ?no-posljediÄ?na pitanja • Dizajn za opisna pitanja • Dizajn za normativna pitanja • Potreba za rigoroznijim dizajnom Poglavlje 8: Odabir i izrada instrumenata za prikupljanje podataka • Strategije za prikupljanje podataka • Karakteristike dobrih mjera • Kvantitativni i kvalitativni podaci • Alati za prikupljanje podataka Poglavlje 9: Odabir strategije uzorkovanja • Uvod u uzorkovanje • Vrste uzoraka: sluÄ?ajni i stratifikovani • OdreÄ‘ivanje veliÄ?ine uzorka Poglavlje 10: Planiranje i provoÄ‘enje analize podataka • Strategija analize podataka • Analiziranje kvalitativnih podataka • Analiziranje kvantitativnih podataka • Povezivanje kvantitativnih podataka i kvalitativnih podataka 220 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije POGLAVLJE 6 Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice Ovo je prvo od pet poglavlja koja se bave odreÄ‘enim koracima u diza- jniranju evaluacije. Ovo poglavlje razmatra vrste evaluacionih pitanja i objaÅ¡njava kada koristiti koju vrstu. Poglavlje takoÄ‘er obraÄ‘uje temu kako pisati i strukturirati dobra pitanja. Ovo poglavlje ima pet glavnih dijelova: • Izvori pitanja; • Vrste pitanja; • Identificiranje i odabir pitanja; • Razvoj dobrih pitanja i • Dizajniranje evaluacije. 221 Izvori pitanja ZaÅ¡to je odabir evaluacionih pitanja tako važan? Jedan razlog je da pitanja usmjeravaju evaluaciju i odabrani dizajn evaluacije (ove implikacije podrobnije obraÄ‘ujemo u Poglavlju 6). Evaluaciona pitanja su kritiÄ?ni element koji pomaže kljuÄ?nim pojedincima i grupama da povećaju napore, donesu odluke, te javnosti pruže informacije. Pažljiva refleksija i istraživanje su potrebni da se zavrÅ¡i kritiÄ?ni proces identificiranja i definiranja pitanja na koja će evaluacija odgovoriti (Fitzpatrick, Sanders, i Worthen 2004). Evaluatori postavljaju evaluaciona pitanja da bi nauÄ?ili neÅ¡to o projektu, pro- gramu ili politici koja se evaluira. ÄŒest problem u razvoju pitanja je pretpostavka da svako ko je ukljuÄ?en ima isto poimanje ciljeva intervencije. Ako je, na primjer, pitanje „je li program pomogao uÄ?esnicima?“, razliÄ?iti dionici mogu rijeÄ?i „pomoći“ i „uÄ?esnici“ drugaÄ?ije interpretirati. Postizanje saglasnosti o teoriji pro- mjene, Å¡to smo razmatrali u prethodnom poglavlju, može popraviti ovaj problem. Fitzpatrick, Sanders i Worthen (2004) navode izvore koje bi evaluatori trebali koristiti kako bi osigurali da su pribavili razliÄ?ita stajaliÅ¡ta: • pitanja, dileme, i vrijednosti dionika; • modeli evaluacije; • okviri i pristupi, ukljuÄ?ujući heuristiÄ?ne (pokuÅ¡aji i pogreÅ¡ke) pristupe; • nalazi istraživanja i evaluacije te važna pitanja postavljena u literaturi; • profesionalne standarde, liste provjere, smjernice, instrumente ili kriterije razvijene i koriÅ¡tene negdje drugo; • pogledi i znanja struÄ?nih konsultanata i • liÄ?ni profesionalni sud evaluatora. U Poglavlju 4 obradili smo identifikaciju i rad sa dionicima da se prikupe njihovi stavovi o pitanjima za koja vjeruju da su vrijedna evaluacije. TakoÄ‘er, bilo je rijeÄ?i o važnosti pregleda prethodnih istraživanja i evaluacionih studija za identifikaciju pitanja. Naglasak je stavljen na razvoj i upotrebu modela teorije promjene za pomoć pri identifikaciji podruÄ?ja od fokusa za evaluaciju. Pitanja dolaze iz glavnih pretpostavki na kojima poÄ?iva model. Ilustracija 6.1 prikazuje vrste evaluacionih pitanja koja treba postavljati na raznim taÄ?kama u uzroÄ?nom lancu. GeneriÄ?ka pitanja i dno dijagrama prikazuju da se formativna pitanja mogu izvući iz aktivnosti i izlaznih rezultata sumarnih pitanja za srednjoroÄ?ne i dugoroÄ?ne rezultate. Pitanja izvedena iz kratkoroÄ?nih rezultata se mogu pisati ili formativno ili sumarno. Pitanja trebaju proisteći iz glavne pretpostavke postavljene u logiÄ?kom modelu o tome kako će program raditi i koje koristi i ishodi će biti ostvareni. Pitanja će takoÄ‘er proisteći iz pregleda kompletne evaluacije sliÄ?nih programa, kao i iz razliÄ?itih perspektiva dionika o projektu, programu ili politici, kao Å¡to smo govorili u Poglavlju 4. 222 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 6.1 Upotreba logiÄ?kog modela za formuliranje evaluacijskih pitanja PodruÄ?je kontrolne Izlazni rezultati PodruÄ?je utjecaja interno dospijevaju do eksterno organizaciji direktnih korisnika organizaciji Ulazni elem. Izlazni KratkoroÄ?ni SrednjoroÄ?ni DugoroÄ?ni Aktivnosti (resursi) rezultati rezultati (direktni) rezultati (indirektni) rezultati Eksterni faktori Formativna evaluacija i/ili Sumarno U kom obimu su Koji su aspekti Koja je naÅ¡a Å ta smo nauÄ?ili uÄ?esnici dobili situacije najviÅ¡e procjena Å¡ta je o obavljanju ove vrste potrebnu obuku u oblikovali rezultiralo iz posla u ovakvoj razvojnim implementaciju? naÅ¡eg rada u zajednici? inicijativama u zajednici? zajednici? Vrste pitanja Mnoga pitanja se mogu razmatrati pri planiranju evaluacije. Sva pitanja moraju biti jasno definirana na mjerljiv naÄ?in. Pitanja se mogu grupirati u tri kategorije: opisna pitanja, normativna pitanja i uzroÄ?no-posljediÄ?na pitanja. Vrste pitanja koja se postavljaju – skupa sa poda- cima, vremenom i dostupnim novcem za provoÄ‘enje evaluacije – će odrediti vrstu odabranog dizajna. Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice 223 Opisna pitanja â– â–  Opisna Opisna pitanja nastoje odrediti ono Å¡to jest. Mogu opisivati aspekte procesa, pitanja: uvjete, skup stavova ili skup organizacionih odnosa ili mreža. Patton (2002) uka- Pitanja koja zuje na opisna pitanja kao temelj evaluacije. nastoje odrediti Opisna pitanja Å¡ta jest • nastoje razumjeti ili opisati program ili proces; • „snimiti“ Å¡ta jest; • su direktna (ko, Å¡ta, gdje, kada, kako, koliko); • mogu se koristiti da opiÅ¡u ulazne elemente, aktivnosti i izlazne rezultate i • Ä?esto se koriste za prikupljanje miÅ¡ljenja klijenata programa. Primjeri opisnih pitanja ukljuÄ?uju sljedeće: • Å ta su ciljevi programa iz perspektive razliÄ?itih dionika? • Å ta su primarne aktivnosti programa? • Kako ljudi ulaze u program? • Gdje je program implementiran? • Koje usluge program pruža muÅ¡karcima? Koje usluge pruža ženama? • Koje efekte program ima na uÄ?esnike? • U kom obimu program dizajnira reflektivne lekcije nauÄ?ene iz sliÄ?nih pro- grama u proÅ¡losti? • Kolike su razlike po lokacijama u tome kako je program implementiran? • Koje su kvalifikacije vrÅ¡ioca usluga? • Kada je program implementiran? • Koliko žena je uÄ?estvovalo u programu? • Koliki su troÅ¡kovi programa u poreÄ‘enju sa troÅ¡kovima sliÄ?nih programa? • Koji su neformalni kanali komunikacije unutar organizacije? • Koliko korisnim uÄ?esnici smatraju program? Evaluativna pitanja o kreiranju politike su Ä?esto opisna pitanja. Rist (1994) identificira „ciklus-politike“ sa tri faze, tokom kojih se postavljaju posebna pitanja (Tabela 6.1). Normativna pitanja Normativna pitanja porede ono Å¡to jest sa onim Å¡to treba biti. Porede tre- nutnu situaciju sa odreÄ‘enim ciljevima ili referencama. Ova pitanja su sliÄ?na po usklaÄ‘enosti usmjerenja onim pitanjima koja se Ä?esto postavljaju prilikom revizije. 224 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • Radimo li ono Å¡to bismo trebali raditi? â– â–  Normativna • Postižemo li dati cilj? pitanja: • Jesmo li ostvarili ono Å¡to smo kazali da ćemo ostvariti? Pitanja kojima se poredi Å¡ta Ako program ima sistem monitoringa zasnovan na rezultatima, sa indikatorima jest sa Å¡ta bi i ciljevima, vremenskim okvirima za njihovo ostvarivanje, normativna pitanja se trebalo biti mogu koristiti da se odgovori na pitanja o ulaznim elementima, aktivnostima, i izlaznim rezultatima. Ponekad program ima ciljeve, ali nema vidljiv kriterij za odreÄ‘ivanje kako ih mjeriti ili ostvariti. Indikatori ili ciljevi nisu uspostavljeni. U tom sluÄ?aju, evalua- tor ima nekoliko opcija, neke bolje a neke loÅ¡ije (Tekstualni okvir 6.1). Potraga za standardima ili kriterijima obiÄ?no poÄ?inje sa kriterijima koji se nalaze u dokumentima kojima se odobrava program, kao Å¡to su legislativni ili dokumenti upravnih odbora u kojima se daju odobrenja. Kriteriji mogu takoÄ‘er biti odreÄ‘eni kao indikatori sa odreÄ‘enim ciljevima u sistemu menadžmenta zasnovanom na rezultatima. Drugi izvori koji mogu uspostaviti standarde su sistem akreditacije, paneli plave-vrpce, profesionalne organizacije i druge komisije. Tabela 6.1 Kvalitativna pitanja koja se postavljaju tokom razliÄ?itih faza ciklusa politike Faza Primjeri Formuliranje politike • Å ta se prethodno desilo kao odgovor na ove uvjete ili problem? • Å ta je poznato o prethodnim naporima a Å¡to bi pomoglo onima koji donose odluke da odaberu izmeÄ‘u mogućih opcija? Implementacija politike • Koje informacije o problemu ili stanju su potakle reakciju politike ili programa? • Koje je napore organizacija ili institucija poduzela da odgovori na inicijativu? • Koje su kvalifikacije odgovornih za poduzimanje implementacije? • U kojoj mjeri su menadžment i osoblje pokazali interes? • Koje kontrole postoje u vezi dodjele resursa? • Odslikava li organizaciona struktura adekvatno zahtjev da organizacija reaguje na ovu inicijativu? • Koji naÄ?ini postoje u organizaciji za odabir izmeÄ‘u konkurentnih zahtjeva? • Koje vrste sistema povratnih informacija postoje da bi pomogle menadžerima? Odgovornost politike • Koliko je relevantan program ili politika u trenutnim prilikama? • Koliko jak je bio fokus na odgovornost? Izvor: PrilagoÄ‘eno od Rist 1994. Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice 225 Tekstualni okvir 6.1 Evaluacija intervencije koja nema standarda Razmotrimo viÅ¡esektorski program Ä?iji ciljevi ukljuÄ?uju sljedeće: • PoboljÅ¡ati rezultate Ä?itanja djece u odabranim Å¡kolskim oblastima. • Povećati svijesti o HIV/AIDS i metodama prevencije u regionu. • Povećati broj mikropreduzeća u selu, i povećati im profite. Evaluator bi htio znati Å¡ta taÄ?no ovi ciljevi znaÄ?e (koji omjer djece će poboljÅ¡ati uspjeh u Ä?itanju, Ä?ija svijest o HIV/AIDS će se povećati i kako ćemo znati, koliko mikropreduzeća će se proÅ¡iriti i u kojoj mjeri ?), ali program nije definirao svoje ciljeve u tom smislu. Å ta evaluator može uraditi u tim okol- nostima? Jedan pristup je raditi sa „vlasnicima“ programa – zvaniÄ?nicima koji su administrativno odgovorni za program ili njegovu implementaciju. Ovi zvaniÄ?nici bi trebali moći ukazati na razuman nivo uÄ?inka koji će taj program ostvariti. Problem sa ovim pristupom je da jedna grupa možda neće prihvatiti stan- darde koje je postavila druga grupa. ÄŒlanovi osoblja odgovorni za nadzor, na primjer, se mogu ne slagati sa standardima koje su predložili implementa- tori programa. Mogu smatrati da su standardi postavljeni suviÅ¡e nisko. Drugi pristup je dovesti jednog ili viÅ¡e struÄ?njaka koji će usaglasiti standard koji se može koristiti. Potencijalni problem sa ovim pristupom je da standard može odslikavati liÄ?nu pristrasnost struÄ?njaka. To se može rijeÅ¡iti angažovanjem nekoliko struÄ?njaka. U tom sluÄ?aju, važno je da se grupa struÄ?njaka vidi kao politiÄ?ki neutralna ili balansirana i da struÄ?njaci nisu pre- thodno bili ukljuÄ?eni u program. Najslabija i alternativa sa najviÅ¡e rizika je da evaluator postavi standard. Ovaj pristup treba izbjegavati, poÅ¡to predstavlja teÅ¡koće za evaluatora. UÄ?esnici u programu mogu smatrati da su standardi previÅ¡e visoki ili previÅ¡e niski ili da se takvi standardi ne mogu postaviti naknadno i koristiti u procjeni njihovog uÄ?inka. Izvor: Autori. Primjeri normativnih pitanja ukljuÄ?uju sljedeće: • Jesmo li potroÅ¡ili onoliko koliko smo odredili? • Jesmo li dostigli cilj prijema 5.000 studenata godiÅ¡nje? 226 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • Jesmo li vakcinirali 80 procenata djece, kako je zahtijevano? • Jesmo li ostvarili cilj isuÅ¡ivanja 100.000 hektara zemljiÅ¡ta? • Je li proces odabira uÄ?esnika bio fer i nepristrasan? UzroÄ?no-posljediÄ?na pitanja UzroÄ?no-posljediÄ?na pitanja odreÄ‘uju koju razliku pravi intervencija. ÄŒesto se â– â–  UzroÄ?no- posljediÄ?na nazivaju pitanja ishoda, utjecaja ili atributivna pitanja. UzroÄ?no-posljediÄ?na pitanja: pitanja pokuÅ¡avaju mjeriti Å¡ta je to intervencija promijenila. UzroÄ?no Pitanja koja posljediÄ?na pitanja traže da odrede efekte projekta, programa ili politike. odreÄ‘uju koje To su „pa Å¡ta“ pitanja. UzroÄ?no-posljediÄ?na pitanja koristimo kada želimo razlike saznati jesu li ciljani rezultati ostvareni djelovanjem programa. intervencija pravi Modeli programske teorije promjene prikazuju željene ishode i utjecaje intervencije, a ishodi mogu ali i ne moraju biti postavljeni kao uzroÄ?no- posljediÄ?na pitanja. Na primjer, u programima kojima se farmerima uvodi novo poboljÅ¡ano sjeme, pitanje ishoda može biti jesu li prinosi povećani. Kako smo rekli, ovo bi bilo opisno pitanje – jednostavno pita koliko je prinos povećan? Ako evaluacija pita je li prinos povećan kao rezultat programa – a ne, na pri- mjer, kao rezultat neobiÄ?no idelanih vremenskih uvjeta za usjeve – onda se tu radi o uzroÄ?no-posljediÄ?nim pitanjima. UzroÄ?no-posljediÄ?na pitanja impliciraju poreÄ‘enje uÄ?inka prema jednoj ili viÅ¡e mjera ili indikatora ne samo prije i poslije intervencije nego takoÄ‘er sa i bez iste. Primjeri uzroÄ?no-posljediÄ?nih pitanja ukljuÄ?uju sljedeće: • Je li strategija partnerstva tri države bila efektivna u oÄ?uvanju biodiverziteta pogoÄ‘enog podruÄ?ja uz održanje životnih uvjeta? • Imaju li uÄ?esnici programa obuke u poslu viÅ¡e plaćene poslove nego bi to inaÄ?e imali? • Je li program mikropreduzeća smanjio stepen siromaÅ¡tva u gradovima gdje je proveden? • Je li povećana taksa na gorivo popravila kvalitet zraka? • Je li povećanje finansijskih kazni koje je vlada uvela za firme koje krÅ¡e propise smanjilo iskoriÅ¡tavanje maloljetnika u tekstilnoj industriji? • Koje druge utjecaje ili popratne efekte (pozitivne ili negativne) je imala ova intervencija na Å¡iru zajednicu? Evaluatori trebaju postavljati takva pitanja u smislu uzroka i posljedice. Zato Å¡to se mnoge aktivnosti deÅ¡avaju u isto vrijeme, teÅ¡ko je demonstri- rati da su ishodi iskljuÄ?ivo, ili barem primarno, rezultat intervencije. Kada izraÄ‘ujemo dizajn da odgovorimo na uzroÄ?no-posljediÄ?na pitanja, evaluatori Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice 227 trebaju pokazati veliku pažnju da eliminiraju moguća objaÅ¡njenja za sve ono Å¡to mijenja mjeru. U Poglavlju 7 govori se o dizajnima koji se mogu koristiti da se odgovori na uzroÄ?no-posljediÄ?na pitanja i ispitaju vrste analize potrebne za pripisivanje uzroÄ?nog odnosa. Zato Å¡to je teže odgovoriti na uzroÄ?no-posljediÄ?na pitanja nego na opisna ili normativna pitanja, važno je uvjeriti se u velikoj mjeri da je ovaj oblik pitanja potreban. Mnoge evaluacije koriste samo opisna i normativna pitanja, posebno ako su to formativne evaluacije koje se fokusiraju na implementaciju intervencije. Eva- luacije koje se fokusiraju na utjecaj postavljaju uzroÄ?no-posljediÄ?na pitanja, ali obiÄ?no ukljuÄ?uju i neka opisna i normativna pitanja. Tekstualni okvir 6.2 ilustrira kako evaluacija može ukljuÄ?iti razliÄ?ite vrste pitanja. Tekstualni okvir 6.2 Evaluacija politika i intervencija koristeći pitanja sa ponuÄ‘enim odgovorima PoboljÅ¡anje preventivne zdravstvene zaÅ¡tite Politika: osigurati da sva djeca dobiju preventivnu zdravstvenu zaÅ¡titu Cilj: smanjiti smrtnost novoroÄ‘enÄ?adi i predÅ¡kolske djece Evaluaciona pitanja: 1. Koji procenat djece je primio preventivnu zdravstvenu zaÅ¡titu otkako je program poÄ?eo? (opisno pitanje) 2. Jesu li djeca iz ciljanih grupa sa niskim primanjima primila preventivnu zdravstvenu zaÅ¡titu? (normativno pitanje) 3. Je li stepen smrtnosti djece smanjen kao rezultat programa? (uzroÄ?no- posljediÄ?no pitanje) Obuka srednjoÅ¡kolaca za tržiÅ¡te rada Politika: osigurati da srednje Å¡kole prenose znanja i vjeÅ¡tine potrebne za zapoÅ¡ljavanje na lokalnom tržiÅ¡tu Cilj: osigurati da su maturanti u stanju dobiti dobro plaćene kvalificirane poslove 228 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Evaluaciona pitanja: 1. Kako srednje Å¡kole pripremaju uÄ?enike za poslove na lokalnom tržiÅ¡tu? (opisno pitanje) 2. Imaju li maturanti nakon jedne godine veće plate od onih koji nisu zavrÅ¡ili program? (opisno pitanje) 3. U kojoj mjeri srednje Å¡kole donose odluke u vezi sa odabirom zanimanja, a na osnovu tržiÅ¡ta rada? (normativno pitanje) 4. Koliko viÅ¡e maturanti zaraÄ‘uju nego Å¡to bi zaraÄ‘ivali da nisu pohaÄ‘ali program? (uzroÄ?no-posljediÄ?no pitanje) Osiguravanje besplatne imunizacije za ospice Intervencija: porodiÄ?ne klinike omogućavaju besplatnu imunizaciju ospica za svu djecu ispod pet godina u tri regiona u državi u jednoj godini Evaluaciona pitanja: 1. Kako su klinike doÅ¡le do roditelja da bi ih informirali o besplatnoj imuni- zaciji za njihovu djecu? (opisno pitanje) 2. Je li program dostigao cilj u omogućavanju imunizacije ospica od 100 procenata sve djece ispod pet godina u tri regiona proÅ¡le godine? (norma- tivno pitanje) 3. Je li program koristio inovativne metode da dospije do najugroženije djece? (opisno pitanje) 4. Je li smanjen omjer djece sa ospicama kao rezultat programa? (uzroÄ?no- posljediÄ?no pitanje) 5. Bilježi li se pad smrtnosti djece od komplikacija vezanih za ospice kao rezultat programa? (uzroÄ?no posljediÄ?no pitanje) UvoÄ‘enje nastavnog plana zasnovanog na tržiÅ¡tu Intervencija: tri srednje Å¡kole unutar tri grada implementirale su nastavni plan zasnovan na tržiÅ¡tu Evaluaciona pitanja: 1. Po Ä?emu se plan razlikuje od onog koji se koristi u Å¡kolama koje ne uÄ?estvuju? (opisno pitanje) 2. Je li nastavni plan zasnovan na tržiÅ¡tu bio onakav kakav je trebao biti? (normativno pitanje) 3. U kojoj su mjeri maturanti ovih Å¡kola ostvarili bolje plaćene poslove? (opisno pitanje) 4. Dobijaju li maturanti Å¡kola, koje koriste plan zasnovan na tržiÅ¡tu, bolje plaćene poslove nego bi to inaÄ?e dobijali i je li to rezultat intervencije? (uzroÄ?no-posljediÄ?no pitanje) Izvor: Autori. Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice 229 Odnos izmeÄ‘u vrste pitanja i teorija promjene Kako se vrste pitanja uklapaju sa teorijama promjene razmatranim u pretho- dnom poglavlju? Pitanja, jesu li pribavljeni ulazni elementi programa i dostignuti ciljani rezultati su obiÄ?no normativna pitanja: je li utroÅ¡enim sredstvima priba- vljena zahtijevana koliÄ?ina sredstava i pružene usluge u odreÄ‘enom vremenskom periodu? Pitanja koja se tiÄ?u ostvarenja ciljanih ishoda su takoÄ‘er normativna pitanja. Pitanje u kojoj su mjeri popravljeni rezultati u Ä?itanju u datom vremenu je opisno pitanje, a pitanje jesu li rezultati u Ä?itanju povećani do razine cilja koji su postavili menadžeri programa je normativno pitanje. Pitanja koja nastoje testi- rati odnose postavljene u modelima teorije promjene i prednosti koje su nastale zbog intervencije i ne bi nastale na drugi naÄ?in su uzroÄ?no-posljediÄ?na pitanja. Pitanja o prednostima koje vode do drugih posrednih ishoda ili utjecaja su takoÄ‘er uzroÄ?no posljediÄ?na pitanja. ÄŒesto su pitanja o promjenama u ishodima, opisna pitanja i slaborjeÄ?iva pitanja uzroÄ?no-posljediÄ?na pitanja. Ukoliko su zamiÅ¡ljena da budu uzroÄ?no posljediÄ?na pitanja, može ih biti potrebno ponovo formulirati da se ukaže da pitanje nije samo o tome koja je promjena nastala nego i da li tu promjenu možemo pripisati intervenciji (to jest, promjena je veća nego Å¡to bi to bio sluÄ?aj da nije bilo inte- rvencije). I drugi ishodi i utjecaji se mogu pripisati intervenciji, kao Å¡to je to postavljeno u teoriji promjene. Identifikacija i odabir pitanja Kako evaluator odluÄ?uje koje od mnogih potencijalnih pitanja postaviti? Cronbach (1982) sugeriÅ¡e koriÅ¡tenje dviju faza za identifikaciju i odabir pitanja, divergentna faza i konvergentna faza. Divergentna faza U divergentnoj fazi evaluator razvija opsežnu listu potencijalno važnih pitanja i â– â–  Divergentna problema. Nekoliko pitanja se eliminira, konsultiraju se mnogi izvori. faza: Faza Cronbach (1982) sažima divergentnu fazu planiranja evaluacije kako slijedi: evaluacije u kojoj evaluator Prvi korak je otvaranje uma za pitanja koja će makar u maloj mjeri predstavljati razvija opsežnu perspektivu za istraživanje. Ova faza i sama predstavlja Ä?in evaluacije, gdje se listu potenci- zahtijeva prikupljanje podataka, promiÅ¡ljena analiza i prosuÄ‘ivanje. Veoma malo jalno važnih ovih informacija i analiza je kvantitativno. Podaci dolaze iz neformalnih konverza- pitanja i cija, uzgrednih posmatranja i pregleda postojećih zapisa. problema 230 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije NaturalistiÄ?ki i kvalitativni metodi osobito odgovaraju ovom poslu zato Å¡to, u pogledu percepcije uÄ?esnika i zainteresiranih strana, omogućavaju evaluatoru da identificira nadanja i strahove koji se joÅ¡ nisu pojavili kao pitanja politike... Evaluator treba pokuÅ¡ati vidjeti program oÄ?ima raznih sektora zajednice koja donosi odluke, ukljuÄ?ujući profesionalce koji bi vodili program ako je prilagoÄ‘en, i graÄ‘ana kojima je program namijenjen. U nekom trenutku ne nastaju nova pitanja. Tada, evaluator treba stati i ispitati listu pitanja i poÄ?eti ih organizirati. Konvergentna faza U konvergentnoj fazi evaluator sužava listu pitanja nastalih u divergentnoj fazi kako bi identificirao najvažnija pitanja. Kako evaluator odluÄ?uje koja su pitanja najvažnija? Fitzpatrick, Sanders i Worthen (2004) predlažu sljedeći kriterij za odreÄ‘ivanje koja predložena evaluaciona pitanja treba istražiti: â– â–  Konverge- ntna faza: • Ko bi koristio informaciju? Ko hoće da zna? Ko bi bio uznemiren ako bi se ovo Faza evaluacije evaluacijsko pitanje izostavilo? u kojoj evaluator • Da li bi odgovor na pitanje smanjio nesigurnost ili pružio informaciju koja sada sužava listu pitanja nastalih nije dostupna? u divergentnoj • Da li bi odgovor na pitanje poluÄ?io važne informacije? Da li bi bilo utjecaja na fazi kako bi tok dogaÄ‘aja? identificirao • Da li ovo pitanje jednostavno prenosi interes na nekoga ili se fokusira na važne najvažnija dimenzije stalnog interesa? pitanja • Da li bi opseg ili sveobuhvatnost evaluacije bila ozbiljno ograniÄ?ena ako se ovo pitanje izostavi? • Je li izvodivo odgovoriti na ovo pitanje uz date finansijske i ljudske resurse, vrijeme, metode i tehnologiju? Ova lista kriterija se može postaviti u matricu kako bi pomogla evaluatoru i klijentu da suze originalnu listu pitanja na pogodan skup pitanja (Tabela 6.2). Evaluator posebnu pažnju treba obratiti na pitanja koja postavljaju klijent i kljuÄ?ni dionici. Ako postoji neslaganje o pitanjima, obiÄ?no je važno rijeÅ¡iti ih u ranoj fazi. Proces pomaže evaluatoru i klijentu, kao i drugim kljuÄ?nim dionicima, uspostaviti osjećaj zajedniÄ?kog vlasniÅ¡tva ili partnerstva Å¡to može biti vrijedno tokom kasnijih faza evaluacije. Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice 231 Tabela 6.2 Matrica za odabir i rangiranje evaluacionih pitanja Evaluaciono pitanje Hoće li evaluaciono pitanje 1 2 3 4 5 6 7 8 9 10 biti od interesa kljuÄ?noj publici? umanjiti postojeću nesigurnost? poluÄ?iti važne informacije? biti od stalnog (a ne prolaznog interesa? biti kritiÄ?no djelokrugu i djelokrugu i sveobuhvatnosti studije? imati utjecaj na tok dogaÄ‘aja? biti odgovorivo uz date finansijske i ljudske resurse, vrijeme, metode i dostupnu tehnologiju? Izvor: PrilagoÄ‘eno od Fitzpatrick, Sanders, i Worthen 2004. Razvijanje dobrih pitanja Kako bi razvio dobra evaluaciona pitanja, evaluator poÄ?inje sa identifikaci- jom glavnih tema kojima se bavi projekt, program ili politika. Kako smo ranije primijetili, glavne teme su generalno identificirane pregledom date literature, ukljuÄ?ujući evaluacije sliÄ?nih programa, teoriju promjene i dokumente programa, kao i kroz diskusije sa dionicima programa i klijentima koji finansiraju evaluacije. Primjeri glavnih tema koje treba obraditi evaluacijom programa koji ima za cilj smanjiti smrtnost novoroÄ‘enÄ?adi ukljuÄ?uje sljedeće: • viÅ¡estruke uzroke smrtnosti novoroÄ‘enÄ?adi; • konkurentne programe koji su u toku; • efikasnost metoda koriÅ¡tenih da se dospije do majki sa niskim primanjima i • opseg i prirodu upotreba dodataka ishrani u neplanirane svrhe. Kada se teme identificiraju, evaluator može postavljati pitanja koja će pomoći u odreÄ‘ivanju jesu li te teme bile pod utjecajem politike ili intervencije. Primjeri pitanja pomoću kojih ćemo neÅ¡to saznati o temama ukljuÄ?uju sljedeće: • Koje metode pomoći je program koristio? • Koji metodi pomoći su bili najefikasniji? 232 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • Koja je uÄ?estalost oboljenja novoroÄ‘enÄ?adi opasnih po život bila tokom provedbe programa? • Koliko se smanjila stopa smrtnosti? • Koji su se joÅ¡ u to vrijeme napori Ä?inili na poboljÅ¡anju materinskog zdravlja? Pitanja koja ukljuÄ?uju viÅ¡e od jedne teme – kao Å¡to je „koliko žena je obavilo zdravstvene preglede i primilo dodatke ishrani? – treba izbjegavati. Umjesto toga, pitanje treba podijeliti na dva pitanja („Koliko žena je obavilo zdravstveni pregled? Koliko žena je primilo dodatke ishrani?“). Pitanja o temi se mogu obraÄ‘ivati koristeći sve tri vrste pitanja prilagoÄ‘avanjem naÄ?ina izražavanja. Evaluacija programa kojim se namjeravaju smanjiti povrede i smrtni sluÄ?ajevi od mina, na primjer, može postaviti sljedeća pitanja: • Gdje se nalazi najviÅ¡e mina? (opisno) • Je li program dostigao cilj uklanjanja 1.000 mina u datom podruÄ?ju za dato vrijeme? (normativno) • Je li broj povrijeÄ‘enih ili poginulih ljudi smanjen kao rezultat intervencije? (uzroÄ?no-posljediÄ?no pitanja) Sljedeće sugestije mogu pomoći evaluatoru pri pisanju boljih pitanja: • Uspostaviti jasnu vezu izmeÄ‘u svakog evaluacionog pitanja i svrhe studije. • Uvjeriti se da evaluaciona pitanja tretiraju teme od najvećeg znaÄ?aja. • Uvjeriti se da je na sva pitanja moguće odgovoriti. • Postaviti realan broj pitanja. • Fokusirati se na važna pitanja, ona na koja se mora odgovoriti za razliku od onih koja bi bilo lijepo istražiti. • Uvjeriti se da je na pitanja moguće odgovoriti u datom evaluacionom vreme- nskom okviru i dostupnim resursima. • Razmotriti vremenske rasporede evaluacije u odnosu na ciklus programa. Pitanja u vezi sa utjecajem, na primjer, najbolje se odgovore nakon Å¡to interve- ncija funkcionira u punom obimu nekoliko godina. Evaluaciona pitanja mogu se odnositi na projekt, program, sveobuhvatno pitanje politike, odreÄ‘enu politiku ili odreÄ‘enu intervenciju povezanu sa poli- tikom. Na primjer, ako je globalno pitanje (tema politike) smanjenje siromaÅ¡tva, mogu se pokrenuti brojne programske intervencije. Svaka politika biva preve- dena u akciju kroz intervenciju dizajniranu da ostvari odreÄ‘ene ciljeve. Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice 233 Naposljetku, ako su politika i intervencija provedene efektivno i teorija promjene je taÄ?na, onda bi ukupni ishodi trebali biti ostvareni. Ako nisu, onda i intervenciju i politiku treba ponovo ispitati. Jedno ili oboje možda treba promijeniti. Dizajniranje evaluacije SliÄ?no kako arhitekta projektuje zgradu, evaluator tako dizajnira evaluaciju. Dizajn evaluacije je plan o tome Å¡ta će evaluacija ukljuÄ?ivati. To nije potpuni plan rada za studiju. Dizajn evaluacije se sastoji od: • glavnih evaluacionih tema ili pitanja; • općeg evaluacionog pristupa; • odreÄ‘enih evaluacionih pitanja i potpitanja; • operacionalizacije (mjera ili indikatora), izvora podataka i metodoloÅ¡kih strategija za vrstu prikupljanja podataka koja će se koristiti; • planirane analize i • strategije Å¡irenja. Patton (1997) razlikuje dvije vrste pitanja dizajniranja: konceptualna pitanja i tehniÄ?ka pitanja. Konceptualna pitanja se fokusiraju na to Å¡ta ljudi koji su ukljuÄ?eni misle o evaluaciji. UkljuÄ?ena su takva pitanja kao Å¡to je odreÄ‘ivanje svrhe evaluacije i njenih primarnih dionika, kao i politiÄ?ka pitanja koja treba uzeti u obzir. TehniÄ?ka pitanja se tiÄ?u plana za prikupljanje i analizu podataka. Ova tehniÄ?ka pitanja su srce matrice dizajna koju treba razviti za svaku evaluaciju. Za svako pitanje ili obiÄ?no potpitanje matrica dizajna zahtijeva: • odreÄ‘ivanje vrste pitanja ili potpitanja koje se postavlja (opisno, normativno, uzroÄ?no-posljediÄ?no); • odreÄ‘ivanje mjere (indikator ili varijabla) prema kojoj će se na pitanje ili pot- pitanje davati odgovori (na primjer, procenat rasta rjeÅ¡avanja lokalnih stam- benih pitanja ili broj vakcinirane djece) ; • identifikaciju metodoloÅ¡kog dizajna koji će pružiti odgovarajuće informacije za davanje odgovora na opisna, normativna i uzroÄ?no-posljediÄ?na pitanja; • identifikaciju izvora podataka za svako pitanje i potpitanje; • odreÄ‘ivanje je li potreban okvir uzoraka te, ako jeste, koju vrstu koristiti; • identifikaciju vrste instrumenata prikupljanja podataka koja će se koristiti za svako pitanje ili potpitanje i • identifikaciju naÄ?ina na koji će se analizirati i prezentirati podaci. 234 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ponekad je mjera po kojoj će se odgovoriti na pitanje usaglaÅ¡ena sa indikato- rom koji ima jasan cilj i datum do kog će biti ostvaren. Ovo je idealna situacija; to je najÄ?ešće sluÄ?aj kada je razvijen okvir monitoringa i evaluacije za interve- nciju ili je intervencija dio većeg sistema monitoringa za sektor ili vladino mini- starstvo, na primjer. Bilo da je cilj postavljen ili ne, mora se ukazati na prisustvo ili odsustvo bazne linije. ZavrÅ¡ena matrica evaluacije predstavlja dizajn evaluacije. Ovo nije kompletan plan rada: ne ukazuje na sve zadatake niti identificira ko će obavljati koji zadatak i kada. Kompletan plan rada obraÄ‘en je u Poglavlju 12. Etape u procesu dizajna evaluacije Idealno, proces evaluacije poÄ?inje ex ante sa poÄ?etnim dizajnom programa. Zatim se nastavlja u nekoliko posebnih i važnih etapa. Etapa 1: Planiranje ili odreÄ‘ivanje opsega evaluacije PoÄ?etno planiranje ili odreÄ‘ivanje opsega evaluacije pojaÅ¡njava prirodu i djelo- krug evaluacije. Tokom ove faze uspostavljaju se: glavna svrha evaluacije, dionici koje treba konsultirati, osoba koja će provoditi evaluaciju i vremenski okvir. Ovo je period istraživanja. KljuÄ?na pitanja su identificirana iz perspektive glavnog klijenta i drugih dionika, pregleda literature i srodnih intervencija koje mogu utjecati na program. Teorija promjene i pretpostavke na kojima ona poÄ?iva su razvijene ili preraÄ‘ene. Etapa 2: Dizajniranje evaluacije Na kraju faze poÄ?etnog planiranja i odreÄ‘ivanja opsega trebalo bi biti dovoljno znanja o kontekstu za evaluaciju da bi se mogao odrediti generalni pristup. Srž planiranja evaluacije je faza dizajna evaluacije, koja kulminira dizajniranjem matrice evaluacije. Manjkav ukupni dizajn će ograniÄ?iti mogućnost izvlaÄ?enja zakljuÄ?aka o uÄ?inku intervencije. Generalno je dobra praksa predstaviti i diskutirati o cjelokupnom dizajnu sa sponzorima evaluacije (klijent) i ostalim kljuÄ?nim dionicima prije nego se analizira dizajn evaluacije. Tako ćemo osigurati da ne bude iznenaÄ‘enja, a takoÄ‘er se dobiva podrÅ¡ka evaluaciji. Savjetodavna grupa i pregledi struÄ?njaka su takoÄ‘er dobri autoriteti da se osigura ispravnost dizajna evaluacije. U visoko profitabilnim sluÄ?ajevima nacrt dizajna se može postaviti na web stranicu radi komentara. Matrica dizajna se može koristiti kao osnova za razvoj odrednica. Odrednice mogu služiti kao osnova za zahtjeve za prijedlozima ili kao vodiÄ? za evalu- acijski tim ako se evaluacija provodi interno. Kada odreÄ‘ivanje djelokruga i Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice 235 posao u pozadini evaluacije vrÅ¡e vanjski konsultanti, mudro bi bilo postaviti matricu dostupnu za ovaj posao. Nakon toga, druge odrednice se mogu razviti za implementaciju dizajna evaluacije. Etapa 3: ProvoÄ‘enje evaluacije „Faza rada“ evaluacije ukljuÄ?uje prikupljanje i analizu podataka. ObiÄ?no ako se prikupljaju razliÄ?ite vrste podataka (ili sliÄ?ni podaci prikupljani iz razliÄ?itih izvora) moraju se razviti i testirati razliÄ?iti instrumenti. Analiza se Ä?esto vrÅ¡i skupa sa prikupljanjem podataka. Oko dvije trećine puta, prilikom prikupljanja podataka, evaluacijski tim treba održavati raspravne konferencije da ispita do tada prikupljene nalaze i identi- fcira proizaÅ¡le teme i glavne poruke. Raspravna konferencija je koristan naÄ?in usaglaÅ¡avanja tri do pet glavnih poruka. Svrha raspravne konferencije je u ranoj fazi usaglasiti glavne teme i provjeriti da se tretira glavno pitanje koje stoji iza evaluacije. (Dok se glavne crte izvjeÅ¡taja mogu organizirati oko evaluacionih pitanja, organizacija glavnog izvjeÅ¡taja i njegovo predstavljanje onima koji donose odluke preko poruka ili tema može biti efektivnije, poÅ¡to sva evaluaciona pitanja po svoj prilici nisu od zajedniÄ?kog interesa). Etapa 4: IzvjeÅ¡tavanje o nalazima evaluacije â– â–  Raspravna U fazi izvjeÅ¡tavanja, poÄ?etni nalazi ili izjave o Ä?injenicama se mogu razmjenjivati konferencija: i diskutirati sa „vlasnicima“ programa tako da se svaka Ä?injeniÄ?na greÅ¡ka može Sastanak na kome evaluaci- ispraviti a svaka nova informacija razmotriti prije nego se uradi nacrt izvjeÅ¡taja i jski tim diskutira razviju preporuke. Kada se analiza zavrÅ¡i, rezultati se napiÅ¡u, nacrti pregledaju, i usaglaÅ¡ava komentari ukljuÄ?e na odgovarajući naÄ?in i konaÄ?ni izvjeÅ¡taj predstavi klijentu i glavne teme i kljuÄ?nim dionicima. provjerava je li IzvjeÅ¡taj obiÄ?no osigurava pozadinu i kontekst za evaluaciju, ukazuje na svrhu glavno pitanje evaluacije, opisuje djelokrug i metodologiju evaluacije i izvjeÅ¡tava o nalazima iza evaluacije tretirano (ukljuÄ?ujući namjeravane i nenamjeravane ishode). ObiÄ?no ukljuÄ?uje informacije o nauÄ?enim lekcijama i preporukama. Razumijevanje onoga Å¡to ne radi dobro i zaÅ¡to, važno je kao i razumijevanje onoga Å¡to radi dobro i zaÅ¡to; oboje treba biti jasno. Kada se piÅ¡e izvjeÅ¡taj treba imati na umu onoga kome se Å¡alje; ne treba sadržavati žargone i treba biti lahko Ä?itljiv. (Pisanje izvjeÅ¡taja obraÄ‘eno je u Poglavlju 13.) Etapa 5: Diseminacija i praćenje nalaza evaluacije Planiranje evaluacije znaÄ?i planirati je za komunikaciju cijelo vrijeme ne samo sa klijentom i kljuÄ?nim dionicima nego, takoÄ‘er, i unutar evaluacijskog tima. Evaluacija nije kompletna dok njena diseminacija nije zavrÅ¡ena: razvoj plana 236 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije diseminacije je, stoga, dio procesa planiranja. Nalaze ne treba uvijek predstavljati u printanom obliku. Brifinzi su posebno korisni za predstavljanje nalaza dok je evaluacija u toku, posebno kada su nalazi neoÄ?ekivani ili kritiÄ?ni. Mnoge evaluacije rezultiraju aktivnošću kojom se: • modifikuje intervencija; • uklanjaju barijere identificirane u evaluaciji; • informira buduća politika ili intervencija (modifikuje teorija promjene); • drugima pokazuje put u vezi nauÄ?enih lekcija i • kojom se preoblikuje razmiÅ¡ljanje o prirodi problema. Mnoge organizacije imaju sisteme praćenja kojima prate i formuliraju forma- lne preporuke i sažimaju lekcije. Mogućnost pretrage takve baze podataka po temi, sektoru, lokaciji i datumu povećava njenu iskoristivost. Bilo da postoje takvi sistemi ili ne, evaluatori trebaju razmotriti slanje elektronske kopije izvjeÅ¡taja samo za Ä?itanje relevantnim evaluacionim bazama znanja. TakoÄ‘er mogu razmo- triti predstavljanje nalaza na evaluacijskim konferencijama ili slanjem Ä?lanka o evaluaciji na objavljivanje u profesionalnim žurnalima. Odnos izmeÄ‘u etapa Razne etape su sažete u Tekstualnom okviru 6.2. Odnos izmeÄ‘u razliÄ?itih kompo- nenti je prikazan u Ilustraciji 6.2. Ilustracija 6.2 prikazuje centralitet promovi- ranja upotrebe evaluacije u Ä?itavom procesu evaluacije. Promoviranje upotrebe evaluacije je centar evaluacije odakle se upravlja drugim procesima i etapama, a ne neÅ¡to o Ä?emu se razmiÅ¡lja na kraju evaluacije. Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice 237 Tekstualni okvir 6.3 Pet etapa procesa evaluacije Etapa 1: Planiranje ili odreÄ‘ivanje djelokruga evaluacije StiÄ?e se podrobno razumijevanje programa, projekta ili politike. • Sastati se sa glavnim klijentima evaluacije. • Identificirati i sastati se sa drugim kljuÄ?nim dionicima. • Istražiti kontekst programa i prikupiti dodatni materijal. • Tražiti srodne relevantne evaluacije. • Pregledati prethodne evaluacije da se identificiraju pitanja, dizajn i koriÅ¡tene strategije prikupljanja podataka. • Sastati se sa osobljem programa (ukoliko je izvan programa). • Pregledati i preraditi ili razviti teoriju promjene za program. Etapa 2: Dizajniranje evaluacije Odrediti pitanja i teme. • Sastati se sa klijentom, identificirati glavnu svrhu evaluacije, bitna pitanja, i kritiÄ?ne potrebe vezane za vrijeme. • Identificirati i sastati se sa drugim kljuÄ?nim dionicima da se identifici- raju pitanja i teme zbog mogućeg ukljuÄ?ivanja u evaluaciju. • Odrediti dostupne resurse za evaluaciju, kao Å¡to su budžet za konsu- ltante i putovanja, Ä?lanove tima i mjeÅ¡avinu vjeÅ¡tina. • Procijeniti potrebe dionika, ukljuÄ?ujući vrijeme. Pripremiti opis poslova i matricu evaluacije • Identificirati vrstu evaluacije. • Identificirati specifiÄ?na evaluacijska pitanja i potpitanja. • Odabrati mjere za svako pitanje i potpitanje. • Identificirati izvore podataka za rjeÅ¡avanje svakog pitanja ili potpitanja. • Identificirati odgovarajući dizajn za svako pitanje ili potpitanje. • Razviti strategiju prikupljanja podataka, ukljuÄ?ujući instrumente i metode uzorkovanja koji će se koristiti za svako pitanje i potpitanje. • Razviti strategiju za analizu podataka. • Odrediti izvore i vremenske zahtjeve. Etapa 3: ProvoÄ‘enje evaluacije • Predstaviti klijentu i kljuÄ?nim dionicima dizajn evaluacije. • Pripremiti plan rada, ukljuÄ?ujući pregled i testiranje metodologije, ukljuÄ?ujući instrumente predtestiranja, obuku onih koji će prikupljati 238 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije podatke i razvoj protokola. • Prikupljanje podataka. • Priprema podataka za analizu razvojem tabela (ukoliko to nije provedeno kao dio dizajna evaluacije) i Ä?išćenje podataka. • Analiza podataka. • Razvoj grafika. • Formuliranje nalaza. Etapa 4: IzvjeÅ¡tavanje o nalazima evaluacije • Održati raspravnu konferenciju. • Identificirati glavne nalaze i teme: Å¡ta radi, Å¡ta ne radi i Å¡ta treba unaprijediti. • Napisati izvjeÅ¡taj. • Upoznati klijenta sa nalazima i Ä?injenicama. • Upoznati zvaniÄ?nike i kljuÄ?ne dionike sa nalazima i Ä?injenicama, te uraditi eventualne korekcije. • Omogućiti zvaniÄ?nicima programa da pregledaju i komentariÅ¡u nacrt izvjeÅ¡taja. • Razviti preporuke koje su jasne i odreÄ‘ene i ukazuju ko Å¡ta i kada radi. • Provjeriti da su preporuke vezane sa dokazima. Etapa 5: Diseminacija i praćenje nalaza evaluacije • Odrediti ko će primiti koju vrstu studije diseminacije proizvoda (na pri-mjer, brifing, dvije do Ä?etiri strane sažetka, cjelokupan izvjeÅ¡taj, detaljnu radionicu) i implementirati plan. • Identificirati lekcije i mehanizme za razmjenu i zadržavanje. • Pratiti formalne preporuke da se odredi implementacija. • Priložiti elektronski fajl u read-only obliku u spremiÅ¡te znanja evaluacije. • Razmotriti buduću diseminaciju putem profesionalnih organizacija i žurnala. Izvor: Autori Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice 239 Ilustracija 6.2 Pristup razvoju evaluacije Izraditi i dizajn i odabrati metodologiju • Koristiti evaluacijska pitanja. • Razviti strategiju mjerenja. Fokusiranje evaluacije • Usvojiti dizajn prikupljanja • Identificirati i sastati se podataka. sa dionicima. • Usvojiti strategiju prikupljanja • Usaglasiti svrhu (sastanak sa podataka. klijentom. • Usvojiti strategiju uzorkovanja • ProuÄ?iti druge studije i • Razviti instrumente programsku prikupljanja podataka. dokumentaciju. • Razviti plan analize. • Izraditi teoriju promjene. Promovirati upotrebu • Informirati klijenta i dionike. • Odrediti evaluacijska pitanja. evaluacije • UkljuÄ?iti dionike. • Izraditi projektni zadatak. • Razviti strategiju komuniciranja. • Upoznati klijenta sa dizajnom evaluacije. • Upoznavati klijenta sa napretkom evaluacije. • PredoÄ?iti nalaze klijentu. • Tražiti i ukljuÄ?iti povratnu informaciju od klijenta. • Donijeti odluke. • Izraditi plan aktivnosti. • Pratiti. • Napraviti preporuke. • Koristiti praćenje. Izvijestiti o nalazima Prikupljanje i analiza • Napisati izvjeÅ¡taj. podataka • Pregledati nalaze i provesti • Instrumenti testiranja. provjeru kvaliteta. • Razvoj protokola. • Napraviti preporuke. • ObuÄ?avati, po potrebi. • UkljuÄ?iti povratne • Prikupljati podatke prema informacije/preraditi nalaze. protokolu. • Dostaviti. • Pripremiti podatke za analizu. • Analizirati podatke. • Interpretirati podatke. • Održati konferenciju s Izvor: Autori. porukom. • Pripremiti nacrt izjave o nalazima 240 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Matrica dizajna evaluacije Matrica dizajna evaluacije je strogo preporuÄ?en organizacioni alat koji pomaže â– â–  Matrica pri planiranju evaluacije. Organizuje evaluaciona pitanja i planira prikupljanje dizajna informacija potrebnih da se na ista odgovori. Matrica povezuje opisna, normativna evaluacije: Matrica koja i uzroÄ?no posljediÄ?na pitanja sa dizajnom i metodologijama. Izvan neposredne organizira koristi kao alata za planiranje, matrica može pomoći pri promociji upotrebe eva- evaluaciona luacije i ojaÄ?ati saradnju izmeÄ‘u evaluatora i Ä?lanova osoblja programa. pitanja i planira Evaluatori trebaju alat da identificiraju neophodne dijelove evaluacije i da prikupljanje se uvjere da je svaki korak jasno povezan. Koji alat će koristi da se pomogne inforamcija potrebnih da se razmiÅ¡ljanje o programu, koji je kontekst, koji su mjerljivi ciljevi, kakvo je pri- na ista odgovori kupljanje i analiza podataka, koje strategije će koristiti, sve to će varirati. Neki evaluatori mogu odluÄ?iti izraditi vlastite alate. Svrha matrice dizajna je organizirati svrhu evaluacije i pitanja koja će odgo- varati onome Å¡to će se evaluirati uz odgovarajuće tehnike prikupljanja podataka. Matrica dizajna obiÄ?no ukljuÄ?uje sljedeće povezane elemente: • glavna tema evaluacije; • opći pristup; • pitanja i potpitanja; • vrsta pitanja i potpitanja • mjere ili indikatori; • ciljevi ili standardi (ako su normativni); • prisustvo ili odsustvo podataka baznih linija;; • strategija dizajna; • izvori podataka; • primjerak ili cenzus; • instrumenti prikupljanja podataka; • analiza podataka i grafike i • komentari. Protokoli prikupljanja podataka i evaluacija radnih zadataka, rasporeda, opisa poslova i planovi komunikacije se mogu dodati ili ostati kao odvojeni, ali pove- zani alati. Metod prikupljanja podataka može tretirati viÅ¡e od jednog pitanja ili nekoliko metoda prikupljanja podataka se može koristiti da se tretira jedno pitanje. Matrica dizajna ukljuÄ?uje poznate i planirane izvore informacija. Kako se proces kreće od planiranja ka implementaciji, izvori se mogu proÅ¡iriti i razjasniti. Matrica evaluacije nije neÅ¡to Å¡to je uklesano u kamen. Kao i svaki drugi alat planiranja, nedvojbeno će trebati modifikacije kako evaluacija napreduje. Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice 241 Tokom evaluacije, evaluatori mogu pregledati matricu, ažurirati je te koristiti je kao vodilju za implementaciju evaluacije. Dok planiranje unaprijed može minimizirati nastanak problema, Ä?ak i najbolje planiranje ne može sprijeÄ?iti iznenaÄ‘enja. Å ablon za matricu dizajna je prikazan u Ilustraciji 6.3. U matrici dizajna, pitanja su razložena na onoliko potpitanja koliko je potrebno. Za svako je potrebno naÄ?initi specifikaciju vrste pitanja (opisno, normativno ili uzroÄ?no-posljediÄ?no pitanje); mjera (misli se na varijablu ili indikator) koriÅ¡tena da se odgovori; cilj ili standard koji će se porediti sa AKO normativnim pitanjem; indikacije ako postoje podaci baznih linija; izvor ili izvori podataka za odgovore na potpitanja; specifikacija hoće li uzorak biti uzet i ako hoće koja vrsta; instru- menti prikupljanja podataka koji će se koristiti; analiza koja će se provesti i bilo kakvi zabilježeni komentari. Primjeri komentara ukljuÄ?uju biljeÅ¡ke za provjeru skupa podataka, za indiciranje ograniÄ?enja dizajna i razvoj grafike iz podataka. Matrica je Ä?esto predstavljena na papiru „legal“ veliÄ?ine ili sastavljanjem dva komada papira jedan do drugoga. Neki evaluatori preferiraju matricu raditi verti- kalno za svako potpitanje. Koji god da se format koristi, evaluatori moraju popu- niti sve ćelije za svako potpitanje. Kompletirana matrica dizajna će zauzimati nekoliko stranica. To je dokument koji onima koji donose odluke omogućava da razumiju Å¡ta treba uraditi i kako će se odgovoriti na evaluacijska pitanja. Sljedeće poglavlje detaljno razmatra popu- njavanje kolona. U ovom trenutku Ä?itaoci, koji nastoje primijeniti matricu na dizajn evaluacije, programa, politike ili projekta, mogu identificirati pitanja i potpitanja te mogu indicirati vrstu potpitanja. Kolone za prisustvo ili odsustvo podataka baznih linija, mjera ili indikatora, i ciljevi (ako je potpitanje normativno) takoÄ‘er se mogu popuniti. Potpitanja za opisna pitanja će biti opisna. Potpitanja za normativna pitanja mogu biti opisna, ali najmanje jedno potpitanje mora biti normativno. UzroÄ?no- posljediÄ?na pitanja moraju imati najmanje jedno potpitanje uzroka i posljedice, ali mogu sadržavati i opisna i normativna potpitanja. Primjer kompletirane matrice dizajna nalazi se u Dodatak B. 242 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 6.3 Å¡ablon za matricu dizajna Matrica dizajna za: _________________________________ Glavna evaluacijska tema: __________________________ Opći evaluacioni pristup:__________________________ Cilj ili Instrument Vrsta Mjera ili standard Bazni Izvor Uzorak prikupljanja Analiza Pitanje Potpitanje potpitanja indikator (normativ) podaci? podataka Dizajn ili cenzus podataka podataka Komentari Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice 243 Sažetak Evaluatori trebaju raditi sa glavnim klijentom i kljuÄ?nim dionicima da identi- ficiraju moguća pitanja. Nakon Å¡to se obavi pozadinsko istraživanje, sastanak sa klijentom i kljuÄ?nim dionicima, razvoj programske teorije promjene i identifici- raju se glavne pretpostavke na kojima poÄ?iva program, evaluator može poÄ?eti praviti, a zatim odabirati evaluaciona pitanja sa duge liste napravljenih pitanja. Evaluaciona pitanja treba provjeriti prema glavnoj temi evaluacije da se uvjeri da se ista tretira. Evaluatori koriste opisna pitanja, normativna pitanja i uzroÄ?no-posljediÄ?na pitanja. Formulacija svakog pitanja je važna, zato Å¡to pomaže odrediti sredstva za pronalaženje odgovora na pitanje. PreporuÄ?eni naÄ?in organizacije evaluacije je upotreba matrice dizajna. Matrica pomaže organizirati pitanja, dizajne i strategije prikupljanja i analize podataka, izmeÄ‘u ostalog. Sljedeća poglavlja pružaju uputstvo korak po korak za komple- tiranje matrice dizajna. 244 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Poglavlje 6 aktivnosti Aplikacijska vježba 6.1: Vrste pitanja Identificirati jesu li sljedeća pitanja o inicijativi za prevenciju zdravlja žena u ruralnim podruÄ?jima, opisna, normativna ili uzroÄ?no-posljediÄ?na pitanja. Ako neka pitanja treba prepraviti da se razjasni njihova vrsta, uradite to (ovo je obiÄ?no sluÄ?aj u stvarnom životu). 1. Je li inicijativa pružila savjet, podrÅ¡ku i ostale usluge za 30 žena u ruralnom podruÄ?ju u prvom mjesecu djelovanja, onako kako je planirano? 2. Jesu li usluge pružene na lokaciji i vremenu koje je maksimiziralo broj žena koje mogu uÄ?estvovati? 3. Koji su bili najbolji metodi za dospijevanje do žena u udaljenim podruÄ?jima i da se program uÄ?ini dostupnim za njih? 4. Jesu li zdravstveni problemi meÄ‘u ženama u ruralnom podruÄ?ju otkriveni ranije kod žena koje su uÄ?estvovale u inicijativi za zdravlje žena? 5. Koliko je žena primilo koju vrstu usluge od poÄ?etka programa? 6. Koliko je efikasna inicijativa za zdravlje žena u poreÄ‘enju sa drugim interve- ncijama za poboljÅ¡anje zdravlja kod žena u ruralnim podruÄ?jima? 7. Koji je utjecaj zdravstvene inicijative na žene, njihove porodice i Å¡iru ruralnu zajednicu u kojoj one žive? 8. Koliko su uÄ?esnici zadovoljni savjetima, informacijama, podrÅ¡kom i drugim uslugama koje su im pružene? 9. Zadovoljava li inicijativa za zdravlje žena u ruralnim podruÄ?jima standarde efikasnosti koje zahtijeva vlada? 10. Å ta uÄ?esnici kažu da su utjecaji programa na njih? 11. U kom obimu žene kojima su pružene usluge zadovoljavaju zahtjeve podobnosti? 12. Je li program zadovoljio svoj cilj povećanja znanja kod žena o tehnikama prevencije? Aplikacijska vježba 6.1: Modifikovanje vrsta pitanja NapiÅ¡ite jedno opisno, jedno normativno i jedno pitanje uzroka i posljedice za svaki od sljedećih programa: 1. Program struÄ?ne obuke kojim se obuÄ?avaju mladi ljudi 2. Program izgradnje puteva kojima se tri zajednice povezuju sa centralnom tržnicom. Razvoj evaluacionih pitanja i poÄ?etak dizajniranja matrice 245 Bibliografija i dodatna literatura Cronbach, L. J. 1982. Designing Evaluations of Educational and Social Programs. San Francisco: Jossey-Bass. Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Community Programs with Participants. London: MacMillan, in association with Teaching Aids at Low Cost. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evalua- tion: Alternative Approaches and Practical Guidelines. New York: Pearson Education Inc. Human Rights Resource Center. 2000. “Questions about Evaluation.â€? In The Human Rights Education Handbook: Effective Practices for Learning, Action, and Change. University of Minnesota, Minneapolis. http://www1.umn.edu/humanrts/edumat/hreduseries/hrhandbook/part6B .html. Lawrence, J. 1989. “Engaging Recipients in Development Evaluation: The ‘Stakeholder’ Approach.â€? Evaluation Review 13 (3): 243–56. OECD (Organisation for Economic Co-operation and Development). 2007. Criteria for Evaluating Development Assistance. Development Assistance Committee. http:// www.oecd.org/document/22/0,2340,en_2649_201185_2086550_1_1_1_1, 00.html. Patton, Michael Quinn. 1997. Utilization-Focused Evaluation. 3rd ed. Thousand Oaks, CA: Sage Publications. ———. 2002. Qualitative Research and Evaluation Methods. 3rd ed. Thousand Oaks, CA: Sage Publications. Rist, R. C. 1994. “Influencing the Policy Process with Qualitative Research.â€? In Hand- book of Qualitative Research, ed. N. K. Denzin and Y. S. Lincoln, 545–57. Thousand Oaks, CA: Sage Publications. Shadish, William 1998. “Some Evaluation Questions.â€? Practical Assessment, Research & Evaluation 63. http://PAREonline.net/getvn.asp?v=6&n=3. Also available from ERIC/AE Digest at http://www.ericdigests.org/1999-2/some.htm. Web stranice Kellogg Foundation. 2004. Evaluation Logic Model Development Guide. http://www .wkkf.org/pubs/tools/evaluation/pub3669.pdf. World Bank. 1996. Participation Sourcebook. http://www.worldbank.org/wbi/ sourcebook/sbhome.htm. 246 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije POGLAVLJE 7 Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja Nakon odabira evaluacionih pitanja, evaluator potom odabire pristup evaluacionom dizajnu koji najbolje odgovara za svako pitanje. Ovo poglavlje predstavlja neke smjernice o dizajnu i identificira dobre i loÅ¡e strane razliÄ?itih opcija dizajna. MeÄ‘utim, važno je imati na umu da je svaka situacija jedinstvena. Ne postoji savrÅ¡en izbor dizajna te tako ni „jedan i jedini“ naÄ?in da se tretira evaluaciono pitanje Ovo poglavlje ima pet glavnih dijelova: • Povezivanje pitanja sa dizajnom • Dizajn za uzroÄ?no-posljediÄ?na pitanja • Dizajn za opisna pitanja • Dizajn za normativna pitanja • Potreba za rigoroznijim dizajnom 247 Povezivanje pitanja sa dizajnom Kada evaluiramo, tražimo odgovore na pitanja. U Poglavlju 6 ukazali smo da postoje tri glavne vrste pitanja: opisna, normativna, i uzroÄ?no-posljediÄ?na pitanja. Odabrani dizajn treba odgovarati vrsti pitanja koje postavljamo. Ako su na pri- mjer postavljena uzroÄ?no posljediÄ?na pitanja, mora se usvojiti dizajn koji može odgovoriti na uzroÄ?no posljediÄ?na pitanja. Razvojne organizacije traže rjeÅ¡enja za pitanja o razvojnim temama, baÅ¡ kao Å¡to seljani traže rjeÅ¡enje problema koji hara njihovim selom (Tekstualni okvir 7.1). MeÄ‘utim, ni evaluatori a ni seljani ne preduzimaju uvijek prave korake dok pokuÅ¡avaju odgovoriti na pitanja. Prvi potencijalni pogreÅ¡ni korak pri odgovaranju na pitanja je poÄ?eti sa odabi- rom strategije za prikupljanje podataka. Kako bi odgovorio na pitanje djevojÄ?ice o slonovima, stariji seljanin bi mogao kazati: „Provedimo istraživanja da otkri- jemo Å¡ta seljani kažu o tome zaÅ¡to slonovi odlaze“. PoÄ?injanje sa strategijom prikupljanja podataka gotovo sigurno neće osigurati potrebne informacije. Drugi potencijalni pogreÅ¡an korak je misliti da svaka evaluacija ima jedan dizajn. ObiÄ?no evaluacija nastoji odgovoriti na nekoliko pitanja, od kojih svako zahtijeva odgovarajući dizajn. Evaluacija obiÄ?no treba tretirati opisna i norma- tivna pitanja, a ponekad uzroÄ?no-posljediÄ?na. Evaluator treba izbjegavati primjenu tehnike „metod u pretrazi aplikacije“ (koja pitanja možemo odgovo- riti provoÄ‘enjem istraživanja fokusne grupe?) i razmiÅ¡ljanje da ako tretiramo uzroÄ?no-posljediÄ?no pitanje ne treba takoÄ‘er tretirati opisna i normativna pitanja. U primjeru sa slonom moguće je da podrobna studija sluÄ?aja kretanja slonova pokaže da udaranje u posude, a ni praÅ¡ina nisu uzrok da su slonovi napustii selo. Selo je možda jednostavno bilo na migracionoj stazi slonova. Tekstualni okvir 7.1 Å ta otjera slonove? Dva puta svake godine, iz suprotnih pravaca, slonovi protutnje kroz afriÄ?ko selo. Svi seljani su bili ukljuÄ?eni u tjeranje slonova iz sela. Neki su lupali u posude i tave; drugi su zviždali, vikali, ili vriÅ¡tali. Drugi su dizali praÅ¡inu i hodali uokolo kako bi pokazali ko je vlasnik zemljiÅ¡ta. Nakon Å¡to su slonovi napustili selo, jedna djevojÄ?ica je upitala: „ZaÅ¡to su slonovi otiÅ¡li?“ Seljani su odgovorili: „ Zato Å¡to smo ih otjerali“. DjevojÄ?ica je zatim upitala: „Ali Å¡ta ih je otjeralo, zvuk posuÄ‘a, zviždanje ili drugi jaki zvu- kovi ili možda praÅ¡ina u zraku?“ 248 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Å iroke kategorije dizajna Evaluatori imaju tri Å¡iroke kategorije dizajna od kojih odabiremo: eksperime- ntalni dizajn, kvazieksperimentalni dizajn i neeksperimentalni dizajn. Svaki je opisan ispod. Eksperimentalni dizajn Mnogi evaluatori smatraju eksperimentalni dizajn – takoÄ‘er poznat kao nasumiÄ?ni ili istinski eksperiment – najjaÄ?i i najrobusniji dizajn za evaluaciju. â– â–  Eksperimen- Ali se mnogi drugi ne slažu. Kao Å¡to smo naveli u Poglavlju 6, evaluatori talni dizajn: Vrsta ex ante trebaju stremiti ka Å¡to rigoroznijem dizajnu, ali pravi dizajn je onaj koji najbolje evaluacionog odgovara rjeÅ¡avanju evaluacionih pitanja. U pravom eksperimentalnom dizajnu dizajna koja evaluatori moraju pokazati da nije bilo intervencije željeni rezultat ne bi bio zahtijeva ostvaren. Koristeći primjer slona u selu, evaluator mora dokazati da slonovi ne bi sluÄ?ajan napustili selo da seljani nisu lupali o posuÄ‘e, zviždali i pravili buku. angažman popu- lacije od Da bi pokazali da je intervencija uzrok ishoda, eksperimentalni dizajn poredi najmanje dvije rezultate dviju grupa – jedna na kojoj se vrÅ¡i intervencija, a druga na kojoj se grupe tako da ne vrÅ¡i. Glavni kriterij za razlikovanje eksperimentalnog dizajna od ostalih je svaki Ä?lan nasumiÄ?no formiranje grupa. U nasumiÄ?nom formiranju oni dodijeljeni grupama populacije od trebaju imati sliÄ?nu pozadinu, spol, kontekst, vremenski okvir i tako dalje. interesa ima Ovdje prestaje naÅ¡a analogija sa slonovima, zato Å¡to seljani nemaju naÄ?ina da jednaku priliku da bude razdvoje slonove u dvije ili tri nasumiÄ?no formirane grupe na kojima se mogu dodijeljen provesti razliÄ?ite intervencije ili pak ne provesti nikakva intervencija. interventnoj Ali, da bi nastavili sa primjerom, recimo da je vlada upoznata sa problemom (tretman grupi) 30 sela u ruralnoj provinciji gdje slonovi uzrokuju destrukciju kuća i usjeva u ili neintervent- selima. Vlada želi pomoći u rjeÅ¡avanju ovog problema na naÄ?in gdje će slonovi noj (kontrolnoj grupi) i seljani živjeti u harmoniji. Angažovan je struÄ?njak za ponaÅ¡anje životinja, ali može raditi samo sa 20 sela u isto vrijeme. Donesena je odluka da će 20 sela koja će primiti pomoć struÄ?njaka biti nasumiÄ?no odabrano a 10 sela će služiti kao kontrolna grupa. Provedena su istraživanja sa odraslim seljanima u svih 30 sela kako bi se pribavili bazni podaci za grupu koja se tretira a i za kontrolnu grupu u vezi stavova prema slonovima i u vezi procjene Å¡tete na usjevima kao i procjenu drugih vrsta Å¡teta. Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 249 Prilikom odabira sela gdje će se vrÅ¡iti intervencija imena svih 30 sela napisana su na komad papira i stavljena u posudu. Okupljene su starjeÅ¡ine sela, a 10 najstarijih su izvukli po jedan papir iz posude. Kako su imena sa papira Ä?itana, ime sela bilo bi napisano na tabli. Kada je 10 sela identificirano, uspostavljena je kontrolna grupa. Cilj bihevioristiÄ?ke intervencije je smanjiti problem, popraviti stavove te smanjiti Å¡tetu i prateće troÅ¡kove. Nakon predodreÄ‘enog vremenskog perioda, razlike izmeÄ‘u tretiranih i kontrolnih sela se trebaju pojaviti u vezi ovih mjera, ako je biheviroizam efektivan i sve ostalo â– â–  Kvazieksperi- ostane konstantno. U ovom primjeru, biheviorizam je intervencija. mentalni dizajn: Vrsta Kvazieksperimentalni dizajn evaluacionog Kvazieksperimentalni dizajn je sliÄ?an eksperimentalnom dizajnu, ali pojedince dizajna gdje se intervencija i ne rasporeÄ‘uje nasumiÄ?no u grupe. Ti dizajni su Ä?esto viÅ¡e izvodivi nego eksperi- neintervencija ili mentalni dizajni, zato Å¡to su pravi eksperimentalni dizajni Ä?esto teÅ¡ko izvodivi grupe koje se a kvazieksperimentalni dizajni ne zahtijevaju nasumiÄ?nost nego jednostavno porede formiranje uporednih grupa. formiraju ili ex Kvazi eksperimentalni dizajn se može koristiti pri poreÄ‘enju grupa koje su ante ili ex post, sliÄ?ne ali nisu iste. Grupe mogu postojati u razliÄ?itim, ali sliÄ?nim, selima ili se ali bez nasumiÄ?nog ista grupa može koristiti u razliÄ?ito vrijeme (prije i poslije). U priÄ?i o slonovima formiranja grupa u selu, na primjer, kvazieksperimentalnim dizajnom se mogu odabrati dva sela u ili gdje se istom regionu, sa istom klimom, istim brojem slonova u podruÄ?ju, sliÄ?nim brojem ponovljene seljana, istim brojem kuća i tako dalje. Jedno selo će se tretirati (lupanje posuÄ‘a), mjere vre- a drugo neće. menom poduzimaju Alternativno, mogu se odabrati dvije grupe gdje će se mijenjati ponaÅ¡anje seljana kada doÄ‘u slonovi. Kada slonovi prvi puta doÄ‘u u selo, seljani će lupati u posuÄ‘e. Drugi put, kada slonovi doÄ‘u, neće lupati u posuÄ‘e. U tom sluÄ?aju imamo dva primjera gdje poredimo reakciju slonova. U oba primjera dvije grupe su sliÄ?ne, ali nisu jednake. U prvom primjeru razlike izmeÄ‘u dvije grupe i njihovog okruženja mogu utjecati na rezultate. U drugom primjeru razlika izmeÄ‘u dvije situacije je ponaÅ¡anje seljana. Kvazie- â– â–  Neeksperi- ksperimentalnim dizajnom evaluatori ne mogu definitivno povezati intervenciju mentalni sa rjeÅ¡enjem ili pokazati uzroÄ?no-posljediÄ?nu vezu sa sigurnošću koju imamo kod (opisni) prave nasumiÄ?nosti, ali se može nauÄ?iti puno toga i postaviti osnovno polaziÅ¡te o dizajn: Vrsta evaluacionog mogućim uzrocima i posljedicama. dizajna gdje se ne pokuÅ¡avaju Neeksperimentalni dizajn napraviti Neeksperimentalni, ili opisni, dizajni ne porede jednu grupu sa drugom. intervencijske i Umjesto toga pravi se opsežan opis odnosa izmeÄ‘u intervencije i njenih efekata. neintervencijske grupe, a naglasak je na opisu 250 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 7.1 Dvije kljuÄ?ne karakteristike eksperimentalnih, kvazieksperimentalnih i neeksperi- mentalnih eksperimenata Uporedna grupa NasumiÄ?no formirana nije nasumiÄ?no Mjere se Vrsta evaluacionog dizajna kontrolna grupa formirana ponavljaju Eksperimentalni Da Ne Da Kvazieksperimentalni Ne Vjerovatno Vjerovatno Neeksperimentalni Ne Ne Ne Izvor: Autori. U neeksperimentalnoj studiji evaluator odabire, na primjer, kada da pravi uzorak, s kim i gdje. Ne Ä?ine se napori da se naprave dva ili viÅ¡e jednaka ili sliÄ?na primjera. Neeksperimentalna evaluacija može, na primjer, koristiti analizu postojećih podataka ili informacija, ankete ili fokusnih grupa gdje se prikupljaju podaci koji su relevantni pitanjima evaluacije. Neeksperimentalni dizajni nastoje posmatrati karakteristike, frekvenciju i povezanost ( Project STAR 2006). Aneks 7.1 sažima tri kljuÄ?ne osobine svake od tri kategorije dizajna. OznaÄ?avanje dizajna Evaluacioni dizajni se ponekad predstavljaju koristeći X i O. Gdje X predstavlja intervenciju ili tretman, a O predstavlja opservaciju. Svaki tretman i opservacija dobiju indeks koji ih identificira. Na primjer, oznaka za evaluacioni dizajn koji ima jedan tretman iza kojeg slijedi opservacija je X O1 Oznaka za evaluacioni dizajn koji ima jednu opservaciju iza koje slijedi tretman iza kojeg slijede dvije opservacije bi bio O1 X O2 O3 Svaka grupa u dizajnu dobije odvojeni red. Sljedeća oznaka pokazuje oznaÄ?avanje evaluacionog dizajna koji ima dvije grupe, jednu koja je tretirana i drugu koja nije. Obje grupe su posmatrane prije nego je tretirana testna grupa i dva puta nakon toga: O1 X O2 O3 O1 O2 O3 Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 251 Dizajni za uzroÄ?no-posljediÄ?na pitanja UzroÄ?no-posljediÄ?na pitanja predstavljaju najveći izazov i da bi se na njih dao odgovor potreban je veoma promiÅ¡ljen dizajn. U evaluacijama koje ukljuÄ?uju uzroÄ?no-posljediÄ?na pitanja (to jest, pitanja o utjecajima i uzrocima uoÄ?enih utjecaja) evaluacijski dizajn nastoji iskljuÄ?iti održiva objaÅ¡njenja za uoÄ?ene rezultate koji nisu intervencija, a da bi se zakljuÄ?ilo da je intervencija uzrokovala utjecaj. Ukratko, izazov je odluÄ?iti da li uoÄ?ene promjene pripisati intervenciji ili nekom drugom uzroku. Kada se tretiraju uzroÄ?no-posljediÄ?na pitanja, evaluacioni dizajn je takoÄ‘er moguće uokviriti da tretira pitanje „Kakva bi situacija bila da se nije desila inte- rvencija“? Ne bi bilo moguće precizno mjeriti kontraÄ?injenice neintervenisanja, ali je moguće procijeniti Å¡ta bi se moglo desiti da nije bilo intervencije. Eksperimentalni dizajni Eksperimentalni model svoje korijene ima u medicinskim istraživanjima, gdje se Ä?esto koristi za testiranje lijekova i protokola tretmana. Kada se ovaj dizajn primjenjuje na evaluaciono pitanje vezano za zdravlje, razvojna organizacija koja nastoji smanjiti broj sluÄ?ajeva malarije u regionu može postaviti pitanje: „Koji je najbolji naÄ?in da se smanji broj sluÄ?ajeva malarije u regionu?“ Potpitanje može biti: „Da li se upotrebom tretiranih noćnih mreža smanjuje broj sluÄ?ajeva malarije u datom regionu?“ Eksperimentalni dizajn pitanje pretvara u prijedlog. U sluÄ?aju primjera sa malarijom, prijedlog bi bio ovakav: ako ljudima u regionu damo tretirane noćne mreže, tada će biti manje sluÄ?ajeva malarije u regionu. Kao Å¡to je predstavljeno u Poglavlju 4, potrebno je razviti teoriju promjene za prijedlog. SluÄ?ajni odabir je najvažniji faktor u eksperimentalnom dizajnu. Od volontera se može odabrati grupa pacijenata koji imaju istu vrstu oboljenja u istoj fazi, istog su spola itd. te se nad njima vrÅ¡e pokusi po sluÄ?ajnom odabiru. Pojedinci se zatim sluÄ?ajnim odabirom režima tretiraju raznim lijekovima. Jedna podgrupa može uzimati lijek koji predstavlja trenutno znanje, druga podgrupa može uzimati neke nove obećavajuće lijekove. U dvostruko-slijepom ekspe- rimentu, ni uÄ?esnici a ni Ä?lanovi medicinskog osoblja ne znaju koji lijek je davan kojim pacijentima. Postoji blag, ali rastući, trend u razvoju evaluacije ka upotrebi eksperime- ntalnog dizajna. Kretanje u ovom pravcu proizlazi iz frustracije od percipiranog nedostatka dovoljnog znanja, unatoÄ? mnogim godinama evaluacije i od onog Å¡to funkcionira u razvojnom kontekstu i pod kojim uvjetima. 252 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije KlasiÄ?ni eksperiment ima Å¡est koraka: 1. Formuliranje hipoteze. 2. Pribavljanje baznih podataka (to jest, mjere zavisne varijable). 3. Raspored uÄ?esnika metodom sluÄ?aja u grupe na kojima se provodi interve- ncija i grupe na kojima se ne provodi (kontrolne). 4. Uvodi se tretman ili nezavisna varijabla u intervenciju. 5. Ponovo se mjeri zavisna varijabla (ponovni test). 6. ProraÄ?un razlika izmeÄ‘u grupa i testiranje za statistiÄ?ki znaÄ?aj. U primjeru malarije, pitanje je da li upotreba tretiranih noćnih mreža smanjuje broj sluÄ?ajeva malarije u regionu. Å est koraka bi postavili ovako: 1. Formuliranje hipoteze: Upotreba noćnih mreža tretiranih sredstvom koje odbija komarce smanjuje broj sluÄ?ajeva malarije. 2. Pribaviti bazne podatke: Tokom perioda od dva mjeseca, broj novih sluÄ?ajeva malarije bio je 172. 3. Rasporediti uÄ?esnike metodom sluÄ?aja u grupe na kojima se provodi interven- cija i grupe na kojima se ne provodi (kontrolne). 4. Tretirati: Noćne mreže dati jednoj grupi (tretirana grupa), a drugoj ne (kontro- lna grupa). 5. Ponovo mjeriti zavisnu varijablu: Nakon dva mjeseca intervencije, broj novih sluÄ?ajeva malarije bio je 65 u testnoj grupi , a 118 u kontrolnoj grupi. 6. IzraÄ?unati razliku izmeÄ‘u dvije grupe: Testna grupa je imala 53 sluÄ?aja manje nego kontrolna grupa. Oznaka dizajna za klasiÄ?ni eksperiment sa jednom tretman grupom i jednom kontrolnom grupom izgleda ovako: O1 X O2 O1 O2 U nekim sluÄ?ajevima evaluatori takoÄ‘er koriste R ispred reda za svaku grupu da bi pokazali da je grupa imala sluÄ?ajni odabir. Za eksperimentalni dizajn kao Å¡to je ovaj gore opisani (dodjela noćnih mreža sluÄ?ajnim odabirom nekim uÄ?esnicima), oznaka bi izgledala ovako: R O1 X O2 R O1 O2 Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 253 Ljudska bića su kompleksna, a socijalne situacije je teÅ¡ko analizirati. Eksperi- mentalni dizajn dobro radi kada se testiraju lijekovi na ljudskim tijelima, koja su relativno sliÄ?na. Kada posmatramo kompleksno ponaÅ¡anje ljudi, treba biti opre- zan zbog lažno pozitivnih i lažno negativnih sluÄ?ajeva. Lažnopozitivni sluÄ?ajevi nastaju kada studija ukazuje da je intervencija bila uzrok posljedice, a u stvari to nije tako. Lažnonegativni sluÄ?ajevi nastaju kada studija ne pokazuje vezu izmeÄ‘u intervencije i uspjeha a kada je ustvari intervencija uistinu povezana sa uspjehom. Lažnopozitivni sluÄ?ajevi se mogu javiti zato Å¡to su podaci iz domaćinstava „samo-izvjeÅ¡tavajući“. Ljudi u regionu mogu biti svjesni eksperimenta i tre- tmana domaćinstava te ne prijavljivati sluÄ?ajeve malarije kako bi ugodili vla- dinim zvaniÄ?nicima. Lažnonegativni sluÄ?ajevi mogu biti Ä?ešći. Može se desiti da nema razlike izmeÄ‘u dvije grupe zato Å¡to je postinterventni dvomjeseÄ?ni period mjerenja vrÅ¡en u suÅ¡noj sezoni kada su sluÄ?ajevi malarije rjeÄ‘i. Lažni negativni sluÄ?ajevi se mogu desiti zato Å¡to tretirana grupa domaćinstava ne koristi noćne mreže svaku noć ili su oni u grupi gdje intervencija nije provoÄ‘ena sami sebi pribavili mreže. Ako ova studija ne postavi dodatna pitanja, bit će teÅ¡ko interpretirati rezultate Ä?ak i u ovoj jednostavnoj intervenciji sluÄ?ajnog odabira. Da bi objasnili rezultate bilo bi od pomoći da evaluatori takoÄ‘er postave neka od sljedećih pitanja: • Koje informacije su u domaćinstvima dobili o upotrebi noćnih mreža? • Kako je sastav „domaćinstva“ odreÄ‘en i ko je ustvari spavao ispod mreže? • Koja pitanja implementacije su se pojavila u interventnoj i neinterventnoj â– â–  Kontrolna grupi? grupa: Grupa • Koliko je sluÄ?ajeva malarije bilo u poreÄ‘enju sa istim periodima od dva u eksperimentu Ä?iji Ä?lanovi nisu mjeseca u proÅ¡losti? izloženi ili je nad • Je li bilo drugih nastojanja u prevenciji malarije u regionu u vrijeme ove njima intervencije? provoÄ‘ena intervencija Sva ova pitanja su opisna, Å¡to zahtijeva jednostavniji dizajn da bi se na njih odgovorilo. â– â–  Tretman Kontrolne grupe grupa:Grupa u eksperimentu Eksperimentalni dizajn nastoji eliminirati ili kontrolirati druge faktore koji pre- Ä?iji su Ä?lanovi dstavljaju konkurentna objaÅ¡njenja za rezultate u eksperimentu. Kada koristimo izloženi ili je nad eksperimentalni dizajn, evaluatori porede ekvivalentne grupe. Kontrolna grupa njima je grupa izložena uobiÄ?ajenim uvjetima; njeni Ä?lanovi nisu izloženi ili treti- provoÄ‘ena rani intervencijom. Grupu izloženu intervenciji možemo zvati tretman grupa. intervencija Upotreba intervenciji da ih se poredi sa grupama koje nisu bile izložene tretmanu. 254 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Kontrolne grupe Ä?esto ukljuÄ?uju uskraćivanje intervencije onima kojima je potrebna. Ponekad se uskraćivanje intervencije pravda nedostatkom resursa da se pomogne svima kojima je potrebno. Moguće je samo djelomiÄ?no pokrivanje populacije intervencijom ili se program podijeli u faze tokom vremena. U drugim sluÄ?ajevima, intervencija nije dokazana, tako da postoji mogućnost da su neke vrijednosti uskraćene. Ako se pokaže da je intervencija efektivna, može biti teÅ¡ko objasniti zaÅ¡to je nekim ljudima zabranjen pristup istoj (Patton 2008). NasumiÄ?ni raspored Eksperimentalni dizajn ukljuÄ?uje rasporeÄ‘ivanje potencijalnih uÄ?esnika u grupe na kojima se provodi intervencija i grupe na kojima se ne provodi koristeći metod sluÄ?ajnog odabira a kako bi se povećala vjerovatnoća da su grupe identiÄ?ne (ne postoji pristrasnost kod formiranja grupa) u smislu faktora koji mogu utjecati na rezultate programa ili intervencije. Ovi faktori mogu ukljuÄ?ivati starost, spol, obrazovanje, stavove, historiju i druge faktore uÄ?esnika. U idealnom svijetu bilo bi moguće nasumiÄ?no odrediti ko podliježe interve- nciji, a ko ne. Problem u stvarnom svijetu kod evaluacije je identificirati kredi- bilnu kontrolnu grupu nad kojom se ne provodi intervencija. Jedan naÄ?in da se to uradi je dodjela resursa projekta ili programa metodom sluÄ?aja. Korisnici pro- jekta ili programa su tada nasumiÄ?an uzorak populacije u cjelini. Ovaj uzorak zatim možemo porediti sa drugim nasumiÄ?no odabranim uzorkom grupe u kojoj se nalaze oni koji nisu korisnici programa (kontrolna grupa) (White 2007). NasumiÄ?ni raspored može omogućiti upotrebu jakog dizajna za mjerenje utjecaja. TakoÄ‘er može biti viÅ¡e nepristrasan nego raspored drugim metodom – pristrasnost ili favoriziranje nisu u igri kada je raspored u tretirane ili kontrolne grupe zasnovan na sluÄ?ajnom odabiru. Iako je nasumiÄ?ni odabir viÅ¡e primjenjiv na razvojne intervencije nego Å¡to se misli, nije baÅ¡ uvijek prava opcija. Kao kod medicinskih testiranja, ponekad nije etiÄ?no nekoga izuzeti iz intervencije da bi se formirala kontrolna grupa, ali ponekad nema dovoljno resursa da se tretiraju svi koji se prijave za uÄ?ešće, tako da je tada rezultat izostavljanje nekoga iz intervencije. Menadžer projekta će nekada htjeti ukljuÄ?iti one sa najboljim Å¡ansama da se okoriste intervencijom. Ovo može biti naÄ?in da se najbolje iskoriste ograniÄ?eni dolari programa. Iz perspektive evaluacije, meÄ‘utim, ako su najbolji ljudi dodijeljeni programu, rezultat će biti pristrasan zato Å¡to uzorci nisu nastali na nepristrasan nasumiÄ?an naÄ?in. Kada odabir sluÄ?ajnim metodom nije moguć, postoje druge opcije da se pri- kupe podaci o faktorima koji mogu Ä?initi razliku meÄ‘u grupama i koji bi vjero- vatno utjecali na ishod. Ove varijable se zatim mogu ugraditi u analizu podataka kao kontrolne varijable. Upotreba kontrolnih varijabli omogućava evaluatoru da eliminira neka alternativna objaÅ¡njenja Ä?ak i kada nasumiÄ?ni raspored nije moguć. Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 255 â– â–  Kontrolna Pri odabiru grupa, evaluatori trebaju razmotriti problem pristrasnosti. U pri- varijabla: strasnosti pri odabiru razlika izmeÄ‘u uÄ?esnika i ne-uÄ?esnika može se zasnivati Strani faktor koji na neuoÄ?ljivim razlikama izmeÄ‘u grupa prije nego na efektima intervencije. je uvijek konstantan tako Proces nasumiÄ?nog odabira prije intervencije osigurava da su tretman grupe i da se mini- kontrolne grupe u prosjeku statistiÄ?ki ekvivalentne, prema svim karakteristikama. miziraju mogući NasumiÄ?ni eksperiment rjeÅ¡ava problem pristrasnosti prilikom odabira tako Å¡to efekti koje formira eksperimentalnu grupu od ljudi koji bi inaÄ?e uÄ?estvovali u programu, ali su može imati na nasumiÄ?nim odabirom izostavljeni iz programa ili tretmana. NasumiÄ?ni odabir ne ishod interven- uklanja pristrasnost pri odabiru nego ga balansira izmeÄ‘u grupa uÄ?esnika (tretman) cije i onih koji ne uÄ?estvuju (kontrolna), tako da se odstranjuje kada se proraÄ?unava â– â–  Pristrasnost pri odabiru: procjena srednjeg utjecaja. Sve razlike u prosjeÄ?nim ishodima dvije grupe nakon Deformacija intervencije se mogu pripisati intervenciji (World Bank 2008.) dokaza ili Pristrasnost pri odabiru se može javiti na dva naÄ?ina. Prvi je kad uÄ?esnici samo- podataka o rezultatima stalno ulaze u program. U drugom menadžeri mogu odabrati uÄ?esnike s kojima programske će ostvariti najvjerovatniji uspjeh. Na primjer, razmotrimo program tretiranih intervencije noćnih mreža. Ako je intervencija bila uvesti tretirane noćne mreže na tržiÅ¡te po zbog siste- veoma niskoj cijeni, tada bi postojala pristrasnost u odabiru zato Å¡to bi oni koji matskih razlika mogu priuÅ¡titi nabavku i nabavili su noćne mreže bili u tretman grupi; a oni koji u karakteristi- kama izmeÄ‘u to ne bi mogli ili oni koji nemaju informacija o tretiranim noćnim mrežama ne podskupa bi bili u tretman grupi. Pored toga bilo bi veoma teÅ¡ko porediti tretman grupu i populacije koja kontrolnu grupu, zato Å¡to se ne vodi evidencija ko koristi noćne mreže a ko ne. se tretira Da bi smanjili mogućnost da doÄ‘u u zabludu i neÅ¡to Å¡to nije istina smatraju intervencijom i istinitim (lažno pozitivno), evaluator posuÄ‘uje podatke iz metoda socijalne nauke. onih u istoj Koristeći eksperimentalni evaluacioni dizajn, evaluatori Ä?ine sve Å¡to mogu kako populaciji koje intervencija ne bi kontrolirali implementaciju programa, politike ili projekta i okoline u kojoj tretira se implementacija primjenjuje. Kada evaluacija u razumnim granicama može kontrolirati sve osim intervencije, evaluatori mogu biti priliÄ?no sigurni da su sve uoÄ?ene razlike rezultat te intervencije. Razmotrimo evaluaciju intervencije gdje se primjenjuje gnojivo da bi se povećali prinosi kukuruza. Projekt upravlja stak- lenikom gdje seljani kontroliraju temperaturu, vodu i stanje tla. Kao dio evalu- acionog dizajna, dva odvojena podruÄ?ja uzgoja su napravljena unutar staklenika. Jedan koji je odreÄ‘en metodom sluÄ?aja će biti tretiran gnojivom; drugi služi kao kontrolno podruÄ?je. Oba podruÄ?ja imaju istu temperaturu, sunÄ?evu svjetlost i vodu, a kukuruz je zasijan na potpuno istoj mjeÅ¡avini zemljiÅ¡ta. Prilikom žetve prinosi se mjere. Ako testno podruÄ?je ima veći prinos nego kontrolno, evaluator može zakljuÄ?iti da je gnojivo napravilo razliku. Zamislimo sada Å¡ta se deÅ¡ava kada se intervencija primijeni na polju umjesto na kontrolirano okruženje u stakleniku. Å ta se deÅ¡ava ako su dva podruÄ?ja blizu jedno drugome te gnojivo preÄ‘e u podruÄ?je koje se ne testira? PodruÄ?je koje se ne tretira se može pomjeriti u drugi dio polja – ali zemljiÅ¡te, svjetlost, temperatura ili padavine tamo mogu biti neÅ¡to drugaÄ?ije. Dva polja takoÄ‘er mogu imati razliÄ?it 256 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije nivo pažnje. Iako evaluacija joÅ¡ uvijek može mjeriti utjecaj, viÅ¡e uvjetno bi mogli zakljuÄ?iti da je samo gnojivo uzrokovalo veće prinose. U kompleksnom svijetu gdje se deÅ¡avaju razvojne intervencije postaje teÅ¡ko odrediti Ä?emu pripisati utjecaj iz mnoÅ¡tva faktora. U sluÄ?aju poljoprivrede, pre- tpostavimo da je intervencija navodnjavanja implementirana u vrijeme idealnih vremenskih uvjeta i velike potražnje za usjevima. Prihod u podruÄ?ju gdje je intervencija implementirana povećao se proteklih godina. Ali, da li je veći pri- hod rezultat intervencije? Ili je uzrokovan drugim faktorima, kao Å¡to su povećane padavine, dobra ekonomska vremena ili neuobiÄ?ajen period politiÄ?ke stabilnosti? Idealno, uzeli bi podobne za intervenciju navodnjavanja unutar definiranog podruÄ?ja te bi neke od njih nasumiÄ?no dodijelili interventnoj a neke neinterve- ntnoj grupi. Ali koje su opcije kada nasumiÄ?ni raspored nije moguć te eksperi- mentalni dizajn tako nije opcija? U mnogim takvim sluÄ?ajevima, koriste se kvazieksperimentalni dizajni. U kvazieksperimentalnim dizajnima vrÅ¡i se poreÄ‘enje, ali bez nasumiÄ?nog rasporeda u grupe. Chatterji (2007), Patton (2007), i Bamberger i White (2007) imaju odliÄ?ne radove o ograniÄ?avanju eksperimentalnog dizajna u stvarnom svijetu. â– â–  Interna Interna validnost validnost: Kada govorimo o eliminaciji drugih mogućih objaÅ¡njenja, govorimo o internoj Sposobnost validnosti. Interna validnost se odnosi na sposobnost dizajna da odstrani druga dizajna da objaÅ¡njenja za uoÄ?ene rezultate. Evaluacioni dizajn sa jakom internom validnošću odstrani sve druge potenci- povećava samopouzdanje evaluatoru pri donoÅ¡enju zakljuÄ?aka o tome je li inte- jalne alterna- rvencija uzrokovala uoÄ?ene rezultate ili ne. Dizajn sa slabom internom validnošću tivne faktore ili otežava nastojanje da druge uvjerimo da je intervencija uzrokovala uoÄ?ene rezu- objaÅ¡njenja za ltate. Interna validnost se ovdje pojavljuje zato Å¡to se, u odsustvu nasumiÄ?nosti, uoÄ?ene validnost nalaza evaluacije može kompromitirati na razne naÄ?ine. rezultate a koji nisu intervencija Ove prijetnje internoj validnosti nalaza evaluacije su samo moguća konkurentna objaÅ¡njenja; ona ne moraju zaista postojati. Tako da je interna vali- dnost vezana za kontekst. Kvazieksperimentalni dizajn treba rijeÅ¡iti te prijetnje internoj validnosti. DruÅ¡tvo za evaluaciju Ujedinjenog Kraljevstva (2003) internu validnost definira na ovaj naÄ?in: Povjerenje koje možete imati u neÄ?ije zakljuÄ?ke o tome Å¡ta je intervencija stvarno ostvarila. Prijetnja internoj validnosti je primjedba da evaluacioni dizajn omogućava da uzroÄ?na veza izmeÄ‘u intervencije i uoÄ?enih efekata ostane nesi- gurna. To možemo posmatrati kao pitanje sljedeće prirode: možemo li neÅ¡to drugo mimo intervencije smatrati uzrokom nastale promjene nakon intervencije? Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 257 U klasiÄ?nom tekstu Cook i Campbell (1979) identificiraju nekoliko uobiÄ?ajenih prijetnji internoj validnosti: • historija • odumiranje • sazrijevanje • regresija ka sredini • ponovljeno testiranje • instrumentacija. â– â–  Efekt • pristrasnost pri odabiru historije: Efekt dogaÄ‘anja nevezanih za Efekt historije rezultate intervencije Efekt historije se odnosi na mogućnost da su dogaÄ‘aji koji su se desili tokom intervencije (ili izmeÄ‘u ponovljenih mjera koje nisu dio intervencije) na neki naÄ?in utjecali na rezultate. Historija će uvijek biti prijetnja longitudinalnom istraživanju. To je možda prijetnja koju je najteže otkriti, zato Å¡to evaluator mora istražiti dogaÄ‘aje koji su se desili tokom intervencije a koji su mogli utjecati na rezultate. Kada posmatramo rezultate za pojedince, historijski dogaÄ‘aji koji utjeÄ?u na rezultate su priliÄ?no vjerovatni. LiÄ?na historija ukljuÄ?uje slijed dogaÄ‘aja, od kojih neki mogu imati svojstvo promjene. Za grupu pojedinaca, historijska pri- jetnja internoj validnosti mora identificirati dogaÄ‘aj koji u isto vrijeme pogaÄ‘a većinu ili barem neke od pojedinaca u dovoljnoj mjeri da znaÄ?ajno promijene mjereno svojstvo. Kao Å¡to Brossart, Clay i Willson (2002) primjećuju: Ako su svi pojedinci, Ä?lanovi neke grupe, potraga za ovim dogaÄ‘ajem može biti provedena putem intervjua ili posmatranja; ako su uÄ?esnici nezavisni, vjerovatnoća takvog dogaÄ‘aja koji u isto vrijeme mijenja svojstvo će biti mala ukoliko se ne desi u uobiÄ?ajenim okolnostima gdje su svi uÄ?esnici locirani, kao Å¡to je recimo bolnica. Recimo, na primjer, da se tokom programa namijenjenog visoko riziÄ?noj omladini dogodi kriviÄ?no djelo koje je poÄ?inio maloljetni prijestupnik. Situacija dovodi do toga da se od vlasti traže drastiÄ?ne mjere kao odgovor na sluÄ?ajeve maloljetniÄ?kog prijestupniÅ¡tva. Situacija može promijeniti vrstu ljudi na koje se program odnosi i vjerovatno će utjecati na rezultate. Stavovi iz istraživanja su posebno predmet utjecaja ove vrste, zato Å¡to su stavovi u velikoj mjeri formirani pod utjecajem nedavnih deÅ¡avanja i medijskom predstavljanju aktuelnih pitanja. (Office of Juvenile Justice and Delinquency Prevention 1989). Razmotrimo intervenciju kao Å¡to je uvoÄ‘enje novog sjemena ili obuku za poboljÅ¡anu obradu zemljiÅ¡ta za farmere u provinciji. Zavisna varijabla ili mjera ishoda može biti povećanje prihoda od usjeva relativna prethodnoj godini. Ali, može biti da su farmeri ostali pri starom naÄ?inu obrade zemljiÅ¡ta, a da su pro- bali sa novim sjemenom, a ipak su njihovi prihodi u prosjeku povećani. Dublje istraživanje može pokazati da se radi o godini sa izvanrednim klimatskim uvjetima 258 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije za proizvodnju usjeva. Tako da je ustvari klima, a ne intervencija uzrok rezultata. DogaÄ‘aji izvan intervencije utjecali su na rezultate. Prije i poslije dizajni Ä?esto podliježu efektu historije. Efekt sazrijevanja Efekt sazrijevanja nastaje kada su rezultati nastali kao uzrok starenja ili razvoja. â– â–  Efekt Kako ljudi stare oni tako i sazrijevaju. Kako sazrijevaju, mogu imati drugaÄ?ije sazrijevanja: miÅ¡ljenje ili drugaÄ?ije reagovati na situacije. Promjene koje prirodno nastaju Efekt starenja ili kao rezultat protoka vremena ukljuÄ?uju starenje, ljudi postaju pametniji i stiÄ?u razvoja na rezultate iskustvo. Ovaj efekat nastaje meÄ‘u pojedincima i grupama. Djeca će, na prim- jer, vjerovatnije bolje Ä?itati tokom perioda od dvije godine Ä?ak i bez dodatnog vježbanja. Organizacije se, takoÄ‘er, razvijaju i mijenjaju. Ove promjene mogu biti dio prirodnog ciklusa rasta i razvoja i nemaju niÅ¡ta sa intervencijom. Prije i poslije dizajn je Ä?esto slab zbog efekta sazrijevanja. Sazrijevanje možemo zamisliti kako nastaje u dva oblika: kratkoroÄ?no i dugoroÄ?no. KratkoroÄ?no sazrijevanje je predstavljeno radom i uÄ?enjem. DugoroÄ?no sazrijevanja se bavi psihofiziÄ?kim razvojem, kulturnim promjenama i promjenama u okolini koje mogu utjecati na psiholoÅ¡ku konstrukciju. Kada se mjerenja vrÅ¡e u razmaku od nekoliko mjeseci, dugoroÄ?no sazrijevanje je pote- ncijalno važno. Na primjer, evaluacija može istraživati efekte dvogodiÅ¡njeg programa Ä?itanja na uspjeh djece u osnovnoj Å¡koli. Nakon dvije godine kognitivne vjeÅ¡tine djece će se poboljÅ¡ati sa ili bez programa Ä?itanja. Kako evaluator može biti siguran da će povećan uspjeh u Ä?itanju odslikavati program Ä?itanja, a ne sazrijevanje uÄ?enika? Efekt ponovljenog testiranja Efekt ponovljenog testiranja (kratkoroÄ?ni) nastaje kada se ispitanicima daju isti â– â–  Efekt ponovljenog testovi prije i poslije intervencije ili viÅ¡e puta. Ispitanici mogu nauÄ?iti kako da testiranja: reaguju na pitanja, ugrožavajući tako validnost rezultata. Efekt na Razmotrimo, na primjer, intervenciju kojom se nastoje poboljÅ¡ati vjeÅ¡tine rezultate nastavnika u ruralnim Å¡kolama. Nastavnicima se da test uÄ?inka na kraju svakog uzrokovan mjeseca. Evaluiraju ih Ä?lanovi evaluacione komisije koji koriste listu provjere i izlaganjem ispitanika istom mjeseÄ?ne rezultate njihovog uÄ?inka. Nastavnici mogu poboljÅ¡ati vjeÅ¡tine prema testu viÅ¡e puta listi provjere prosto zbog ponavljanog testiranja vjeÅ¡tina. Pristrasnost pri odabiru Pristrasnost pri odabiru nastaje kada se poredi grupa ljudi koja je samoodabi- rom uÅ¡la u program sa grupom ljudi koja to nije. Dvije grupe nisu jednake, zato Å¡to će pojedinci koji su sami uÅ¡li u program vjerovatno poboljÅ¡ati svoje vjeÅ¡tine ili promjeniti stavove Ä?ak i bez intervencije za razliku od onih koji nisu oda- brali da uÄ?estvuju. Pristrasnost pri odabiru može biti prisutna i kod onih koji su Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 259 â– â–  Pristrasnost odabrali da urade istraživanje za razliku od onih koji to nisu. Pristrasnost kod pri odabiru: samoodabira je moguća u svakom programu u kom ljudi ili firme saznaju i prijave Iskrivljenost se za program. To je rizik kvazieksperimentalnog dizajna. podataka o rezultatima programske Efekt odumiranja intervencije Efekt odumiranja se odnosi na one koji otpadnu iz intervencije. Gubitak uÄ?esnika zbog sistemskih može stvoriti efekt lažnog tretmana koji izgleda kao rezultat intervencije. BaÅ¡ razlika u kao Å¡to odabir može biti izvor pristrasnosti, tako to može biti i diferentna stopa karakteristikama onih uÄ?esnika koji napuÅ¡taju intervenciju. Iako postoji veliko iskuÅ¡enje da se podgrupe populacije koja predstave rezultati samo onih koji su uspjeÅ¡no zavrÅ¡ili program, to bi rezultiralo je tretirana pristrasnošću, zato Å¡to su oni koji su ispali iz programa vjerovatno imali loÅ¡iji intervencijom i uÄ?inak od onih koji su ga zavrÅ¡ili. Iako su kompletiranje programa i prikupljanje onih u istoj toj potpunih efekata tretmana važni ulazni elementi za evaluaciju, ipak ne smiju populaciji koji zakloniti poreÄ‘enje sa uÄ?inkom grupe sa kojom se poredi. nisu tretirani Razmotrimo, na primjer, program za obrazovanja nastavnika sa 400 uÄ?esnika gdje je koriÅ¡tena stopa diplomiranja kao jedan naÄ?in da se odredi uspjeh pro- â– â–  Efekt grama. Nakon trogodiÅ¡njeg programa, 25 uÄ?esnika je umrlo od AIDS-a. Gubitak odumiranja: ovih uÄ?esnika vjeÅ¡taÄ?ki je smanjio stepen diplomiranja, stvarajući utisak da je Efekt otpadanja iz mjerenja program bio manje uspjeÅ¡an nego Å¡to je inaÄ?e mogao biti. rezultata Pogledajmo drugi primjer, koristeći isti program za obrazovanje nastavnika. intervencije Pretpostavimo da nastavniÄ?ki fakultet koji sponzoriÅ¡e program ima politiku da trudnice ne mogu pohaÄ‘ati nastavu niti prisustvovati ispitima. Trudnice tako ne bi bile ukljuÄ?ene u stopu diplomiranja. Efekt regresije ka sredini â– â–  Regresija ka Fenomen regresije pokazuje prirodnu tendenciju kod pojedinaca koji su imali sredini: Prirodna veoma visok ili veoma nizak rezultat da kada budu ponovo testirani rezultat bude tendencija kod bliži sredini. Ovaj efekt je poznat kao regresija ka sredini. Ako mjera nije pou- pojedinaca koji zdana, pojavit će se neke varijacije izmeÄ‘u ponovljenih mjera. Å anse su da će se imaju ili veoma mjerenja pomjeriti ka sredini umjesto ka ekstremima. Tako, u programu gdje se visoke ili veoma odabiru pojedinci ili grupe na osnovu njihovih ekstremnih rezultata, promjene u niske rezultate da kod uÄ?inku mogu se oÄ?ekivati poÅ¡to će se „ekstremna“ grupa kretati prema sredini, ponovnog bilo da je imala korist od programa ili ne. testiranja imaju Recimo, na primjer, da program kojim se poboljÅ¡avaju vjeÅ¡tine voÄ‘enja rezultat bliže knjiga u mikrokreditnoj intervenciji odabere uÄ?esnike na osnovu rezultata sredini testa aritmetiÄ?ke sposobnosti, gdje se oni sa najboljim rezultatima odaberu da uÄ?estvuju u programu. Ako se tim istim uÄ?esnicima da isti taj aritmetiÄ?ki test nakon intervencije, njihovi rezultati mogu biti slabiji, zato Å¡to bi se kretali bliže srednjem rezultatu. 260 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Efekt instrumentacije â– â–  Efekt Efekt instrumentacije nastaje ako se promijeni pouzdanost instrumenata. Prom- instrumenta- jene mogu reflektirati promjene u mjerenju uzroka (kao rezultat, na primjer, kali- cije: Efekt na rezultate bracijske greÅ¡ke). Na primjer, evaluacija programa kojim se pokuÅ¡ava povećati evaluacije tjelesna težina kod odraslih pružanjem nutritivnih informacija može pokazati prouzrokovan znaÄ?ajan efekt ako vage kojima se mjerila težina nisu kalibrirane ili ako postoji nedostatkom razlika kada i kako su kalibrirane. pouzdanosti instrumenata koriÅ¡tenih za Kvazieksperimentalni dizajn mjerenje istih Metode kvazieksperimentalnog dizajna se mogu koristiti da se izvede evalu- acija kada nije moguće formirati tretman ili kontrolne grupe koristeći nasumiÄ?an raspored. Kvazieksperimentalni dizajn ukljuÄ?uje dizajne gdje se koriste usporedne grupe sliÄ?nih karakteristika i dizajne gdje se koriste viÅ¡estruke mjere, ali se ne â– â–  Kvazieksper- koriste usporedne grupe. Evaluator formira grupe koje su ekvivalentne prema imentalni važnim karakteristikama (spol, prihodi, socioekonomska pozadina) koliko je god dizajn: Dizajn to moguće. UÄ?inak ovih ekvivalentnih grupa, koje se ponekad zovu usporedne gdje se grupe sliÄ?nih grupe, se zatim poredi (Tekstualni okvir 7.2). Ponekad evaluator može formirati karakteristtika usporedne grupe uklapanjem kljuÄ?nih karakteristika. Drugi put, evaluator će naći porede ili se usporednu grupu koja nije istovjetna kao grupa nad kojom je provedena interve- tokom vremena ncija nego samo dovoljno sliÄ?na da osigura neÅ¡to poreÄ‘enja. uzimaju Odabir kvazieksperimentalnog dizajna ex ante nije neophodan, ali je poželjan. viÅ¡estruke Rezultat obiÄ?no bude jaÄ?i dizajn ako se usporedne grupe mogu identificirati mjere iste grupe nego da se samo oslanja na viÅ¡estruke mjere iste grupe tokom vremena. Idealno, bazni podaci o usporednoj grupi prikupljeni su u isto vrijeme kada su prikupljeni i za grupu koja podliježe intervenciji, a prije programa intervencije. U ex post kvazieksperimentalnom dizajnu usporedna grupa se identificira nakon poÄ?etka programa, pa Ä?ak i nakon njegovog zavrÅ¡etka. Ovo je oÄ?igledno izazovnija situ- acija za evaluatora. Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 261 Tekstualni okvir 7.2 Funkcioniraju li Å¡kole kojima upravlja zajednica? Evaluacija EDUCO programa u El Salvadoru. Program Å¡kola u Salvadoru kojima upravljaju zajednice(EDUCO) a koji ima cilj brzo proÅ¡iriti obrazovanje u ruralnim podruÄ?jima nakon graÄ‘anskog rata. Evaluacijom programa nastojali su se izmjeriti efekti prebacivanja odgovor- nosti za obrazovanje na zajednice. Pitanje je bilo da li se brza ekspanzija obrazovanja u ruralna podruÄ?ja desi- la na uÅ¡trb uÄ?enja. Evaluacija je poredila mjere ishoda (rezultati zasnovani na standardizovanim testovima iz matematike i jezika) uÄ?enika trećeg razreda u EDUCO i tradicionalnim Å¡kolama, kontroliÅ¡ući karakteristike uÄ?enika i pri- strasnost pri odabiru koristeći statistiÄ?ku kontrolu. Zato Å¡to bi rezultati testa mogli ne reagovati u kratkom periodu, evaluatori su takoÄ‘er posmatrali dane u kojima nije bilo nastave zbog odsustva nastavnika. Na razlike u ishodima obrazovanja može utjecati viÅ¡e faktora. Evaluatori su trebali odrediti da li razlike u rezultatima testova reflektiraju razlike u vrsti Å¡kola ili drugi faktori, kao Å¡to su karakteristike domaćinstva (obrazovanja, veliÄ?ina porodice, prihodi); karakteristike uÄ?enika (spol, starost, broj braće i sestara); karakteristike Å¡kole (upis, kvalitet nastavnika, Å¡kolske prostorije i finansije); te karakteristike nastavnika (obrazovanje, godine iskustva). Evaluatori su koristili podatke prikupljene u istraživanju koje je provelo Ministarstvo obrazovanja pri izradi modela koji bi mjerio neovisan utjecaj vrste Å¡kola dok se kontroliraju drugi faktori. Koristeći kompleksno statistiÄ?ko modeliranje kojim su se kontrolirali svi gore nabrojani faktori, evaluatori su donijeli zakljuÄ?ak da su rezultati koje su ostvarila djeca u EDUCO Å¡kolama otprilike isti kao i oni u tradicionalnim Å¡kolama. Brza ekspanzija obrazovanja nije imala negativan utjecaj na uÄ?enje. Drugim rijeÄ?ima, Å¡kole kojima upravlja zajednica su isto tako efektivne kao i redovne Å¡kole. Oznaka za kvazieksperimentalni dizajn je ista kao i za eksperimentalni. Raz- lika je u tome da postoji neekvivalentan odabir u grupe kod kvazieksperime- ntalnog dizajna. U nekim sluÄ?ajevima, na poÄ?etku reda za neekvivalentne grupe je N kao Å¡to i stoji. Tako bi osnovni kvazieksperimentalni dizajn u kom postoje tretman i usporedna grupa bio napisan kako slijedi: N O1 X O2 N O1 O2 262 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Da bi se odredilo je li intervencija naÄ?inila razliku, evaluacija treba pokazati da je uÄ?inak prema kljuÄ?nim mjerama ili indikatorima promijenjen kao rezultat intervencije. Postoje mnogi kvazieksperimentalni dizajni; jedni jaÄ?i od drugih. Osam kvazieksperimentalnih evaluacionih dizajna je razmotreno ispod: • prije i poslije dizajn bez usporedne grupe; • prije i poslije neekvivalentni usporedni dizajn; • samo poslije neekvivalentni usporedni dizajn; • usporedni dizajn sa prekinutom vremenskom serijom; • longitudinalni dizajn; • panel dizajn; • korelacioni dizajn koristeći statistiÄ?ke metode i • sklonost podudaranja rezultata. Prije i poslije dizajn bez usporedne grupe Prije i poslije dizajn je jedan naÄ?in mjerenja promjene. Izvodi se poreÄ‘enjem kljuÄ?nih mjera nakon Å¡to je intervencija poÄ?ela sa mjerama uzetim prije nego Å¡to â– â–  Prije i poslije je intervencija poÄ?ela. Predtestovi i posttestovi su uobiÄ?ajeni prije i poslije mjera dizajn: Dizajn („prije mjeraâ€? se Ä?esto zove bazna linija). Prikupljanje podataka bazne linije se gdje se mjere uzete nakon Å¡to ponekad zove studija bazne linije. je intervencija Jednostavan prije i poslije dizajn je slabi kvazieksperimentalni dizajn po tome poÄ?ela porede Å¡to je to dizajn sa samo jednom prije i poslije mjerom koja nije dovoljna da sama sa onim po sebi pokaže je li samo intervencija uzrokovala promjenu. Može biti da su ljudi mjerama uzetim promijenili ponaÅ¡anje zato Å¡to se posmatraju ili zato Å¡to se desilo neÅ¡to drugo u prije nego je intervencija isto vrijeme kad i intervencija i Å¡to je bilo stvarni uzrok uoÄ?ene promjene. poÄ?ela Gdje se uoÄ?i mala promjena u mjerenom uÄ?inku, evaluatori trebaju biti oprezni pri donoÅ¡enju zakljuÄ?ka da evaluacija nije uspjela. Razmotrimo, na pri- mjer, intervenciju za smanjenje siromaÅ¡tva. Ciljano podruÄ?je je tako siromaÅ¡no da je svako pogodan za intervenciju tako da ne postoji usporedna grupa. Za 10 godina proporcija siromaÅ¡nih ljudi nije promijenjena. Evaluator ne može zakljuÄ?iti da intervencija za smanjenje siromaÅ¡tva nije uspjela zato Å¡to je moguće da bi i bez intervencije (ovo je je pitanje ponovo uokvireno kao da pitamo o kontraÄ?injenicama) veća proporcija ljudi bila siromaÅ¡na. ObiÄ?no se ne smatra da prije i poslije mjere doprinose vjerodostojnim odgovo- rima na pitanja zato Å¡to ne kontroliraju druge faktore koji utjeÄ?u na ishod; porede se samo uvjeti prije i poslije. Ne postoji poreÄ‘enje sa intervencijom i bez intervencije. Ovaj element dizajna stoga treba koristiti samo sa drugim dizajn elementima. Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 263 Oznaka za prije i poslije dizajn se piÅ¡e kako slijedi: O1 X O2 Prije i poslije neekvivalentni usporedni dizajn Iako se uÄ?esnici u kvazieksperimentalnom dizajnu ne rasporeÄ‘uju nasumiÄ?no u grupe, usporedna grupa se ipak može koristiti. Takve usporedne grupe onda možemo nazvati neekvivalentne grupe. Grupe se joÅ¡ uvijek mogu porediti, ali evaluatori trebaju pažljivo razmotriti prijetnje internoj validnosti o kojoj je već bilo rijeÄ?i. Da bi se grupe uÄ?inile viÅ¡e ekvivalentnim, evaluatori pokuÅ¡avaju spariti grupe Å¡to je viÅ¡e moguće. Uparivanje se može uraditi, na primjer, prema demografs- kim karakteristikama, testovima vjeÅ¡tina, testovima uÄ?inka, prosudbom rezultata i drugim sredstvima. Evaluatori svim uÄ?esnicima mogu dati predtest a zatim oda- brati grupe koristeći rezultate testa. U intervenciji za povećanje svijesti o pitanju spolova, na primjer, proveo bi se predtest o konceptima i principima svijesti o spolovima. Rezultati se rangiraju od većih ka slabijim. Od dva najbolja rezultata jedan se dodjeljuje jednoj grupi a drugi drugoj. Ova se procedura zatim koristi dok se svi uÄ?enici ne rasporede u jednu od dvije grupe, od kojih jedna prolazi kroz dodatnu obuku. Kasnije se grupe ponovo testiraju da se vidi ima li grupa koja je imala dodatnu obuku, razliÄ?ite rezultate od grupe koja nije imala obuku. Oznaka za spareno, neekvivalentno poreÄ‘enje se piÅ¡e kako slijedi: N O1 X O1 N O2 O2 Samo postneekvivalentni usporedni dizajn (dizajn koji se provodi samo poslije intervencije) Samo postneekvivalentni usporedni dizajn je slabiji dizajn nego prije i poslije neekvivalentni dizajn. Kao i kod prije neekvivalentnog i postneekvivalentnog dizajna postoji usporedna grupa. Pa tako postoje i postinterventni podaci. Iako je i to bolje nego ne imati usporednu grupu, glavni problem je da tretman ili interventna grupa i usporedna grupa nisu poÄ?ele na istom mjestu. Tako, dok znamo gdje su dvije grupe zavrÅ¡ile, ne znamo gdje su poÄ?ele. Razlike izmeÄ‘u interventne grupe i usporedne grupe mogu refle- ktirati razlike u tome gdje su poÄ?ele prije nego to mogu efekti intervencije. Ipak ovo je možda najbolji dizajn koji ex post situacije dozvoljavaju. N O1 X O2 N O2 264 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Usporedni dizajn sa prekinutom vremenskom serijom Usporedni dizajn sa prekidanjem vremenskih serija mjeri uÄ?inak jedne grupe viÅ¡e puta prije intervencije, tokom intervencije i zatim mjeri uÄ?inak iste grupe viÅ¡e puta nakon intervencije. Oznaka za dizajn prekinutih vremenskih serija unutar grupe bi izgledala kako slijedi: O1 02 03 X O4 O5 O6 Upotreba termina prekinuta dolazi iz Ä?injenice da dok postoji stalno mjerenje jednog ili viÅ¡e indikatora tokom vremena, mjerenje se prekida uvoÄ‘enjem inte- rvencije. ViÅ¡estruka mjerenja prije i poslije intervencije su ono Å¡to razlikuje ovaj dizajn od klasiÄ?nog prije i poslije dizajna. TakoÄ‘er, može se koristiti sa jednom ili viÅ¡e usporednih grupa. Longitudinalni dizajn â– â–  Longitudi- nalni dizajn: U longitudinalnom dizajnu, u formi vremenskih serija, uÄ?esnici se procjenjuju Dizajn gdje se na nekoliko taÄ?aka tokom dugog vremenskog perioda. Svrha ovog dizajna je pojedinci prate vidjeti kako se stvari mijenjanju tokom vremena. Polje zdravstvene zaÅ¡tite, na na nekoliko primjer, može biti zainteresirano za istraživanje dugoroÄ?nih zdravstvenih pro- taÄ?aka tokom blema za djecu Ä?ije su majke imale HIV/AIDS a koje su primile lijek za preven- dugog vremenskog ciju prenoÅ¡enja virusa. Longitudinalna studija bi pratila djecu tokom vremena. perioda Rezultati bi bili ispitani da se odredi da li postoje neke sliÄ?nosti sa zdravstvenim problemima meÄ‘u ovom djecom. Longitudinalne studije mogu pružiti vrijedne informacije koje ne bi bilo moguće pronaći koriÅ¡tenjem drugih vrsta dizajna. Skupi su i veoma teÅ¡ki za provoÄ‘enje, a takoÄ‘er i pate od problema atricije (poÅ¡to uÄ?esnici umiru ili izgube kontakt sa evaluatorima). Oznaka za longitudinalni dizajn se piÅ¡e kako slijedi: X O1 O2 O3 . . . â– â–  Panel dizajn: Dizajn gdje se Panel dizajn panel prati po Jedan oblik longitudinalnog dizajna je panel dizajn. Umjesto praćenja pojedi- nekoliko taÄ?aka naca, kao u longitudinalnoj studiji, panel dizajn prati isti uzorak uÄ?esnika tokom tokom dugog vremenskog vremena. Na primjer, program može istraživati promjenjive stavove i obrasce perioda ponaÅ¡anja o spolovima tokom vremena meÄ‘u uÄ?enicima odreÄ‘ene Å¡kole. Panel dizajn bi prikupio informacije o stavovima o spolovima svakog Ä?lana jednog raz- reda od 1 do 6 razreda. Oznaka za panel dizajn se piÅ¡e kako slijedi: XO1 02 03 O4 O5 O6 Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 265 Korelacijski dizajn uz upotrebu statistiÄ?ke kontrole EtiÄ?ki i praktiÄ?ni problemi ponekad Ä?ine nemogućim upotrebu eksperimentalnog â– â–  Korelacioni dizajna za evaluaciju. Na najjednostavnijem nivou, korelacijski dizajn traga za dizajn: odnosima izmeÄ‘u dvije ili viÅ¡e varijabli koje ne mogu biti manipulirane i sma- Istražuje odnose izmeÄ‘u dvije ili tra se neeksperimentalnim dizajnom. To je taj jednostavni korelacijski dizajn za viÅ¡e varijabli kojeg se Ä?esto veže fraza „korelacija nije isto Å¡to i uzroÄ?nost“. Ali, važno je imati kojima se ne na umu da dvije varijable moraju biti vezane da bi postojao uzrok i posljedica. može manipuli- Danas se Ä?esto koriste sofisticirane analitiÄ?ke tehnike za formiranje uspored- rati nih grupa statistiÄ?ki tako da ih je moguće porediti. Johnson (2002) ukazuje da se takve usporedne grupe koriste kod odgovora na pitanja o odnosima, poveza- nosti ili uzrocima i posljedicama. Koordinacija longitudinalnog dizajna sa dije- lom korelacijskih metoda je napredan naÄ?in da se poÄ?ne sa odvajanjem uzroÄ?nih zakljuÄ?aka. Na primjer, korelacija se može istražiti izmeÄ‘u koliÄ?ine uraÄ‘ene zadaće i uÄ?inka na testu, ako su svi Ä?lanovi populacije od interesa imali istu motivaciju. Zadatak je povezati dio kompletiranja zadaće koji nije povezan sa motivacijom sa dijelom rezultata testa takoÄ‘er nepovezanih sa motivacijom. Ako se može povezati ili predvidjeti zavisna varijable sa tri nezavisne varijable, tada je održana uzroÄ?na veza (Garbin 2009; psych.unl.edu/psycrs/942/q2/control.ppt). Razmotrimo, na primjer, evaluaciju koja nastoji pronaći je li procenat žena u politici povezan sa poÅ¡tenijom vladom. Podaci o proporciji žena u politici u razliÄ?itim dijelovima zemlje i koliÄ?ina prijavljene korupcije se mogu prikupiti da se odredi jesu li dvije varijable u korelaciji. Naravno, dokaz o korelaciji sam po sebi ne može uspostaviti uzroÄ?nost, Ä?ak iako su vlade sa viÅ¡e žena povezane sa manje korupcije, joÅ¡ uvijek bi bilo neophodno eliminirati sva ostala vjerovatna objaÅ¡njenja za taj odnos. Zato Å¡to se korelacijski dizajn može postaviti na razliÄ?ite naÄ?ine, njegova oznaka se može pojaviti u nekoliko oblika. Prva oznaka (a) ispod pokazuje dizajn sa tri grupe i jednom opservacijom. Druga oznaka (b) pokazuje dvije grupe, jednu koja je tretirana. Treća oznaka (c) pokazuje tri razliÄ?ita tretmana (X, Y, i Z), a poslije svakog slijed opservacija. (a) O1 (b) O1 (c) X O1 O2 X O2 Y O2 O3 Z O3 266 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije â– â–  Sklonost podudaranja rezultata: Dizajn koji se koristi za Sklonost podudaranja rezultata mjerenje efekata intervencije na Sklonost podudaranja rezultata se koristi za mjerenje efekata programa na uÄ?esnike u uÄ?esnike programa u odnosu na neuÄ?esnike sa sliÄ?nim karakteristikama (White odnosu na i Masset 2005). Da bi koristio ovu tehniku evaluator prvo mora prikupiti bazne neuÄ?esnike podatke. Zatim mora identificirati uoÄ?ljive karakteristike koje bi vjerovatno bile predviÄ‘ajući vjerovatnost vezane za evaluaciona pitanja (na primjer, „Da li djevojÄ?ice koje žive bliže Å¡koli pripadnosti grupi u većem stepenu zavrÅ¡avaju Å¡kolu, nego one koje pjeÅ¡aÄ?e viÅ¡e od pet kilometara Npr. tretman do Å¡kole?“). UoÄ?ljive karakteristike mogu ukljuÄ?ivati spol, starost, braÄ?no stanje, nasuprot kontrolna grupa udaljenost od kuće do Å¡kole, uvjete smjeÅ¡taja, broj braće i sestara koji zavrÅ¡avaju – zasnovano na srednju Å¡kolu i redoslijed raÄ‘anja. Kada se varijable odaberu, tretman grupa i uoÄ?enim usporedna grupa se mogu formirati sparivanjem svake osobe u tretman grupi prediktorima, obiÄ?no dobivenim sa osobom u usporednoj grupi koja joj je najviÅ¡e sliÄ?na koristeći identificirane iz logistiÄ?ke uoÄ?ljive karakteristike. Rezultat su parovi pojedinaca ili domaćinstava koji su regresije za sliÄ?ni jedan drugom koliko je moguće, izuzev po varijabli tretmana. (White 2007). kreiranje Dostupni su softverski alati koji će pomoći implementiranje sklonosti poduda- protuÄ?injeniÄ?ne grupe TakoÄ‘er se ranja rezultata. Stata je alat koji se najviÅ¡e koristi (Aliendo i Kopeinig 2005). koristi za podudaranje ili Neeksperimentalni dizajn kao kovarijate - same ili sa Jednostavni dizajn popreÄ?nog presjeka drugim odgovarajućim Jednostavni dizajn popreÄ?nog presjeka pokazuje snimak situacije u jednoj vre- varijablama ili menskoj taÄ?ki. Ova vrsta dizajna se Ä?esto koristi sa istraživanjem. Evaluatori su kovarijatama zainteresirani za reakciju podgrupe unutar cjelokupnog uzorka. Podgrupa može â– â–  Neeksperimen- biti zasnovana na karakteristikama podgrupe kao Å¡to su starost, spol, primanja, talni dizajn: Vrsta evalu- obrazovanje, etniÄ?ka pripadnost ili koliÄ?ina primijenjene intervencije. Svrha ovog acionog dizajna dizajna je sistematiÄ?no razgraditi podgrupu unutar uzorka tako da je evaluatori gdje se ne mogu detaljno istražiti. nastoji formirati interventna i Istraživanje popreÄ?nim presjekom odabire uzorak graÄ‘ana, korisnika inte- neinterventna rvencije ili bivÅ¡ih uÄ?esnika intervencije u jednoj taÄ?ki u vremenu. Zatim od grupa a naglasak njih prikuplja podatke i pravi izvjeÅ¡taj o tome (Tekstualni okvir 7.3). Ponekad je na opisu pitanje može biti da se odredi trenutni status ljudi koji su uÄ?estvovali u inter- â– â–  Jednostavni dizajn venciji prije nekoliko godina. popreÄ?nog Jednostavni dizajn popreÄ?nog presjeka može odgovoriti na pitanja kao Å¡to presjeka: Dizajn su sljedeća: koji omogućava sliku ili snimak, • Imaju li uÄ?esnici razliÄ?itog nivoa obrazovanja razliÄ?ite poglede na vrijednost fiksiran u obuke? vremenu i u • Jesu li žene i muÅ¡karci dobili razliÄ?ite usluge obuke? jednoj vremen- skoj taÄ?ki, Na primjer, evaluaciono pitanje se može fokusirati na to jesu li podgrupe karakteristika podskupa graÄ‘ana ili korisnika intervencije zadovoljne uslugama koje su dobili ili zbog populacije; Ä?ega ne koriste usluge. Evaluatori bi koristili ovaj dizajn da saznaju kako ponekad se naziva i dizajn „jednog snimka“ Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 267 Tekstualni okvir 7.3 Upotreba dizajna popreÄ?nog presjeka da se odgovori na opisna pitanja U evaluaciji programa dizajniranog da se ekonomski osnaže žene pokreta- njem vlastitih malih preduzeća, evaluatori su htjeli vidjeti Å¡ta žene koje su proÅ¡le kroz program o njemu misle. Njihova stajaliÅ¡ta mogu osvijetliti ono Å¡to su nauÄ?ile u ekonomskom programu osnaživanja koji im je pomogao da pokrenu održivo poslovanje, koja je vrsta posla u koju su uÅ¡le i je li ono Å¡to su nauÄ?ile u programu bilo od koristi za poslovanje. Uz ograniÄ?ene resurse, evaluatori su odluÄ?ili provesti kratko istraživanje meÄ‘u onima koji su neda- vno zavrÅ¡ili program. Instrument istraživanja sadržavao je pitanja o demo- grafskim karakteristikama uÄ?esnika, tako da se odgovori mogu porediti sa nivoom obrazovanja, dobi i etniÄ?ke pripadnosti. izgledaju grupe kada se porede po varijablama kao Å¡to su dobivene usluge, upotreba usluga, ili miÅ¡ljenje o uslugama u jednoj taÄ?ki u vremenu. Oznaka za dizajn popreÄ?nog presjeka se piÅ¡e kako slijedi: X O1 O2 O3 “ â– â–  Dizajn Dizajn jednog snimka jednog Dizajn jednog snimka posmatra grupu nad kojom se vrÅ¡i intervencija u jednoj snimka: Dizajn koji posmatra taÄ?ki u vremenu a nakon intervencije. Dizajn jednog snimka možemo zami- grupu nad sliti kao fotografiju koja na sebi ima datum. Ovaj dizajn se može koristiti da kojom se vrÅ¡i se odgovori na pitanja kao Å¡to su „koliko žena je proÅ¡lo obuku?“ ili „koliko je intervencija u uÄ?esnika imalo savjetovanje o poslu tokom odreÄ‘enog perioda?“ jednoj taÄ?ki u Evaluatori mogu koristiti dizajn jednog snimka (a) da uÄ?esnicima programa vremenu a postave pitanje o tome koliko im se sviÄ‘a program ili (b) da otkriju kako su saznali nakon interve- ncije za usluge koje se nude. Oznaka za dizajn jednog snimka se piÅ¡e kako slijedi: X O1 268 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Strategije praćenja uzroka Mnoge od strategija za odreÄ‘ivanje jesu li uoÄ?ene promjene uzrokovane interve- ncijom zahtijevaju strukturiranu i kvantitativnu strategiju prikupljanja podataka. Za evaluatora koji provodi brzu procjenu ili evaluira veoma malu ili novu inte- rvenciju, takve strategije nisu ni praktiÄ?ne ni preporuÄ?ljiv. Iako je najbolje oda- brati jak evaluacioni dizajn kad god je to moguće, u situacijama kao Å¡to su ove ovdje opisane, slabiji dizajn koji koristi strategije praćenja uzroka može biti jedina opcija. Koje opcije su dostupne kada je veliÄ?ina uzorka mala i kada su strategije â– â–  Strategije prikupljanja podataka uveliko otvorene ili sofisticirane statistiÄ?ke analize nisu praćenja izvedive? Jedan ili viÅ¡e od osam logiÄ?kih argumenata se može postaviti da se uzroka: Vrsta neeksperimen- eliminiraju suparniÄ?ke hipoteze. Argumenti imaju veze sa predstavljanjem logike talnog dizajna oko uzroÄ?nosti i zovu se strategije za praćenje uzroka. koja se sastoji od argumenata 1. Lista uzroÄ?nih zakljuÄ?aka: Znamo da je odreÄ‘eni ishod gotovo uvijek uzro- za uzroÄ?ne kovan sa A, B, C, ili D. U jednoj prilici, B, C, i D se nisu pojavili, tako da odnose možemo biti gotovo sigurni da je uzrok bio A. Ako ne možemo primijeniti zasnovane na nasumiÄ?nost možemo izvesti zakljuÄ?ke iz studija koje to jesu uradile. modelima teorije U primjeru iz Tekstualnog okvira 7.1, seljani znaju da su slonovi pobjegli kad promjene i su seljani zviždali (A), udarali u posuÄ‘e (B), vikali (C), i dizali praÅ¡inu (D). logiÄ?ke Ako su seljani radili samo A i uspjeÅ¡no otjerali slonove, mogu biti gotovo sigu- eliminacije alternativnih ili rni da zviždanje tjera slonove. suparniÄ?kih 2. Modus operandi zakljuÄ?ak: Ova tehnika je korisna ako se desi viÅ¡e od jednog objaÅ¡njenja uzroka. Recimo da znamo da je ishod gotovo uvijek uzrokovan sa A, B, C, ili D, a da se ovom prilikom C i D nisu pojavili, uzrok se svodi na A ili B. Pored toga, samo karakteristiÄ?ni uzroÄ?ni lanac/modus operandi/nagovjeÅ¡tajni obrazac dogaÄ‘aja za A je bio prisutan. Ovaj zakljuÄ?ak je pojaÄ?an ako je modus operandi za A veoma razliÄ?it od onog za B. Ako su seljani saznali iz drugog sela da slonovi nisu pobjegli kada su seljani tamo dizali praÅ¡inu, mogu biti gotovo sigurni da je uzrok odlaska slonova bilo zviždanje. Ovaj rezultat je ojaÄ?an Ä?injenicom da je zviždanje veoma razliÄ?ito od dizanja praÅ¡ine. 3. Vremensko prvenstvo: UoÄ?eni efekt se desio samo nakon Å¡to je intervencija poÄ?ela, a ne prije. Ako su slonovi doÅ¡li, tada su seljani poÄ?eli zviždati, a zatim su slonovi napustili selo, seljani mogu vjerovati da može postojati osnova. Ako su selja- ni zviždali prije nego su slonovi doÅ¡li, a slonovi su opet doÅ¡li u selo, u tom sluÄ?aju zviždanje vjerovatno nije uzrok odlaska slonova. Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 269 4. Stalna sprega: Efekt je uoÄ?en svugdje gdje je intervencija implementirana, Recimo da su se seljani sreli sa ostalim seljanima iz Ä?itavog regiona i razmije- nili hipotezu da zviždanje uzrokuje da slonovi odu. Ostali seljani probaju ovu tehniku i otkriju da slonovi zaista odu. Tada možemo biti gotovo sigurni da je zviždanje uzrokovalo odlazak slonova iz sela. 5. Snaga povezivanja: UoÄ?ena promjena je bila puno jaÄ?a ondje gdje je pro- gram implementiran nego tamo gdje su postojali drugi mogući uzroci. Ako se u selima u regionu koriste mnoge razliÄ?ite tehnike za tjeranje slonova iz sela, a sela koja koriste zviždanje su najuspjeÅ¡nija u tome, tada možemo povezati odlazak slonova sa zviždanjem. 6. BioloÅ¡ki gradijent: Å to je viÅ¡e tretmana to su veće uoÄ?ene promjene Recimo da su seljani koristili viÅ¡e od jedne tehnike za tjeranje slonova iz sela. Kada ih je viÅ¡e zviždalo veoma buÄ?no, slonovi su odlazili. Kada su zviždali pojedinaÄ?no, slonovi nisu odlazili. Tada možemo povezati odlazak slonova sa jakim zviždanjem. 7. Koherentnost: odnos izmeÄ‘u intervencije i uoÄ?ene promjene se logiÄ?ki uklapa sa drugim stvarima koje znamo o intervenciji i ishodu. Opasne životinje kao Å¡to su nilski konji, krokodili i hijene odlaze iz sela kada seljani zvižde. Tada možemo logiÄ?ki zakljuÄ?iti da zviždanje tjera opasne životinje iz sela te se strategija može primijeniti i na slonove. 8. Analogija: Obrazac izmeÄ‘u intervencije i uoÄ?enih promjena liÄ?i dobro uspostavljenom obrascu izmeÄ‘u srodne intervencije i njenih efekata. Seljani su Ä?uli priÄ?u o selu u Južnoj Americi gdje su koristili zvuk zviždaljki visokog tona kada god su Ä?uli da se puma nalazi u blizini. JužnoameriÄ?ki selja- ni vjeruju da buka drži pumu podalje od sela. AfriÄ?ki seljani mogu povući analogiju sa njihovim problemom i mogu zakljuÄ?iti da buÄ?ni, oÅ¡tri zvukovi mogu otjerati slonove. U svakom od ovih sluÄ?ajeva, princip je isti: istraživaÄ? sistemski eliminira alternativna objaÅ¡njenja, jedno po jedno, sve dok se ne uvjeri da je najviÅ¡e vje- rovatno da su uoÄ?ene promjene uzrokovane ili nisu (primarno ili barem u bitnoj mjeri) intervencijom. Kada izraÄ‘uju strategiju prikupljanja podataka, evaluatori trebaju odrediti koji od gore navedenih dokaza su izvodivi i neopohodno ih je prikupiti a zatim planirati kako ih dobiti. Nisu svi potrebni da bi bilo moguće napraviti uzroÄ?nu pripadnost; evaluatori prikupljaju ono Å¡to ima najviÅ¡e smisla i Å¡to će zatim dati dovoljno sigurnosti u vezi nalaza, a gdje će odluke biti zasnovane na evaluaciji. 270 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ali, kada ustanovimo da je viÅ¡e od jedne od ovih strategija praćenja uzroka prisutno, to može osnažiti osnovu za donoÅ¡enje zakljuÄ?aka o uzroÄ?nosti. Dizajn studije sluÄ?aja Studija sluÄ?aja je neeksperimentalni dizajn. Ne koristi nasumiÄ?ni odabir niti â– â–  Studija kontrolne i usporedne grupe. Dizajn studije sluÄ?aja se Ä?esto koristi kada evaluator sluÄ?aja: Neeksperimen- želi imati detaljno razumijevanje procesa, dogaÄ‘aja ili situacije te objasniti zaÅ¡to talni dizajn koji su rezultati nastali. Korisno je kada se pitanje bavi time kako neÅ¡to radi ili zaÅ¡to omogućava se neÅ¡to deÅ¡ava. Posebno je korisno kada je intervencija inovativna ili eksperime- sveobuhvatan ntalna ili nije dobro shvaćena. Studije sluÄ?aja stvari naglaÅ¡avaju viÅ¡e nego opis, opis i razumi- takoÄ‘er, ukljuÄ?uju interpretaciju situacija onih koji imaju najviÅ¡e znanja o njima. jevanje intervencije u Studije sluÄ?aja se Ä?esto koriste pri evaluaciji razvojnih evaluacija. Dizajn cjelini i njenog studije sluÄ?aja je posebno koristan za opisivanje kako je implementacija inte- konteksta rvencije izgledala na terenu i zaÅ¡to su se stvari odvijale onako kako jesu. Opisna studija sluÄ?aja se može koristiti za ispitivanja ekstrema programa ili tipiÄ?ne intervencije. Za prikupljanje podataka studije sluÄ?aja mogu koristiti kvalitativne metode, kvantitativne metode ili obje metode. Mogu se sastojati od jednog sluÄ?aja ili viÅ¡e sluÄ?ajeva. Njihova namjera i cilj je fokusirati se na detaljno razumijevanje efekata intervencije na organizacije, zajednice, programe, gradove ili države. Da bi evaluirali javni prijevoz u državi, na primjer, možemo jednostavno pratiti indikatore prema baznim podacima i ciljevima. Državna studija se može provesti ako se kao indikatori postave: broj kilometara koji je preÅ¡ao javni saobraćaj, broj ljudi koji koriste sistem i dobijeni prihod. MeÄ‘utim, ako su druge vrste pitanja bile relevantne da se dobije detaljnije prikupljanje podataka, opcija bi bila studija sluÄ?aja. Na primjer, ako se od njeg traži da evaluira program za poboljÅ¡anje transpo- rta u ruralnim podruÄ?jima, evaluator može istraživati izbor ljudi o koriÅ¡tenju javnog transporta. Dizajn može odrediti da se podaci prikupljaju direktno od ljudi u ruralnim podruÄ?jima. ViÅ¡e resursa bi trebalo da se ti podaci prikupe na nivou države. LakÅ¡e ih je prikupiti na uže definiranom geografskom podruÄ?ju (jedan sluÄ?aj). Alternativno, evaluatori mogu odabrati studiju viÅ¡e sluÄ?ajeva, gdje se odabire viÅ¡e ruralnih podruÄ?ja. SluÄ?ajevi mogu biti nasumiÄ?no odabrani ili namjerno odabrani na osnovu nekih odreÄ‘enih kriterija (najbolji sluÄ?aj, tipiÄ?ni sluÄ?aj, najgori sluÄ?aj, ukljuÄ?ujući samo izolirana ruralna podruÄ?ja, takoÄ‘er, ukljuÄ?ujući ruralna podruÄ?ja u blizini velikih gradova). Iste strategije prikupljanja podataka koriÅ¡tene u studiji jednog sluÄ?aja se mogu koristiti u studiji viÅ¡e sluÄ?ajeva. Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 271 Studije sluÄ?aja imaju smisla u razvoju gdje je namjera razumjeti odreÄ‘ene situ- acije kako bi se kreirala ili prilagodila politika ili praksa. Ne samo da su studije sluÄ?aja praktiÄ?nije nego li velike državne studije, nego omogućavaju detaljne informacije koje su Ä?esto od pomoći onima koji donose odluke (Tekstualni okvir 7.4). Komparativna studija sluÄ?aja upotrebe klinika za besplatnu imunizaciju, na primjer, može pomoći da se objasni zaÅ¡to je jedan pristup uspjeÅ¡niji od drugog. Oznaka za dizajn studije sluÄ?aja se piÅ¡e kako slijedi: O1 O2 O3 Dizajni za opisna pitanja Opisna pitanja ukljuÄ?uju pitanja kao Å¡to su „koliko?“ ili „koliko mnogo?“ Mogu tražiti percepcije ili miÅ¡ljenja. Opisna pitanja obiÄ?no koriste opisni ili neeksperi- mentalni dizajn. Kada se koriste da odgovore na opisna pitanja, ovi dizajni ne ukljuÄ?uju usporednu grupu koja nije obuhvaćena intervencijom. Fokusiraju se Tekstualni okvir 7.4 Primjer dizajna studije sluÄ?aja za opisna pitanja Studija koja istražuje mikrokreditni progam u Indiji koji nastoji istražiti naÄ?ine da žene koje su u njeg ukljuÄ?ene konceptualiziraju i pokrenu njihove marketinÅ¡ke ideje. Metod studije sluÄ?aja bira pet žena i njihove projekte te prati njihov napredak tri godine. samo na one koji su obuhvaćeni intervencijom. Neki od dizajna koji se koriste za opisna pitanja su isti oni koriÅ¡teni za uzroÄ?no-posljediÄ?na pitanja. Da bi odgovorili na opisna pitanja, dizajni uglavnom ukljuÄ?uju sljedeće: • jednostavni popreÄ?ni presjek; • jedan snimak; • prije i poslije; • prekinute vremenske serije; 272 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • longitudinalne i • studije sluÄ?aja. Ovdje razmatramo kako neki od ovih dizajna rade sa opisnim pitanjima. Prije i poslije dizajn Dizajn prije i poslije obraÄ‘en je u prethodnom dijelu gdje se govorilo o uzroÄ?no- posljediÄ?nim pitanjima. Ovaj dizajn se takoÄ‘er može koristiti da se odgovori na opisna pitanja. U prije i poslije dizajnu, koji se Ä?esto naziva prije dizajn i postdizajn, evaluatori pitaju o karakteristikama grupe prije i poslije intervencije, ne postoji usporedna grupa (okvir 7.5). Na primjer, možemo upitati je li program povećao znanje uÄ?esnika o roditeljskim tehnikama a zatim ih testirati pri ulasku u program i nakon zavrÅ¡etka programa. Oznaka za prije i poslije dizajn se piÅ¡e kako slijedi: O1 X O2 Tekstualni okvir 7.5 Upotreba prije i poslije dizajna da se odgovori na opisna pitanja Prije i poslije dizajn može posmatrati plate uzorka uÄ?esnika vokacijskog pro- grama obuke prije intervencije i dvije godine nakon programa da bi se obra- dila pitanja koliko su u prosjeku povećane plate. Ovaj dizajn je lahko transfo- rmirati u prije i poslije dizajn popreÄ?nog presjeka tako Å¡to se postavljaju pitanja podgrupama ljudi razliÄ?itih zanimanja kako bi se prouÄ?io odnos povećanja plata u razliÄ?itim vrstama zanimanja. Tekstualni okvir 7.6 Primjer dizajna prekinutih vremenskih serija za opisna pitanja Stepen smrtnosti djece se može istraživati tokom vremena intervencije, prije intervencije i poslije intervencije kojom se omogućavaju dodaci ishrani majkama. Alternativno se promjene u stavovima uÄ?esnika tokom vremena prema ženama poduzetnicama mogu istraživati prije i poslije poÄ?etka kredi- tnog programa za mikropreduzeća. Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 273 Dizajn prekinutih vremenskih serija Dizajn prekinutih vremenskih serija smo spomenuli ranije kod dizajna za uzroÄ?no-posljediÄ?na pitanja. Dizajn prekinutih vremenskih serija se takoÄ‘er može koristiti da se odgovori na opisna pitanja (okvir 7.6). Dizajn prekinutih vremenskih serija posmatra promjene tokom vremena, obiÄ?no da bi se identifici- rali trendovi. Kada se koristi da odgovori na opisna pitanja, svrha mu je istražiti i opisati promjene nastale tokom vremena intervencije, prije intervencije i poslije intervencije. Tako se dizajn prekinutih vremenskih serija može koristiti da se raspoznaju trendovi. Oznaka za dizajn prekinutih vremenskih serija se piÅ¡e kako slijedi: O1 O2 O3 X O4 O5 O6 . . . Longitudinalni dizajn Longitudinalni dizajn je vrsta dizajna prekinutih vremenskih serija gdje se pono- vljene mjere istih varijabli uzimaju od istih uÄ?esnika. Kada se koristi za opisna pitanja, longitudinalni dizajn se može koristiti da se sazna, na primjer, da li djeca koja pohaÄ‘aju obogaćeni program vremenom održavaju steÄ?ena znanja. Panel dizajn se takoÄ‘er može koristiti da se odgovori na opisna pitanja. Panel dizajn je posebna vrsta longitudinalnog dizajna gdje se manje grupe ljudi prate na viÅ¡e taÄ?aka u vremenu a njihova iskustva se bilježe veoma detaljno. Panel dizajn gotovo uvijek koristi kvalitativne tehnike pitanja otvorenih istraživanja, detaljne intervjue, opservacije kao i kvantitativne podatke. Panel dizajn može dati dublju perspektivu o svakoj promjeni koju ljudi doživljavaju kao rezultat intervencije. Oznaka za longitudinalni dizajn se piÅ¡e kako slijedi: â– â–  Longitudi- nalni dizajn: X O1, Os, O3 . . . Dizajn prekinu- tih vremenskih serija gdje se ponovljene Dizajni za normativna pitanja mjere istih varijabli uzimaju Logika za normativna pitanja je sliÄ?na onoj za opisna pitanja, izuzev Å¡to se norma- od istih tivna pitanja uvijek procjenjuju prema kriteriju ili standardu. Nalazi se porede sa uÄ?esnika tim standardom, koji može ukljuÄ?ivati indikatore i ciljeve. Generalno, isti dizajn radi za normativna kao i za opisna pitanja. Revizija uÄ?inka tretira neke aspekte uÄ?inka organizacije (Mayne 2005, 2006). Revizije uÄ?inka mogu biti veome sliÄ?ne normativnim evaluacijama, Barzelay (1997) identificira sedam vrsta revizija uÄ?inka, a koje su zasnovane na istraživanjima Organizacije za ekonomsku saradnju i razvoj (OECD) zemalja Ä?lanica. Tabela 7.2 prikazuje Ä?etiri najrelevantnije. 274 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije U Tekstualnom okviru 7.7 ilustrovan je stav izneÅ¡en ranije – da kada nije moguće izraditi eksperimentalni evaluacioni dizajn sa nasumiÄ?nom kontrolnom grupom, prihvatljivo je okretanje ka kvazieksperimentalnom evaluacionom dizajnu sa usporednim grupama. Dizajn za uzroÄ?no-posljediÄ?na pitanja Eksperimentalni dizajni se generalno koriste da se tretiraju uzroÄ?no-posljediÄ?na pitanja (vidjeti stranu 252). Potreba za rigoroznijim evaluacionim dizajnom Koji dizajni rade za uzroÄ?no-posljediÄ?na pitanja? Lideri u polju meÄ‘unarodne razvojne evaluacije raspravljali su o potrebi rig- oroznijeg programa evaluacije (Davidson 2006). Tabela 7.2 ÄŒetiri vrste revizije uÄ?inka Vrsta Jedinica analize Fokus Revizija efikasnosti Organizacija ili jurisdikcija; Identificirati prilike za smanjenje proces ili programski element budžetskih troÅ¡kova ostvarenja izlaznih rezultata programa. Revizija efektivnosti Politika, program ili glavni Procijeniti utjecaj javnih politika; evaluirati programski element efektivnost politike ili programa. Revizija kapaciteta Organizacija ili jurisdikcija Procijeniti kapacitet sistema i procedura upravljanja uÄ?inkom pitanje javnog upravljanja jurisdikcije, organizacije ili programa u ostvarenju namjeravanih ciljeva. Revizija informacija Organizacija Atestirati kvalitet informacija o uÄ?inku koje o uÄ?inku je dostavila organizacija Izvor: PrilagoÄ‘eno od Barzelay 1997. Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 275 Tekstualni okvir 7.7 Utjecaj programa obuke za posao na otpuÅ¡tene radnike Mnoge zemlje u razvoju se suoÄ?avaju sa problemom prekvalifikacije radnika kada se preduzeća u državnom vlasniÅ¡tvu smanjuju. Evaluacija takvog pro- grama je izazovna, zato Å¡to imaju nekoliko razliÄ?itih komponenti. Mogu poslužiti raznim jedinicama i mjerenju ishoda na razne naÄ?ine (zapoÅ¡ljavanje, samozapoÅ¡ljavanje, mjeseÄ?ne zarade, satnice). Da bi evaluirao program obuke za posao, evaluator postavlja sljedeća pitanja: • Jesu li uÄ?esnici programa imali viÅ¡e uspjeha u ponovnom pronalaženju posla od onih koji nisu uÄ?estvovali? • Koliko isplativ je bio svaki program obuke? UÄ?esnici koji su imali obuku usporeÄ‘eni su sa sliÄ?nom grupom koja nije uÄ?estvovala u programu. Administrativni podaci, podaci istraživanja i statistiÄ?ke tehknike su koriÅ¡tene da se izmjeri utjecaj programa obuke. Moguće je da su ljudi koji su uÄ?estvovali razliÄ?iti na neki naÄ?in Å¡to je napravilo razliku u smislu njihovih ishoda. Možda, su na primjer, bili viÅ¡e motivirani nego ljudi u usporednoj grupi ili su imali viÅ¡e radnog iskustva, Å¡to im je olakÅ¡alo da naÄ‘u novo zaposlenje. Da bi se ojaÄ?ao ovaj dizajn, bilo bi neo- phodno nasumiÄ?no rasporediti one koji su pogodni za program kako bi se eliminirala mogućnost razliÄ?itih atributa za dvije grupe. Izvor: Autori. Scriven 2006; Bamberger i White 2007). Oni primjećuju da su većina eva- luacija koje su provele zvaniÄ?ne razvojne agencije, procesne evaluacije koje se fokusiraju na to koliko dobro program radi. Povećanje participativnih evaluacija ukljuÄ?uje viÅ¡e miÅ¡ljenja korisnika, ali „ne daje podatke pogodne kvantitativnoj analizi utjecaja“ (Bamberger i White 2007, str. 58). Pristupi zasnovani na rezultatu i fokus na Milenijske razvojne ciljeve (MDGs) su potakli viÅ¡e poziva za demonstraciju utjecaja. Pozivi za evaluaciju utjecaja, koji se bave rezultatima koje je uzrokovao projekt, program ili politika, proizaÅ¡li su iz raznih izvora, ukljuÄ?ujući sljedeće: • Konferencija o finansiranju za razvoj održana 2002. u Monterrey, gdje se pozvalo na veću upotrebu menadžmenta zasnovanog na rezultatima u razvo- jnim agencijama 276 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • Pariski sporazum iz 2005, kojim su se podstakle multidonatorske operacije u promociji evaluacija o utjecaju • Poverty Action Lab, koja promoviÅ¡e upotrebu nasumiÄ?nog dizajna i nudi pro- grame obuke za ovaj dizajn • Centar za globalni razvoj (CGD), koji se strogo zalaže za rigoroznije evalu- acione dizajne, osobito u publikaciji When Will We Ever Learn? (CGD 2006). CGD je takoÄ‘er izdao poziv na akciju nezavisnih evaluacionih agencija da se osiguraju nezavisnije i rigoroznije razvojne evaluacije (Bamberger i White 2007). Pomjeranje granica trenutnog razmiÅ¡ljanja o meÄ‘unarodnom razvoju i razvojnim evaluacijama potiÄ?e upotrebu evaluacija utjecaja. Nastojanja vlade Å panije ilustruju ovo novo razmiÅ¡ljanje i upućuju ka rigoroznijim evaluacionim dizajnima (Tekstualni okvir 7.8). ÄŒesto se „rigorozno“ definira kao eksperi- ment koji ukljuÄ?uje upotrebu nasumiÄ?ne kontrolne grupe. Ravallion, direktor istraživaÄ?kog odjeljenja Svjetske banke, primjećuje da nasumiÄ?nost nije uvi- jek odgovor, kako to ispoÄ?etka može izgledati, posebno u razvojnom konte- kstu (Ravallion 2009). Na primjer, nasumiÄ?no možemo pristupiti samo nekim intervencijama relevantnim za razvoj. Kako nasumiÄ?no rasporediti lokacije kod infrastrukturnih projekata i srodnih programa? Ravallion govori o tome kako Tekstualni okvir 7.8 PodrÅ¡ka Å panije rigoroznom evaluacionom dizajnu Å panija nastoji poboljÅ¡ati efektivnost pomoći, promovirajući menadžment zasnovan na rezultatima u svojim vlastitim razvojnim agencijama i partne- rskim zemljama. Implementirali su novi program da bi podržali Svjetsku banku u procjeni utjecaja inovativnih programa na poboljÅ¡anje ljudskih razvo- jnih ishoda. Program – Trust fond Å panije i Svjetske banke za evaluaciju utjecaja (SIEF)—je najveći trust fond ikada uspostavljen u Svjetskoj banci a fokusiran je na evaluaciju utjecaja i na rezultate (Svjetska banka 2007). nasumiÄ?ni eksperimenti mogu imati ozbiljne probleme generalizacije poÅ¡to se Ä?esto rade samo za uske i diskretne intervencije pod odreÄ‘enim uvjetima. On takoÄ‘er opisuje efekte „prelijevanja“. To jest, oni koji odabiru dizajne nasumiÄ?nosti Ä?esto pretpostavljaju da oni koji ne uÄ?estvuju nisu ni pogoÄ‘eni programom. Ali, poznato je da su efekti prelijevanja sveprisutni u razvojnim aplikacijama. Prelijevanje proizlazi iz kretanja subjekata iz tretiranog podruÄ?ja Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 277 i u njega te iz dugoroÄ?nog imitiranja, zato Å¡to će jedna grupa preuzeti praksu druge grupe ako se ispostavi da ta praksa radi, a lokalne vlasti interveniraju koristeći resurse koje su im dodijelile razvojne organizacije da bi proveli istu intervenciju i sa grupom koja je odreÄ‘ena da bude kontrolna. Evaluacioni dizajn mora biti prilagodljiv svakoj situaciji i svakoj vrsti evaluacionog pitanja koje se postavi. Patton (2007) razmatra razliÄ?ite vrste razvojnih intervencija i primjećuje da „razliÄ?ite situacije utjecaja i razliÄ?ite svrhe evaluacije imaju razliÄ?ite implikacije na metode“ (str.1). Evaluatori trebaju poÄ?eti razjaÅ¡njavati situaciju; dizajn će proisteći iz situacije. Kako Patton primjećuje, „Postoji viÅ¡e razvojnih situacija sa utjecajem te tako i razliÄ?iti pristupi evaluaciji utjecaja“ (str.2). Bamberger i Patton (2007) nude sljedeće sugestije za jaÄ?anje evaluacionog dizajna i rjeÅ¡avanje vremenskih i budžetskih ograniÄ?enja: 1. Izgraditi evaluacioni dizajn na Ä?vrstom modelu programske teorije. To nam može pomoći da objasnimo veze u uzroÄ?nom lancu i da identificiramo pretpostavke. TakoÄ‘er na taj naÄ?in možemo identificirati lokalne ekonomske, politiÄ?ke, institucionalne, okolinske i socio-kulturne faktore za objaÅ¡njenje razlika u uÄ?inku i ishodima. 2. Usvojiti dobar dizajn sa mijeÅ¡anim metodama i kombinirati kvalitativne i kvantitativne pristupe: • Koristiti kvalitativne podatke za triangulaciju da bi se osigurali dodatni dokazi za podrÅ¡ku kvantitativnim rezultatima, da bi se pomoglo uokviriti istraživanje te da bi se pomogla interpretacija kvantitativnih rezultata. • Maksimalno koristiti sekundarne podatke, ukljuÄ?ujući podatke iz monito- ringa programa. • Kad god to vrijeme i budžet dozvoljavaju, prikupljati podatke sa dodatnih taÄ?aka u ciklusu projekta. 3. Pojednostaviti instrumente prikupljanja podataka. 4. Sekundarne podatke koristiti kreativno, koristeći podatke iz zavrÅ¡enih istraživanja za bazne podatke ili kontrolne ili usporedne grupe. 5. Razmotriti smanjenje veliÄ?ine uzorka ako je uzorak od presudnog znaÄ?aja. 6. Smanjiti troÅ¡kove prikupljanja podataka koristeći manje skupe intervjue, koristeći direktna posmatranja, a ne istraživanja domaćinstava, i koristeći metod dodavanja na druge evaluacije ili sinhronizacije sa drugim evaluaci- jama tako Å¡to se spoje planirana istraživanja. Evaluatori moraju istražiti opcije za svaki dizajn kada nastoje osigurati najro- busnije rezultate (Tabela 7.3). Odabir pravog dizajna je veoma bitan, zato Å¡to „razliÄ?ite metode mogu proizvesti priliÄ?no razliÄ?ite nalaze. Izazov je otkriti koji dizajn i metode najbolje odgovaraju, koji su najviÅ¡e produktivni i korisni za datu situaciju“ (Patton 2002, str. 255). 278 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 7.3 Prednosti i nedostaci uobiÄ?ajenog eksperimentalnog dizajna Vrsta dizajna Prednosti Nedostaci Eksperimentalni PoreÄ‘enje Kontrolira interne prijetnje validnosti TeÅ¡ko ih je provesti u javnom sektoru Koristan pri posmatranju razlika izmeÄ‘u Odabir i atricija koji mogu biti prijetnje grupa; kontrolira historiju i sazrijevanje ako su usporedne grupe veoma sliÄ?ne Kvazieksperimentalni Prije i poslije Koristan u omogućavanju konteksta za Efekti testiranja, instrumentacije, mjerenje promjene regresije ka sredini, atricije, historije i sazrijevanje koji mogu biti prijetnja Neeksperimentalni Jedan snimak Koristan za rjeÅ¡avanje opisnih i normativnih Veoma slab za uzroÄ?no-posljediÄ?na pitanja; viÅ¡e dizajna jednog snimka poÄ?inju pitanja graditi sluÄ?aj Izvor: Autori. Evaluacija je i umjetnost i nauka. Pri donoÅ¡enju odluka o dizajnu evaluatori trebaju imati na umu da ne postoji savrÅ¡en dizajn, sve evaluacije ukljuÄ?uju kompro- mise u smislu vremena, troÅ¡kova i praktiÄ?nosti. Kompromise treba potvrditi osiguravajući procjenu njihovog mogućeg utjecaja na rezultate i zakljuÄ?ke. Kako Ravallion (2009), kaže: pustimo evaluaciona pitanja da vode pristup. Najvažnija pitanja mogu biti „Ko dobiva, a ko gubi intervencijom? Izgleda li intervencija na terenu kao Å¡to je izgledala na papiru? Koje su promjenjivosti u implementaciji? Koje varijacije treba izgraditi? Za koga i pod kojim uvjetima intervencija radi? U globalu, svako evaluaciono pitanje treba dizajn koji je eksperimentalan, kvazieksperimentalan ili neeksperimentalan. Eksperimentalni dizajn nastoji kontrolirati sve faktore u „eksperimentu“ da bi odredio ili predvidio Å¡ta se može desiti. Eksperimentalni dizajn koristi nasumiÄ?an raspored uÄ?esnika u najmanje dvije grupe, tretman grupu i kontrolnu grupu. Kvazieksperimentalni dizajn je sliÄ?an eksperimentalnom dizajnu po tome Å¡to koristi dvije ili viÅ¡e grupa, ali ne rasporeÄ‘uje nasumiÄ?no uÄ?esnike u svaku grupu. Usporedna grupa se obiÄ?no formira da omogući studiju jedne grupe gdje se pro- vodi intervencija i sliÄ?ne grupe gdje se intervencija ne provodi. Neeksperimenta- lni dizajni su viÅ¡e opisni. Tu se ne koristi niti nasumiÄ?ni raspored niti usporedna grupa. Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 279 Za većinu razvojnih intervencija, teÅ¡ko je izraditi dizajn koji će odgovoriti na uzroÄ?no-posljediÄ?na pitanja zbog kompleksnosti situacije. TeÅ¡ko je „dokazati“ da je intervencija uzrokovala uoÄ?ene efekte. Evaluacioni dizajni mogu pomoći da se odredi utjecaj programa u obimu u kom se evaluatoru daje kontrola nad implementacijom i mjerenjem programa. Namjera je eliminirati druga moguća objaÅ¡njenja za ono Å¡to je uoÄ?eno. Za uzroÄ?no-posljediÄ?na pitanja, evaluator treba razmotriti jednu ili viÅ¡e ovih vrsta evaluacionog dizajna: • spareni i neekvivalentni usporedni dizajn; • dizajn prekinutih vremenskih serija; • korelacioni dizajn uz upotrebu statistiÄ?ke kontrole; • longitudinalni dizajn; • panel dizajn; • prije i poslije dizajn; • dizajn popreÄ?nog presjeka; • sklonost podudaranja rezultata i • praćenje uzroka. Opisna pitanja se obiÄ?no evaluiraju koristeći opisni i neeksperimentalni dizajn. Dizajni za opisna pitanja se fokusiraju samo na odgovore na pitanja koja se ne bave atribucijom ili podudaranjem uÄ?inka sa nekim kriterijem. Neki od dizajna koji se koriste za opisna pitanja su isti oni koji se koriste za uzroÄ?no-posljediÄ?na pitanja. Da bi odgovorio na opisna pitanja, evaluator treba razmotriti jedno ili viÅ¡e sljedećih vrsta evaluacionog dizajna: • jedan snimak; • popreÄ?ni presjek; • prije i poslije dizajn; • prekinute vremenske serije; • longitudinalni dizajn i • studija sluÄ?aja. Logika za normativna pitanja je sliÄ?na onoj za opisna pitanja, izuzev Å¡to se normativna pitanja uvijek procjenjuju prema standardu ili kriteriju. Mnoge voÄ‘e u meÄ‘unarodnoj razvojnoj evaluaciji pozivaju na viÅ¡e rigoro- znosti u evaluacionom dizajnu. Kako se projekti, programi i politike sve viÅ¡e kreću ka menadžmentu zasnovanom na rezultatima, može se oÄ?ekivati da vidimo dizajne za evaluaciju koji nastoje rijeÅ¡iti pitanja atribucije. 280 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Poglavlje 7 Aktivnosti Aplikacijska vježba 7.1: Odabir evaluacionog dizajna Od vas se traži da izmjerite utjecaj izgradnje javne zdravstvene klinike gdje će se roditelji uÄ?iti kako da tretiraju uobiÄ?ajena porodiÄ?na oboljenja i identifici- raju probleme koji mogu biti ozbiljni. Cilj programa je povećati broj roditelja sa osnovnim razumijevanjem preventivne zdravstvene zaÅ¡tite, prve pomoći i ranih strategija tretmana kao i smanjenje broja djece i starijih kod kojih se bolest pogorÅ¡ava. 1. Å ta su željeni ishodi? 2. NapiÅ¡ite uzroÄ?no-posljediÄ?no pitanje, normativno pitanje i opisno pitanje za ovu evaluaciju. 3. Koji biste dizajn koristili da istražite ova pitanja? Koje su prednosti i ograniÄ?enja tog dizajna? ZaÅ¡to je dizajn koji ste odabrali bolji od drugih mogućih dizajna? Aplikacijska vježba 7.2: Odabir evaluacionog dizajna i strategije za prikupljanje podataka Od vas se traži da izradite evaluacioni dizajn za Å¡estomjeseÄ?nu studiju za procjenu efektivnosti kampanje o informacijama o preventivnom zdravlju u vaÅ¡oj zemlji. Kampanja se treba sastojati iz dvodnevnih seminara koje održavaju zdravstveni profesionalci u zajednicama Å¡irom zemlje. Svrha vaÅ¡e evaluacije je odrediti da li je informaciona kampanja rezultirala poboljÅ¡anjem zdravstvene prakse. Imate umjeren budžet i Å¡est saradnika za istraživanje koji će vam pomoći da dizajnirate i provedete evaluaciju. 1. Je li vaÅ¡e primarno evaluaciono pitanje, opisno, normativno ili uzroÄ?no- posljediÄ?no? Objasnite. 2. Treba li vaÅ¡a strategija prikupljanja podataka biti strukturirana, otvorena ili kombinacija ovog dvoga? ZaÅ¡to? 3. Kako biste identificirali najvažnije ishode koje treba mjeriti i kako biste ih mjerili? 4. Koji evaluacioni dizajn biste koristili? 5. Koje su dobre, a koje loÅ¡e strane vaÅ¡eg dizajna? Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 281 282 Aneks 7.1 Sažetak kljuÄ?nih termina i atributa razliÄ?itih vrsta dizajna IPDET Termini Vrsta dizajna Vizuelni prikaz KljuÄ?ne prednosti KljuÄ?ni nedostaci Eksperimentalni Eksperimentalni dizajn karakterizira nasumiÄ?no formiranje kontrolne i intervencijske grupe NasumiÄ?na O1 X O2 jaka interna validnost, identificira skup, etiÄ?ki obziri, težak usporedna grupa O1   O2 promjene tokom vremena sa za generalizovati inetrvencijom i bez nje Samo poslije    O3 dobra interna validnost, malo viÅ¡e ne identificira promjenu nasumiÄ?na X praktiÄ?na, korisna za poreÄ‘enje kroz vrijeme usporedna grupa ishoda    O4 bez testa prije intervencije Kvazieksperimentalna Svi kvazieksperimentalni dizajni su neÅ¡to slabiji od eksperimentalnih dizajna u odnosu na validnost ili nisku internu validnost Kvazieksperimentalni dizajni ukljuÄ?uju poreÄ‘enje, ali bez nasumiÄ?nog rasporeda Prije i poslije Unutar grupe O1 X O2 praktiÄ?an kontekst mora biti uzet u testiranje, prijetnje Bez poreÄ‘enja Prije i postdizajn obzir instrumentacije regresije Prije i Prije i post N O1 X O1 kontekst se mora uzeti u obzir, eliminira efekt historije postneekvivalentno poreÄ‘enje IzmeÄ‘u grupa N O2    O4 veća pouzdanost nego kod teÅ¡ko se kontroliraju (neekvivalentno) poreÄ‘enja grupa sve varijable koje grupe poreÄ‘enje Ä?ine neekvivalentnim Samo post Poredi samo podatke iz N O1 X O2 može biti najbolji dizajn za ne zna se gdje poÄ?inju neekvivalentnom postintervencije N    O2 ex post situacije tretman ili interventna poreÄ‘enje grupa Samo post sa X O1 praktiÄ?an, mora se uzeti etiÄ?ki obziri, neekvivalentnom X O2 u obzir, kontekst kontrola efekata odabir ugrožava validnost testiranja, instrumentacija usporednom grupom regresija, historija Samo poslije sa X O1 mogu se porediti intervencije, preostanu mnoge razliÄ?itim tretman Y O2 mora uzeti u obzir kontekst prijetnje Z O3 dizajnom Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije PoreÄ‘enje prekinutih Vremenske serije (unutar O1O2O3XO4O5O6 opasnost historije djelimiÄ?no opasnost od pristrasnosti vremenskih serija (pogodno za grupe) kontrolirana, kontrolirano testiranja opisna pitanja sazrijevanja PoreÄ‘enje vremenskih eliminira prijetnju historije, skup, uzima puno serija izmeÄ‘u smanjena regresija ka sredini vremena teÅ¡koća grupa (neekvivalentno) praćenja ljudi tokom vremena Longitudinalni Nema baznih podataka X O1O2O3... prati pojedince tokom vremena skup, teÅ¡koće pri praćenju pojedinaca tokom vremena Panel Prati istu grupu X O1O2O3O4O5... detaljne informacije može biti skupo tokom vremena Korelacioni uz upotrebu O1 koristi statistiku da odredi zahtijeva velike uzorke ne StatistiÄ?kih kontrola O2 korelacije izmeÄ‘u sluÄ?ajeva izolira postoji stav na kojem se O3 odreÄ‘ene prijetnje odreÄ‘uje važne može napraviti uzrok odnose i potencijalno mijeÅ¡anje Å¡pekulativan varijabli Sklonost podudaranja rezultata UÄ?esnici u intervenciji se upotreba za evaluaciju dobrovoljnih zahtijeva velike setove porede sa sliÄ?nima koji programa—pouzdanija procjena podataka i mogućnosti ne uÄ?estvuju efekata projekta ili programa na obraÄ?unavanja uÄ?esnike Neeksperimentalni Idealan za opis Svi neeksperimentalni dizajni su slabiji od eksperimentalnih Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja PopreÄ?ni presjek Unutar i izmeÄ‘u X O1 jasna slika taÄ?ke u vremenu nema jasnih indikacija o O2 tome Å¡ta se deÅ¡avalo tokom vremena O3 " Jedan snimak X O1 lagan, praktiÄ?an mnoge prijetnje validnosti, slab dizajn Strategije praćenja uzroka Zalaže se za uzroÄ?ni odnos zasnovan na logici i modelu teorije promjene Studija sluÄ?aja O1 detaljne kontekstualne informacije uzima puno vremena O2 malo interne validnosti O3 283 Bibliografija i dodatna literatura Aliendo, Marco, and Sabine Kopeinig. 2005. Some Practical Guidance on the Implemen- tation of Propensity Score Matching. Discussion Paper 1588, IZA, Institute for the Study of Labor, Bonn. http://ftp.iza.org/dp1588.pdf. Bamberger, Michael, and Howard White. 2007. “Using Strong Evaluation Designs in Developing Countries: Experience and Challenges.â€? Journal of Multidisciplinary Evaluation 4 (8): 58–73. Barzelay, M. 1997. “Central Audit Institutions and Performance Auditing: A Comparative Analysis of Organizational Strategies in the OECD.â€? Governance: An International Journal of Policy and Administration 103: 235–60. Boruch, Robert.2004. “Ethics and Randomized Trials.â€? International Program for Devel- opment Evaluation Training (IPDET) presentation, Ottawa. Brossart, Daniel F., Daniel L. Clay, and Victor L. Willson. 2002. “Methodological and Statistical Considerations for Threats to Internal Validity in Pediatric Outcome Data: Response Shift in Self-Report Outcomes.â€? Journal of Pediatric Psychology 27 (1): 97–107. Brown, Randall S., and Ellen Eliason Kisker. 1997. “Nonexperimental Designs and Pro- gram Evaluation.â€? Children and Youth Services Review 19 (7): 541–66. http://www.aei.org/publications/pubID.17770/pub_detail.asp. Campbell, D. T., and J. C. Stanley. 1963. “Experimental and Quasi-Experimental Designs for Research.â€? In Handbook of Research on Teaching, ed. N. L. Cage. Chicago: Rand-McNally. CGD (Center for Global Development). 2006. When Will We Ever Learn? Improving Lives through Impact Evaluation. Washington, DC. Chatterji, M. 2007. “Grades of Evidence: Variability in Quality of Findings in Effective- ness Studies of Complex Field Interventions.â€? American Journal of Evaluation 283: 239–55. Cohen, M. 2001. “Evaluating Microfinance’s Impact: Going Down Market.â€? In Evalu- ation and Poverty Reduction, eds. O. N. Feinstein and R. Picciotto, 193–203. New Brunswick, NJ: Transaction Publishers. Cook, T. D., and D. T. Campbell. 1979. Quasi-Experimentation: Design and Analysis for Field Settings. Boston: Houghton Mifflin. Davidson, E. J. 2000. “Ascertaining Causality in Theory-Based Evaluation.â€? New Direc- tions for Evaluation 87: 17–26. ———. 2006. “The RCT’s Only Doctrine: Brakes on the Acquisition of Knowledge?â€? Journal of Multidisciplinary Evaluation 6: ii–v. Garbin, Cal. 2009. Statistical Control. Lincoln, NE: University of Nebraska. psych.unl.edu/psycrs/942/q2/control.ppt. Grembowski, D. 2001. The Practice of Health Program Evaluation. Thousand Oaks, CA: Sage Publications. Homer-Dixon, Thomas. 1995. Strategies for Studying Causation in Complex Ecological Political Systems. Occasional Paper; Project on Environment, Population, and Secu- rity. American Association for the Advancement of Science, Washington, DC, and the 284 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije University of Toronto. http://www.library.utoronto.ca/pcs/eps/method/methods1.htm. Mayne, John. 2005. “Ensuring Quality for Evaluation: Lessons from Auditors.â€? Cana- dian Journal of Program Evaluation 20 (1): 37–64. ———. 2006. “Audit and Evaluation in Public Management: Challenges, Reforms, and Different Roles.â€? Canadian Journal of Program Evaluation 21 (1): 11–45. Miles, M. B., and A. M. Huberman. 1994. Qualitative Data Analysis: An Expanded Sourcebook. 2nd ed. Thousand Oaks, CA: Sage Publications. NIOSH (National Institute for Occupational Safety and Health). 1999. A Model for Research on Training Effectiveness TIER. Centers for Disease Control, Atlanta. http:// www.cdc.gov/niosh/99-142.html. Office of Juvenile Justice and Delinquency Prevention. 1989. Evaluating Juvenile Justice Programs: A Design Monograph for State Planners. Report prepared for the U.S. Department of Justice, Office of Juvenile Justice and Delinquency Prevention by Community Research Associates, Inc. Patton, Michael Q. 2002. Qualitative Research and Evaluation Methods. 3rd ed. Thou- sand Oaks, CA: Sage Publications. ———. 2005. “The Debate about Randomized Controls in Evaluation: the Gold Standard Question.â€? International Program for Development Evaluation Training (IPDET) presentation, Ottawa, July. ———. 2007. Design Options and Matching the Type of Impact Evaluation and Attribu- tion Issue to the Nature of the Intervention: Background Discussion on Impact Evalu- ation for International Development Efforts. November. ———. 2008. “The Logic of Experimental Designs and 10 Common Criticisms: The Gold Standard Debate.â€? In Utilization-Focused Evaluation. 4th ed. Thousand Oaks, CA: Sage Publications. Powell, Keith D. 2004. “Research Methods on Psychological Science: Psychology 242.â€? Powerpoint presentation, November 8. Department of Psychology, University of Chicago, Chicago, IL. Prennushi, Giovanna, Gloria Rubio, and Kalanidhi Subbarao. 2002. PRSP Sourcebook Core Techniques. Washington, DC: World Bank. http://go.worldbank.org/3I8LYLXO80. Project STAR. 2006. Study Designs for Program Evaluation. Aguirre Division, JBS International, Inc. Bethesda, MD. http://www.nationalserviceresources.org/filemanager/download/performance Measurement/Study_Designs_for_Evaluation.pdf. Ravallion, Martin. 2009. “Should the Randomistas Rule?â€? The Economists Voice 6(2): 1–5. Schweigert, F. J. 2006. “The Meaning of Effectiveness in Assessing Community Initia- tives.â€? American Journal of Evaluation 27: 416. http://aje.sagepub.com/cgi/content/abstract/27/4/416. Scriven, Michael. 2006. “Converting Perspective to Practice.â€? Journal of Multidisci- plinary Evaluation 6: 8–9. Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 285 ———. 2007. Key Evaluation Checklist. February. http://www.wmich.edu/evalctr/checklists/kec_feb07.pdf. Stake, R. E. 1995. The Art of Case Study Research. Thousand Oaks, CA: Sage Publications. Stufflebeam, Daniel L. 2004. Evaluation Design Checklist. Western Michigan University, Evaluation Center, Kalamazoo, MI. http://www.wmich.edu/evalctr/checklists/evaldesign.pdf. Stufflebeam, D. L., G. F. Mdaus, and T. Kellaghan, eds. 2000. Evaluation Models: View- points on Educational and Human Services Evaluation. Boston: Kluwer. Trochim, W. M. “The Research Methods Knowledge Base. http://www.socials researchmethods.net/kb. Trochim, W., and D. Land. 1982. “Designing Designs for Research.â€? Researcher 1 (1): 1–16. http://www.socialresearchmethods.net/kb/desdes.htm. United Kingdom Evaluation Society. 2003. Glossary of Evaluation Terms. http://www.evaluation.org.uk/Pub_library/Glossary.htm. Wadsworth, Y. 1997. Everyday Evaluation on the Run. St. Leonards, New South Wales, Australia: Allen and Unwin. White, Howard. 2007. “Challenges in Evaluating Development Effectiveness.â€? Working Paper, World Bank, Washington DC. White, Howard, and Edoardo Masset. 2005. “Quasi-Experimental Evaluation.â€? Power- Point presentation, February 16. World Bank. 1998. Do Community-Managed Schools Work? An Evaluation of El Salva- dor’s EDUCO Program. Impact Evaluation of Education Reforms Paper 8, Develop- ment Research Group, Washington, DC. ———. 2004. PovertyNet: Evaluation Designs. Washington, DC: World Bank. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/ EXTISPMA/0,,contentMDK:20188242~menuPK:412148~pagePK:148956~piPK: 216618~theSitePK:384329,00.html. ———. 2006a. Conducting Quality Impact Evaluations under Budget, Time, and Data Constraints. Independent Evaluation Group, Washington, DC. ———. 2006b. Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank. Independent Evaluation Group, Washington, DC. ———. 2007. PowerNet. Spanish Impact Evaluation Fund. http://web.worldbank.org/wbsite/external/topics/extpoverty/ extispma/0,,contentmdk:21419502~menuPK:384336~pagePK:148956~piPK: 216618~theSitePK:384329,00.html. ———. 2008. PovertyNet: Impact Evaluation, Methods and Techniques, Evaluation Designs. Washington, DC: World Bank. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/ EXTISPMA/0,,contentMDK:20188242~menuPK:415130~pagePK:148956~piPK: 216618~theSitePK:384329,00.html. Yin, R. K. 1984. Case Study Research. Thousand Oaks, CA: Sage Publications. 286 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Web stranice Campbell Collaboration. http://www.campbellcollaboration.org/. Schweigert, F. J. 2006. “The Meaning of Effectiveness in Assessing Community Initia- tives.â€? American Journal of Evaluation 27: 416. http://aje.sagepub.com/cgi/content/ abstract/27/4/416. Scriven, Michael 2007. Key Evaluation Checklist. http://www.wmich.edu/evalctr/check- lists/kec_feb07.pdf. Stufflebeam, Daniel L. 2004. Evaluation Design checklist. Western Michigan University, Evaluation Center, Kalamazoo, MI. http://www.wmich.edu/evalctr/checklists/evalde- sign.pdf. University of Northern Iowa, Department of Psychology. http://www.psych.uni .edu/psycrs/457/e2/control.ppt. World Bank. Doing Impact Evaluation Series. http://web.worldbank.org/WBSITE/ EXTERNAL/TOPICS/EXTPOVERTY/EXTISPMA/0,,menuPK:384336~page PK:149018~piPK:149093~theSitePK:384329,00.html#doingIE. Odabir dizajna za uzroÄ?no-posljediÄ?na, opisna i normativna evaluaciona pitanja 287 POGLAVLJE 8 Odabir i izrada instrumenata za prikupljanje podataka U prethodnim poglavljima razmatrana su evaluaciona pitanja i evalu- acioni dizajni koji odgovaraju tim pitanjima. Ovo poglavlje se bavi naÄ?inom prikupljanja podataka da se odgovori na evaluaciona pitanja. Ovo poglavlje ima Ä?etiri glavna dijela: • Strategije prikupljanja podataka • Karakteristike dobrih mjera • Kvantitativni i kvalitativni podaci • Alati za prikupljanje podataka 289 Strategije prikupljanja podataka Podaci se mogu prikupiti iz raznih izvora, ukljuÄ?ujući postojeće biljeÅ¡ke, elektromehaniÄ?ke mjere, opservacije, istraživanja, fokusne grupe i procjenu struÄ?njaka. Nije najbolje koristiti samo jedan naÄ?in. Kao Å¡to je ilustrirano u Tabeli 8.1, odluka koji metod koristiti zavisi od: • onog Å¡ta treba znati; • gdje se podaci nalaze; • dostupnog vremena i resursa; • kompleksnosti podataka koje treba prikupiti; • frekvencije prikupljanja podataka i • namjeravanog oblika analize podataka Izbor metoda dijelom ovisi o evaluacionom pitanju na koje treba odgovoriti, dijelom o tome koliko dobro je intervencija shvaćena i dijelom o dostupnom vre- menu i resursima. Postoji balans izmeÄ‘u detaljnog razumijevanja koje dolazi iz studije sluÄ?aja (intenzivno prikupljanje podataka), na primjer, i validnosti rezu- ltata prikupljenih istraživanjem (ekstenzivno prikupljanje podataka). Intenzivno prikupljanje podataka obiÄ?no koristi polustrukturiran pristup koji omogućava efi- kasnost kod mnogih ispitanika. Tabela 8.1 Primjer tabele Odluka za metod prikupljanja podataka Ako trebaÅ¡ znati: Onda razmotri: PiÅ¡u li seljani niskog nivoa pismenosti • Prikupljanje uzoraka pisanja prije i koji su uÄ?estvovali u programu bolje poslije intervencije nego oni seljani niskog nivoa • KoriÅ¡tenje rezultata testova prije i pismenosti koji nisu uÄ?estvovali u poslije inetrvencije programu Jesu li uÄ?esnici aktivnije ukljuÄ?eni u • Posmatranje interakcije roditelj-dijete obrazovanje njihove djece prije i poslije intervencije • Da pitaÅ¡ djecu, roditelje i nastavnike o ukljuÄ?enju roditelja prije i poslije intervencije Jesu li uÄ?esnici programa zadovoljni • KoriÅ¡tenje strukturiranih intervjua kvalitetom radionice za opismenjavanje uÄ?esnika i testom • SprovoÄ‘enje ankete da se odredi je li nivo pismenosti dovoljno visok Izvor: Autori. 290 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 8.1 Pravila za prikupljanje podataka Evaluatori trebaju primjenjivati sljedeća pravila pri prikupljanju podataka: • Koristiti viÅ¡e metoda prikupljanja podataka kad je moguće. • Koristiti dostupne podatke ako je moguće (to je brže, manje skupo i lakÅ¡e nego prikupljanje novih podataka). • Ako koristite dostupne podatke, saznajte kako su prethodni evaluatori prikupljali podatke, definirali varijable i osigurali taÄ?nost podataka. Pro- vjerite koliÄ?inu podataka koji nedostaju. • Ako se moraju prikupiti originalni podaci, uspostavite procedure i slijedite ih (protokol); vodite taÄ?ne biljeÅ¡ke definicija i kodiranja; predtestirajte, predtestirajte, predtestirajte, te verificirajte taÄ?nost kodiranja i unosa podataka. Izvor: Autori. Da bi odredili koju vrstu podataka prikupljati, evaluatori trebaju odluÄ?iti Å¡ta je najvažnije glavnom klijentu za evaluaciju. Je li klijent viÅ¡e zainteresiran za numeriÄ?ke podatke o uvjetima u državnim Å¡kolama ili za detaljnije razumijevanje situacije u najsiromaÅ¡nijim urbanim podruÄ?jima? Ponekad je oboje važno, ali dostupnost resursa zahtijeva da se jednome mora dodijeliti prioritet. Koju god vrstu podataka da koriste, evaluatori trebaju primijeniti odreÄ‘ena pravila (Tekstualni okvir 8.1). Strukturirani pristup â– â–  Strukturirani Strukturirani pristup prikupljanja podataka zahtijeva da se svi podaci pristup prikupe na potpuno isti naÄ?in. Ovo je posebno važno za viÅ¡elokacijske i grupne prikupljanja podataka: evaluacije. U ovim evaluacijama evaluatori trebaju biti u mogućnosti porediti Pristup nalaze na razliÄ?itim lokacijama kako bi izvukli zakljuÄ?ke o tome Å¡ta gdje radi prikupljanja (Tekstualni okvir 8.2). Struktura je takoÄ‘er važna da se odredi koja intervencija je podataka gdje efektivnija kad se porede alternativne intervencije. se svi podaci Strukturirani pristupi prikupljanja podataka se koriste za prikupljanje kvantita- prikupljaju na potpuno isti tivnih podataka kada evaluator: naÄ?in • treba rijeÅ¡iti opseg pitanja; • ima veliki uzorak ili populaciju; • zna Å¡ta treba mjeriti; • rezultate treba predstaviti numeriÄ?ki i • treba vrÅ¡iti poreÄ‘enja na raznim lokacijama i intervencijama. Odabir i izrada instrumenata za prikupljanje podataka 291 Tekstualni okvir 8.2 KoriÅ¡tenje strukturiranog pristupa za evaluaciju poljoprivredne intervencije Razmotrimo primjer evaluacije poljoprivredne intervencije. Da bi tretirali pitanje evaluatori odluÄ?uju koristiti sadržaj vlage u zemljiÅ¡tu kao mjeru uspjeÅ¡nog isuÅ¡ivanja tla. Nakon toga planiraju prikupiti mjere sadržaja vlage zemljiÅ¡ta sa nekoliko lokacija u regionu, prije i poslije isuÅ¡ivanja, tokom istog perioda (i pod istim vremenskim uvjetima). Da bi tretirali sljedeće pitanje, evaluatori koriste strukturirani intervju da pitaju farmere o njihovim pogledima na efekte projekta. Na osnovu intervjua evaluatori sagledavaju procenat ispitanika koji su izložili razliÄ?ite stavove (takvi tabelarni rezultati su poznati kao taÄ?ke frekvencije). Pitanja za strukturi- rani intervju treba usko fokusirati a rijeÄ?i precizno složiti, a potrebno je i osigurati i odgovore sa viÅ¡estrukim izborom. Svim ispitanicima treba postaviti ista pitanja na potpuno isti naÄ?in te im ponu- diti da izaberu iz potpuno istog skupa odgovora. Da bi istražili treće pitanje, evaluatori planiraju koristiti evidenciju proizvodnje i cijena usjeva tokom vremena, prije i poslije intervencije, u isuÅ¡enom podruÄ?ju i sliÄ?nom podruÄ?ju u regionu gdje zemljiÅ¡te nije isuÅ¡eno. Da bi istražili Ä?etvrto pitanje, evaluatori će ispitati uzorak 100 od 2.600 uÄ?esnika o njihovim stavovima o projektu i njegovim efektima. Za ove intervjue evaluatori planiraju koristiti polustrukturirana pitanja. Namjeravaju istražiti odgovore prema potrebi da bi razumjeli izne- sene stavove. Izvor: Autori. Polustrukturirani pristup â– â–  Polustruk- Polustrukturirani pristup prikupljanja podataka može biti sistematiÄ?an i sli- turirani jediti opće procedure, ali se podaci ne prikupljaju na isti naÄ?in svaki put. Polustru- pristup kturirani intervjui su Ä?esto zasnovani na predodreÄ‘enom setu Å¡irih pitanja, ali prikupljanja podataka: redoslijed postavljanja Ä?esto zavisi od okolnosti. Pored toga, neki dati odgovori Pristup se istražuju dodatnim pitanjima razvijenim tokom intervjua. Ovi pristupi su viÅ¡e prikupljanja otvoreni i teÄ?ni nego strukturirani pristup. podataka gdje Omogućavaju ispitanicima da evaluatorima kažu ono Å¡to žele na njihov vla- se podaci ne stiti naÄ?in. Polustrukturirani metodi prikupljanja podataka su obiÄ?no kvalitativni. prikupljaju na Koriste se kada evaluator: isti naÄ?in svaki put • vrÅ¡i istraživaÄ?ke radove na novom razvojnom podruÄ?ju; • nastoji razumjeti teme i pitanja; • želi narativne ili detaljne informacije od uÄ?esnika; • želi detaljne, bogate, „zakulisne“ informacije i • nastoji razumjeti rezultate strukturiranog prikupljanja podataka koji su neoÄ?ekivani i nisu dobro shvaćeni ili da jednostavno pribavi bogate primjere da dopuni nalaze iz strukturiranog prikupljanja podataka. 292 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije U evaluaciji razvojnih projekata koje vodi zajednica, na primjer, evaluatori mogu odabrati polustrukturirani pristup prikupljanja podataka. Zato Å¡to takvi programi kontrolu donoÅ¡enje odluka o planiranju daju lokalnim grupama, evalu- atorima je pogodno koristiti polustrukturirani pristup da bi saznali kako se donose odluke kao i da saznaju stavove Ä?lanova zajednice o procesu i ishodima projekta. Karakteristike dobrih mjera Evaluatori mjere vjerovanja, stavove, miÅ¡ljenja, znanje, vjeÅ¡tine, uÄ?inak, i obiÄ?aje. Pri odluÄ?ivanju kako mjeriti varijable od interesa i prikupiti podatke evaluatori trebaju imati Ä?etiri kljuÄ?ne stvari na umu: • Je li mjera relevantna? Mjeri li ono Å¡to je uistinu važno ili mjeri ono Å¡to je najlakÅ¡e izmjeriti? • Je li mjera kredibilna? Hoće li pružiti informacije o stvarnoj situaciji? • Je li mjera validna? Hoće li mjerenje oslikati ono Å¡to je evaluator mjerio? • Je li mjera pouzdana? Ako su podaci mjerenja prikupljeni na isti naÄ?in iz istog izvora koristeći ista pravila svaki put, hoće li se dobiti isti rezultati? Relevantno se odnosi na stepen u kojem je ono Å¡to se mjeri bitno. Evaluatori trebaju izbjegavati mjerenje onog Å¡to je lahko mjeriti umjesto da mjere ono Å¡to je potrebno. TakoÄ‘er trebaju izbjegavati previÅ¡e mjeriti. Matrica dizajna je alat kojim se uvjeravamo da će prikupljeni podaci biti relevantni. Kredibilno je termin koji se koristi da se ukaže koliko su prikupljeni podaci vjerodostojni ili vjerovatni za namjeravani auditorij ili evaluacijski izvjeÅ¡taj. MiÅ¡ljenja nastavnika, na primjer, ne mogu se posmatrati kao baÅ¡ kredibilna mjera da se sazna zaÅ¡to je stopa napuÅ¡tanja Å¡kole visoka. MiÅ¡ljenja onih koji napuÅ¡taju ili miÅ¡ljenja njihovih prijatelja mogu se posmatrati kao kredibilnija mjera. Validnost je mjera koja se koristi da se ukaže mjeri li se uistinu ono Å¡to se treba mjeriti. Daju li pitanja taÄ?ne informacije? Lista Ä?ekanja, na primjer, je malo validna kao mjera za potražnjom za odreÄ‘enim programima obrazovanja u ranom djetinjstvu, zato Å¡to su te liste Ä?esto zastarjele a roditelji djecu stavljaju na viÅ¡e listi za Ä?ekanje. Kada se djeca negdje upiÅ¡u, njihova imena se ne uklanjaju uvijek sa drugih listi za Ä?ekanje. Dvije vrste validnosti su spoljna validnost i validnost sadržaja: • Spoljna validnost se bavi stepenom u kojem sadržaj testa ili procedure provjerava mjeri li ono Å¡to bi trebao mjeriti. Na primjer, ako se evaluacijom Odabir i izrada instrumenata za prikupljanje podataka 293 mjeri fiziÄ?ka spremnost, mjera koliko brzo neko trÄ?i 100 metara može izgle- dati kao validna mjera fiziÄ?ke spremnosti. â– â–  Spoljna validnost: • Validnost sadržaja se bavi sadržajem u kojem sastav testa ili procedure Stepen u kojem adekvatno mjeri varijablu od interesa. Ako, na primjer, evaluatori pokuÅ¡avaju sadržaj testa ili razviti mjeru zdravstvenog stanja, mogu konsultirati profesionalce da bi osigu- procedure rali da odabrana mjera ima visok sadržaj validnosti. Mjera stvarne proporcije provjerava mjeri sala kod pojedinca, na primjer, je generalno validnija mjera neÄ?ije forme nego li ono Å¡to bi je to informacija o obiÄ?ajima u vezi sa zdravom prehranom koju je dao sam trebao mjeriti â– â–  Validnost ispitanik. Test znanja o zdravoj prehrani može biti validniji nego podaci koje sadržaja: daju sami ispitanici. MeÄ‘utim, to može da ne bude mjera visoke validnosti, Stepen u kojem zato Å¡to ispitanici mogu ne prakticirati znanje o zdravoj ishrani. Rezultati sadržaj testa ili mogu pokazivati uljepÅ¡anu sliku onog Å¡to je ustvari istina. procedure adekvatno mjeri Pouzdanost je termin koji se koristi da se opiÅ¡e stabilnost mjerenja – stepen varijablu od u kojem mjeri istu stvar, na isti naÄ?in, ponovljenim testovima. Alati mjerenja na interesa sportskim dogaÄ‘ajima, na primjer, trebaju biti veoma pouzdani. Vrpca kojom se â– â–  Pouzdanost: mjeri daljina skoka mora mjeriti daljinu na isti naÄ?in svaki put kad se koristi. Ako Stepen u kojem se mjeri ista je to sluÄ?aj, onda se smatra pouzdanom mjerom. Ako nije, mjera može biti stvar, na isti manjkava a rezultati dogaÄ‘aja upitni. naÄ?in, ponov- Težina novoroÄ‘enÄ?adi je primjer pouzdane mjere, pod pretpostavkom da su ljenim testovi- vage ispravno kalibrirane. Stepen pohaÄ‘anja Å¡kole je primjer mjere male pouzda- ma nosti, zato Å¡to može varirati ovisno kada je u Å¡kolskoj godini mjera uzeta. Kvantitativni i kvalitativni podaci Podaci mogu biti klasificirani kao kvantitativni ili kvalitativni. Kvantita- â– â–  Kvantitativni tivni podaci su podaci u numeriÄ?kom obliku, kvalitativni podaci su podaci u podaci: Podaci nenumeriÄ?kom obliku. u numeriÄ?kom Kvantiativni podaci su podaci koji se mogu precizno mjeriti. Primjeri obliku ukljuÄ?uju podatke o godinama, troÅ¡kovima, dužini, visini, podruÄ?ju, zapremini, â– â–  Kvalitativni podaci: težini, brzini, vremenu i temperaturi. Podaci u Kvalitativni podaci se bave opisivanjem. To su podaci koje je moguće posma- nenumeriÄ?kom trati ili koje ispitanici sami dostavljaju, ali se ne mogu toliko precizno mjeriti. obliku Primjeri kvalitativnih podataka su podaci o odnosima i ponaÅ¡anju. Razmotrimo evaluaciju mikrokreditnog programa. Kvantitativni podaci za ovaj program ukljuÄ?uju broj uÄ?esnika, po spolu, dobi i broju djece; prihodu; inventaru proizvoda; cijeni proizvoda i prodaji. Kvalitativni podaci za ovaj pro- gram mogu ukljuÄ?ivati opise proizvoda, odnosa u porodici, ponaÅ¡anje uÄ?esnika, odnose sa zajednicom i osjećaj kontrole. Patton (2002) identificira tri metoda prikupljanja podataka koji mogu poluÄ?iti kvalitativne nalaze: 294 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • detaljni, otvoreni intervjui; • direktne opservacije (koristeći narativne opise) i • analiza pisanih dokumenata. On zatim opisuje vrste informacija koje evaluatori dobivaju iz svakog od tri metoda: • Otvoreni intervjui daju direktne citate o iskustvima, miÅ¡ljenjima, osjećajima i znanju; • Direktne opservacije mogu pružiti detaljne opise: aktivnosti, ponaÅ¡anja, radnji i Ä?itav raspon meÄ‘uljudskih odnosa i organizacionih procesa; • Analiza dokumenta može dati isjeÄ?ke, citate ili Ä?itave odlomke iz zapisa, memoranduma i korespondencija, zvaniÄ?nih publikacija i izvjeÅ¡taja, dnevnika i otvorenih pisanih odgovora na upitnike i istraživanja. Većina kvalitativnih podataka se prikupi provodeći vrijeme u okruženju iza studije. Evaluator iz prve ruke posmatra aktivnosti i interakcije, ponekad se sam ukljuÄ?uje u aktivnosti kao uÄ?esnik posmatraÄ?. Obimne biljeÅ¡ke od prikupljenih podataka su sirovi materijal. Ovi podaci se zatim organiziraju u Ä?itljiv narati- van opis sa glavnim temama, kategorijama i ilustrativnim primjerima sluÄ?ajeva (Patton 2002). Kvalitet kvalitativnih prikupljenih podataka ovisi o evaluatoru. Prema Pattonu: Sistemske i rigorozne opservacije zahtijevaju daleko viÅ¡e nego da se samo bude prisutno i razgleda uokolo. VjeÅ¡to intervjuiranje zahtijeva mnogo viÅ¡e od pukog postavljanja pitanja. Analiza sadržaja u znaÄ?ajnoj mjeri zahtijeva viÅ¡e nego samo Ä?itati ono Å¡to piÅ¡e. Pribavljanje korisnih i kredibilnih kvalitativnih nalaza opse- rvacijom, intervjuiranjem i analizom sadržaja zahtijeva disciplinu, znanje, obuku, praksu, kreativnost i puno rada. (2002, str. 5) Patton (1987) je razvio listu provjere od 20 pitanja koja evaluatorima pomažu da odluÄ?e odgovaraju li kvalitativni metodi strategiji evaluacije (Tekstualni okvir 8.3). Ako je odgovor na bilo koje pitanje „da“, onda će prikupljanje barem nekih kvalitativnh podataka biti odgovarajuće. Odabir i izrada instrumenata za prikupljanje podataka 295 Tekstualni okvir 8.3 Pattonova Kvalitativna lista provjere od 20 pitanja 1. Da li program naglaÅ¡ava individualne ishode – to jest, da li se oÄ?ekuje da će razliÄ?iti uÄ?esnici biti pogoÄ‘eni na kvalitativno razliÄ?ite naÄ?ine? Postoji li potreba ili želja da se opiÅ¡u i evaluiraju ti individu- alizirani ishodi? 2. Jesu li oni koji donose odluke zainteresirani za razjaÅ¡njenje i razu- mijevanje interne dinamike programa – snaga programa, slabosti programa i ukupnih procesa programa? 3. Je li potrebna detaljna, dubinska informacija o odreÄ‘enim sluÄ?ajevima ili programskim lokacijama klijenta (na primjer, izuzetno uspjeÅ¡ni sluÄ?ajevi, neobiÄ?ni neuspjesi ili kritiÄ?no važni sluÄ?ajevi) iz programskih, finansijskih ili politiÄ?kih razloga? 4. Postoji li interes za fokusiranje na raznolikost, posebnost i jedin- stvene kvalitete pojedinih klijenata i programa (Å¡to je suprotno poreÄ‘enju svih klijenata ili programa prema standardiziranim, uniformnim mjerama)? 5. Je li potrebna informacija o detaljima implementacije programa: Å ta doživljavaju uÄ?esnici u programu? Koje se usluge pružaju klijentima? Kako je program organiziran? Å ta rade Ä?lanovi osoblja? Da li oni koji donose odluke trebaju znati Å¡ta se deÅ¡ava u programu i kako je razvijen? 6. Jesu li osoblje programa i drugi dionici zainteresirani za prikupljanje detaljnih, opisnih informacija o programu u svrhu poboljÅ¡anja pro- grama (to jest, postoji li interes za formativnu evaluaciju)? 7. Postoji li potreba za informacijama o nijansama kvaliteta programa – opisne informacije o kvalitetu programskih aktivnosti i ishoda, a ne samo nivoi, koliÄ?ine ili iznosi aktivnosti programa i ishoda? 8. Da li program zahtijeva sistem osiguranja kvaliteta specifiÄ?an za taj sluÄ?aj? 9. Jesu li zakonodavci i ostali koji donose odluke ili finansijeri zainte- resirani da evaluatori provedu program posjete lokaciji tako da evaluacija može biti oÄ?i i uÅ¡i onima koji donose odluke a previÅ¡e su zauzeti da sami Ä?ine takve posjete lokacijama i kojima nedostaje vjeÅ¡tine posmatranja i sluÅ¡anja koju imaju obuÄ?eni evaluatori? Je li zakonodavni monitoring potreban na osnovi sluÄ?aj-po-sluÄ?aj? 10. Je li nametljivost evaluacije problem? Hoće li upravljanje stan- dardiziranim mjernim instrumentima (upitnici i testovi) biti previÅ¡e nametljivo u poreÄ‘enju sa prikupljanjem podataka putem prirodnih opservacija i otvorenih intervjua? Hoće li prikupljanje kvalitativnih podataka proizvesti manje reakcije meÄ‘u uÄ?esnicima nego priku- pljanje kvantitativnih podataka? Postoji li potreba za nenametljivom opservacijom? 296 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije 11. Postoji li potreba i želja da se personalizira proces evaluacije koristeći metode istraživanja koje naglaÅ¡avaju liÄ?ni, licem u lice kontakt sa programom – metodima koji se mogu shvatiti kao „humanistiÄ?ki“ i liÄ?ni zato Å¡to ne oznaÄ?avaju i numeriraju uÄ?esnike, te se oni osjećaju neutralno, neformalno, i razumljivi su uÄ?esnicima? 12. Je li reagirajući evaluacioni pristup odgovarajući – to jest pristup koji je posebno osjetljiv na prikupljanje opisnih podataka i informacija u smislu razlikovanja perspektive dionika na osnovu direktnog, liÄ?nog kontakta sa razliÄ?itim dionicima? 13. Jesu li ciljevi programa nejasni, opći i neodreÄ‘eni, ukazujući na mogućnost davanja prednosti evaluaciji bez cilja koja bi prikupila informacije o tome koje ustvari efekte ima program a ne da se mjeri ostvarenje ciljeva? 14. Postoji li mogućnost da program utjeÄ?e na klijente ili uÄ?esnike na nepredviÄ‘en naÄ?in i/ili ima neoÄ?ekivane popratne efekte, ukazujući na potrebu za metodom istraživanja koji će otkriti efekte koji pre- vazilaze ono Å¡to je osoblje programa formalno postavilo kao neÅ¡to Å¡to želi ostvariti (ponovo ukazivanje na potrebu za nekom vrstom evaluacije bez cilja)? 15. Postoji li nedostatak kvantitativne instrumentacije za važne programske ishode? Je li stanje nauke o mjerenju takvo da ne postoje validni, pouzdani i vjerovatni standardizirani instrumenti ili barem neki instrumenti koji mogu biti brzo spremni za razvoj da bi izmjerili kvantitativno ishode odreÄ‘enog programa za koji su podaci potrebni? 16. Je li evaluacija istraživaÄ?ka? Je li program u predevaluacionoj fazi, gdje se ciljevi i sadržaj programa joÅ¡ razvijaju? 17. Je li potrebna procjena da se odredi sumarni evaluacioni dizajn? 18. Postoji li potreba da se dodaju detalji i znaÄ?enja statistiÄ?kim nalazima ili potreba za generalizacijom istraživanja? 19. Je li prikupljanje kvantitativnih evaluacionih podataka postalo toliko rutinsko da niko viÅ¡e ne obraća pažnju na rezultate, sugerirajući moguću potrebu da se prekine stara rutina i koriste novi metodi za stjecanje novog uvida u program? 20. Postoji li potreba da se razvije teorija programa zasnovana na opservacijama programskih aktivnosti i utjecaja i odnosa izmeÄ‘u tretmana i ishoda? Izvor: Patton 1987. Odabir i izrada instrumenata za prikupljanje podataka 297 Prikupljanje podataka obiÄ?no ukljuÄ?uje kvantitativne i kvalitativne podatke, ali jedan pristup može biti dominantan. Dva pristupa se mogu karakterizirati na sljedeće naÄ?ine. Kvantitativni pristup je: • viÅ¡e strukturiran; • naglaÅ¡ava pouzdanost; • teži je za razvijanje; • lakÅ¡i za analiziranje. Kvalitativni pristup je: • manje strukturiran; • lakÅ¡i je za razvijanje; • može pružiti „bogate podatke“(osobito podatke za svaku jedinicu koja se prouÄ?ava); • zahtijeva viÅ¡e intenzivnog rada da se prikupe i analiziraju podaci; • naglaÅ¡ava validnost. Koji će se pristup koristiti zavisit će od ciljeva evaluacije (Tabela 8.2). U praksi, kvantitativni i kvalitativni podaci su srodni. Prema Trochimu (2006), „svi kvantitativni podaci (su) zasnovani na kvalitativnim sudovima, i svi kvalita- tivni podaci se mogu opisati i manipulirati numeriÄ?ki.“ Uistinu, kompjuterizirane analize (analize sadržaja) pisanih dokumenata fokusiraju se na uÄ?estalost raznih rijeÄ?i, vrsta rijeÄ?i, struktura, prebacujući kvalitativne podatke u kvantitativne. â– â–  Nametljivi Podaci se mogu prikupljati nametljivo i nenametljivo. Nametljivi metodi i metod: Metod opservacije se vrÅ¡e sa znanjem uÄ?esnika. Takvi metodi se koriste da se mjeri perce- koji se koristi da pcija, miÅ¡ljenja i stavovi kroz intervjue, istraživanja i fokusne grupe. Opservacije se posmatraju uÄ?esnici uz provedene sa znanjem onih koji se posmatraju su takoÄ‘er nametljive. njihovo znanje Tabela 8.2 Kada koristiti kvantitativni i kvalitativni pristup Ako onda koristite ovaj pristup Hoćete provesti statistiÄ?ku analizu Hoćete biti precizni Kvantitativni Znate Å¡ta hoćete mjeriti Hoćete pokriti veliku grupu Hoćete narativne ili detaljne informacije Niste sigurni Å¡ta ste u stanju mjeriti Kvalitativni Ne trebate kvantificirati rezultate Izvori: Autori. 298 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 8.4 Mjerenje popularnosti umjetniÄ?kih izložbi koristeći nametljive i nenametljive metode Direktorica muzeja htjela je saznati koji od muzejskih eskponata su najpopu- larniji. Da bi to otkrila, mogla je intervjuirati ljude koji izlaze iz muzeja i pitati ih Å¡ta su vidjeli. Ovakvo izvjeÅ¡tavanje može dovesti u zabludu zato Å¡to ispi- tanici mogu ukazati na najpoznatije eksponate samo zato Å¡to su to jedini eksponati kojih se u tom trenutku mogu sjetiti, ili mogu namjerno iskriviti odgovore iz želje da onaj ko ih intervjuira misli da su im to najdraži eksponati. Da bi se izbjegli ovi problemi, jedna legendarna studija analizirala je popular- nost eksponata u muzeju mjereći istroÅ¡enost ploÄ?ica na podu ispred ekspo- nata. Ovim nenametljivim metodom izbjegla se devijacija rezultata koja nas- taje kada ispitanici sami daju odgovore na pitanja. Ako evaluacija koristi upitnike da prikupi podatke, ispitanici znaju da ih se prouÄ?ava, Å¡to može proizvesti vjeÅ¡taÄ?ke rezultate. Prema Pattonu (1987, str. 33), „sam instrument može naÄ?initi reakciju koja, zbog svoje nametljivosti i mijeÅ¡anja sa normalnim operacijama programa i funkcioniranjem klijenta, ne uspijeva taÄ?no odslikati Å¡ta se ostvarilo programom.“ Oni koje prouÄ?avaju mogu promijeniti svoje ponaÅ¡anje ili reakcije. Nastavnik Ä?iju lekciju posmatra najviÅ¡i Å¡kolski savjetnik, na primjer, može predavati sasvim drugaÄ?ije nego kad ga savjetnik ne posmatra. Nenametljivi metodi su opservacije koje se izvode bez znanja uÄ?esnika. Primjeri nenametljivih metoda ukljuÄ?uju koriÅ¡tenje podataka iz dokumenata ili â– â–  Nenametljivi arhiva i posmatranje uÄ?esnika bez njihovog znanja (Tekstualni okvir 8.4). metod: Metod koji se koristi da se uÄ?esnici posmatraju bez Alati za prikupljanje podataka njihovog znanja Odabrana tehnika prikupljanja podataka će zavisiti od sitaucije. Nije bitno koji metod je odabran da se podaci prikupe od ljudi, sve prikupljene informacije su potencijalno podložne pristrasnosti. Pristrasnost je kada se od ispitanika traži â– â–  Pristrasnost: da pruže informacije o sebi ili drugima, mogu ili ne reći cijelu istinu, namjerno Namjerno ili ili nenamjerno. Mogu iskriviti istinu zato Å¡to se ne sjećaju najbolje ili boje nenamjerno iskrivljivanje posljedica pružanja istinitog odgovora. Razlog može biti stid ili nelagodnost kod podataka u priznavanja stvari za koje osjećaju da neće biti druÅ¡tveno prihvatljive. Svi podaci smislu koje pružaju ispitanici su osjetljivi na ovaj problem. prikupljanja, Ispitanici se mogu stidjeti da istinito odgovore na pitanja u vezi sa upotrebom analiziranja ili zaÅ¡tite tokom seksualnog Ä?ina ili datuma posljednje posjete ljekaru, na primjer. izvjeÅ¡tavanja Odabir i izrada instrumenata za prikupljanje podataka 299 Može se desiti da će prije opisati ono za Å¡ta misle da evaluator želi Ä?uti nego ono Å¡to je istina. Pristrasnost pri odabiru – Ä?injenica da ljudi koji odaberu da uÄ?estvuju u pro- gramu mogu biti razliÄ?iti od onih koji odaberu da ne uÄ?estvuju – može takoÄ‘er postojati (ovo pitanje je razmatrano u Poglavlju 5). Ovo je Ä?est problem u istraživanjima, intervjuima i fokusnim grupama. Oni koji dobrovoljno uÄ?estvuju mogu sistematski biti drugaÄ?iji od onih koji ne uÄ?estvuju. ObiÄ?no se koristi viÅ¡e od jednog pristupa prikupljanju podataka da se odgov- ori na razliÄ?ita evaluaciona pitanja ili da se osigura viÅ¡e izvora podataka kod odgovora na jedno evaluaciono pitanje. Evaluacija može, na primjer, prikupljati dostupne podatke iz evidencija o prinosu usjeva farmera, intervjua kupaca proi- zvoda sa farme i iz anketa farmera. Ponekad evaluatori koriste fokusne grupe ili provode studije sluÄ?aja da pomognu pri razvoju tema za upitnik ili da rezultate ankete uÄ?ine smislenim. Prikupljanje istih informacija koristeći razliÄ?ite metode da se poveća taÄ?nost podataka zove se triangulacija metoda. Evaluatori koriste â– â–  Triangula- metod triangulacije da ojaÄ?aju nalaze. Å to se viÅ¡e informacija prikupi koriÅ¡tenjem cija metoda: razliÄ?itih metoda koje podržavaju nalaze, to je jaÄ?i dokaz. Prikupljanje istih Metod triangulacije nije jedina vrsta triangulacije. Denzin (1978) identificira informacija koristeći nekoliko vrsta triangulacije, ukljuÄ?ujući triangulaciju izvora. Triangulacija razliÄ?ite metode evaluatora, gdje je viÅ¡e evaluatora ukljuÄ?eno u istraživanje, joÅ¡ je jedna vrsta kako bi se triangulacije. povećala Ispitanici u studiji nisu jedini ljudi koji mogu utjecati na rezultate evaluacije. taÄ?nost Evaluatori i postavke evaluacije takoÄ‘er mogu imate efekte. Žene, na primjer, podataka â– â–  Triangulacija mogu odgovarati drugaÄ?ije ako ih intervjuira muÅ¡karac nego kad to radi žena; izvora: takoÄ‘er mogu reagirati drugaÄ?ije ako se intervjuiraju sami ili sa supružnicima. Prikupljanje istih U sljedećem dijelu opisano je devet alata za prikupljanje podataka: informacija iz raznih izvora • Alat 1: participativno prikupljanje podataka; kako bi se • Alat 2: analiza zapisa i sekundarna analiza; povećala • Alat 3: opservacija; taÄ?nost • Alat 4: ankete i intervjui; podataka • Alat 5: fokusne grupe; â– â–  Triangulacija evaluatora: • Alat 6: dnevnici, žurnali i subjektivne liste provjere; Prikupljanje istih • Alat 7: procjena struÄ?njaka; informacija od • Alat 8: delfi tehnika i viÅ¡e evaluatora • Alat 9: ostali alati mjerenja. kako bi se povećala taÄ?nost evaluacije 300 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Alat 1: Participativno prikupljanje podataka Participativni pristup prikupljanja podataka u velikoj mjeri ukljuÄ?uje grupe ili zajednice u prikupljanje podataka. Primjeri participativne tehnike prikupljanja podataka su sastanci zajednice, mapiranje i obilasci. Sastanci zajednice Jedan od najÄ?ešćih metoda participacijskog prikupljanja podataka je posre- dstvom sastanaka u zajednici. Ovi sastanci omogućavaju Ä?lanovima zajednice da postavljaju pitanja, komentiraju i diskutiraju o pitanjima od važnosti za zajednicu. Da bi sastanci proizveli korisne podatke, moraju biti dobro organizirani. Evalu- ator i dionici se moraju usaglasiti o svrsi sastanka i posvetiti se prisustvovanju na sastancima. Prije sastanka evaluator treba uspostaviti i iznijeti osnovna pravila. Stavke koje treba razmotriti su kako identificirati govornike, koliko vremena dodijeliti govornicima i format za pitanja i odgovore. Ako je populacija dovoljno pismena, osnovna pravila treba napisati i pripremiti ih i za one koji kasne. Sastanke zajednice treba najavljivati, putem letaka, oglasa u novinama i na radio stanicama. ÄŒlanovi zajednice takoÄ‘er mogu biti odgovorni za Å¡irenje vijesti o sastanku. Evaluatori se ne trebaju primarno oslanjati na lokalne zvaniÄ?nike da pozovu ljude, zato Å¡to oni mogu pozvati samo pristrasno odabrane ljude koji zastu- paju njihove stavove. Lokaciju sastanka treba odabrati sa idejom ohrabrivanja uÄ?esnika i da se zadovolji udobnost, pristup i sigurnosne potrebe uÄ?esnika (Minnesota Department of Health 2007). Održavanje sastanaka u zajednici ima nekoliko prednosti: • Sastanci mogu podići kredibilitet procesa pojaÄ?avajući otvorenost i inkluziju; • Održavanje sastanaka u zajednici je manje skupo i relativno lahko se organizira; • Sastanci u zajednici omogućavaju Å¡iru participaciju; • OpuÅ¡tenije okruženje može povećati participaciju zajednice; • Sastanci u zajednici mogu podići nivo svijesti i razumijevanja evaluacije i izgraditi njenu podrÅ¡ku; • Mogu povećati znanje evaluatora o važnim pitanjima programa; • Mogu otkriti pitanja koja će naložiti dodatno istraživanje. Sastanci u zajednici imaju i nedostatke (Tabela 8.3). Na primjer, Ä?lan zaje- dnice koji odabere da uÄ?estvuje možda nije predstavnik zajednice, a neki ljudi sa dobrim idejama ili jasnim razumijevanjem pitanja možda ne žele prisustvovati ili govoriti na takvim dogaÄ‘ajima. Oni koji prisustvuju mogu biti oni koji imaju najviÅ¡e osjećaja za program (pozitivnih ili negativnih). Oni koji govore mogu biti oni koji imaju pozicije moći u zajednici. Ovisno o vremenu u kojem se sastanak održava pitanje spolova može utjecati na prisustvo. Prisustvo i uÄ?ešće žena se Odabir i izrada instrumenata za prikupljanje podataka 301 Tabela 8.3 Prednosti i izazovi sastanaka u zajednici Prednosti Omogućava Ä?lanovima zajednice da nauÄ?e o intervenciji i diskutiraju o pitanjima Mogu podići svijest i kredibilnost Nisu skupi Mogu povećati znanje evaluatora o važnim pitanjima Izazovi Mogućnost netaÄ?nog predstavljanja zajednice zbog pitanja spolova ili moći Izvor: Autori. vjerovatno može povezati sa kulturom. Zbog ovih pitanja sastanci u zajednici nikad ne trebaju biti primarni metod za prikupljanje podataka za evaluaciju. Mapiranje Izrada ili upotreba postojećih mapa – proces koji se zove mapiranje kada se primjenjuje na prikupljanje podataka – može se koristiti da pokrene diskusiju o â– â–  Mapiranje: Izrada ili prioritetima lokalnog razvoja i stepena u kojem je taj razvoj zadovoljen. Može se upotreba koristiti za verifikaciju sekundarnih izvora informacija. Mapiranje takoÄ‘er može postojećih zabilježiti promjene ili uoÄ?ene promjene tokom vremena (prije i poslije interve- mapa kao dio ncije, na primjer). Dok se proces mapiranja Ä?esto primjenjuje kod planiranja prikupljanja intervencije, takoÄ‘er se može koristiti i u evaluaciji. podataka Mapiranje se može raditi sa pojedincima ili grupama. Kao grupni alat koristan je za participativne evaluacije koje ukljuÄ?uju dionike, zato Å¡to im osigurava naÄ?in da rade zajedno. U isto vrijeme, mapiranje može svima povećati razumijevanje zajednice. Ovo je posebno važno kada ljudi imaju razliÄ?ito razumijevanje zaje- dnice zasnovano na njihovom statusu i iskustvu. Mapiranje je takoÄ‘er koristan alat za prikupljanje za upotrebu sa grupama gdje je pismenost problem. Vrste mapiranja ukljuÄ?uju sljedeće: • mapiranje resursa; • socijalno mapiranje; • mapiranje bogatstva; • demografsko mapiranje; • historijsko mapiranje; • mapiranje zdravlja. • mapiranje koriÅ¡tenja zemljiÅ¡ta; Mapiranje resursa se Ä?esto koristi za prikupljanje i nacrt informacija o distri- buciji, pristupu i upotrebi resursa unutar zajednice. Može se koristiti prije i poslije intervencije da se identificiraju promjene. 302 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Mape se mogu razvijati na mnoge naÄ?ine. Za programe sanitacije i snabdi- jevanja vodom, na primjer, evaluatori mogu razviti jednostavne crteže olovkom na papiru, gdje su prikazani izvori vode, mjesta za toalet, primarna ekoloÅ¡ka svojstva i obrasci naselja. Evaluatori mogu zatim pitati seljane da koriste druge materijale koje imaju, kao Å¡to su konac, slamke, traka, i konopac, da obilježe koje porodice koriste koje izvore za vodu za piće i za toalet. Bojice, tinta ili voÅ¡tane bojice se mogu koristiti da se nacrtaju taÄ?ke koje oznaÄ?avaju distribuciju posebnih grupa, kao Å¡to su siromaÅ¡ne žene, bogati, ili voÄ‘e (Narayan 1996). Primjeri upotrebe mapiranja na participacijski naÄ?in ukljuÄ?uju sljedeće: • pitati Å¡kolsku djecu da mapiraju njihovu zajednicu crtajući njihove kuće i kuće njihovih komÅ¡ija; • pitati grupu muÅ¡karaca i žena da koriste lokalno dostupne materijale – glinu, travu, blato, kamenje i Å¡tapove – da izrade model njihove zajednice i oznaÄ?e sve vodene (ili druge) resurse i • pokretanje diskusije i ukljuÄ?ivanje ljudi u proces razvoja mape zajednice tokom sastanka grupe (Narayan 1996). Socijalno mapiranje ukljuÄ?uje „crtanje“ konceptualne slike elemenata koji Ä?ine zajednicu, ukljuÄ?ujući resurse i sredstva, te njihov meÄ‘usobni odnos. Soci- jalno mapiranje se može koristiti da se predstave informacije o rasporedu sela, infrastrukturi, demografiji, etnolingvistiÄ?kim grupama, objektima zajednice, zdravstvenim obrascima, zdravlju i drugim pitanjima zajednice. Ovaj pristup â– â–  Socijalno okuplja Ä?lanove zajednice da bi bolje razumjeli zajednicu i kako se tu uklapa mapiranje: intervencija (ili ne uklapa). Može se koristiti kao dio bilo kojeg pristupa ako odgo- „crtanje konceptualne vara pitanjima evaluacije. TakoÄ‘er se može koristiti da se poredi situacija prije i slike elemenata poslije intervencije. koji Ä?ine Drugi alati mapiranja ukljuÄ?uju zraÄ?no snimanje, ukljuÄ?ujući Google Earth zajednicu, (Tekstualni okvir 8.5); snimanja zemljiÅ¡ta; mape koje su izradili profesionalni ukljuÄ?ujući kartografi; i mape koje su pripremili radnici na terenu koji hodaju kroz zajednicu resurse i sredstva, te i traže pomoć od kljuÄ?nih ljudi. Informacije dobivene na ovaj naÄ?in se mogu njihov koristiti u planiranju aktivnosti viÅ¡e zajednica (Narayan 1996). meÄ‘usobni odnos Obilasci Hodanje kroz podruÄ?je koje se prouÄ?ava se veoma razlikuje od gledanja snimka iz zraka. Umjesto da koristi kameru, onaj koji obilazi podruÄ?je pjeÅ¡ke koristi vjeÅ¡tine posmatranja da bi razvio razumijevanje podruÄ?ja. Prateći staze kojima se Ä?lanovi zajednice kreću može otkriti zaÅ¡to žene donose vodu samo jednom dnevno ili zaÅ¡to koriste druge staze kada poÄ?ne kiÅ¡a. Obilasci mogu dovesti do razumijevanja druÅ¡tvene podjele u zajednici, kao Å¡to su moć i podjela meÄ‘u kastama. TakoÄ‘er može pomoći identificirati prostornu organizaciju, arhitekto- nske stilove, upotrebu prostora, okolinsku sanitaciju, pretjeranu ili nedovoljnu Odabir i izrada instrumenata za prikupljanje podataka 303 Tekstualni okvir 8.5 KoriÅ¡tenje Google Eartha za mapiranje Google Earth, program koji se može besplatno preuzeti sa interneta, mapirao je Ä?itav planet postavljajući slike dobivene sa satelita i slike iz zraka i geografskih informacionih sistema na trodimenzionalni globus. Mnogi veliki gradovi su dostupni u rezoluciji dovoljno oÅ¡troj da se vide pojedine zgrade, kuće, Ä?ak i automobili. Stepen rezolucije je unekoliko zasnovan na taÄ?kama od interesa. Google Earth može biti koristan za priku- pljanje baznih podataka i podataka o trendovi- ma. Evaluatori mogu locirati podruÄ?je Google Google Earth slika: Dacca, BangladeÅ¡ Earthom, snimiti slike i printati ih. Prikupljeni podaci se kasnije mogu porediti sa baznom slikom, kako bi se pokazale promjene tokom vremena u, na primjer, putevima ili osiguranju elektriÄ?ne energije ruralnim podruÄ?jima. upotrebu objekata i aktivnosti oko objekata vodosnabdijevanja i sanitacije (Narayan 1996). Obilazak je vrsta hoda koji evaluator obavlja po zajednici kako bi izveo reprezentativnu opservaciju ljudi, okoline i resursa. Obilasci su vrsta prosto- rnog alata za prikupljanje podataka. Obilasci mogu trajati od jednog sata pa do Ä?itavog dana. Obilazak se planira crtanjem „linije obilaska“ na mapi zajednice. Linija â– â–  Obilazak: treba ići kroz, ili presjecati, sve zone zajednice kako bi se osigurao reprezenta- Hodanje koje tivni pogled zajednice. obavlja kako bi Evaluator, u druÅ¡tvu sa nekoliko Ä?lanova zajednice, hoda duž podruÄ?ja koje se posmatrali ljudi, okolina i je predstavljeno linijom presjeka na mapi. On ili ona razgovaraju sa Ä?lanovima resursi u zajednice dok osmatraju uvjete, ljude, probleme i prilike (Academy for Educa- zajednici tional Development 2002). Ovo Å¡to slijedi su primjeri aspekta zajednice koji mogu biti uoÄ?eni tokom obilaska: • uvjeti smjeÅ¡taja; • prisustvo djece sa ulice; • priroda djeÄ?ijeg rada; • neformalna uliÄ?na trgovina i prostitucija; 304 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • dostupnost javnog transporta; • vrste nevladinih organizacija (NVO) i vjerskih organizacija; • vrste prodavnica; • vrsta hrane koja se prodaje na otvorenim tržnicama; • sanitarni uvjeti; • meÄ‘usobni odnosi muÅ¡karaca i žena; • prisustvo zdravstvenih objekata i • zajedniÄ?ki objekti (Academy for Educational Development 2002). Obilasci omogućavaju evaluatoru „veliku sliku“ zajednice. Pomažu pri identi- fikaciji problema koje treba dodatno istražiti. Alat 2: Analiza zapisa i sekundarnih podataka Ponekad se podaci koji su već prikupljeni mogu koristiti da se odgovori na evalu- aciona pitanja. Kada koristimo podatke koje su prikupili drugi, neophodno je razumjeti kako su podaci prikupljeni, kako definirane varijable, i kako su podaci kodirani i oÄ?išćeni, ukljuÄ?ujući kako su tretirani sluÄ?ajevi sa podacima koji nedostaju, nepostojanje odgovora i slabog stepena odziva. Izvori sekundarnih podataka ukljuÄ?uju ne samo setove podataka iz prethodnih aktivnosti prikupljanja podataka nego takoÄ‘er i novinske Ä?lanke, televizijske emisije, web stranice, blogove i internet grupe. KoriÅ¡tenje zapisa Vladine organizacije, klinike, Å¡kole, udruženja i razvojne organizacije su samo neke od organizacija koje prave zapise. Ovi zapisi mogu biti glavna podrÅ¡ka evaluacije. Organizacioni zapisnici su uobiÄ?ajen izvor evaluacionih informacija. Većina organizacija je već prikupila i organizirala podatke od klijenata i zajednica. Moguće da su sumirali i prenijeli informacije u obliku internih menadžment izvjeÅ¡taja, budžetskih dokumenata, izvjeÅ¡tavanja javnosti ili finansijskih agencija, ili u obliku evaluacionih ili monitoring izvjeÅ¡taja. McCaston (2005) predstavlja uzorkovanje vrsta sekundarnih podataka i info- rmacija obiÄ?no povezanih sa analizom siromaÅ¡tva: • demografski (populacija, stopa rasta populacije, ruralno/urbano, spol, etniÄ?ke grupe, migracioni trendovi); • diskriminacija (spolna, etniÄ?ka, starosna); • jednakost spolova (po starosti, etniÄ?ka); • okolinska politika; • ekonomsko okruženje (rast, razmjer duga, uvjeti trgovine); • nivoi siromaÅ¡tva (relativni i apsolutni); Odabir i izrada instrumenata za prikupljanje podataka 305 • zapoÅ¡ljavanje i plaće (formalno i neformalno; pristup varijablama); • egzistencijalni sistemi (ruralni, urbani, na farmi, izvan farme, neformalni); • poljoprivredne varijable i praksa (padavine, usjevi, vrste tla i upotreba, navodnjavanje); • zdravlje (pothranjenost, smrtnost djece, stopa imunizacije, stopa plodnosti, stopa upotrebe kontracepcije); • zdravstvene usluge (broj, nivo, objekti u odnosu na populaciju; pristup prema spolu, etniÄ?ka pripadnost); • obrazovanje (stopa nepismenosti kod odraslih, stopa upisa u Å¡kole, stopa napuÅ¡tanja Å¡kole, odnos muÅ¡karci-žene, etniÄ?ki odnos); • Å¡kole (broj i nivo, broj Å¡kola u odnosu na populaciju, pristup prema spolu, prema etniÄ?koj pripadnosti); • infrastruktura (putevi, struja, telekomunikacije, voda, sanitacija); • status i problemi okoliÅ¡a i • Å¡tetna praksa u kulturi. Gornje informacije se mogu naći u: • fajlovima i zapisnicima; • kompjuterskim bazama podataka; • industrijskim izvjeÅ¡tajima; • vladinim izvjeÅ¡tajima; • drugim izvjeÅ¡tajima, ukljuÄ?ujući evaluacije; • podacima o cenzusu i istraživanju domaćinstava; • elektronskim mailing listama i grupama na forumima; • dokumentima (budžeti, politike i procedure, organizacioni dijagrami, mape) i • novinskim i televizijskim izvjeÅ¡tajima. Da bi se ekstraktovale informacije iz dokumenata zasnovanih na papiru, evaluatori razvijaju instrument za prikupljanje podataka koji taÄ?no odreÄ‘uje koje podatke prikupiti iz fajla ili zapisnika i kako ih kodirati. Cilj je razviti instrument koji je jasan i jednostavan. Kada se instrument razvije, treba ga predtestirati. Razmotrimo, na primjer, evaluaciju sluÄ?aja gdje treba utvrditi jesu li medicin- ske sestre koje su obuÄ?avane u programu obuke koji je sponzorirala vlada efekti- vnije od drugih sestara. Instrument za prikupljanje podataka se može koristiti da se sistemski prikupe relevantni podaci iz njihovih fajlova (Ilustracija 8.1). Evalu- atori mogu odabrati uzorak klinike u kojoj su jedna ili viÅ¡e sestara proÅ¡le obuku u vladinom programu i pregledati podatke svih sestara. Ovi podaci ukljuÄ?uju njih- ovu obrazovnu pozadinu, vrijeme provedeno kao sestra i ocjenu njihovog uÄ?inka. Kada se radi sa dokumentima koji opisuju trenutne aktivnosti ili praksu, evalu- ator se treba uvjeriti da dokumenti taÄ?no odslikavaju praksu. Opservacije (ako je program joÅ¡ u toku) i intervjui mogu pomoći u tome. 306 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 8.1 Primjer instrumenta za prikupljanje podataka Datum______________________ ID #_______________ 1. NajviÅ¡i zavrÅ¡eni nivo obrazovanja:__________________ 2. Kvalificirana med. sestra? Da___________ Ne___________ 3. ZavrÅ¡ena vladina obuka? Da___________ Ne___________ 4. Ako jest, godina zavrÅ¡etka obuke? _____________________ 5. Koliko godina staža na ovoj klinici? _____________________ 6. Koliko godina staža na drugim mjestima? _______________ 7. Ocjena rada za proteklih pet godina: Godina:____________ Ocjena:____________ Godina:____________ Ocjena:____________ Godina:____________ Ocjena:____________ Godina:____________ Ocjena:____________ Godina:____________ Ocjena:____________ 8. Nagrade za rad primljene u proteklih pet godina: ________Da________Ne Ako jeste, broj nagrada primljenih u posljednjih pet godina:_______ 9. Spol: _________MuÅ¡ki_________Ženski 10. Komentari:_________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ Izvor: Autori. Na primjer, kada koristimo dokumente koji opisuju program obuke, evaluator može provjeriti jesu li se Ä?asovi održavali pet dana u sedmici, je li materijal bio dostupan, a uÄ?esnici bili raznoliki kao Å¡to dokument pokazuje. Ova verifikacija može doći iz nekoliko intervjua ljudi koji imaju znanje o programu, njegovoj historiji i implementaciji. Zavisno od sluÄ?aja, može biti važno potražiti ljude koji imaju razliÄ?ite uloge, ukljuÄ?ujući osoblje budžeta i klijente, Ä?ija perspe- ktiva može osvijetliti prikupljene informacije i pružiti uvid u nepisanu histo- riju. Kada ni opservacije niti intervjui nisu izvodivi, evaluator informacije može verificirati identificirajući i pregledajući ostale dokumente koji govore o sliÄ?nim informacijama. ObiÄ?no je neophodno Ä?itati i analizirati zvaniÄ?ne dokumente pored fajlova. U evaluaciji programa da se poboljÅ¡a reakcija vladinih zvaniÄ?nika na telefonske Odabir i izrada instrumenata za prikupljanje podataka 307 pozive graÄ‘ana, na primjer, evaluatori bi pogledali zvaniÄ?ne dokumente da odrede sljedeće: • Kada je program odobren? • Koji ciljevi su postavljeni za program u dokumentu kojim se taj program odobrava? • Koliko vladinih radnika će biti ukljuÄ?eno? • Koje agencije ili odjeli bi bili ukljuÄ?eni? • Tokom kojeg perioda bi program bio implementiran? • Koje mjere uÄ?inka ili indikatore su odreÄ‘ene ili implicirane? • Koji budžet je bio za program? • Koje aktivnosti je trebalo implementirati? KoriÅ¡tenje postojećih setova podataka Elektronski setovi podataka koje je prikupila jedna organizacija Ä?esto preuzima i ponovo analizira druga organizacija da bi odgovorila na nova pitanja. Ova vrsta analize se zove sekundarna analiza podataka. Evaluatori Ä?esto koriste velike kompjuterske baze podataka koje sadrže, na primjer, podatke o anketi domaćinstava ili kredite koje su finansijski posrednici dali malim i srednjim preduzećima. Pri obavljanju analize sekundarnih podataka evaluatori moraju ostati fokusirani na svrhu i dizajn evaluacije. KljuÄ?na pitanja koja treba razmotriti pri odreÄ‘ivanju da li pribaviti i koristiti podatke za sekundarnu analizu ukljuÄ?uju sljedeće: • Jesu li dostupni podaci validni? • Jesu li dostupni podaci pouzdani? • Jesu li dostupni podaci taÄ?ni? • Koja je stopa saradnje i podataka koji nedostaju? McCaston (2005) sugeriÅ¡e da se takoÄ‘er provjere: â– â–  Analiza sekundarnih • akreditivi organizacije koja Ä?uva bazu podataka; podataka: • metode i pravila koriÅ¡tena za Ä?išćenje podataka; Analiza • starost informacija u bazi podataka (važeći ili zastarjeli?) i podataka koje • provjeriti imaju li podaci smisla i jesu li konzistentni sa podacima iz ostalih nisu prikupili izvora. evaluatori nego su prikupljeni iz Razmotrimo, na primjer, evaluacijsku jedinicu koja razmatra upotrebu drugih izvora podataka iz velikog kompjuteriziranog menadžment informacionog sistema sa podacima o univerzitetskim kreditima datim u vladinom programu. Kao uvjet za ovaj program, prihod studenata mora biti ispod zahtijevanog nivoa. Evalu- atori koji razmatraju koriÅ¡tenje ovih podataka moraju provjeriti da podaci poka- zuju da studenti koji nisu ispunjavali uvjete nisu primili sredstva. Ako pronaÄ‘u 308 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije da su studenti koji nisu ispunjavali uvjete ipak primili sredstva, treba odrediti je li problem u pogreÅ¡no unesenim podacima (taÄ?nost) ili u nepravilnoj imple- mentaciji uvjeta. Evaluatori, takoÄ‘er, moraju provjeriti da studentima koji su ispunjavali uvjete sredstva nisu uskraćena ili da studenti nisu primili viÅ¡e od jednog kredita. Evaluatori mogu prvo pokrenuti podatke da odrede prirodu i stepen ovih problema u bazi podataka. Da bi verificirali podatke mogu telefoni- rati nekim studentima da potvrde da su primili sredstva i pohaÄ‘ali Å¡kolu. Evalu- atori takoÄ‘er mogu provjeriti u Å¡kolama da odrede da li njihovi podaci pokazuju da su studenti pohaÄ‘ali Å¡kolu i primili sredstva iz programa. Sljedeći proces treba slijediti kada se koriste sekundarni podaci: • Pronaći Å¡ta je potrebno da se podaci prebace na vaÅ¡ kompjuter. Ponekad će organizacija koja ima bazu podataka htjeti provesti analizu za vas, i to je jedina opcija. (Ako je moguće i praktiÄ?no, poželjno je prebaciti fajl); • Provjeriti ima li virusa prije nego prebacite podatke na vaÅ¡ kompjuter; • Pribaviti strukturu baze podataka, rjeÄ?nike podataka i sheme kodiranja; • Verificirati taÄ?nost podataka testiranjem i validacijom; • Podatke prebaciti na naÄ?in koji spreÄ?ava nove greÅ¡ke (nema ponovnog kucanja teksta). Manuelno provjeriti neke od podataka da se osigura da su prebaÄ?eni kako je planirano; • Pravilno referencirati sve sekundarne podatke (datum objavljivanja, pravilne citate autora). Tabela 8.4 sumira prednosti i izazove koriÅ¡tenja dostupnih podataka. Tabela 8.4 Prednosti i izazovi koriÅ¡tenja dostupnih podataka Prednosti Podaci su obiÄ?no manje skupi i brži nego prikupljanje originalnih podataka Izazovi Podaci možda nisu taÄ?no onakvi kakvi nam trebaju Može biti teÅ¡ko održati dugoroÄ?ni pristup podacima Validnosti i pouzdanost podataka treba verificirati i kodirane greÅ¡ke ispraviti Izvor: Autori. Alat 3: Opservacija Opservacija može biti moćan alat za prikupljanje podataka. Koristeći samo oÄ?i možemo posmatrati, na primjer, saobraćajne obrasce, obrasce koriÅ¡tenja zemljiÅ¡ta, raspored grada i ruralnog okruženja, kvalitet stanovanja, stanje puteva ili ko dolazi u ruralne zdravstvene ustanove na medicinske preglede. Odabir i izrada instrumenata za prikupljanje podataka 309 Opservacija je koristan alat za prikupljanje podataka kada je svrha evaluacije odrediti mjeru i prikupiti opisne podatke ili dokumentirati aktivnosti programa, procese, i ishode. Primjenjiva je u raznim situacijama (Tabela 8.5). Opservacije mogu biti strukturirane i polustrukturirane: • Strukturirane opservacije prije poÄ?etka precizno odreÄ‘uju Å¡ta će se posmatrati tokom kojeg vremenskog intervala. PosmatraÄ?i obiÄ?no koriste liste provjere da broje dogaÄ‘aje ili primjere ili mjere vrijeme aktivnosti. • Nestrukturirane opservacije odabiru metod ovisno o situaciji, bez prethodno koncipiranih ideja ili planova o tome Å¡ta posmatrati ili koliko dugo posmatrati. PosmatraÄ? gleda i bilježi razvoj situacije. • Polustrukturirane opservacije se provode kada evaluator ima generalnu ideju Å¡ta posmatrati, ali nema odreÄ‘eni plan. Evaluator može jednostavno zabilježiti ono Å¡to smatra interesantnim, tipiÄ?nim, neobiÄ?nim ili važnim. Evaluator se može upustiti u stalno bilježenje transakcija onako kako one nastaju ili se može fokusirati na odreÄ‘ene aktivnosti. Strukturirane opservacije KoriÅ¡tenjem strukturiranog pristupa opservaciji Stake (1995) je razvio obrazac opservacije zasnovan na temi ilustracija (Ilustracija 8.2). Mnogi obrasci za stru- kturirane opservacije koriste skraćenice i simbole da omoguće viÅ¡e prostora na obrascu za prikupljanje podataka. Obrasci se mogu modificirati da zadovolje potrebe odreÄ‘enih evaluacija. Ilustracija 8.3 prikazuje primjer obrasca koji se koristi za strukturirane opserva- cije, ovaj alat se koristi za prikupljanje podataka o vjeÅ¡tinama komunikacije kod djece. 310 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 8.5 Razlozi za koriÅ¡tenje i primjeri opservacije Razlog za koriÅ¡tenje opservacije Primjeri Da se dobiju NasumiÄ?ne posjete Å¡kolama, kućama, farmama ili drugim lokacijama i direktne posmatranje a ne ispitivanje ljudi. informacije Osmatranje operacija i procedura u uredima, Å¡kolama, bolnicama ili drugim lokacijama, a ne oslanjati se samo na izvjeÅ¡taje. Nenametljivo bilježiti broj sluÄ?ajeva, kao Å¡to su etniÄ?ke, spolne ili starosne grupe ukljuÄ?ene u odreÄ‘enu aktivnost. Razumjeti trenutno Posmatranje i opisivanje Å¡ta je uraÄ‘eno u svakoj fazi projekta ili programa. ponaÅ¡anje, proces, Posmatranje meÄ‘usobnog odnosa djece na igraliÅ¡tu, postupanja roditelja sa razvoj situacije ili djecom, uÄ?itelja sa uÄ?enicima, zdravstvenih radnika sa pacijentima, menadžera sa dogaÄ‘aja uposlenicima. Posmatranje menadžera kako vode poslovne sastanke prije i poslije programa obuke. Istražiti fiziÄ?ke Posmatranje hrane i drugih stvari koje se prodaju na tržnici. dokaze, proizvode PeriodiÄ?no osmatranje obale jezera koja je ukljuÄ?ena u program Ä?išćenja. ili izlazne rezultate Imati tim struÄ?njaka staviti taÄ?ku na kraju Ispitivanje vrtova, biltena, projektnih knjiga i tako dalje. Osigurati Nekoliko uÄ?esnika dobrovoljaca osmatra i izvjeÅ¡tava o izvrÅ¡enju programa, a ne alternativu kada da svi uÄ?esnici ispunjavaju upitnike. pisane ili druge Posmatranje dinamike i problema izraženih tokom radionice za nove imigrante. procedure prikupljanja Treneri posmatraju Ä?asove jedni drugima; bilježe dinamiku; pitanja i nivo uÄ?ešća. podataka mogu biti neizvodive ili nepogodne Izvor: PrilagoÄ‘eno iz University of Wisconsin Cooperative Extension 1996. Ilustracija 8.2 Primjerak obrasca opservacije zasnovane na temi Vrijeme opservacije: PosmatraÄ?: Å kola: Datum: od do Nastavnik: muÅ¡ki ženski Godina 25 35 50 65 Razred: Vrijeme pisanja: Iskustvo nastavnika: 0 - - Direktne instrukcije # uÄ?enika: Predmet Mjeseci Nisko - - Visoko Komentari na nauÄ?no obrazovnu temu: 1. reakcija na rezanje budžeta Sinopsis lekcije, aktivnost: 2. mjesto autoriteta 3. priprema nastavnika 4. priruÄ?ni materijali Opis prostorije PedagoÅ¡ka orijentacija Cilj nastavnika napravljene reference na Mjesto uÄ?enja L - - H udžbenik L - - H didaktiÄ?ki L - - H nauÄ?ni metod 0 - - M Mjesto nauke L - - H stdzd testiranje L - - H heuristiÄ?ki L - - H tehnologija 0 - - M Mjesto kompetencije L - - H rjeÅ¡avanje problema L - - H filetiÄ?ki L - - H etika, relig 0 - - M Izvor: PrilagoÄ‘eno od Stake 1995.  311 Ilustracija 8.3 Primjer Obrasca strukturirane opservacije Indikator rana Ime djeteta ili # Datum testa (MM/DD/YY) Trajanje testa - komunikacija Min sec Oblik: kuća ili Å¡tala promjena uvjeta (vidjeti listu ispod): Primarni koder: IspitivaÄ?: Lokacija (zaokružiti jednu): kuća centar drugo (objasniti u biljeÅ¡kama) Rano djetinjstvo Jezik: IstraživaÄ?ki Ako ima pouzdanost, ime kodera pouzdanosti: institut mjerenje BiljeÅ¡ke: rast i razvoj Geste Vokalizacija PojedinaÄ?ne ViÅ¡e Lista uvjeta rijeÄ?i rijeÄ?i Prevodilac Jezik intervencije pribor PoÄ?etak G V W M Medicinske intervencije (npr. 0:00 epruvete) Savjetnici za mentalno Sec. zdravlje 1:00 G V W M Milje ili incidentno poduÄ?avanje NiÅ¡ta Nutricionisti Ostali Sec. Fizioterapeuti 2:00 G V W M VrÅ¡ioci primarne njege Kvalificirane med. sestre Reaktivna interakcija Socijalni radnik Sec. Terapeut govora/jezika 3:00 G V W M Sec. 4:00 G V W M Sec. 5:00 G V W M Sec. 6 min G V W M Kraj Ukupno 312 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Geste Vokalizacije Pojedine ViÅ¡e Ukupno rijeÄ?i rijeÄ?i Primarni koder ukupni procent Koder Slaganje pouzdanosti Slaganje A/A≠D Neslaganje Procenat OdreÄ‘ivanje pouzdanosti: 1. Zabilježiti rezultate primarnog kodera u prvi red; 2. Zabilježiti rezultate kodera pouzdanosti u drugi red; 3. Zabilježiti broj o kojem su se složili u treći red; 4. Zabilježiti broj o kojem se nisu složili u Ä?etvrti red; 5. IzraÄ?unati procenat slaganja za svaki kljuÄ?ni element kategorije; 6. IzraÄ?unati ukupni procenat slaganja koristeći ukupne rezultate; 7. IzraÄ?unati ukupni prosjek slaganja po kategorijama (dodati slaganja i neslaganja po kategorijama (treći i Ä?etvrti red). Izvor: Early Childhood Research Institute on Measuring Growth and Development 2008. Odabir i izrada instrumenata za prikupljanje podataka 313 Polustrukturirane opservacije Polustrukturirane opservacije mogu ne posjedovati odreÄ‘eni plan. Umjesto toga, može se identificirati koju vrstu stvari posmatrati (Tabela 8.6). Bilježenje opservacija Opservacije možemo bilježiti na najmanje tri naÄ?ina: • VodiÄ? opservacije: printani obrazac koji pruža prostor za bilježenje opse- rvacija. [Primjeri za vodiÄ?e opservacija mogu se naći u (1995), University of Wisconsin Cooperative Extension (1996), i Yin (2003).] • Lista biljeÅ¡ki ili lista provjere: Obrazac koji se koristi za bilježenje opserva- cije u da/ne obliku ili prema rang listi. Liste biljeÅ¡ki se koriste kada postoje odreÄ‘ene stavke koje je moguće posmatrati, Ä?inioci ili atributi koje treba posmatrati. Tabela 8.6 Upotrebe polustrukturirane opservacije Opservacija Primjeri Karakteristika uÄ?esnika Spol, starost, profesija/zanimanje, odijevanje, izgled, (pojedinaÄ?no i kao etniÄ?ka pripadnost grupa) Stav prema predmetu, prema drugima, o sebi VjeÅ¡tine, navike i znanje Interakcije Nivo uÄ?ešća, interesi Odnosi moći, donoÅ¡enje odluka Opća klima za uÄ?enje, rjeÅ¡avanje problema Nivoi podrÅ¡ke, saradnje nasuprot konflikta Neverbalno ponaÅ¡anje Izrazi lica Gestikulacije Stavovi VoÄ‘e programa, Jasnoća komunikacije prezenteri VjeÅ¡tine voÄ‘enja grupe, podsticanje uÄ?esnika Svijest o klimi u grupi Fleksibilnost, prilagodljivost Znanje o predmetu, upotreba pomagala, druge tehnike poduÄ?avanja/uÄ?enja Slijed aktivnosti FiziÄ?ko okruženje Soba (prostor, komfor, podesnost) Pogodnosti (osvježenja i tako dalje) RazmjeÅ¡taj sjedenja Proizvodi programa Demonstracije, objekti, plan BroÅ¡ure, uputstva, bilteni Izvor: Clouter i drugi 1987. 314 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • BiljeÅ¡ke sa terena: Najmanje strukturirani naÄ?in da se bilježe opservacije. Opservacije se bilježe narativnim, opisnim stilom kada posmatraÄ? primijeti ili Ä?uje neÅ¡to važno. BiljeÅ¡ke sa terena sadrže „podatke koji se prikupljaju. Sastoje se iz opisa â– â–  BiljeÅ¡ke sa doživljenog i uoÄ?enog, citati posmatranih ljudi, osjećaji i reakcije posmatraÄ?a o terena: Opisi uoÄ?enom, te uvidi i interpretacije nastale na terenu.“ (Patton 2002, p. 305). onog Å¡to se doživi i Å¡ta se Prema Lofl (1971, str. 102), biljeÅ¡ke sa terena su „najvažnija determinanta uoÄ?i, citati za uspjeh kvalitativne analize. BiljeÅ¡ke sa terena osiguravaju raison d’ Ä™tre posmatranih posmatraÄ?a. Ako ih ne prakticira, posmatra, može i da ne bude prisutan“. ljudi, osjećanja i Patton (2002) razmatra tehnike voÄ‘enja biljeÅ¡ki sa terena za opservacije. reakcije Opisuje važnost opisivanja svega za Å¡ta posmatraÄ? vjeruje da bi bilo vrijedno posmatraÄ?a na bilježenja, a ne da se pouzda u sjećanje. Å to je prije moguće posmatraÄ? treba uoÄ?eno i uvidi i interpretacije zabilježiti svaku informaciju koja mu je pomogla da razumije kontekst, postavke nastali na i ono Å¡to se deÅ¡avalo. BiljeÅ¡ke sa terena trebaju sadržavati opisne informacije terenu koje će tokom analize evaluatoru omogućiti da se mentalno vrati u opservaciju da bi iskusio opservaciju. Patton sugerira bilježenje osnovnih informacija, kao Å¡to su gdje je opservacija obavljena, ko je bio prisutan, kako je izgledalo fiziÄ?ko okruženje, kakve druÅ¡tvene interakcije i koje aktivnosti su se desile. NaglaÅ¡ava važnost upotrebe odreÄ‘enih a ne uopćenih termina: rijeÄ?i kao Å¡to su siromaÅ¡an, ljut i nelagodnost nisu dovoljno opisne. „Takve interpretativne rijeÄ?i viÅ¡e prikrivaju ono Å¡to se uistinu dogaÄ‘alo nego Å¡to otkrivaju detalje situacije“, prema Pattonu. Obuka i priprema posmatraÄ?a Patton (2002, str. 260) spominje da samo zato to Å¡to je osoba „opremljena funkci- onalnim Ä?ulima ne Ä?ini je vjeÅ¡tim posmatraÄ?em. Razmatra važnost obuke i pri- preme posmatraÄ?a, identificira Å¡est komponenti obuke za posmatraÄ?e: • NauÄ?iti obraćati pažnju, vidjeti ono Å¡to se ima vidjeti, Ä?uti ono Å¡to se ima Ä?uti; • Vježbanje opisnog pisanja; • Stjecanje discipline u prikupljanju biljeÅ¡ki na terenu; • Znati kako odvojiti detalj od beznaÄ?ajnosti da bi se prvo dobilo bez utjecaja drugog; • Koristiti rigorozne metode i triangulirane opservacije i • Prijaviti jaÄ?inu i ograniÄ?enja vlastite perspektive, Å¡to zahtijeva samopozna- vanje i samorazotkrivanje. Odabir i izrada instrumenata za prikupljanje podataka 315 Tabela 8.7 Prednosti i izazovi opservacionog prikupljanja podataka Prednosti Prikupljanje podataka o stvarnom ponaÅ¡anju, a ne subjektivni izvjeÅ¡taji ili poimanja Prikupljanje podataka u stvarnom vremenu a ne retrospektivno Izazovi Uzorkovanje kao i bilježenje i interpretacija podataka može biti teÅ¡ko Prikupljanje podataka može zahtijevati intenzivan rad Izvor: Autori. Kad god je izvodivo, treba koristiti viÅ¡e posmatraÄ?a. Svi posmatraÄ?i trebaju biti obuÄ?eni tako da posmatranje vrÅ¡e prema ustanovljenim procedurama. Procedura opservacionog prikupljanja podataka treba biti testirana pilotom prije nego se koristi za evaluaciju. Da bi se ovo uradilo najmanje dva posmatraÄ?a moraju ići u isto podruÄ?je i uraditi biljeÅ¡ke na terenu na kodnim obrascima i rang listama. Nakon Å¡to zavrÅ¡e liste, te liste treba uporediti. Ako postoje velike razlike, treba provesti viÅ¡e obuke i klasifikacije. Ako su razlike male, procedura se može usvojiti. Tabela 8.7 sumira prednosti i izazove prikupljanja opservacionih podataka. Alat 4: Ankete i intervjui Ankete su odliÄ?an alat za prikupljanje podataka o percepcijama, miÅ¡ljenjima i idejama ljudi. Manje su korisni u mjerenju ponaÅ¡anja, zato Å¡to ono Å¡to ljudi kažu da rade možda ne odslikava ono Å¡to oni stvarno rade. Ankete mogu biti strukturirane i polustrukturirane, voÄ‘ene liÄ?no ili telefonom, poluvoÄ‘ene tako Å¡to ljudi odgovaraju pomoću web obrasca ili im se isti Å¡alje poÅ¡tom. Anketirati se može uzorak populacije ili Ä?itava populacija (za diskusiju o uzorkovanju vidjeti Poglavlje 9). Strukturirane i polustrukturirane ankete Strukturirane ankete: Anketa koja ukljuÄ?uje viÅ¡e mogućnosti izbora odgovora, jedan ili viÅ¡e od kojih ispitanici odabiru. â– â–  Strukturirane ankete: Anketa Strukturirane ankete su ankete koje ukljuÄ?uju viÅ¡e mogućnosti izbora odgo- koja ukljuÄ?uje vora, jedan ili viÅ¡e od kojih ispitanici odabiru. Svim ispitanicima se postavljaju viÅ¡e mogućnosti potpuno ista pitanja na potpuno isti naÄ?in i daje im se potpuno isti izbor odgovora izbora odgovo- na pitanja. ra, jedan ili viÅ¡e Koliko opcija odgovora treba koristiti? Za nominalne odgovore, kao Å¡to je od kojih ispitanici region zemlje, primarno zanimanje ili starost grupe, broj odgovora treba pokriti odabiru broj mogućih odgovora. Kada koristimo skalu da indiciramo odgovore, broj 316 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije opcija odgovora treba generalno biti neparan broj (3, 5 ili 7) tako da su neutra- lni odgovori odmah oÄ?igledni ispitaniku. (Ponekad se koriste i skale sa parnim brojevima, kada se od ispitanika traži da izabere izmeÄ‘u „satisfakcijskog“ i („djelimiÄ?no nesatisfakcijskog“ ocjenjivanja.) Polustrukturirane ankete posta- vljaju isti generalni set pitanja, ali omogućavaju otvorene odgovore za sve ili većinu pitanja (Tekstualni okvir 8.6). Polustrukturirane ankete su ankete koje predominantno postavljaju otvorena pitanja. Posebno su korisne kada evaluator želi steći dublje razumi- â– â–  Polustruk- jevanje reakcija i iskustava ili razumjeti razloge zaÅ¡to su ispitanici imali odreÄ‘ene turirane stavove. Polustrukturirane ankete trebaju imati jasno definiranu svrhu. ÄŒesto je ankete: Ankete, Ä?esto praktiÄ?nije intervjuirati ljude o koracima u procesu, ulozi i odgovornosti raznih voÄ‘ene, Ä?lanova zajednice ili tima, ili opisati kako program radi nego pokuÅ¡ati razviti postavljaju pisanu anketu koja bilježi sve moguće varijacije. Ako potencijalni ispitanici predominantno osjećaju prisnost i postavljaju im se interesantna pitanja, mogu biti voljni da ih se otvorena pitanja intervjuira sat i viÅ¡e vremena. Suprotno tome, malo bi ljudi bilo voljno provesti sat vremena ispunjavajući upitnik. Idealno dvoje ljudi treba provoditi svaki intervju Tekstualni okvir 8.6 Pitanja za strukturiranu i polustrukturiranu anketu Primjeri strukturiranih pitanja ukljuÄ?uju sljedeće: 1. Je li ova radionica bila korisna i pomogla da nauÄ?ite kako evaluirati program? • Malo ili nikako • U nekoj mjeri • U srednjoj mjeri • U velikoj mjeri • U veoma velikoj mjeri • Nemam miÅ¡ljenje • Nije primjenjivo 2. Imjau li svi ljudi u selu izvor Ä?iste vode unutar 500 metara od njihovih kuća? • Da • Ne Primjeri polustrukturiranih pitanja ukljuÄ?uju sljedeće: 1. Å ta ste nauÄ?ili iz radionice programa evaluacije koju ste koristili na poslu? 2. Gdje su izvori Ä?iste vode za seljane? Odabir i izrada instrumenata za prikupljanje podataka 317 Tabela 8.8 Prednosti strukturiranih i polustrukturiranih anketa Strukturirane ankete Polustrukturirane ankete Teže za razvijanje: ankete trebaju LakÅ¡e za razvijanje: anketa može ukljuÄ?iti pokriti sve moguće informacije Å¡iroko otvorena pitanja koja bilježe bilo Å¡ta Å¡to je propuÅ¡teno u strukturiranom dijelu, smanjuje se opasnost izostavljanja. LakÅ¡e ih je zavrÅ¡iti: obilježavanje Teže ih je zavrÅ¡iti: opterećenje za ljude da kvadratića uzima manje vremena urade upitnike koje moraju sami voditi. nego pisanje narativnih odgovora LakÅ¡e ih je analizirati Teže ih je analizirati, ali osiguravaju bogatiji izvor podataka; interpretacija otvorenih odgovora je predmet pristrasnosti. Efikasnije kada se radi sa velikim brojem ljudi Izvor: Autori tako da mogu uporediti biljeÅ¡ke. Ako koristimo dvoje ljudi za intervju lakÅ¡e ćemo i rjeÅ¡avati eventualne sporove o onome Å¡ta je kazano. Suprotno tome, malo bi ljudi bilo voljno provesti sat vremena ispunjavajući upitnik. Idealno dvoje ljudi treba provoditi svaki intervju tako da mogu uporediti biljeÅ¡ke. Ako koristimo dvoje ljudi za intervju lakÅ¡e ćemo i rjeÅ¡avati eventualne sporove o onome Å¡ta je kazano. Tabela 8.8 Obilježava prednosti strukturiranih i polustrukturiranih anketa. NaÄ?ini voÄ‘enja ankete NajÄ?ešći naÄ?ini za provoÄ‘enje anketa su: • telefonski upitnici; • upitnici dostavljeni poÅ¡tom, e-mailom ili na webu koje ispitanici sami rade i • voÄ‘eni upitnici (uobiÄ?ajeni u razvojnom kontekstu). Telefonske ankete su korisne za razumijevanje iskustva, miÅ¡ljenja ili pojedinaÄ?nih liÄ?nih opisa procesa. LiÄ?ne i telefonske ankete su sliÄ?ne; razlikuju se samo u naÄ?inu dostave. Polustrukturirani upitnici se mogu dostaviti ispitanicima liÄ?no ili poÅ¡tom, e-mailom, ili putem weba. Ispitanici odgovaraju na pitanja na obrascu a zatim ih vraćaju uraÄ‘ene. PoluvoÄ‘ene ankete trebaju biti kratke i trajati ne viÅ¡e od 20 minuta (kraće je bolje). Od svih pristupa istraživanje sugerira da će ljudi 318 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije najvjerovatnije dati iskrene odgovore na osjetljiva pitanja u anonimnoj anketi koju sami rade. KoriÅ¡tenje poÅ¡te, e-maila ili weba je manje skupo nego provoÄ‘enje anketa liÄ?no. Ankete se mogu poslati u bilo koje podruÄ?je gdje potencijalni ispitanici imaju pristup ovim metodama distribucije. Ako se u podruÄ?ju poÅ¡ta ne dosta- vlja redovno ili su telefon i internet ograniÄ?enih mogućnosti, tada neuÄ?ešće u anketi ne bi bilo dobro, pojavio bi se glavni izvor pristrasnosti. Nizak nivo pismenosti ovaj pristup Ä?ini nepogodnim u mnogim razvojnim kontekstima. VoÄ‘ene ankete, koje su tipiÄ?ne za razvojni kontekst, mogu biti strukturi- rane, polustrukturirane ili mjeÅ¡ovite. Ove pisane ankete Ä?ita onaj koji priku- plja podatke i bilježi odgovore. Generalno je poželjnije koristiti zatvorena pitanja, ali na kraju ukljuÄ?iti i jedno ili dva otvorena pitanja. Ova otvorena pitanja Ä?esto Ä?ine da se ljudi osjećaju komforno, poÅ¡to mogu dodati bilo Å¡ta za Å¡ta misle da je anketa izostavila ili liÄ?no komentirati anketu. Jedno ili dva otvorena pitanja na kraju je sve Å¡to je potrebno; viÅ¡e pitanja bi samo otežalo situaciju. Otvoreni odgovori mogu uzeti puno vremena da ih se analizira, ali mogu pružiti koristan uvid i citate za ilustriranje glavnih tema evaluacije. Telefonski intervjui uz pomoć kompjutera (CATI) koriste interaktivni kompjuterski sistem koji pomaže u intervjuu kada se pitanja postavljaju tele- fonom. Intervju se zapoÄ?ne, a kompjuterski program kontrolira grananje ili â– â–  Telefonski preskakanje pitanja. Izbor pitanja zasnovan na odgovorima na druga pitanja intervjui uz omogućava viÅ¡e personalizirane i sofisticirane intervjue nego je to moguće pomoć kompjutera: sa upitnicima na papiru. Tokom intervjua podaci se unose skupa sa jedno- (CATI): stavnim kodiranjem direktno u kompjuterski sistem. Većina pitanja su pitanja Intervju gdje se sa viÅ¡estrukim izborom, tako da se jednostavno oznaÄ?i taÄ?an odgovor; koristi intera- kompjuterski sistem prevodi podatke u kod i pohranjuje ih u bazu podataka ktivni kompjute- (UNESCAP 1999). rski sistem da pomogne u Tabela 8.9 sumira prednosti i izazove koriÅ¡tenja anketa. intervjuu kada se pitanja postavljaju telefonom Tabela 8.9 Prednosti i izazovi anketa Prednosti Ispitanici iskazuju Å¡ta misle, vjeruju ili doživljavaju. Izazovi Ljudi se nekad ne mogu taÄ?no prisjetiti svog ponaÅ¡anja u odreÄ‘enim situacijama ili će nevoljko otkriti ponaÅ¡anje, posebno ako je nelegalno ili stigmatizirano. Å ta ljudi misle da rade ili kažu da rade nije uvijek isto kao ono Å¡to ustvari rade. Izvor: Autori. Odabir i izrada instrumenata za prikupljanje podataka 319 Razvoj anketnih pitanja: Razvoj anketnih pitanja ukljuÄ?uje • odabir pitanja • sastavljanje pitanja i odgovora • redoslijed pitanja • odabir rasporeda ankete • pregled, prevoÄ‘enje i predtestiranje pitanja. Odabir pitanja. Evaluator može koristiti otvorena ili zatvorena pitanja. Na otvorena pitanja se ne može odgovoriti jednostavnim odgovorom ili odabirom. Ispitanicima je Ä?esto neugodno ili nisu uvijek voljni odgovarati na otvorena pitanja pismenim putem. Na zatvorena pitanja se može odgovoriti jednostavnom informacijom. Pitanje: „koji je datum tvog roÄ‘enja?“, zatvoreno je pitanja, zato Å¡to se na njega može odgovoriti samo datumom roÄ‘enja, bez detalja, samo jednostavna informacija. Drugi oblik zatvorenog pitanja je dihotomno pitanje, kao Å¡to su da/ne ili taÄ?no/ netaÄ?no pitanja. Treći oblik zatvorenih pitanja je pitanje sa viÅ¡e opcija. Mnogi struÄ?njaci savjetuju upotrebu uglavnom zatvorenih pitanja, ali da se na kraju ukljuÄ?i jedno ili dva otvorena pitanja (Burgess 2001) ili da se ostavi mjesto za komentar nakon svakog pitanja. Upotreba previÅ¡e razliÄ?itih oblika pitanja može zbuniti ispitanike. Jackson Agrawal (2007) sugeriraju upotrebu ne viÅ¡e od tri oblika pitanja u većini anketa. Prema studiji Living Standards Measurement Survey Study (LSMS) (World Bank 1996), dobro je razviti anketna pitanja u nivoima (Tabela 8.10). Na ovaj naÄ?in dobija se dobro izbalansiran upitnik. RazluÄ?ivanje vrsta pitanja goni evaluatora da bude jasan o onome Å¡ta se pita i pomaže ispitaniku da odgovori na najbolji naÄ?in. Patton (2002) opisuje Å¡est vrsta pitanja: • Pitanja iskustva i ponaÅ¡anja: Å¡ta osoba radi ili namjerava raditi, poticanje ponaÅ¡anja, iskustava, radnji i aktivnosti; • Pitanja miÅ¡ljenja i vrijednosti: usmjerena na razumijevanje kognitivnih i inte- rpretacijskih procesa ljudi (a ne radnji i ponaÅ¡anja) i • Pitanja osjećanja: usmjerena na isticanje emocija ljudi na iskustva i misli, traženje odgovora sa pridjevom, kao Å¡to je nervozan, sretan, uplaÅ¡en, zastraÅ¡en i uvjeren. Pitanje treba ukazati osobi koja se intervjuira da je pitanje o miÅ¡ljenjima, vjerovanjima i razmatranju sudova, a ne osjećajima. 320 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 8.10 Nivoi usavrÅ¡avanja kod odreÄ‘ivanja sadržaja ankete Nivo Opis Definiranje Definirati ciljeve (prouÄ?iti siromaÅ¡tvo; da se razumiju efekti vladine politike o sveobuhvatnih ciljeva domaćinstvima). OdreÄ‘ivanje balansa Definirati koje su teme najvažnije (sluÄ?aj subvencija cijena hrane, efekti izmeÄ‘u sekcija promjena u pristupu ili cijeni državnih zdravstvenih i obrazovnih usluga, efekti promjene u ekonomskoj klimi kao rezultat strukturalnog prilagoÄ‘avanja ili tranzicije iz centralizirane u tržiÅ¡nu ekonomiju. OdreÄ‘ivanje balansa Unutar obrazovnog sektora, na primjer, definirati koje od sljedećeg je unutar sekcija najvažnije za državu i trenutak: nivoi i determinante upisa, slabo pohaÄ‘anje, uÄ?enje, razlike u muÅ¡ko-ženskim indikatorima; utjecaj broja godina Å¡kolovanja na zaradu u formalnom sektoru i poljoprivredi i razlikuju li se i kako; koja djeca imaju udžbenike ili primaju Å¡kolsku užinu ili stipendiju; koliko roditelji trebaju platiti Å¡kolarinu. Napisati pitanja za U studiji pristupa udžbenicima, na primjer, evaluator treba znati koliko studiju odreÄ‘enih tema predmeta udžbenik pokriva, dijele li se knjige svakom djetetu ili ih koriste ili programa zajedno; mogu li se knjige nositi kući ili su samo za upotrebu u Å¡koli; dobivaju li se knjige besplatno ili se plaćaju; kada su knjige dostupne; jesu li knjige kupljene u knjižarama bolje ili gore od onih koje osigura Å¡kola. Izvor: Svjetska banka 1996. • Pitanja znanja: pitanja koja se tiÄ?u ispitanikovih Ä?injeniÄ?nih informacija – Å¡ta ispitanik zna; • Senzorska pitanja: pitanja o tome Å¡ta se vidjelo, Ä?ulo, dodirnulo, okusilo i pomirisalo i • Demografska pitanja: starost, obrazovanje, zanimanje i druge karakteristike osobe koja se intervjuira. Formuliranje pitanja i opcija odgovora. Svako od Pattonovih Å¡est vrsta pitanja možemo postaviti u sadaÅ¡njem, proÅ¡lom ili budućem vremenu. Na primjer, evalu- ator može pitati: • Å ta ste znali o HIV/AIDS tretmanu prije pet godina? (proÅ¡lo vrijeme); • Å ta ste danas nauÄ?ili iz prezentacije o HIV/AIDS? (sadaÅ¡nje vrijeme) i • Å ta biste htjeli nauÄ?iti o HIV/AIDS? (buduće vrijeme) (Patton 2002). Odabir i izrada instrumenata za prikupljanje podataka 321 Tekstualni okvir 8.7 Savjeti za formuliranje anketnih pitanja Sljedeći savjeti mogu pomoći evaluatorima kada piÅ¡u anketna pitanja tako da ispitanik zna koje se informacije od njega traže: • Koristiti jednostavne rijeÄ?i koje imaju isto znaÄ?enje za sve ispitanike; • Pitanja i kategorije odgovora uÄ?initi karakteristiÄ?nim; • Izbjegavati pitanja i opcije odgovora koji su dvosmisleni (Izbjegavati pita- nja i odgovore koji sadrže rijeÄ?i „i“ ili „ili“.); • Izbjegavati pitanja koja pretpostavljaju znanje. Ako je neophodno, osigu- rati relevantne informacije pri uvodu u pitanje; • Biti oprezan u vezi sa dvostrukim negacijama u kombinacijama pitanje- odgovor (na primjer, izbjegavati upotrebu „ne“ u da/ne pitanjima); • Opcije odgovora napraviti meÄ‘usobno iskljuÄ?ivim; • Izbalansirati opcije odgovora; • Izbjegavati neugodna, nametljiva ili snishodljiva pitanja. Izvor: TC Evalua- tion Center 2007. For other useful sources, see Foddy (1993), Fowler (2002), and Sue and Ritter (2007). Izvor: TC Evaluation Center 2007. Za druge korisne izvore vidjeti Foddy (1993), Fowler (2002), and Sue and Ritter (2007). Evaluaciona pitanja moraju biti jasna (Tekstualni okvir 7.8). Ukoliko nisu, ispitanik se može osjećati neprijatno, kao neznalica, zbunjeno ili neprijateljski. Evaluatori moraju nauÄ?iti termine koji ljudi koje intervjuiraju koriste kada govore o projektu, programu ili politici i moraju te rijeÄ?i koristiti pri izradi ankete. Evaluator mora biti pažljiv da ne navodi ispitanika da mu da odgovor na pitanje koji on želi. Razmotrimo na primjer, sljedeće pitanje: „U kojem je obimu, ako jeste, povećan vaÅ¡ profit nakon obuke?“ „Ako je profit povećan malo, srednje, dovoljno ili u velikoj mjeri, da li to povećanje pripisujete obuci?“ Jasno da ova pitanja „navode svjedoka“ stazom kojom evaluator želi da on ide. Bolje bi bilo pitati o trendovima profita tokom dužeg perioda zatim pitati ako je bilo povećanja, Ä?emu se ono može pripisati. Neznatne promjene u naÄ?inu formuliranja pitanja mogu imati znaÄ?ajan utjecaj na to kako ljudi odgovaraju. Nekoliko istražitelja posmatralo je efekte modificirajućih pridjeva i priloga. RijeÄ?i kao Å¡to su obiÄ?no, Ä?esto, ponekad, s vremena na vrijeme, rijetko, se „uobiÄ?ajeno“ koriste u anketama, iako je jasno da nemaju isto znaÄ?enje za sve ljude. 322 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Neki pridjevi imaju visok varijabilitet a drugi nizak. Sljedeće fraze imaju visoko varijabilno znaÄ?enje i treba ih izbjegavati u anketama: jasan mandat, najviÅ¡e, bro- jni, znaÄ?ajna većina, manjina, velika proporcija, znatan broj, mnogo, znaÄ?ajan broj, nekoliko. Druge fraze proizvode manje varijabilnosti i generalno imaju isto znaÄ?enje. To su puno, gotovo sve, praktiÄ?no sve, zamalo sve, većina, koncenzus, mali broj, ne tako puno, gotovo niko, jedva ko, par i nekoliko (StatPac 2007). Frary (1996) nudi nekoliko sugestija za dizajniranje efektivnih upitnika. MeÄ‘u njegovim sugestijama za gradirane odgovore su sljedeće: • Odgovore poredati od nižeg nivoa ka viÅ¡em sa lijeva na desno: 1) nikad 2) rijetko 3) povremeno 4) Ä?esto • Razmotriti kombiniranje kategorija odgovora ako nije vjerovatno da će ispi- tanici oznaÄ?iti „nikad“ i ako „rijetko“ pretpostavlja gotovo ekvivalentan nivo aktivnosti: 1) rijetko ili nikad 2) povremeno 3) Ä?esto. • Tražiti od ispitanika da ocijene i pozitivnu i negativnu stimulaciju (odgovori sa obje strane skale). Na ovaj naÄ?in ispitanici moraju evaluirati svaki odgovor umjesto da se samo svi slože ili ne slože sa svim odgovorima. • Ako je moguće, smanjiti broj mogućih odgovora. Na primjer, ako je vjero- vatno da će odgovori ispitanika biti jasni, koristiti jednostavno 1) slažem se 2) ne slažem se. Kada miÅ¡ljenja ispitanika nisu tako jaka ili dobro formirana, koristiti viÅ¡e opcija: 1) slažem se 2) uglavnom se slažem 3) uglavnom se ne slažem, 4) ne slažem se Nakon Å¡to napiÅ¡e pitanja, evaluator treba proÄ?itati svako pitanje i odgovor i provjeriti jezik i logiku. Je li gramatika ispravna? Da li odgovori prate logiku pitanja?. Pisanje anketnih pitanja je teÅ¡ko zato Å¡to moraju biti razumljiva svima. RijeÄ?i imaju viÅ¡e znaÄ?enja i konotacija. Ako se pitanje postavi na naÄ?in koji ljudi ne razu- miju ili ga razumiju na viÅ¡e naÄ?ina, razliÄ?ito će odgovarati na pitanja. TakoÄ‘er, postoji rizik od prikupljanja beskorisnih podataka. Na primjer, Å¡ef agencije hoće pronaći koliko obuke na kompjuterima su imali ljudi u njegovoj organizaciji. Sljedeća pitanja se mogu postaviti: • Jeste li imali ikakvu obuku u protekla tri mjeseca? • Jeste li imali ikakvu obuku u proteklih Å¡est mjeseci? • Jeste li imali ikakvu obuku u protekloj godini? Problem kod postavljanja ovakvog seta pitanja je da će svi koji su imali obuku u posljednja tri mjeseca na sva pitanja odgovoriti sa „da“. Odabir i izrada instrumenata za prikupljanje podataka 323 Bolje dizajnirana pitanja bi bila: „Koliko kurseva obuke ste pohaÄ‘ali u svakom od sljedećih vremenskih perioda?“ a. u posljednjih 1-3 mjeseca:_________________ b. u posljednjih 4-6 mjeseci: ________________ c. u posljednjih 6-9 mjeseci:_________________ d. u posljednjih 10-12 mjeseci:_______________ ______________ e. u posljednjih 12-24 mjeseci: _ Slabo formulirana pitanja mogu frustrirati ispitanike, uzrokujući da nagaÄ‘aju oko odgovora ili Ä?ak da odbace anketu. PoÅ¡to se slabo konstruirana pitanja ne mogu iskoristiti u analizi, pitanja je potrebno dobro napisati. Evaluatori stoga trebaju ostaviti dovoljno vremena za pregled i predtestiranje ankete. Tajnost i anonimnost treba osigurati i zaÅ¡tititi. Tajnost je etiÄ?ki princip koji informaciju Å¡titi i pristup je dozvoljen samo onima koji su ovlaÅ¡teni. Anoni- mnost znaÄ?i da liÄ?ni identitet ili liÄ?ne informacije osobe neće biti dijeljene. Mnogi evaluatori ukljuÄ?uju izjave kao Å¡to je: „VaÅ¡i odgovori će se tretirati u tajnosti, sve vrijeme podaci će biti predstavljeni na naÄ?in da se vaÅ¡ identitet ne može povezati sa odreÄ‘enim objavljenim podacima“ (Burgess 2001). Redoslijed pitanja. RasporeÄ‘ivanje pitanja u sljedeći raspored može poboljÅ¡ati Å¡anse da se anketa ispuni: • PoÄ?eti pitanjima koja su od interesa za ispitanika; • Tok pitanja održavati logiÄ?nim redom i izbjegavati kompleksna razgranavanja; • Grupirati sliÄ?na ili srodna pitanja, pokuÅ¡ati uspostaviti logiÄ?ki slijed pitanja (Burgess 2001); • PoÄ?eti lahkim i interesantnim ka težim i nelagodnim, od općih ka specifiÄ?nim (Jackson i Agrawal 2007); • Postaviti pitanja hronoloÅ¡kim redom (Jackson i Agrawal 2007); • Važna pitanja postaviti dvije trećine od poÄ?etka ankete, zato Å¡to neki ispitanici možda neće zavrÅ¡iti anketu (Jackson i Agrawal 2007); • LiÄ?na ili povjerljiva pitanja postaviti na kraj ankete – ako ih postavimo na poÄ?etak, neki ispitanici možda neće nastaviti (Frary 1996); • Napraviti prioritet pitanja i razmotriti izostavljanje pitanja niskog prioriteta (Jackson i Agrawal 2007). Jackson i Agrawal (2007) sugeriraju da većina anketa koje se rade samo- stalno ne treba prelaziti jednu stranicu. Za ispitanike sa univerzitetskim obrazovanjem,anketa može biti na dvije stranice. 324 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Odabir izgleda za anketu. Izgled printane ankete zaslužuje pažnju: • Anketa treba imati naslov i datum verzije; • Ne treba biti pretrpana i treba biti bez nepotrebnih zaglavlja; • Treba sadržavati kontakt i informacije o vraćanju ankete; • Treba sadržavati kratku uvodnu izjavu (u sluÄ?aju da je popratno pismo izgu- bljeno koja ukazuje na svrhu ankete i objaÅ¡njava kako da se koristi; • Pitanja i izbor odgovora trebaju biti formatirani i formulirani konzistentno. Svako pitanje treba biti numerirano; • Anketa treba sadržavati instrukcije kako odgovarati na pitanja. Instrukcije tre- baju ukazivati koliko odgovora se može odabrati (samo jedno ili sva) i kako ukazati na odabir pitanja (oznaÄ?ite kvadratić, zaokružite odgovor, napiÅ¡ite kratak odgovor) (Burgess 2001). Jackson i Agrawal (2007) sugeriraju postavljanje kvadratića za oznaÄ?avanje ili redova za odgovore, sa dovoljno prostora izmeÄ‘u tako da evaluator može identificirati koji je odabir napravljen. TakoÄ‘er, razmatraju važnost profesiona- lnog izgleda ankete. Popratno pismo treba biti uz anketu. Ovo pismo identificira sponzora i uÄ?esnicima daje informaciju o svrsi upitnika. Jackson i Agrawal (2007) sugeriraju da popratno pismo identificira sljedeće: • Svrha ankete (i zaÅ¡to je u interesu ispitanika da je uradi); • Na koji naÄ?in je osoba odabrana za anketu; • Kako će se podaci koristiti; • Hoće li anonimnost biti zadržana; • Vrijeme potrebno da se uradi anketa; • Eventualni poticaji; • Kontakt informacije za viÅ¡e informacija ili za objaÅ¡njenja. Ako je anketa poslana poÅ¡tom, treba osigurati kovertu sa povratnom adresom i markicom ili uspostaviti neku drugu proceduru za vraćanje ankete. Pregled, prevoÄ‘enje i pilot testiranje pitanja Proces razvoja ankete je iterativan. Kada se uradi poÄ?etna verzija, zainteresirane strane trebaju taj nacrt pažljivo pregledati. Tokom tog pregleda trebaju praviti biljeÅ¡ke i razmijeniti kritike i prijedloge. Zatim se radi revizija ankete. Ovaj pro- ces nekad može biti potrebno ponavljati nekoliko puta prije nego anketa bude spremna za pilot testiranje. Gdje je potrebno viÅ¡e od jednog jezika da se prikupe podaci, anketa se mora prevesti. Oni koji su odgovorni za anketu moraju se uvjeriti da su instrumenti taÄ?no prevedeni. Kada se prevodi anketa, obuÄ?ena osoba koja poznaje oba jezika Odabir i izrada instrumenata za prikupljanje podataka 325 i upoznata je sa predmetom upitnika treba uraditi prvi prijevod (vidjeti Beh- ling i Law 2000). Kada je anketa prevedena na lokalni jezik, druga osoba je treba ponovo prevesti na original. Ovim procesom se provjeravaju praznine ili pogreÅ¡no razumijevanje onoga Å¡to je prevedeno. Ovo je jedini naÄ?in da se osigura taÄ?an prijevod. Nedostatak slaganja o svim dijelovima ankete treba poravnati prije nego se može uraditi pilot testiranje. U većini sluÄ?ajeva ankete su printane samo na zvaniÄ?nom jeziku zemlje, a timovi sa vjeÅ¡tinom komuniciranja na lokalnim jezicima se koriste za priku- pljanje podataka. U ovim sluÄ?ajevima nekoliko kljuÄ?nih pitanja ili fraza se pre- vede na lokalne jezike i predstavi u anketi. Lokalni prevodioci mogu biti potrebni da anketiraju ispitanike koji govore druge jezike. Anketna pitanja uvijek treba formulirati jednostavnim terminima na jeziku koji se najviÅ¡e govori. Pitanja ne bi trebalo pisati akademskim ili formalnim jeziÄ?kim stilom. U lokalnim jezicima razlika izmeÄ‘u govornog i pisanog jezika i teÅ¡koća balansiranja jednostavnosti i preciznosti može biti velika. Ovo je posebno taÄ?no za jezike koji se obiÄ?no ne koriste u pisanju. Kada se anketa usaglasi, treba je testirati na terenu ili izvrÅ¡iti pilot testiranje sa malim brojem uÄ?esnika. Prema rezultatima testa na terenu, vjerovatno će trebati uraditi dodatne revizije. Ako prvi test na terenu sugerira mnoge promjene, bit će potrebno uradti joÅ¡ jedan test na terenu kojim će se pokriti neÅ¡to ili Ä?itava anketa, posebno ako postoje problemi sa viÅ¡estrukim prijevodima. Za sve ankete i intervjue veoma je bitno testiranje na terenu ili pilot testiranje (predtestiranje) instrumenata prikupljanja podataka u ranoj fazi. Ovo znaÄ?i tražiti od malog ali reprezentativnog uzorka potencijalnih ispitanika da urade anketu i oznaÄ?e podruÄ?ja gdje je potrebno neÅ¡to dodatno razjasniti. Korisna strategija je da se sjedne sa ispitanicima i uradi anketa te da se naglas daju objaÅ¡njenja dok se popunjava anketa. Ovom vježbom se stiÄ?e uvid u to kako potencijalni ispi- tanici interpretiraju pitanja. ÄŒesto stvari koje smatramo kristalno jasnim ispadnu zbunjujuće ili nejasne na naÄ?in koji nikad nismo predvidjeli. Ako ispitanici pogreÅ¡no razumiju pitanja, evaluatori ga trebaju izmijeniti i ponovo testirati prije nego implementiraju instrument. Cilj testiranja na terenu je osigurati da je anketa u stanju prikupiti informacije koje se njom namjeravaju prikupiti. Dobar pilot test će anketu posmatrati na tri nivoa: • Kao cjelinu: Jesu li svi dijelovi ankete konzistentni? Ima li podruÄ?ja gdje se postavljaju ista pitanja? • Svaku sekciju: Ako anketa ima viÅ¡e sekcija, da li informacija koja se traži u svakoj sekciji prikuplja potrebne podatke? Jesu li glavne aktivnosti uzete u obzir? Postoje li neka pitanja koja nisu relevantna? 326 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • PojedinaÄ?na pitanja: Je li jezik jasan? Omogućavaju li pitanja nejasne odgo- vore? Postoje li alternativne interpretacije? Kada se provodi test na terenu ili pilot test, važno je testirati anketu meÄ‘u ljudima iz razliÄ?itih podruÄ?ja i svih glavnih jezika i druÅ¡tveno-ekonomskih grupa. Ovo može ukljuÄ?ivati ruralne i urbane stanovnike, ljude zaposlene u formalnom i neformalnom sektoru i ljude koji govore sve kljuÄ?ne jeziÄ?ke grupe. Ako se pilot test provodi samo na jednom jeziku, obiÄ?no je potrebna jedna sedmica da se zavrÅ¡i. Ako se konaÄ?na anketa provodi na viÅ¡e od jednog jezika, trebat će viÅ¡e vremena nego za pilot, zato Å¡to verziju na svakom jeziku treba testirati na terenu. Na kraju pilot testa treba odvojiti jednu ili dvije sedmice da se pregledaju rezultati. Tim koji radi test na terenu se treba sastati i raspraviti i složiti se o potre- bnim promjenama. U tipiÄ?noj anketi velikih razmjera rade se tri ciklusa pilot testiranja. Tekstualni okviri 8.8 i 8.9 nude smjernice za provoÄ‘enje anketa. U prvom je naglaÅ¡en administrativni proces. U drugom se fokusira na pisanje dobrih pitanja. â– â–  Kartice Kartice graÄ‘ana graÄ‘ana: Kartice graÄ‘ana, ponekad nazivane kartice ocjena graÄ‘ana, vrsta je ankete koja Vrsta ankete kojom se mjeri mjeri uÄ?inak javnih službi. Sve viÅ¡e se koriste u razvoju. U Bangaloreu, Indija, na uÄ?inak javnih primjer, grupa graÄ‘ana ih koristi da ukaže na probleme sa javnim službama (Paul službi i Thampi 2008). Kartice graÄ‘ana se već mnogo godina koriste u Americi da se ocijeni uÄ?inak javnih agencija. Odabir i izrada instrumenata za prikupljanje podataka 327 Tekstualni okvir 8.8 Opće smjernice za provoÄ‘enje anketa Ono Å¡to slijedi su opće smjernice za provoÄ‘enje anketa: • Da budu jednostavne, jasne, lahke i kratke; • Locirati ljude koji su provodili vrstu evaluacije za koju ste zainteresirani. Naći i prouÄ?iti ankete sliÄ?ne onoj koju mislite da hoćete provesti; • Uvjeriti se da ljudi znaju zaÅ¡to od njih tražite da uÄ?estvuju (ali na naÄ?in koji neće izazvati pristrasne odgovore); • Postavljati pitanja na koja je lahko odgovoriti i ne frustrirati želju ispitanika da bude jasan; • Ne tražiti od ispitanika informaciju koja od njega zahtijeva da ide po fajl ili drugi izvor. Ako to morate uraditi, potrebno je da ih unaprijed obavijestite tako da se materijal može prikupiti prije nego se anketa poÄ?ne provoditi; • PoÅ¡tujte privatnost ispitanika. Ankete tretirajte povjerljivo, imati procedure za osiguranje privatnosti. Nikada ne obećavajte tajnost ako je ne možete ostvariti; • PoÅ¡tujte vrijeme i inteligenciju ispitanika; • Recite ispitanicima kako su odabrani i zaÅ¡to je njihovo uÄ?ešće važno; • Ne Ä?inite Å¡tetu: odgovore Ä?uvajte povjerljivo. U izvjeÅ¡taju koristite skupne odgovore. Podacima dodijelite identifikacioni broj i uniÅ¡tite vezu sa imenom osobe; • Recite ispitaniku hoće li dobiti kopiju zavrÅ¡nog izvjeÅ¡taja koji je koristio rezu- ltate upitnika. Izvor: Autori. Tekstualni okvir 8.9 Savjeti za pisanje upitnika Sljedeći savjeti mogu pomoći evaluatorima pri pisanju upitnika: 1. Ako je moguće, koristite postojeće upitnike kao vodić. Modificirajte po potrebi da odgovara vaÅ¡oj situaciji. LakÅ¡e je modificirati nego praviti novu ispoÄ?etka. 2. Pratite sljedeće osnovne smjernice: • Koristite jednostavan, jasan jezik odgovarajući za ispitanike. • Postavljajte jedno po jedno pitanje, na primjer: „ u kojem obimu, ako je uopće materijal jasan“ a ne „U kojem obimu, ako je uopće materijal jasan i koristan“ (ako je materijal jasan ali nije koristan, ne postoji naÄ?in da osoba da taÄ?an odgovor.) 328 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • Pitanja piÅ¡ite tako da svi ispitanici osjećaju da su njihovi odgovori prihva- tljivi. Pitanja poÄ?injite davanjem opsega: „U kojem obimu, ako ikako“, ili „Koliko važno ili koliko nevažno je.“ • Osigurajte odgovarajuće kategorije odgovora koje su uzajamno iskljuÄ?ive. Ako pitate o starosnim grupama, napravite kategorije; 20-30, 31-40, 41-50 a ne 20-30, 30-40, 40-50. • Kada je to moguće, napiÅ¡ite pitanja tako da odgovori idu od nega- tivnog ka pozitivnom: U kojem obimu, ako je uopće, bilo.... Veoma nekorisno <... > Veoma korisno.â€? • Izbjegavajte da/ne odgovore kada odgovor nije dihotoman. Umjesto toga pokuÅ¡ajte obuhvatiti opseg stavova pitajući ispitanike da odgo- varaju po skali. Na primjer, ponudite skalu od pet taÄ?aka koja ide od „u malom ili bez ikakvog obima“ do „veoma velikog obima.“ • Izbjegavajte apsolutnosti na bilo kojem kraju skale (mali broj ljudi ima apsolutno miÅ¡ljenje o bilo Ä?emu). OmekÅ¡ajte krajeve koristeći „uvijek ili gotovo uvijek“ na jednom kraju skale i „nikada ili gotovo nikada“ na drugom kraju skale. • Postavljajte pitanja o trenutnoj situaciji. Memorija vremenom slabi. Osta- viti izlaze (koristite „nema osnova za ocjenu“ i „nemam stav“ kategorije). Ako ne ponudite izlaz, ispitanici mogu davati besmislene odgovore. • Izbjegavajte upotrebu dvostrukih negacija. 3. Anketu napravite lahkom za ispunjavanje. Napravite kvadratiće koji se oznaÄ?avaju. Pružite dovoljno instrukcija tako da ispitanici znaju Å¡ta raditi: naznaÄ?ite „oznaÄ?iti samo jedno“ ili „oznaÄ?ite sve za koje smatrate da važe“ kada to odgovara. 4. Prvo postavljajte opća pitanja, zatim odreÄ‘enija pitanja, zatim jedno ili dva otvo- rena pitanja, kao Å¡to su „komentari ili bilo Å¡ta drugo Å¡to bismo trebali znati?“ 5. Pitajte samo o demografskim informacijama koje ćete koristiti. Imajte osjećaj da neki ljudi mogu biti identificirani po demografiji. Demografska pitanja postavljajte pri kraju ankete. 6. Neka nacrt pitanja pregledaju struÄ?njaci. 7. Ako pitanja treba prevesti, uradite to, a zatim uradite povratni prijevod na originalni jezik da bi se provjerio prijevod. 8. Predtestirajte, predtestirajte, predtestirajte! Neka tipiÄ?ni ispitanici odgo- vore na pitanja a ne samo da ih Ä?itaju. Zatim proÄ‘ite sva pitanja da dobi- jete povratne informacije. Je li svako pitanje jasno? Jesu li razumjeli Å¡ta se pita? Postoje li nepoznate rijeÄ?i ili nejasne fraze? Postoji li bolji naÄ?in da se postavi svako pitanje? Izvor: Autori. Odabir i izrada instrumenata za prikupljanje podataka 329 Kartice graÄ‘ana se koriste da se: • Prikupe povratne informacije graÄ‘ana o javnim službama od stvarnih korisnika usluga • procijeni uÄ?inak pojedinih vrÅ¡ilaca usluga ili da se poredi uÄ?inak po vrÅ¡iocima • izradi baza podataka povratnih informacija o uslugama koje se zatim mogu postaviti na javnu domenu (ADB and ADBI 2004). Tabela 8.11 prikazuje primjer kartica graÄ‘ana o ukupnom zadovoljstvu u vezi sa uslugama. IzvjeÅ¡taji graÄ‘ana prikupljaju povratne informacije o sljedećim faktorima: • dostupnost usluge; • pristup usluzi; • pouzdanost usluge; • ukupni kvalitet usluge; • zadovoljstvo uslugom; • reakcija vrÅ¡ilaca usluga; • prikriveni troÅ¡kovi; • korupcija i sistemi podrÅ¡ke i • volja za plaćanjem (World Bank 2006). Kartice graÄ‘ana se mogu koristiti na viÅ¡e naÄ?ina (Tabela 8.12). TakoÄ‘er se mogu provoditi na raznim nivoima vlade. Tabela 8.13 sumira prednosti i izazove kartica graÄ‘ana za prikupljanje podataka. Intervjui Intervju je dijalog izmeÄ‘u obuÄ?enog anketara i osobe koju se intervjuira. Cilj je dobiti informacije koje se mogu koristiti da se odgovori na evaluaciono pitanje (Tekstualni okvir 8.10). Kvalitet informacija koje su prikupljene uveliko zavisi od Tabela 8.11 Rezultati kartica graÄ‘ana o zadovoljstvu uslugama infrastrukture Broj korisnika meÄ‘u Procenat Procenat ispitanicima zadovoljnih nezadovoljnih Agencija (u hiljadama) korisnika korisnika Struja 1.024 43 15 Voda 775 41 19 Telefon 203 87 12 Policija 98 45 36 Izvor: Autori. 330 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 8.12 Upotrebe kartica graÄ‘ana Vrsta studije ili projekta Primjer Studije zadovoljstva urbanim Sedam indijskih gradova; Kampala, studijama usluga Uganda Studije zadovoljstva u provinciji i Indija, Filipini, Uganda državi vrÅ¡enjem usluga Studije sektora Javne bolnice u Bangaloreu, Indija Evaluacije programa Sigurnost ruralne hrane u Tami Nadu, ruralni vodovod i sanitacija u Maharashtra, Indija Projekti reforme uprave BangladeÅ¡, Peru, Filipini, Å ri Lanka, Ukrajina, Vijetnam Izvor: Svjetska banka 2006. Tabela 8.13 Prednosti i izazovi kartica graÄ‘ana za prikupljanje podataka Prednosti • Osiguranje sumarnih povratnih informacija o uÄ?inku • Strukturirane su za jednostavnu komunikaciju • Pomažu u smanjenju pristrasnosti kod prikupljanja podataka Izazovi • Zahtijevaju kapacitet za razumijevanje ove vrste procjene • OgraniÄ?ene su za poreÄ‘enje po uslugama • Potreban veliki uzorak za heterogenu populaciju za usluge koje koristi mali procenat populacije • Nedostatak predvidivosti o tome kako će reagirati vladini zvaniÄ?nici Izvor: Autori. vjeÅ¡tine i liÄ?nosti anketara (Lofl and and Lofl and 1995). KljuÄ? za dobar intervju je dobro sluÅ¡ati i dobro postavljati pitanja. Svaka kultura ima vlastite vrijednosti i obiÄ?aje: pitanje ili gesta mogu uvrije- diti ljude u jednoj kulturi a u drugoj opet ne. Kulturna kompetencija je stoga neÅ¡to Å¡to anketar mora imati, mora obratiti pažnju na reakciju ispitanika tokom intervjua da se uvjeri da ga nije nehotiÄ?no uvrijedio (Tekstualni okvir 8.11). Dok radi sa ljudima iz svih kultura, anketar mora imati na umu sljedeće: • Svaka osoba cijeni kad se tretira sa poÅ¡tovanjem; • ÄŒak i ljudi koji dolaze iz kultura poznatih po samopožrtvovanju i jednoo- braznom razmiÅ¡ljanju imaju osjećaj vlastite vrijednosti i cijene kad ih se tretira kao pojedince; • Svaka osoba cijeni osjećaj ako njeno miÅ¡ljenje vama neÅ¡to znaÄ?i; Odabir i izrada instrumenata za prikupljanje podataka 331 Tekstualni okvir 8.10 Savjeti za voÄ‘enje intervjua Sljedeći savjeti mogu pomoći evaluatoru da vodi inervju: 1. Upoznaj ispitanike: • koja je svrha i vremenski raspored studije; • zaÅ¡to ih se intervjuira; • kako su odabrani; • kako će se podaci koristiti; • je li intervju povjerljiv; • koliko će intervju trajati; • koji je sadržaj intervjua (unaprijed podijeliti pitanja); • hoćete li htjeti ponovo razgovarati s njima; • hoće li dobiti primjerak konaÄ?nog izvjeÅ¡taja i • hoće li sažetak vaÅ¡ih biljeÅ¡ki biti dostupan ako to žele. 2. PokuÅ¡ajte odabrati vrijeme i mjesto kad je tiho i neće biti ometanja. 3. Idealno bi bilo imati joÅ¡ jednu osobu koja će praviti biljeÅ¡ke. 4. Razmotrite snimanje intervjua. Ako to namjeravate raditi, pitajte ispitanika za dozvolu prije snimanja. 5. Držite se vaÅ¡e skripte. Ako postavljate zatvorena pitanja, postavljajte ih taÄ?no onako kako su napisana. Ako postavljate otvorena pitanja, „pustite da vas situacija vodi“ a ne da je vi uvijek usmjeravate. 6. Budite svjesni kulturnih normi, kao Å¡to je vizuelni kontakt, direktna pitanja i pitanja spolova; 7. Održavajate balans: ako ispitanike pitate o tome Å¡ta misle da je glavna podrÅ¡ka projektu, na primjer, neka sljedeće pitanje bude Å¡ta misle da su glavne prepreke. 8. PokuÅ¡avajte izbjegavati „zaÅ¡to“ pitanja, ako se na to gleda kao agresivno ili kritiÄ?no. 9. Sve Å¡to ispitanik kaže prihvatite suosjećajno i bez osude. 10. Pravite dobre biljeÅ¡ke a da ne ometate konverzaciju: • održavajte kontakt oÄ?ima dok piÅ¡ete; • piÅ¡ite kljuÄ?ne rijeÄ?i ili fraze, ne doslovni zapis intervjua i • ako ispitanik govori neÅ¡to Å¡to hoćete zabilježiti, tražite da vam osoba to ponovi ili zavrÅ¡ite pisanje prije nego postavite sljedeće pitanje; • Ako ispitanik kaže neÅ¡to Å¡to se može citirati, pitajte možete li koristiti njegove doslovne rijeÄ?i. 11. NapiÅ¡ite intervju: • Imajte na umu da je svaka rijeÄ? i ideja potencijalno vrijedna; • Odvojite vrijeme da vaÅ¡e biljeÅ¡ke piÅ¡ete Å¡to pažljivije i Å¡to je detaljnije moguće; • Uradite barem kratko Ä?išćenje biljeÅ¡ki odmah nakon intervjua (ostaviti dovoljno vremena izmeÄ‘u intervjua) i • NapiÅ¡ite pune biljeÅ¡ke u danu intervjua. 12. U osjetljivim situacijama, razmotrite razmjenu biljeÅ¡ki sa ispitanikom da se prisjetite odgovora i usaglasite o reÄ?enom. Izvor: Autori. 332 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 8.11 Savjeti za provoÄ‘enje intervjua u raznim kulturama Sljedeći savjeti mogu pomoći evaluatorima da vrÅ¡e intervjue u razvojnom okruženju: 1. Prije svakog intervjua nauÄ?ite neÅ¡to o kulturi osobe koju ćete intervjuirati. 2. Razmotrite tehnike intervjua sa nekim ko poznaje kulturu ili uzmite ispi- tanika iz iste kulture za intervju. 3. Saznajte Å¡to je viÅ¡e moguće o kulturnim karakteristika kao Å¡to su: • koliko prostora treba ostaviti izmeÄ‘u sebe i ispitanika; • koliko dugo možete gledati u oÄ?i ispitanika; • znaÄ?aj glasovnih modulacija, pokreta glavom i drugih vrsta govora tijela tokom konverzacije; • odgovarajući naÄ?in oblaÄ?enja; • odgovarajući oblik pozdravljanja i • uloge spolova; Pitanja spolova su posebno važna. U nekim kulturama, na primjer, bilo bi neprikladno za muÅ¡kog anketara da bude sam u sobi sa ženom ispitanikom. U odreÄ‘enim kulturama muÅ¡karci se mogu povući u sebe ako ih intervjuira žena. Koristeći anketare istog spola ili imati prisutnog svjedoka suprotnog spola je neophodna procedura u takvim situacijama. Tabela 8.14 sumira prednosti i izazove intervjua Tabela 8.14 Prednosti i izazovi Intervjua Prednosti • Mogu biti strukturirani, polustrukturirani, nestrukturirani ili kombinirani, ali su obiÄ?no polustrukturirani; • Mogu detaljno istražiti kompleksna pitanja; • GreÅ¡ke se mogu oprostiti: nejasna pitanja se mogu razjasniti tokom intervjua te promijeniti za sljedeći intervju; • Mogu trajati sat ili viÅ¡e, ovisno o važnosti i interesu; • Mogu evaluatoru pružiti intuitivni osjećaj situacije; Izazovi • Mogu biti skupi, naporni i uzeti puno vremena; • Mogu ne ukazivati zaÅ¡to razliÄ?iti ljudi imaju razliÄ?ita stanoviÅ¡ta; • Kao rezultat selektivnog sluÅ¡anja anketari mogu propustiti informacije koje se ne slažu sa prethodnim uvjerenjem; • Zahtijeva kulturnu osjetljivost, posebno u vezi sa pitanjem spolova. Izvor Autori. Odabir i izrada instrumenata za prikupljanje podataka 333 Stope odziva â– â–  Stopa odziva: Stopa odziva je procenat ljudi koji su uistinu uÄ?estvovali podijeljen sa ukupnim Procenat ljudi brojem ljudi od kojih se tražilo da uÄ?estvuju. Dobra evaluacija osigurava mnogo koji je ljudi (ili jedinica, kao Å¡to su organizacije) koje se anketira; broj onih koji su se uÄ?estvovao u odazvali; stopa odziva; i opis napora uÄ?injenih da se ta stopa poveća (telefonski istraživanju podijeljen sa pozivi, pisma). ukupnim brojem Niska stopa odziva može sugerirati pristrasan uzorak. Ovo je problem zato Å¡to ljudi od kojih se ljudi koji odaberu da uÄ?estvuju mogu biti drugaÄ?iji od onih koji odaberu da ne to tražilo uÄ?estvuju. Recimo na primjer, organizacija provodi istraživanje o stavu svih upo- slenika, ali se samo 30 posto odazove. Ako je većina nezadovoljnih uposlenika odluÄ?ila uraditi anketu a oni koji su zadovoljni nisu, podaci neće otkriti stavove svih tipova uposlenika. Bila bi greÅ¡ka donositi odluke na osnovu ovih rezultata bez prikupljanja joÅ¡ informacija o tome ko se odazvao a ko ne. Ankete sa stopom odziva ispod 70 procenata ne treba uzimati u obzir ukoliko evaluator nije ana- lizirao pristrasnost odziva i demonstrirao validnost ankete (Jackson i Agrawal 2007). Evaluator može gledati demografiju ispitanika da vidi podudara li se sa većinom populacije u smislu onih karakteristika kao Å¡to su starost i spol. Ako se podudaraju, evaluator može nastaviti, ali samo sa odgovarajućom kvalifikacijom rezultata. U nekim sluÄ?ajevima evaluator može nastaviti direktno sa nekim od onih koji se nisu odazvali da ustanovi postoji li obrazac. Ako se demografija onih koji su se odazvali razlikuje od demografije onih koji nisu, rezultati ankete se moraju kvalificirati na odgovarajući naÄ?in. Evaluatori moraju izvijestiti o takvim analizama onih koji se nisu odazvali i kako to potencijalno utjeÄ?e na nalaze. Rezultati anketa sa niskom stopom odziva se moraju uvijek saopćiti i navesti broj ispitanika, imajući na umu da ovi rezultati mogu ili ne mogu taÄ?no odslika- vati situaciju u većoj grupi. To jest, podatke treba izraziti kao „od 87 ispitanika“ ili „75 procenata (N=60) od ispitanika ankete izjasnilo se... „ Procente ne treba â– â–  Fokusna koristiti ako je ukupan broj onih kojima je anketa poslana manji od 50. Proporcija grupa: Metodologija kao Å¡to je „75 procenata onih koji su se odazvali“ kada se primijeni na ukupan kvalitativne broj od 45 ispitanika je priliÄ?no razliÄ?ito od 75 procenata od 3.000 ispitanika. evaluacije u kojoj se okupi mala grupa ljudi Alat 5: Fokusna grupa da raspravlja o odreÄ‘enim Fokusna grupa je metodologija kvalitativne evaluacije u kojoj se okupe male temama pod grupe ljudi da raspravljaju o odreÄ‘enim pitanjima pod vodstvom moderatora. vodstvom Struktura fokusne grupe može izgledati neformalno, ali, ustvari, koristi se skripta moderatora koja ukljuÄ?uje set otvorenih pitanja. ObuÄ?en moderator vodi diskusiju i istražuje ili postavlja dodatna pitanja kako to nalaže situacija. 334 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Grupni proces U grupnom procesu se može dobiti viÅ¡e informacija nego iz pojedinaÄ?nih intervjua, zato Å¡to ljudi izražavaju drugaÄ?ija glediÅ¡ta i ulaze u dijalog jedni sa dru- gima. Ali fokusna grupa nije jednostavan grupni intervju. Moderator vodi dijalog i istražuje rezone i osjećanja Ä?lanova grupe. Konverzacija je Ä?esto nelinearna; uÄ?esnici mogu iznositi informacije ili razliÄ?ite perspektive u bilo koje vrijeme. Fokusna grupa se koristi za prikupljanje podataka o sljedećem: • interakcija grupe; • kompleksnosti resursa; • „kako“ i „zaÅ¡to“ a ne „da li“ i „koliko“; • kontekstualni odgovori, a ne da/ne odgovori; • neposredne povratne informacije; • kompleksnost ponaÅ¡anja i motivacija; • intenzitet miÅ¡ljenja i • stavovi o osjetljivim pitanjima (Billson i London 2004). Može se koristiti za triangulaciju metoda. TakoÄ‘er je korisna kada ispitanici nisu komforni sa „papir i olovka“ metodima. Fokusne grupe se ne trebaju koristiti za prikupljanje statistiÄ?kih podataka. TakoÄ‘er su neprikladne gdje: • su jeziÄ?ke barijere nepremostive; • evaluator ima malo kontrole nad grupom; • se povjerenje ne može uspostaviti; • se slobodno izražavanje ne može osigurati i • gdje je povjerljivost kritiÄ?na (Billson 2004). Fokusna grupa obiÄ?no ukljuÄ?uje 6-12 ljudi. Sastav grupe zavisi od svrhe. Većina grupa je homogena, ukljuÄ?ujući ljude sliÄ?nog statusa (nastavnici u jednoj grupi, uÄ?enici u drugoj; supervizori u jednoj grupi, uposlenici u drugoj). Ko treba a ko ne treba biti u istoj fokusnoj grupi zavisi od situacije i kulture. Odabir uÄ?esnika ne smije rezultate evaluacije uÄ?initi pristrasnim ni na koji predvidiv naÄ?in. Ne treba previdjeti ni jednu kategoriju potencijalnih uÄ?esnika ako se može oÄ?ekivati da njihovi odgovori promijene ili proÅ¡ire rezultate. U ovom sluÄ?aju potencijalne dodatne grupe od znaÄ?aja, potrebno je održati joÅ¡ jednu fokusnu grupu. Fokusna grupa treba osigurati: • ugodno, sigurno okruženje (osnovno); • osvježenje (osnovno); • novÄ?ani poticaj (po izboru); • prijevoz ili brigu o djeci (po izboru); Odabir i izrada instrumenata za prikupljanje podataka 335 • obuÄ?enog moderatora (osnovno) i • zapisniÄ?ara (po izboru). Sesije se snimaju, a idealno bi bili da se svaki stenografski izvjeÅ¡taj pripremi za svaku sesiju. Fokusna grupa poÄ?inje jasnim objaÅ¡njenjem: • Å¡ta je svrha fokusne grupe • zaÅ¡to su važni stavovi uÄ?esnika • kako su uÄ?esnici odabrani • Å¡ta je to fokus grupa • koja su pravila procesa, ukljuÄ?ujući kljuÄ?no pravilo: Å¡ta se kaže u sobi ostaje u sobi. Moderator vodi proces, drži grupu fokusiranom i osigurava da svi uÄ?esnici imaju priliku iskazati svoje miÅ¡ljenje i da nekolicina ljudi ne dominira konve- rzacijom. Moderator postavlja mali broj pitanja koristeći uputstvo posebno razvijeno za sesiju. Sva pitanja su otvorena. Konverzacija kreće od laganih konverzacijskih pitanja ka ozbiljnijim pitanjima. ZavrÅ¡ava sumiranjem i zavrÅ¡nim pitanjima koja omogućavaju da se impresije korigiraju ako je to potrebno i zabilježe bilo kakvi dodatni komentari i ideje. Evaluatori su odgovorni za sve aspekte fokusne grupe, ukljuÄ?ujući: • ko treba u njoj biti; • koliko sesija će se održati; • gdje će se sesije održati; • kada će se sesije održati; • Å¡ta pitati uÄ?esnike i • kako analizirati i prezentirati podatke. TipiÄ?ni program fokusne grupe zahtijeva Å¡est do osam sedmica pripreme. Potrebno vrijeme zavisi od logistiÄ?kih faktora, kompleksnosti ili urgentnosti pro- jekta, dostupnosti onih koji donose odluke i lahkoće kojom se uÄ?esnici mogu regrutirati. Evaluacijska fokusna grupa najbolje radi ako se vodi na sljedeći naÄ?in (Billson 2004): • Korak 1: RazjaÅ¡njenje kljuÄ?nih evaluacijskih pitanja. Ako klijentima i evalua- torima nisu jasna kljuÄ?na pitanja na koja fokusna grupa treba odgovoriti, Ä?itav proces će biti frustrirajući; • Korak 2: Dizajniranje evaluacionog pristupa. Koristeći svrhu evaluacije i kljuÄ?na pitanja dizajnirati opći pristup i tok tema da se doÄ‘e do kljuÄ?nih pitanja; 336 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • Korak 3: Razviti vodiÄ? za moderatora koji mora ukljuÄ?ivati sve od potre- bnih protokola (strukturu ili kodeks ponaÅ¡anja) za evaluaciju bez pristrasnih odgovora, ali da grupu usmjerava prema kljuÄ?nim pitanjima; • Korak 4: Regrutiranje uÄ?esnika; • Korak 5: Odrediti tehnike moderacije. Identificirati i koristiti dobre tehnike moderacije tokom sesija fokusne grupe; • Korak 6: Ispitati posmatraÄ?e, evaluatore i klijente i zabilježiti dodatne info- rmacije. Odmah nakon svake fokusne grupe, kada imamo tek dobivene podatke, razmijeniti uvide steÄ?ene tokom fokusne grupe sa klijentima i dru- gim zainteresiranim stranama. Zabilježiti dodatne informacije o kojima nije otvoreno diskutirano (impresije, zakljuÄ?ke i tako dalje) za upotrebu u sljedećem koraku; • Korak 7: Analizirati podatke. Ako je fokusna grupa dobro radila, proizvest će planinu rijeÄ?i i ideja. Ovi kvalitativni podaci zahtijevaju posebne analitiÄ?ke tehnike, posebno analizu sadržaja (vidjeti Poglavlje 10) i • Korak 8: Predstaviti nalaze. Izvijestiti o nalazima na naÄ?in koji je smislen i koristan drugima, posebno klijentu. Koristiti audio pisane ili video formate ili kombinaciju bilo kojeg od njih. Sesije fokusne grupe normalno traju jedan do dva sata. Za većinu projekata 100 minuta omogućava vrijeme da se prati svaka glavna linija ispitivanja bez iscrpljivanja ili dosaÄ‘ivanja uÄ?esnika ili moderatora (Billson 2004). Fokusna grupa ne treba biti previÅ¡e uÄ?estala. Dvije ili tri sesije fokusne grupe u jednom danu su maksimum koji moderator može izdržati. Fokusna grupa treba biti održavana u neutralnom okruženju, ako je moguće. Lokacija takoÄ‘er treba biti lahko dostupna. ObiÄ?no, uÄ?esnici sjede oko stola ili na stolicama poredanim u krug da bi se omogućila konverzacija meÄ‘u uÄ?esnicima. Moguće je da nekoliko posmatraÄ?a bude prisutno u sobi dok se održava fokusna grupa. Na poÄ?etku ih treba predstaviti i objasniti razlog njihovog prisustva. Audio ili video rekorderi su ekstremno korisni za osiguranje taÄ?nog transkripta sesije. Većina uÄ?esnika brzo zaboravi da ih se snima. Ako sesija nije snimana, dva zapisniÄ?ara trebaju biti prisutna da dokumentiraju sesiju. Bilježenje na laptopu može ubrzati analizu poÄ?etnih podataka i pisanje izvjeÅ¡taja. Moderator ne treba praviti biljeÅ¡ke. Ne postoji fiksno pravilo o tome kako se vode fokusne grupne sesije. Opće je pravilo voditi ih sve dok se teme ne poÄ?nu ponavljati ili se viÅ¡e ne pojavljuju nove informacije. Ovo se obiÄ?no desi nakon tri do Å¡est sati sesija. Može koristiti ako se postave temeljni setovi pitanja svakoj fokusnoj grupi a zatim razliÄ?ita pitanja koja su ekstenzivnija onda kada postane jasno da su teme konzistentne. Evaluatori Odabir i izrada instrumenata za prikupljanje podataka 337 se trebaju meÄ‘usobno konsultirati nakon svake sesije tako da se mogu donijeti odluke o prilagoÄ‘avanju protokolu u sljedećoj sesiji. Dnevne aktivnosti uÄ?esnika treba razmotriti: evaluatori moraju imati osjećaja za vrijeme uÄ?esnika, ukljuÄ?ujući vrijeme prijevoza; uÄ?ešće u sesiji može trajati pola dana ili viÅ¡e. Fokusna grupa planirana u kasno poslijepodne može ometati pripremu veÄ?ere, ograniÄ?avajući tako broj ljudi koji su voljni uÄ?estvovati. Fokusna grupa zahtijeva znatne pripreme i vrijeme potrebno za realizaciju. Tekstualni okvir 8.12 nudi savjete za pisanje pitanja za fokusne grupe. Sesija fokusne grupe se može podijeliti na Ä?etiri razliÄ?ite faze. Ovi i koraci u svakoj fazi su prikazani u Tabeli 8.15. Tekstualni okvir 8.12 Savjeti za dizajniranje pitanja za fokusnu grupu Sljedeći savjeti mogu pomoći evaluatorima da dobiju najviÅ¡e od sesije fokusne grupe: • Prvo razmisliti o informacijama prikupljenim od fokusne Lijevak protokola grupe koje će se koristiti; Uvjeriti se da će sva pitanja voditi direktno ili indirektno ka upotrebljivim informacijama; • Izbjegavati nejasno, zbunjujuće formuliranje; Å iroka konceptualizacija • Postavljati jedno po jedno pitanje; KljuÄ?na evaluacijska pitanja • Postavljati otvorena pitanja; Opća pitanja • Izbjegavati pretpostavke koje vode ili zavode; OdreÄ‘ena • Izbjegavati pitanja koja uvode pristrasnost, iskrivljujući pitanja odgovore; • Izbjegavati pružanje alternativnih odgovora; • UÄ?initi interesantnim. MehaniÄ?ka pitanja proizvode mehaniÄ?ke odgovore; • Koristiti „lijevak protokola“ koji poÄ?inje pitanjima o Å¡irim konceptualnim temama a zavrÅ¡ava sondirajućim pitanjima. Izvor: Billson 2004: 29. 338 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 8.15 ÄŒetiri faze fokus grupe i aktivnosti moderatora Faza Aktivnosti I Preambula ili Moderator opuÅ¡ta uÄ?esnike tako Å¡to poÄ?inje postavljati pitanja. otvaranje Moderator objaÅ¡njava svrhu fokus grupe. Moderator objaÅ¡njava glavna pravila. Svako u sobi se predstavlja. II Uvod i Iskustva i uloge uÄ?esnika u vezi sa temom. zagrijavanje Moderator stimulira interakciju u grupi i razmiÅ¡ljanje o temi. Moderator poÄ?inje najmanje opasnim i jednostavnim pitanjima. III Glavna ili Moderator ide prema opasnijim ili osjetljivim i kompleksnim pitanjima. grupna Moderator izmamljuje dublje odgovore. diskusija Nastali podaci se povezuju da se izradi kompleksna, integrirana osnova za analizu. Å ire sudjelovanje je osigurano. IV Zatvaranje Moderator zavrÅ¡ava tipom pitanja kojima se zatvara sesija. Moderator sumira i precizira kljuÄ?ne teme. Moderator predstavlja teorije, impresije i traži reakciju, potvrdu ili klasifikaciju i korekciju od Ä?lanova grupe. Moderator poziva uÄ?esnike da iznesu finalne komentare ili spoznaje („kljuÄ?ne nauÄ?ene lekcije“) plus „zadnje misli“, bilo Å¡ta Å¡to je propuÅ¡teno i bilo Å¡ta Å¡to bi uÄ?esnici htjeli da evaluacioni tim zna. Moderator zahvaljuje uÄ?esnicima i dijeli, ukoliko je obećano neÅ¡to u vidu poticaja. Izvor: Autori. Tekstualni okvir 8.13 Primjeri pitanja u fokus grupi Sljedeća skripta može koristiti pri modeliranju pitanja koja se postavljaju tokom fokusne grupe. Uvod: PoÄ?nimo predstavljanjem. Molim da spomenete vaÅ¡u titulu i gdje radite, kao i prirodu vaÅ¡eg iskustva sa uslugama iz ovog programa zdravstvene klinike, ukljuÄ?ujući i to zaÅ¡to ste iÅ¡li tamo. O percepcijama: Kritike besplatnih programa zdravstvenih klinika kažu da one pružaju njegu niskog kvaliteta. Kakvo je vaÅ¡e iskustvo sa uslugama u besplatnim klinikama? O upravi: Posljednja istraživanja sugeriraju da trenutni budžet u distrikti- ma ne dospijeva do lokalnih klinika. Koja je vaÅ¡a procjena ovih problema na osnovu vaÅ¡ih iskustava sa uslugama u klinici? Izvor: PrilagoÄ‘eno od Billson 2004. Odabir i izrada instrumenata za prikupljanje podataka 339 Tabela 8.16 Prednosti i izazovi fokusnih grupa Prednosti Mogu se provesti relativno brzo i lahko; Zahtijevaju manje osoblja, vremena i detaljnih, ponaosobnih intervjua; Omogućava fleksibilnost za pravljenje promjena u procesu i pitanjima; Mogu istražiti razliÄ?ite perspektive; Mogu biti zabavne uÄ?esnicima; Izazovi Analiza zahtijeva puno vremena; Može se desiti da uÄ?esnici nisu predstavnici populacije i tako omogućiti pristrasnost podataka; Moderator ili dominantni Ä?lanovi grupe mogu utjecati na grupu. Izvor: Autori. Pitanja fokusne grupe u Tekstualnom okviru 8.13 su zamiÅ¡ljena da ilustriraju vrstu pitanja koje evaluator može postaviti kada koristi ovaj alat. Tabela 8.16 sumira prednosti i izazove fokusne grupe. Alat 6: Dnevnici i subjektivne liste provjere JoÅ¡ jedan metod prikupljanja podataka je upotreba dnevnika i subjektivnih lista provjere. â– â–  Dnevnik: Pisani subjek- Dnevnici ili žurnali tivni izvjeÅ¡taj uÄ?esnika, Dnevnik (ili žurnal) je pisani subjektivni izvjeÅ¡taj uÄ?esnika, obiÄ?no se vodi sva- obiÄ?no se vodi kodnevno. Dnevnici se koriste da se zabilježe detaljne informacije o dogaÄ‘ajima svaki dan iz svakodnevnog života ljudi. Mogu se koristiti da se prouÄ?avaju takvi fenomeni kao Å¡to su druÅ¡tvene mreže; zdravlje, bolesti, i srodna ponaÅ¡anja; dijeta i prehrana; rad na farmi; navike uÄ?enja; upotreba kontracepcije; i praksa djeÄ?ije njege. Pored zapisivanja aktivnosti od interesa u odreÄ‘enom vremenskom okviru, dnevnici mogu ukljuÄ?ivati karakterizaciju aktivnosti. Na primjer, puÅ¡aÄ?i ukljuÄ?eni u pro- gram odvikavanja od puÅ¡enja mogu pisati dnevnike da zabilježe kada imaju jaku potrebu za puÅ¡enjem, gdje su je imali i Å¡ta su radili u to vrijeme. Ideja je da ako su nam obrasci poznati, uÄ?esnici mogu poduzeti neÅ¡to u vezi s tim. Ako je zavrÅ¡etak jela okidaÄ?, mogu prekinuti obrazac tako Å¡to će brzo ustati od stola nakon jela. Dnevnici se koriste na Å¡irem državnom nivou kao i kod manjih programa (Stafford 2006). Dnevnici su korisni alati kao dodatak ostalim izvorima podataka (Tabela 8.17). VoÄ‘enje dnevnika obiÄ?no zahtijeva pismenost i volju da se izdvoji vrijeme za to. U nekim sluÄ?ajevima, meÄ‘utim, dnevnici mogu biti u obliku liste provjere da bi se smanjila potreba za pismenošću. Na primjer, slikovni dnevnik se 340 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 8.17 Smjernice za koriÅ¡tenje dnevnika i žurnala Radnja Detalji Regrutiranje ljudi licem u Podstaći uÄ?ešće koriÅ¡tenjem visoko motiviranih, lice personalnih anketara; Apelirati na altruizam, pomaganje; Osigurati povjerljivost; Osigurati poticaj za obavljanje posla; Osigurati broÅ¡uru svakom PoÄ?eti jasnim instrukcijama kako pisati dnevnik; uÄ?esniku UkljuÄ?iti primjerak uraÄ‘enog dnevnika; UkljuÄ?iti kratke podsjetnike; Objasniti sve termine, kao Å¡to su dogaÄ‘aj ili sesija; Na zadnjoj strani, pitanje je li ovo tipiÄ?an ili netipiÄ?an vremenski period i za komentare ili razjaÅ¡njenja; UkljuÄ?iti kalendar, ukazati do kada treba zavrÅ¡iti; Razmotriti vremenski Ako je period previÅ¡e dug, može postati teret ili period za prikupljanje monotono za uÄ?esnike; podataka Ako je period previÅ¡e kratak, dnevnik može propustiti neko ponaÅ¡anje ili dogaÄ‘aj. Izvor: Autori. koristi za prikupljanje podataka o potroÅ¡nji u domaćinstvu u Tanzaniji i Gambiji (Wiseman, Conteh, i Matovu 2005). Koji je pravi vremenski period za koriÅ¡tenje liste provjere? Generalno, potrebna je najmanje jedna sedmica da se dobije dovoljno velik primjerak ponaÅ¡anja a viÅ¡e od mjesec je previÅ¡e. Nakon toga, voÄ‘enje dnevnika postaje monotono, a pravljenje biljeÅ¡ki se smanjuje. ObiÄ?no, uÄ?esnicima se daju broÅ¡ure koje sadrže jasan set instrukcija kao i primjer ispunjenog dnevnika. Svi neuobiÄ?ajeni termini se objasne. Zadnja stranica broÅ¡ure sadrži pitanje pokriva li dnevnik tipiÄ?ni ili netipiÄ?ni period. TakoÄ‘er osi- gurava priliku za uÄ?esnike da daju komentare koji nisu u dnevnim unosima. Subjektivna lista provjere Subjektivna lista provjere je neÅ¡to izmeÄ‘u upitnika i dnevnika. UÄ?esnici prate â– â–  Subjektivna odreÄ‘eni skup aktivnosti ili dogaÄ‘aja koji su na listi, tako da ih mogu lahko lista obilježiti. Liste provjere se mogu popunjavati dnevno ili sedmiÄ?no ili svaki put provjere: Lista odreÄ‘enog kada se dogaÄ‘aj ili aktivnost desi. skupa aktivnosti Lista provjere se može koristiti, na primjer za bilježenje vremena uzimanja ili dogaÄ‘aja koje tableta za malariju ili praćenje koliko puta i kada se ide po vodu. uÄ?esnik oznaÄ?ava ako je potrebno Odabir i izrada instrumenata za prikupljanje podataka 341 Subjektivne liste provjere su koriÅ¡tene u studiji o babicama u Indoneziji (Abdallah 2002). Projekt je bio zasnovan na teoriji da su vrÅ¡ioci trebali pojaÄ?anje nakon obuke u promjeni ponaÅ¡anja. Cilj je bio popraviti kvalitet savjetovanja koje babice vrÅ¡e o planiranju porodice. Babice koje su uÄ?estvovale uradile su sedmicu subjektivne procjene o odreÄ‘enim interpersonalnim komunikacijskim vjeÅ¡tinama kako bi se povećalo njihovo razumijevanje vlastitih komunikacijskih obrazaca, kako bi ih analizirali a zatim preduzeli neke radnje da ih poboljÅ¡aju. Subjektivne liste provjere je lakÅ¡e uraditi i analizirati nego dnevnik. Izrada lista provjere, meÄ‘utim, zahtijeva da evaluator razumije situaciju veoma specifiÄ?no. Tabela 8.18 sumira prednosti i izazove dnevnika i subjektivnih lista provjere. Alat 7: Procjena struÄ?njaka Ponekad ima smisla angažirati struÄ?njake kao izvor informacija ili miÅ¡ljenja. Razmotrimo ulogu književnog ili filmskog kritiÄ?ara. Ljudi koriste njihova miÅ¡ljenja da bi zasnovali vlastite odluke ili izbore. Vladine radne grupe su oblik procjene struÄ?njaka. Procjena struÄ?njaka se može pribaviti od pojedinog struÄ?njaka ili panela struÄ?njaka. Panel struÄ?njaka može izvrÅ¡iti pregled bolnice proveden kao dio procesa akreditacije. Ova grupa struÄ?njaka posjećuje bolnicu da istraži njen pro- gram, objekte i osoblje. PojedinaÄ?ni struÄ?njak (kao Å¡to je Å¡kolski inspektor) može posjećivati Å¡kole da evaluira Å¡kole, administraciju i nastavnike. Tabela 8.18 Prednosti i izazovi dnevnika i subjektivnih lista provjere Prednosti Mogu zabilježiti detaljne podatke („bogate podatke“) koji bi inaÄ?e mogli biti zaboravljeni; Mogu se prikupljati podaci o tome kako ljudi koriste vrijeme; Mogu se prikupljati osjetljive informacije; Mogu dopuniti intervjue, osigurati bogatije podatke; Izazovi Zahtijeva pismenost; Mogu promijeniti ponaÅ¡anje, zato Å¡to ljudi znaju da se njihovo ponaÅ¡anje posmatra; Zahtijevaju predanost i samodisciplinu, taćnost i iskrenost prilikom bilježenja informacija; uÄ?esnici mogu da se taÄ?no ne prisjete ponaÅ¡anja; Zabilježeni podaci mogu biti nekompletni ili su uÄ?esnici Ä?ekali da zabilježe informacije i ne mogu se taÄ?no sjetiti („sutraÅ¡nji dnevnici“); ÄŒitanje rukopisa može biti teÅ¡ko; Fraze u dnevnicima koje mogu biti teÅ¡ko razumljive. Izvor: Autori. 342 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Procjena struÄ?njaka može koristiti prethodno uspostavljene profesionalne â– â–  Procjena kriterije i procedure ili se može uraditi ad hoc. Kada se u procjeni struÄ?njaka struÄ?njaka: MiÅ¡ljenje koriste uspostavljeni kriteriji, oni su obiÄ?no objavljeni standardi i instrumenti koji pojedinog osiguravaju da struÄ?njaci postavljaju pitanja i evaluiraju na konzistentan naÄ?in. struÄ?njaka ili Na primjer, finansijska agencija može htjeti evaluirati kvalitet programa obuke panela za koju je uspostavljen nastavni plan, sa zadanim ciljevima i ishodima. StruÄ?njak struÄ?njaka koji je potpuno obuÄ?en za plan, ciljeve i ishode ispituje program obuke i evalu- aciju zasniva na dokumentaciji. Ad hoc pregledi se rade prema nepravilnom rasporedu, kako to okolnosti nalažu. ObiÄ?no se provode sa odreÄ‘enom svrhom. Takvi pregledi obiÄ?no ne predodreÄ‘uju standarde koji struÄ?njaci koriste. StruÄ?njaci odreÄ‘uju standarde za procjenu. Primjer ad hoc pregleda je kada direktor programa posjeti lokaciju pro- grama za tretman vode da bi dobio uvid kako program napreduje. Odabir struÄ?njaka treba proći razuman test liÄ?nosti: da li bi razumna osoba smatrala da su ovaj struÄ?njak ili grupa struÄ?njaka kredibilni? StruÄ?njaci trebaju odslikavati raznolik skup pogleda, iskustava i uloga. Važno je uspostaviti kriterije za odabiranje struÄ?njaka na osnovu ne samo priznatosti struÄ?njaka nego i na osnovu sljedećih vrsta kriterija: • podruÄ?je ekspertize; • raznoliki politiÄ?ki pogledi i • raznolike perspektive; • raznolika tehniÄ?ka struÄ?nost. Obrazloženje za izbor svih struÄ?njaka treba biti naznaÄ?eno u evaluacionom izvjeÅ¡taju. MeÄ‘unarodni savjet za sigurnosti i razvoj (2006) koristio je panel struÄ?njaka za pregled efektivnosti MeÄ‘unarodnog odbora za kontrolu narkotika. U ovom sluÄ?aju bilo je naroÄ?ito važno imati ne samo priznate struÄ?njake nego se takoÄ‘er i uvjeriti da su odabrani iz razliÄ?itih dijelova svijeta, posebno onih dijelova gdje su poznati veliki problemi sa narkoticima. Tabela 8.19 Prednosti i izazovi procjene struÄ?njaka Prednosti Brzina, relativno manje skupo; Izazovi Slab za evaluaciju utjecaja; Može uveliko biti zasnovan na percepciji; Vrijednost prikupljenih podataka zavisi koliko je kredibilna grupa. Izvor: Autori. Odabir i izrada instrumenata za prikupljanje podataka 343 Iako se panel struÄ?njaka ne smatra jakim evaluacijskim pristu- pom, u nekim okolnostima to može biti najbolji pristup sa datim vremenskim ograniÄ?enjima i ograniÄ?enju u resursima. Paneli struÄ?njaka prikladniji su kod dizajniranja programa ili projekta i u ranim i srednjim fazama implementacije â– â–  Delfi tehnika: nego za evaluaciju utjecaja. Posebno su korisni za brze procjene. Tehnika koja Tabela 8.19 pokazuje prednosti i izazove procjene struÄ?njaka. prikuplja informacije i sud uÄ?esnika Alat 8: Delfi tehnika kako bi se omogućavalo Tehnika Delfi omogućava struÄ?njacima koji žive na razliÄ?itim lokacijama rjeÅ¡avanje da se ukljuÄ?e u dijalog i postignu konsenzus posredstvom iterativnog procesa. problema, StruÄ?njacima se postavljaju odreÄ‘ena pitanja; njihovi se odgovori Å¡alju ka centra- planiranje i lnom izvoru, sažimaju i povratne informacije Å¡alju struÄ?njacima. StruÄ?njaci zatim donoÅ¡enje odluka bez komentiraju sažetak. Slobodni su postaviti pitanje o odreÄ‘enim stavovima ili suoÄ?avanja sa dodati nove perspektive pružajući dodatne informacije. Zato Å¡to niko ne zna ko je uÄ?esnicima Å¡ta rekao, izbjegava se konflikt. licem u lice Delfi tehnika prikuplja informacije i sud od uÄ?esnika kako bi se omogućilo rjeÅ¡avanje problema, planiranje i donoÅ¡enje odluka bez suoÄ?avanja sa uÄ?esnicima licem u lice (Dunham 1996). StruÄ?njaci razmjenjuju informacije poÅ¡tom, faksom ili e-mailom. Ovaj metod može pomoći grupama da postignu konse- nzus o pitanjima, strategijama i prioritetima. Koristi se u predviÄ‘anju turistiÄ?kog potencijala Južne Afrike (Kaynak, Bloom, i Leibold 1994); da se postigne konsenzus o prioritetima za državnu politiku o lijekovima u zemljama u razvoju (Rainhorn, Brudon-Jakobowicz, i Reic 1994); uspostave prioriteti za iskorje- njivanje Å¡istosomijaza (pužja groznica) u Keniji (Kirigia 1997). Delfi tehnika zahtijeva koordinatora koji identificira struÄ?njake kao uÄ?esnike, organizira zahtjeve za informacijama, sažima primljene informacije i komunicira sa uÄ?esnicima. Posao koordinatora može uzimati puno vremena. Koordinacija Delfi tehnike e-mailom sa 20 uÄ?esnika i tri runde upitnika može uzeti 30-40 sati koordinatoru. Proces tehnike Delfi ukljuÄ?uje sljedeće korake: 1. Identificirati i pozvati struÄ?njake da uÄ?estvuju. Odrediti potrebne kriterije kod struÄ?njaka, obiÄ?no grupa sa raznolikom ekspertizom. Pozvati struÄ?njake da se pridruže; 2. Identificirati pitanja i ideje. Na primjer, pitati „Koje akcije mogu biti poduzete da se osigura brža reakcija na zahtjeve pacijenata izmeÄ‘u posjeta?“ Pripremiti i poslati prvi upitnik u kojem se od svakog uÄ?esnika traži da se ukljuÄ?i u indi- vidualno razmiÅ¡ljanje da se generira Å¡to je viÅ¡e moguće ideja za rjeÅ¡avanje problema; 344 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije 3. Dati uÄ?esnicima da urade prvi upitnik. Ideje ne trebaju biti u potpunosti razvi- jene – ustvari poželjno je da se svaka ideja izrazi jednom reÄ?enicom ili fra- zom, bez pokuÅ¡aja evaluacije ili opravdanja ideja. UÄ?esnici zatim vraćaju listu koordinatoru; 4. Izrada i slanje drugog upitnika. Koordinator priprema i Å¡alje drugi upitnik uÄ?esnicima koji sadrži sve ideje poslane kao odgovor na prvi upitnik. (Samo koordinator zna koji struÄ?njak je dao koju ideju.) Ostavljen je prostor da uÄ?esnici dorade svaku ideju, komentiraju snagu i slabost svake ideje i da se identificiraju nove ideje; 5. Prikupljanje odgovora na drugi upitnik. UÄ?esnici anonimno bilježe odgovore na drugi upitnik i vraćaju ih koordinatoru; 6. Izrada i slanje trećeg upitnika. Koordinator izraÄ‘uje i Å¡alje treći upitnik koji sažima unose iz prethodnih koraka i traži dodatna razjaÅ¡njenja, snagu, slabosti i nove ideje; 7. Nastavak procesa. Po želji, koordinator ponavlja proces sve dok se ne prestanu pojavljivati nove ideje a sve snage, slabosti i stavovi su identificirani; 8. Postizanje odluke. Odluka se može postići na jedan od dva naÄ?ina: • Ako se pojavi konsenzus o dominantnoj ideji koja je evaluirana, vježba se proglasi zavrÅ¡enom. Krajnji proizvod je lista ideja sa naznaÄ?enim snagama i slabostima; • Ako ne postoji konsenzus, koordinator provodi formalnu procjenu stavova grupe o vrijednosti ideja. Postoji viÅ¡e naÄ?ina da se provede formalna evalu- acija. Jedan pristup je da koordinator pripremi upitnik koji navodi sve ideje i od uÄ?esnika traži da ocjene svaku. Može se koristiti skala od sedam taÄ?aka od Odabir i izrada instrumenata za prikupljanje podataka 345 Tabela 8.20 Prednosti i izazovi Delfi tehnike Prednosti Omogućava uÄ?esnicima da ostanu anonimni; Nije skupa; Slobodna od druÅ¡tvenog pritiska, utjecaja liÄ?nosti i dominacije pojedinaca; Pogodna je za nezavisno miÅ¡ljenje i postepenu formulaciju; Omogućava razmjenu informacija i objaÅ¡njenja meÄ‘u uÄ?esnicima; Izazovi Može biti nereprezentativna; Ima tendenciju da eliminira ekstremne pozicije i nametne konsenzus srednjeg puta; Zahtijeva vjeÅ¡tinu pisane komunikacije; Zahtijeva vrijeme i posvećenost uÄ?esnika. Izvor: Michigan State University Extension 1994. 0 (nema potencijala da rijeÅ¡i pitanje) do 7 (veliki potencijal da rijeÅ¡i pitanje). Ako se koristi ovaj pristup, uÄ?esnici Å¡alju obrazac sa ocjenama koordinatoru, koji sastavlja rezultate i pravi redoslijed ideja prema ocjenama a na osnovu evaluacije. Drugi pristup je da koordinator od Ä?lana traži da identificira pet najboljih ideja te da ideji koja najviÅ¡e obećava dodijeli pet poena, sljedećoj Ä?etiri poena i tako dalje. Glasovi se vraćaju koordinatoru koji evidentira rezultate i priprema izvjeÅ¡taj. IzvjeÅ¡taj sadrži redoslijed ideja na osnovu ukupnog broja bodova i pokazuje broj ljudi koji su glasali za svaku ideju (Dunham 1996). Tabela 8.20 pokazuje prednosti i izazove Delfi tehnike. Alat 9: Drugi alati mjerenja Za neke projekte ili programe evaluatori će naići na druge alate za mjerenje, kao Å¡to su elektronski, hemijski i mehaniÄ?ki ureÄ‘aji. Alati kao Å¡to su testovi na papiru olovkom i testovi vjeÅ¡tina ili procjene se mogu koristiti da se prikupe podaci za neke projekte i programe. Ono Å¡to slijedi su primjeri nekih drugih alata koji se koriste za prikupljanje podataka. Mnogi projekti i programi (posebno oni u zdravstvenom sektoru) zahtijevaju mjerenje psiholoÅ¡kog statusa da se odrede efekti intervencije. Vage se koriste da se prikupe podaci o težini. Visina, dužina i obim se mogu mjeriti mjernom vrpcom, mjernim Å¡tapovima i drugim ureÄ‘ajima. Å toperice se mogu koristiti da se odredi dužina vremena potrebna da se izvrÅ¡i zadatak. U nekim sluÄ?ajevima koriste se specijalni alati da se prikupe dodatni psiholoÅ¡ki podaci o holesterolu, 346 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije krvnom pritisku, Å¡ećeru u krvi, sastavu tijela, kapacitetu pluća, aerobiÄ?nim mogućnostima, snazi miÅ¡ića, fleksibilnosti zglobova i drugih varijabli. Hemijski testovi bunarske vode i tla se mogu koristiti da se odredi kvalitet vode i tla. Drugi testovi mogu mjeriti taÄ?ku topljenja, pritisak pare i biokonce- ntraciju faktora da se odrede fiziÄ?ke i hemijske osobine svake specifiÄ?ne hemi- kalije. Testovi kao Å¡to su ovi pomažu u identifikaciji okoliÅ¡nih i zdravstvenih opasnosti (U.S. EPA 2007). Kada koristimo mjerne ureÄ‘aje, važno je provjeriti kalibraciju instrumenata i napraviti potrebne korekcije. Projekti i programi koji se bave ishranom mogu koristiti procjenu hemijskih i hranjivih sastojaka hrane. Testovi talenta ili dostignuća se mogu koristiti da se procijene znanje i Ä?injenice. ObiÄ?no se koriste u programima obuke i obrazovanja, ali su takoÄ‘er primjenjivi i u mnogim drugim poljima. U proÅ¡losti mnogi testovi su raÄ‘eni koriÅ¡tenjem papira i olovke. Sada se mogu raditi elektronski, ukljuÄ?ujući i internet. Prije odabira testa važno je razumjeti vrstu testa koja najbolje mjeri ono Å¡to evaluator hoće da sazna. Postoje Ä?etiri pristupa testiranju dostignuća • referentan normi; • referentan kriteriju; • referentan ciljevima i • referentan domenu (Fitzpatrick, Sanders, i Worthen 2004). Testovi referentni normi se primarno koriste da se uporedi uspjeh uÄ?enika sa uspjehom drugog uÄ?enika koji radi isti test. Testovi referentni normi se Ä?esto koriste da se procijeni napredak. Mnogi Å¡kolski distrikti koriste testiranje refe-rentno normi da uporede svoje uÄ?enike sa uÄ?enicima u drugim Å¡kolskim distri-ktima prema općeprihvaćenom znanju i vjeÅ¡tinama. Slabost testiranja refe- rentnog normi je identifikacija „opće prihvaćenog znanja i vjeÅ¡tina.“ RazliÄ?ite kulture, druÅ¡tva i okruženja mogu imati veoma razliÄ?ite instrukcionalne ciljeve (Fitzpatrick, Sanders, i Worthen 2004). Testovi referentni kriteriju se koriste da se mjeri uspjeh prema nekom apsolu- tnom kriteriju. Zemlja može uspostaviti kriterije prema kojim će procijeniti uspjeh u Å¡kolama ili Å¡kolskim distriktima (a ne uspjeh pojedinih uÄ?enika) te ih koristiti da uporede Å¡kole ili Å¡kolske distrikte. Kriterij se Ä?esto koristi da se proci- jeni nastavni plan ili program (Fitzpatrick, Sanders, i Worthen 2004). Testovi referentni ciljevima se zasnivaju na ciljevima ili ishodima koje je identi- ficirao obrazovni ili program obuke. Stavke za test su zasnovane na zadanim ciljevima ili ishodima. Testovi referentni ciljevima se koriste da se dobiju forma- tivne evaluacione povratne informacije da pomognu nastavnicima ili trenerima da istraže podruÄ?ja koja zadovoljavaju ciljeve ili ishode i podruÄ?ja gdje treba poboljÅ¡anje (Fitzpatrick, Sanders, i Worthen 2004). Odabir i izrada instrumenata za prikupljanje podataka 347 Testovi referentni domenu su povezani sa sadržajem domena koji se mjeri, kao Å¡to je znanje o historiji ili matematici. Ovi testovi su skupi za razvoj, ali mogu pružiti vrijedne informacije kao Å¡to su: „Koliko naÅ¡i uÄ?enici znaju o svjetskoj geografiji?“ ili „Koliko polaznici znaju o spolovima?“ (Fitzpatrick, Sanders, i Worthen 2004). Testovi referentni normi i kriteriju pružaju standarde za procjenu uspjeha. Testovi referentni ciljevima i domenu ne pružaju standarde. Oni pružaju opisne podatke o uspjehu uÄ?enika bez procjene uÄ?enika ili Å¡kola (Fitzpatrick, Sanders, i Worthen 2004). Mnogi standardizirani testovi su dostupni na internetu (vidjeti linkove na kraju ovog poglavlja). Mogu pomoći pri procjeni liÄ?nosti, vokacijskih interesa, talenta, dostignuća, razvoja, inteligencije, Ä?itanja i vjeÅ¡tina uÄ?enja. Neki dionici mogu htjeti da znaju viÅ¡e o intervenciji od rezultata uÄ?esnika na standardiziranom testu znanja. UÄ?inak vjeÅ¡tine se može evaluirati koristeći simulacijske ureÄ‘aje, razvoj portfolija, usmene prezentacije i debate. Važno je povezati potrebnu vjeÅ¡tinu sa testom koji najbolje demonstrira željeni uÄ?inak. Testovi vjeÅ¡tine mogu biti korisni kada se evaluira bilo koja intervencija koja nastoji uvesti nove vjeÅ¡tine (praksu sanitacije majkama, poljoprivrednu praksu farmerima, praksu voÄ‘enja biljeÅ¡ki vladinim uposlenicima). Razvojne evalu- acije Ä?esto pokuÅ¡avaju procijeniti da li je koriÅ¡tena nova praksa, ali mogu da ne procijene da li je vjeÅ¡to koriÅ¡tena. Subjekti su rangirani prema tome koliko zado- voljavaju postavljene kriterije. Fotografija i videografija se mogu koristiti da se dokumentira uÄ?inak. Sažetak Ne postoji jedan najbolji naÄ?in za prikupljanje podataka. Koji od mnogih metoda opisanih u ovom poglavlju treba koristiti zavisi od potreba evaluacije i odreÄ‘enih pitanja koja se rjeÅ¡avaju. Evaluacije trebaju koristiti viÅ¡e od jedne tehnike prikupljanja podataka. Odluke o tome koju tehniku prikupljanja podataka koristiti treba zasnivati na: • Å ta evaluator treba znati? • Gdje su podaci? • Koliko vremena i resursa je dostupno? • Koliko su kompleksni podaci koje treba prikupiti? • UÄ?estalost prikupljanja podataka. 348 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Poglavlje 8 Aktivnosti Aplikacijska vježba 8.1: Prikupljanje informacija iz fajlova Od vas se traži da koristite fajlove sa upisa da odredite kvalifikacije i iskustvo uÄ?enika koji su se prijavili za radionicu o obuci o hortikulturi. Razvijte kratak obrazac od pet pitanja koji se može koristiti za prikupljanje podataka iz fajlova. Aplikacijska vježba 8.2: Prikupljanje informacija iz intervjua Od vas se traži da razvijete pitanja za kratki intervju za evaluaciju reakcija uÄ?esnika na kvalitet radionice na osnovu konferencije kojoj ste nedavno prisustvovali. Razvijte pet otvorenih pitanja koja se tiÄ?u sadržaja, nivoa i izvedbe radionice. Ako je moguće, naÄ‘ite partnera koji je pohaÄ‘ao istu radionicu ili konferenciju. Intervjuirajte vaÅ¡eg partnera i neka partner intervjuira vas koristeći instrumente koje ste razvili. Zatim napiÅ¡ite detaljan sažetak intervjua. Neka partner iznese kritike o taÄ?nosti, Ä?itljivosti i pokrivenosti. Aplikacijska vježba 8.3: Prikupljanje informacija od fokusnih grupa Od vas se traži da dizajnirate fokusnu grupu za evaluaciju utjecaja serije radionica i paketa finansijske pomoći za pomoć ženama da osnuju mala preduzeća. Razvijte set od pet pitanja za fokusnu grupu koja bi bila pogodna da se postave ženama koje su zavrÅ¡ile program prije Å¡est mjeseci. Saznajte kakve je namjeravane efekte program imao i na koji naÄ?in je utjecao na živote uÄ?esnika, njihovih prijatelja i porodice. Odabir i izrada instrumenata za prikupljanje podataka 349 Bibliografija i dodatna literatura Abdallah, H. 2002. Cost-Effectiveness of Self-Assessment and Peer Review in Improving Family Planning Provider-Client Communication in Indonesia. Quality Assurance Project Case Study. Study conducted for the U.S. Agency for International Develop- ment by the Quality Assurance Project, Bethesda, MD. Academy for Educational Development, Population Communication Services. 2002. “Session 10 Transect Walks and Observation.â€? Empowering Communities: Participa- tory Techniques for Community-Based Programme Development, vol. 2, Participant Handbook. Washington, DC: Academy for Educational Development. http://pcs.aed.org/manuals/cafs/handbook/sessions10-12.pdf. ADB (Asian Development Bank), and ADBI (Asian Development Bank Institute). 2004. Improving Local Governance and Service Delivery: Citizen Report Card Learning Tool Kit. http://www.citizenreportcard.com/index.html#. BBC (British Broadcasting Corporation). 2008. “Data Validation and Verification.â€? GCSE Bitesize. http://www.bbc.co.uk/schools/gcsebitesize/ict/databases/3datavalidationrev1 .shtml. Behling, Orlando, and Kenneth S. Law. 2000. Translating Questionnaires and Other Research Instruments: Problems and Solutions. Quantitative Applications in the Social Sciences, Series 07-133. Thousand Oaks, CA: Sage Publications. Billson, Janet Mancini. 2002. The Power of Focus Groups for Social and Policy Research. Barrington, RI: Skywood Press. ———. 2004. The Power of Focus Groups: A Training Manual for Social, Policy, and Market Research: Focus on International Development. Barrington, RI: Skywood Press. Billson, Janet, and N. T. London. 2004. “The Power of Focus Groups.â€? International Program for Development Evaluation Training (IPDET) presentation, Ontario, July. Burgess, Thomas F. 2001. Guide to the Design of Questionnaires, ed. 1.1. University of Leeds, United Kingdom. http://www.leeds.ac.uk/iss/documentation/top/top2/top2-5.html. Cloutier, Dorothea, Bill Lilley, Devon Phillips, Bill Weber, and David Sanderson. 1987. A Guide to Program Evaluation and Reporting. University of Maine Cooperative Extension Service, Orono. CNCSTE (Chinese National Centre for Science and Technology Evaluation), and IOB (Policy and Operations Evaluation Department). 2006. Country-Led Joint Evalu- ation of the ORET/MILIEV Programme in China. Amsterdam: Aksant Academic Publishers. Cnossen, Christine. 1997. Secondary Research. Learning Paper 7, School of Public Administration and Law, Robert Gordon University, Aberdeen, United Kingdom. Dawson, Susan, and Lenor Manderson. 1993. Methods for Social Research in Disease: A Manual for the Use of Focus Groups. International Nutrition Foundation for Develop- ing Countries, Boston. http://www.unu.edu/Unupress/food2/UIN03E/uin03e00.htm. Denzin, K. 1978. The Research Act. New York: McGraw-Hill. 350 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Dunham, Randall B. 1996. The Delphi Technique. http://www.medsch.wisc.edu/adminmed/2002/orgbehav/delphi.pdf. Early Childhood Research Institute on Measuring Growth and Development. 2008. Early Communication Indicator (ECI). http://cehd.umn.edu/ceed/projects/ecri/. EuropeAid Co-operation Office. 2005. Evaluation Methods. ec.europa.eu/europeaid/evaluation/methodology/egeval/index_en.htm. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evalua- tion: Alternative Approaches and Practical Guidelines. New York: Pearson. Foddy, William. 1993. Constructing Questions for Interviews and Questionnaires. New York: Cambridge University Press. Fowler, Floyd J. Jr. 2002. Applied Social Research Methods Series, vol. 1 Survey Research Methods. 3rd. ed. Thousand Oaks, CA: Sage Publications. Frary, Robert B. 1996. “Hints for Designing Effective Questionnaires.â€? Practical Assess- ment, Research & Evaluation 5 (3). http://PAREonline.net/getvn.asp?v=5&n=3. Hofstede, G. 2001. Culture’s Consequences. 2nd ed. Thousand Oaks, CA: Sage Publications. Jackson, Gregg, and Rashmi Agrawal. 2007. “Guidelines for Developing Survey Instru- ments as a Part of the Designing and Conducting Surveys Workshop.â€? International Program for Development Evaluation Training (IPDET) presentation, Ottawa, Ontario. Kaynak, Erdener, Jonathan Bloom, and Marius Leibold. 1994. “Using the Delphi Tech- nique to Predict Future Tourism Potential.â€? Marketing Intelligence and Planning 12 (7): 18–29. http://www.emeraldinsight.com/Insight/viewContentItem.do;jsessionid=372 EF38765D6F8133CDF8DABFB2071B4?contentType=Article&hdAction=lnkpdf&c ontentId=854271. Kirigia, J. M. 1997. Economic Evaluation in Schistosomiasis Using the Delphi Technique to Assess Effectiveness. http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?cmd=Retrieve&db=PubMed& list_uids=9107365&dopt=Abstract. Krueger, R. A., and M. A. Casey. 2000. Focus Groups. 3rd ed. Thousand Oaks, CA: Sage Publications. Kellogg Foundation. 2008. “Tips on Using Tests and Assessments.â€? Evaluation Toolkit. http://www.wkkf.org/Default.aspx?tabid=90&CID=281&ItemID=2810034&NID=28 20034&LanguageID=0. Lofland, John. 1971. Analyzing Social Settings. Belmont, CA: Wadsworth. Lofland, John, and L. H. Lofland. 1995. Analyzing Social Settings: A Guide to Qualita- tive Observation and Analysis. 3rd ed. Belmont, CA: Wadsworth Publication. McCaston, M. Katherine. 2005. Tips for Collecting, Reviewing, and Analyzing Secondary Data. Partnership and Household Livelihood Security Unit. http://pqdl.care.org/pv_obj_cache/pv_obj_id_8F453F01C87B8BB24774628B95B42 BBCBD020200. McNamara, Carter. 2007. General Guidelines for Conducting Interviews. http://www.managementhelp.org/evaluatn/intrview.htm#anchor615874 Odabir i izrada instrumenata za prikupljanje podataka 351 Michigan State University Extension. 1994. Delphi Technique. http://web1.msue.msu.edu/msue/imp/modii/iii00006.html. Miles, Matthew B., and A. Michael Huberman. 1994. Qualitative Data Analysis an Expanded Sourcebook. Thousand Oaks, CA: Sage Publications. Minnesota Department of Health. 2007. Community Engagement: Community Forums and Public Hearings. http://www.health.state.mn.us/communityeng/needs/needs.html. Narayan, Deepa. 1996. Toward Participatory Research. World Bank Technical Paper 307, Washington, DC. http://www-wds.worldbank.org/external/default/WDSContentServer/WDSP/ IB/1996/04/01/000009265_3980625172923/Rendered/PDF/multi0page.pdf. O’Brien, G. 2001. Data Flow, Application of Data Quality Flags, and Data Validation Processes for CCAQS. Preliminary draft. http://www.arb.ca.gov/airways/Documents/reference percent20tables/March per- cent2006, percent202001/DataFlow_PrelimDraft.pdf. Patton, Michael Q. 1987. How to Use Qualitative Methods in Evaluation. Thousand Oaks, CA: Sage Publications. ———. 2002. Qualitative Evaluation and Research Methods. 3rd ed. Thousand Oaks, CA. Sage Publications. Paul, Samuel, and Gopakumar K. Thampi. 2008. “Monitoring Public Service Delivery: Citizen Report Cards Score in India.â€? Capacity.org. 35 (December). United Nations Development Programme, New York. http://www.capacity.org/en/journal/tools_and_methods/citizen_report_cards_ score_in_india. Phuyal, Kamal. 2006. “Sharing Some Practical Experiences on Participatory Apprecia- tive Planning Approach (PAPA): An Appreciative Approach to Working in Partnership with Community People.â€? Paper presented at the international workshop on “Action Learning: Lessons from the Field,â€? organized by the Faculty of Policy Studies, Chuo University, Tokyo, October. http://www.scn.org/cmp/modules/emp-papa.htm. Porteous, Nancy L., B. J. Sheldrick, and P. J. Stewart. 1997. Program Evaluation Tool Kit: A Blueprint for Public Health Management. Ottawa: Ottawa-Carleton Health Department. Rainhorn, J.-D. P. Brudon-Jakobowicz, and M. R. Reich. 1994. “Priorities for Pharma- ceutical Policies in Developing Countries: Results of a Delphi Survey.â€? Bulletin of the World Health Organization 72(2): 257–64. 72 (2): 257–64. http://74.125.47.132/search?q=cache:D1zbVUz7oG0J:whqlibdoc.who.int/bulle- tin/1994/Vol72-No2/bulletin_1994_72(2)_257-264.pdf+Use+of+the+ delphi+technique+in+developing+countries&cd=3&hl=en&ct=clnk&gl=us& client=firefox-a. Sanders, J. R. 2000. Evaluating School Programs. 2nd ed. Thousand Oaks, CA: Sage Publications. Stafford, Frank P. 2006. Timeline Data Collection and Analysis: Time Diary and Event History Calendar Methods. Department of Economics, University of Michigan, Ann Arbor. http://www.atususers.umd.edu/wip2/papers_i2007/Stafford_Diaries.pdf. 352 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Stake, Robert E. 1995. The Art of Case Study Research. Thousand Oaks, CA: Sage Publications. StatPac. 2007. Survey Software, Question Wording. http://www.statpac.com/surveys/index.htm#toc. Sue, Valerie M., and Lois A. Ritter. 2007. Conducting Online Surveys. Thousand Oaks, CA: Sage Publications. TC Evaluation Center. 2007. Wording Questions: Some General Guidelines. University of California, Davis. http://ucce.ucdavis.edu/files/filelibrary/5715/27621.pdf. Trochim, William M. K. 2006. Types of Data, Research Methods Knowledge Base. http:// www.socialresearchmethods.net/kb/datatype.php. UNESCAP (United Nations Economic and Social Commission for Asia and the Pacific). 1999. Guidelines on the Application of New Technology to Population Data Collec- tion and Capture. http://www.unescap.org/stat/pop-it/pop-guide/capture_ch04.pdf. University of Wisconsin, Cooperative Extension. 1996. Program Development and Evaluation, Collecting Evaluation Data: Direct Observation. http://learningstore.uwex.edu/pdf/G3658-5.pdf. U.S. EPA (U.S. Environmental Protection Agency). 2007. CTSA-Chapter 2: Data Col- lection. http://www.epa.gov/dfe/pubs/lithography/ctsa/ch02/ch02.html. Wadsworth, Y. 1997a. Do It Yourself Social Research. 2nd ed. St. Leonards, New South Wales, Australia: Allen and Unwin. ———. 1997b. Everyday Evaluation on the Run. St. Leonards, New South Wales, Aus- tralia: Allen and Unwin. Wengraf, Tom. 2001. Qualitative Research Interviewing: Biographic Narrative and Semi-Structured Methods. Thousand Oaks, CA: Sage Publications. Wiseman, V., L. Conteh, and F. Matovu. 2005. “Using Diaries to Collect Data in Resource-Poor Settings: Questions on Design and Implementation.â€? Health Policy and Planning 20 (6): 394–404. http://heapol.oxfordjournals.org/cgi/reprint/20/6/394. World Bank. 1996. “A Manual for Planning and Implementing the Living Standards Measurement Study Survey.â€? Working Paper 126, Washington, DC. ———. 2006. “Citizen Report Cards: A Presentation on Methodology.â€? Participation and Civic Engagement Group, Social Development Department, Washington, DC. http://info.worldbank.org/etools/docs/library/94360/Tanz_0603/Ta_0603/ CitizenReportCardPresentation.pdf. ———. 2007. “Community-Driven Development.â€? Washington, DC. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTSOCIAL DEVELOPMENT/EXTCDD/0,,menuPK:430167~pagePK:149018~piPK:149093~ theSitePK:430161,00.html. Yin, Robert K. 2003. Case Study Research: Design and Methods. 3rd ed. Thousand Oaks, CA: Sage Publications. Odabir i izrada instrumenata za prikupljanje podataka 353 Web stranice Alphabetical List of Aptitude or Achievement Tests. http://www.yorku.ca/psycentr/tests/ alpha.html. Evaluation Portal. http://www.evaluation.lars-balzer.name/. International Council on Security and Development. 2006. “Think tank announces expert panel to review effectiveness of International Narcotics Control Board.â€? http://www. icosgroup.net/modules/press_releases/narcotics_control_board. Measurement Group. Evaluation/Research Tools. http://www.themeasurement group.com/evalbttn.htm. Nielsen, J. 1997. The Use and Misuse of Focus Groups. http://www.useit.com/papers/ focusgroups.html. Standardized Monitoring and Assessment of Relief and Transitions. Instruments and Tools. http://www.smartindicators.org/IT.php?page=80. 354 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije POGLAVLJE 9 Odabir strategije uzorkovanja U ovom poglavlju se govori o tome kako odrediti koliko podataka pri- kupiti. TakoÄ‘er se bavi time kako odabrati izvore podataka tako da jasno odslikavaju populaciju i pomognu odgovoriti na evaluacijska pitanja. Ovo poglavlje ima tri glavna dijela: • Uvod u uzorkovanje • Vrste uzoraka: nasumiÄ?ni i nenasumiÄ?ni • OdreÄ‘ivanje veliÄ?ine uzorka 355 Uvod u uzorkovanje â– â–  Populacija: Kada se evaluatori odluÄ?e prikupljati podatke iz odreÄ‘ene populacije (ljudi, Ukupni skup zdravstvenih klinika, Å¡kola, ili drugih jedinica), trebaju odluÄ?iti da li podatke jedinica o prikupljati od svih jedinica od interesa ili od podskupa tih jedinica. Prikupljanje kojima evaluator hoće donijeti podataka od svih jedinica zove se cenzus. Prikupljanje podataka iz podskupa svih zakljuÄ?ak jedinica zove se uzorak. Ako je populacija mala i troÅ¡kovi prikupljanja podataka â– â–  Cenzus: su niski, obiÄ?no je cenzus poželjniji. Kada je populacija velika ili troÅ¡kovi pri- Prikupljanje kupljanja podataka visoki, obiÄ?no je neophodno prikupiti podatke o uzorku. podataka iz Uzorkovanje se takoÄ‘er ponekad koristi da se smanji teret na ispitanike. Ä?itave popu- lacije Ljudi koriste uzorke sve vrijeme. Kada vam testiraju krv da provjere vaÅ¡e â– â–  Uzorak: zdravlje, na primjer, laboratorij uzme uzorak a ne svu vaÅ¡u krv. Testovi se rade Podskup koristeći taj uzorak i pretpostavlja se da ono Å¡to je pronaÄ‘eno u uzorku taÄ?no populacije o reflektira ono Å¡to se nalazi u Ä?itavoj krvi. kojoj se Uzorkovanje nije samo neÅ¡to Å¡to je primjenjivo na velike, kvantitativne studije. prikupljaju ÄŒak i kada se vrÅ¡i visoko kvalitativna, jednosedmiÄ?na posjeta na terenu da se podaci procijeni program koji je raÅ¡iren na velikom geografskom regionu, evaluatori ipak trebaju pažljivo razmisliti o tome koje podruÄ?je tog regiona istraživati. Pristra- snost se može pojaviti ako zvaniÄ?nici programa koji žele pokazati najbolju sliku, odaberu lokacije i uÄ?esnike koje treba prouÄ?iti. Ta pristrasnost se može izbjeći nasumiÄ?nim izborom uzorka. Razumijevanje osnovnog koncepta uzorkovanja može povećati obim u kojem evaluacija taÄ?no reflektira ono Å¡to se uistinu deÅ¡ava u programu. Vrste uzoraka: nasumiÄ?ni i nenasumiÄ?ni â– â–  NasumiÄ?ni Kada se podaci ne mogu prikupiti iz svake zemlje, od svake osobe, sa svake uzorak: farme, evaluatori odabiru podskup ili uzorak da ga prouÄ?avaju. Uzorci mogu biti Uzorak gdje nasumiÄ?ni i nenasumiÄ?ni. svaka jedinica u populaciji ima jednaku Å¡ansu NasumiÄ?no uzorkovanje da bude odabrana NasumiÄ?ni uzorci su uzorci gdje svaka jedinica u populaciji ima jednaku Å¡ansu â– â–  Pristrasnost da bude odabrana. Loto je primjer nasumiÄ?nog uzorka, zato Å¡to svaki broj ima pri odabiru: jednaku Å¡ansu da bude odabran kao pobjedniÄ?ki broj. Iskrivljavanje Jedna prednost nasumiÄ?nog uzorkovanja je da eliminira pristrasnost pri dokaza izboru ili iskrivljivanje podataka proisteklo iz naÄ?ina na koji su podaci priku- uzrokovanih pljeni. Ako se ne uzme u obzir, pristrasnost pri odabiru može rezultirati da svaki naÄ?inom na koji su podaci zakljuÄ?ak izvuÄ?en iz podataka može biti pogreÅ¡an. Zato Å¡to svako ili sve ima prikupljeni jednaku Å¡ansu da bude odabrano, pristrasnost pri odabiru se eliminira. Postoje 356 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije razliÄ?iti oblici pristrasnosti pri odabiru. UobiÄ?ajena je pristrasnost kod subjekti- vnog odabira, koji sam ima nekoliko oblika. Pristrasnost kod subjektivnog odabira se javlja u svakom programu za koji se ljudi dobrovoljno prijave a Ä?ak se naÄ‘e i kod ljudi koji dobrovoljno odgovore na anketu. Izvor pristrasnosti je da dobrovoljci i ispitanici Ä?esto imaju osobine kojih nema kod onih koji nisu dobro- voljci ili se nisu odazvali na anketu. NasumiÄ?ni uzorak bi bio predstavnik populacije u cjelini. Takav uzorak omogućava evaluatoru da generalizira populaciju iz koje je uzorak uzet. Kompletna lista svake jedinice u populaciji od interesa, koja se zove okvir uzorkovanja, potrebna je da bi se odabrao nasumiÄ?ni uzorak. Svakoj jedinici â– â–  Okvir u populaciji treba dodijeliti jedinstveni identifikacioni broj. Jedinice se zatim uzorkovanja: Kompletan skup odabiru iz ukupne populacije koristeći nasumiÄ?an raspored kao Å¡to je nasumiÄ?na jedinica iz kojeg tabela sa brojevima. To je tabela sa skupom brojeva (npr. 0, 1, 2, 3. . . ) poredanih se uzima uzorak nasumiÄ?no. Web izvori za tabele sa nasumiÄ?nim brojevima se nalaze u refere- ncama ovog poglavlja. Mnogi ljudi koriste nasumiÄ?ni generator brojeva zasnovan na webu da bi dobili nasumiÄ?ne brojeve. Izvori kao Å¡to su Stattrek pitaju koliko nasumiÄ?nih brojeva je potrebno i koji minimum i maksimum vrijednosti je potre- ban, zatim se generiraju nasumiÄ?ni brojevi. Postoji Å¡est vrsta nasumiÄ?nih uzoraka: • jednostavni nasumiÄ?ni uzorci; • nasumiÄ?ni intervalni uzorci; • nasumiÄ?ni poÄ?etni i fiksni intervalni uzorci; • slojeviti nasumiÄ?ni uzorci; • nasumiÄ?ni grupni uzorci i • viÅ¡eetapni nasumiÄ?ni uzorci. Jednostavni nasumiÄ?ni uzorci Jednostavni nasumiÄ?ni uzorak je najÄ?ešći i najjednostavniji tip uzorka od nasumiÄ?nih uzoraka. Koristi se kada je primarni cilj izvesti zakljuÄ?ak o Ä?itavoj populaciji a ne o odreÄ‘enoj potpopulaciji. Jednostavni nasumiÄ?ni uzorci su dobri za uzimanje uzoraka od 50 do 500 od homogene populacije ili većih uzoraka od viÅ¡e heterogenih populacija (Jackson 2008). Mogu se uzeti na razne naÄ?ine. Na primjer, evaluator zainteresiran za posma- tranje aktivnosti u uÄ?ionici mjereći koliÄ?inu vremena koju uÄ?enici provode vrÅ¡eći praktiÄ?ne aktivnosti može nasumiÄ?no odabrati uÄ?ionicu, doba dana ili dane u sedmici. Evaluatori koji hoće posmatrati koliÄ?inu saobraćaja na putu od sela do većeg grada mogu nasumiÄ?no odabrati doba dana ili dane u sedmici, doba u godini ili taÄ?ke posmatranja duž puta. Odabir strategije uzorkovanja 357 Procedura za uzimanje jednostavnog nasumiÄ?nog uzorka izgleda kako slijedi (Jackson 2008): 1. Pažljivo definirati populaciju, indicirati Å¡ta ona ukljuÄ?uje a Å¡ta iskljuÄ?uje; 2. Pronaći ili izraditi okvir uzorkovanja gdje se na listi svih jedinica u populaciji svakoj dodjeljuje jedinstven broj, brojevi ne moraju biti susjedni, ali uzi- manje uzorka će ići brže ako ne postoje velike praznine izmeÄ‘u dodijeljenih brojeva; 3. OdluÄ?iti o veliÄ?ini uzorka; 4. Odrediti broj cifri u najvećem dodijeljenom broju; 5. Pribaviti nasumiÄ?nu tabelu sa brojevima; 6. OdluÄ?iti se za fiksni obrazac Ä?itanja brojeva (na primjer, od vrha prema dnu a zatim desno prema sljedećoj koloni, Ä?itajući prve brojeve); 7. Naslijepo odabrati poÄ?etnu taÄ?ku u tabeli; 8. ÄŒitati brojeve prema odabranom obrascu, uvijek Ä?itati broj znamenki odreÄ‘en u koraku 4.; 9. Svaki put kad se proÄ?ita znamenka koja odgovara broju jedinice u okviru uzorkovanja, tu jedinicu obilježiti za odabir; 10. Nastaviti dok se ne odaberu brojevi potrebnih jedinica; 11. Ako naiÄ‘ete na broj koji je isti kao broj koji je već iskoriÅ¡ten, idite na sljedeći Ili, na primjer, evaluacioni tim odabere 100 fajlova iz populacije od 500. Svi fajlovi su redoslijedom oznaÄ?eni od 001 do 500 i poredani numeriÄ?kim redom. Tim zatim može koristiti nasumiÄ?ni generator indicirajući da je 100 brojeva potrebno i da je minimalna vrijednost 001 a maksimalna 500. NasumiÄ?ni intervalni i nasumiÄ?ni start i fiksni intervalni uzorci NasumiÄ?no intervalno uzorkovanje se može koristiti kada postoji sekvenci- jalna populacija koja nije već popisana i bilo bi teÅ¡ko ili bi uzelo puno vremena da se popiÅ¡e. Kao jednostavni nasumiÄ?ni uzorak, nasumiÄ?ni intervalni uzorak â– â–  NasumiÄ?ni koristi nasumiÄ?nu tabelu brojeva. MeÄ‘utim, umjesto koriÅ¡tenja tabele da se oda- intervalni beru jedinice za uzorak, koristi se tabela da se odabere interval (razmak izmeÄ‘u uzorak: brojeva) prema kojem se odabere jedinica. Uzorak odabran koristeći Sljedeći koraci se mogu koristiti da se uzme nasumiÄ?ni intervalni uzorak nasumiÄ?no (Jackson 2008): odreÄ‘enu udaljenost 1. Procijeniti broj jedinica u populaciji; izmeÄ‘u brojeva 2. Odrediti željenu veliÄ?inu uzorka; 3. Podijeliti procijenjeni broj jedinica na željenu veliÄ?inu uzorka. Zaokružiti ovaj broj na dva decimalna mjesta da se dobije prosjeÄ?na nasumiÄ?na dužina inte- rvala potrebna da se dobije željena veliÄ?ina uzorka kada se uzorkuje Ä?itava populacija; 358 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije 4. Pomnožiti rezultat iz koraka 3 sa jednom petinom i zaokružiti na dva deci- malna mjesta da se dobije „množilac“; 5. Naslijepo dodijeliti poÄ?etnu taÄ?ku u populaciji; 6. Koristiti nasumiÄ?nu tabelu brojeva da se odabere jednocifreni nasumiÄ?ni broj, pomnožiti ga sa množiocem, zaokružiti na najbliži cijeli broj, odbrojati od poÄ?etne taÄ?ke toliko mjesta, odabrati tu jedinicu za uzorak i postaviti marker ondje gdje je uzet; 7. Uzeti sljedeći jednocifreni nasumiÄ?ni broj, pomnožiti ga sa množiocem, zaokružiti ga na najbliži cijeli broj i odbrojati toliko mjesta; 8. Nastaviti na isti naÄ?in kroz Ä?itavu populaciju dok se ne stigne do taÄ?ke sa koje se poÄ?elo; 9. UPOZORENJE: Važno je vratiti jedinicu na njenu originalnu poziciju, uvjeriti se da je svako mjesto iz kojeg je uzet fajl obilježeno fajl identifikatorom, tako da fajlove možemo vratiti na njihova odgovarajuća mjesta. NasumiÄ?ni intervalni uzorci se mogu takoÄ‘er generirati koristeći kompjute- rske programe. Ponekad nije moguće provesti istinski nasumiÄ?ni odabir. U tom sluÄ?aju sistematiÄ?na tehnika uzorkovanja se može koristiti, poÄ?evÅ¡i sa nasumiÄ?nog mjesta odabirući svaki n-ti sluÄ?aj. NasumiÄ?ni poÄ?etni i fiksni intervalni uzorci se ponekad smatraju kvazinasumiÄ?ni uzorci, zato Å¡to je poÄ?etna taÄ?ka nasumiÄ?na, ali interval nije. Dok je ova tehnika uzorkovanja donekle jednostavnija nego nasumiÄ?no intervalno uzorkovanje, ima ozbiljnih slabosti u odreÄ‘enim uvjetima. Razmotrimo, na pri- â– â–  NasumiÄ?ni mjer, evaluaciju koja zahtijeva da uzorkujemo dnevnu evidenciju tržnice koja je poÄ?etni i otvorena svaki dan u sedmici. Populacija se procjenjuje da ima 700 primjeraka fiksni intervalni evidencije, a potreban je uzorak od 100. U ovom sluÄ?aju fiksni interval bi bila uzorak: svaka sedma evidencija, Å¡to bi rezultiralo da se sve evidencije uzimaju isti dan u AsistematiÄ?na sedmici. To ne bi predstavljalo sve dane u sedmici. Da bi izbjegli takve situacije, tehnika ako postoji bilo kakva Å¡ansa da fiksni interval uzrokuje pristrasan uzorak, koristiti uzorkovanja nasumiÄ?nu intervalnu proceduru. gdje je poÄ?etna taÄ?ka NasumiÄ?ni poÄ?etni i fiksni intervalni uzorak se odabire na sljedeći naÄ?in: nasumiÄ?na, ali 1. Procijeniti broj jedinica u populaciji; se zatim svaki n-ti sluÄ?aj 2. Odrediti željenu veliÄ?inu uzorka; odabire 3. Odvojiti korak (1) po korak (2) da se dobije interval; 4. Naslijepo odredite poÄ?etnu taÄ?ku u populaciji; 5. Odbrojati odreÄ‘eni interval i odabrati tu jedinicu za uzorak; 6. Nastaviti odbrojavanje istog intervala i izbor jedinica dok se ne vratimo na poÄ?etak. Odabir strategije uzorkovanja 359 â– â–  NasumiÄ?ni Slojeviti nasumiÄ?ni uzorci intervalni uzorak: ÄŒesto je važno ukljuÄ?iti odreÄ‘ene grupe u uzorak koji može biti slabo predsta- Uzorak odabran vljen koriÅ¡tenjem jednostavnog nasumiÄ?nog uzorka. Da bi osigurali da su takve koristeći grupe uzorkovane, evaluatori mogu podijeliti populaciju na slojeve na osnovu nasumiÄ?no nekih znaÄ?ajnih karakteristika, kao Å¡to su spol, dob, etniÄ?ka pripadnost ili druge odreÄ‘enu karakteristike. Ova vrsta uzorka se zove slojeviti nasumiÄ?ni uzorak. udaljenost izmeÄ‘u brojeva Recimo da evaluatori hoće posmatrati efekte intervencije na urbane i ruralne stanovnike. Ako su ruralni stanovnici predstavljeni samo u maloj proporciji od ukupne populacije u podruÄ?ju, jednostavni nasumiÄ?ni uzorak može da ih ne ukljuÄ?i dovoljno kako bi se omogućilo provoÄ‘enje znaÄ?ajne analize. Slojeviti nasumiÄ?ni uzorak se uzima tako Å¡to se populacija podijeli u grupe â– â–  Slojeviti koje se ne preklapaju (strata, sloj) (n1, n2, n3 ... ni, such that n1 + n2 + n3 + ... ni, = nasumiÄ?ni n), a zatim se uzima jednostavan nasumiÄ?ni uzorak iz svakog sloja. Broj odabran uzorak: u svakom sloju treba biti ekvivalentan proporciji sloja od ukupne populacije. Uzorak gdje se okvir uzorkova- nja dijeli na dva NasumiÄ?ni uzorci grupa ili viÅ¡e slojeva NasumiÄ?ni uzorak grupe je uzorak uzet iz grupa koje se prirodno pojavljuju (podpopulacije) iz jedinica analize. Domaćinstva (ili domovi) su grupe ljudi, gradovi su grupe iz kojih se domaćinstava. Grupe trebaju biti uzajamno iskljuÄ?ive i kolektivno iscrpne. Uzorci uÄ?esnici grupe se Ä?esto koriste u sljedećim situacijama: nasumiÄ?no odabiru • Ne postoje kompletne liste svega u populaciji od interesa, ali postoji komple- tna lista grupa u kojima se pojavljuju. • Postoji kompletna lista, ali su imena na listi toliko rasuta da bi to uzelo previÅ¡e vremena i bilo bi skupo poslati nekoga da prikupi podatke za provoÄ‘enje â– â–  NasumiÄ?ni jednostavnog nasumiÄ?nog uzorkovanja. uzorak grupe: Uzorak U nasumiÄ?nom uzorku grupe grupa se nasumiÄ?no uzorkuje i podaci priku- uzet iz grupa pljaju o svim ciljanim jedinicama. Ova tehnika je posebno korisna kada su ciljane koje nastaju prirodno iz jedinice locirane daleko jedna od druge (Tekstualni okvir 9.1). jedinica analize Glavna mana nasumiÄ?nog uzorka grupe je vjerovatnoća da će dati manje taÄ?ne procjene parametara populacije (karakteristika) nego jednostavni nasumiÄ?ni uzorci ili slojeviti nasumiÄ?ni uzorci istog broja jedinica od interesa. Moguće je da klinike odabrane u Tekstualnom okviru 9.1 brinu o pacijentima koji se razli- kuju po ekonomskim ili vjerskim karakteristikama od onih koji nisu ukljuÄ?eni u uzorak. Ako je ovo sluÄ?aj, rezultati uzorka će proizvesti pristrasne procjene cjelokupne populacije AIDS pacijenata o kojima se brinu klinike u regionu. 360 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 9.1 Upotreba grupnog uzorkovanja za identifikaciju ljudi sa AIDS-om za intervju Evaluacioni tim treba intervjuirati oko 200 ljudi sa AIDS-om koji žive u regionu. Ne postoji lista ljudi u regionu koji imaju AIDS. PokuÅ¡aj izrade takve liste bi bio veoma skup, a sam proces izrade bi mogao pokrenuti neka etiÄ?ka i povjerljiva pitanja. U regionu 25 zdravstvenih klinika pruža usluge a evaluatori znaju da većina klinika brine o oko 50 pacijenata sa AIDS-om. Stoga su odluÄ?ili da nasumiÄ?no uzorkuju klinike i prouÄ?avaju sve AIDS pacijente u tim uzorkovanim klinikama. Zdravstvene usluge pruža 25 zdravstvenih klinika rasutih u velikom regionu sa slabim putevima. Evaluatori znaju da većina klinika brine o oko 50 AIDS pacijenata. Stoga oni odabiru uzorak od 4 klinike od ukupno 5 i prouÄ?avaju sve pacijente sa AIDS-om u tim klinikama, dobivajući uzorak od oko 200 pacijenata. ViÅ¡eetapni nasumiÄ?ni uzorci ViÅ¡eetapni nasumiÄ?ni uzorak kombinira dva ili viÅ¡e oblika nasumiÄ?nog uzorkovanja. Proces obiÄ?no poÄ?inje nasumiÄ?nim uzorkovanjem grupa a zatim se primjenjuje jednostavno nasumiÄ?no uzorkovanje ili slojevito nasumiÄ?no uzorkovanje. U primjeru iz Tekstualnog okvira 9.1 viÅ¡eetapni nasumiÄ?ni uzorak bi na poÄ?etku uzeo grupni uzorak osam klinika. Zatim bi uzeo jednostavni nasumiÄ?ni uzorak 25 pacijenata iz svake klinike. Ova tehnika bi osigurala uzorak od 200 pacijenata, baÅ¡ kao i u gornjem primjeru, ali bi oni dolazili iz velikog broja klinika. Moguće je kombinirati nenasumiÄ?no i nasumiÄ?no uzorkovanje u viÅ¡eetapnom uzorkovanju. Na primjer, klinike u Tekstualnom okviru 9.1 mogu biti uzorkovane nenasumiÄ?no a AIDS pacijenti zatim uzorkovani nasumiÄ?no iz svake klinike. Nedostatak viÅ¡eetapnog i grupnog uzorkovanja je da pružaju unekoliko manje preciznu procjenu populacije nego jednostavno nasumiÄ?no uzorkovanje. U pri- mjeru AIDS klinika, na primjer, samo 8 klinika je nasumiÄ?no uzorkovano od ukupno 25 klinika; te one možda nisu dovoljan predstavnik 25 klinika. Odabir strategije uzorkovanja 361 NenasumiÄ?no uzorkovanje Kada nasumiÄ?no uzorkovanje nije moguće, mora se koristiti drugi pristup. â– â–  Svrsishodni uzorci: Uzorci NenasumiÄ?ni uzorci se obiÄ?no klasificiraju u tri vrste: svrshishodni, grudva sni- kod kojih se jega i praktiÄ?ni. odabir vrÅ¡i na NenasumiÄ?ne tehnike uzorkovanja omogućavaju evaluatoru samo ograniÄ?enu osnovu mogućnost generaliziranja nalaza veće populacije. Takvi uzorci ipak mogu ojaÄ?ati predodreÄ‘enih rezultate evaluacije. kriterija â– â–  Uzorak tipiÄ?nog Svrsishodni uzorci sluÄ?aja U svrsishodnom uzorku (koji se takoÄ‘er naziva i uzorak procjene) odabir se (srednji): pravi da bi zadovoljio posebne svrhe studije. Odabir se zasniva na predodreÄ‘enim Svrsishodni uzorak u kojem kriterijima koji će prema procjeni evaluatora osigurati potrebne podatke. se jedinice NajÄ?ešće upotrebljavani oblici svrsishodnih uzoraka (Jackson 2008): uzimaju iz srednjeg • Uzorak tipiÄ?nog (srednjeg) sluÄ?aja: Jedinice se svjesno uzimaju iz tipiÄ?nih podruÄ?ja ili najÄ?ešćih karakteristika populacije (oni u srednjem podruÄ?ju zvonolike distribucije krivulje). Svrha studije je pobliže posmatrati tipiÄ?ne stavke, a ne one koje su â– â–  Uzorak netipiÄ?ne; maksimalne varijacije • Uzorak maksimalne varijacije (heterogenost): Jedinice se uzimaju da se pre- (heterogeni): dstavi Ä?itavo podruÄ?je karakteristika od interesa. Uzimaju se iz svih dijelova Svrsishodni zvonolike krivulje; uzorak u kojem • Kvota uzorak: Jedinice se uzimaju tako da postoji jednak broj ili jednaka se jedinice proporcija iz svakog sloja. Na primjer, evaluator odabere pet jedinica iz prve uzimaju da trećine, pet jedinica iz srednje trećine i pet jedinica iz niže trećine distribucije; predstavljaju Ä?itavo podruÄ?je • Uzorak ekstremnog sluÄ?aja: Jedinice se uzimaju iz ekstremnih sluÄ?ajeva parametra distribucije. Jedinice bi bile odabrane iz lijevog i desnog kraja zvonolike â– â–  Kvota krivulje. Uzorci ekstremnih sluÄ?ajeva posmatraju jedinicu koja se najmanje uzorak: javlja; Svrsishodni • Uzorci sluÄ?ajeva koji potvrÄ‘uju i sluÄ?ajeva koji ne potvrÄ‘uju: Jedinice se uzorak u kojem se odabere uzimaju iz sluÄ?ajeva koji su poznati da potvrÄ‘uju ili su kontradiktorni sa kon- odreÄ‘en broj vencionalnim shvatanjem, principom ili teorijom (na primjer, iz dobro pri- razliÄ?itih vrsta premljenih projekata koji su uspjeli i dobro pripremljenih projekata koji nisu jedinica uspjeli). â– â–  Uzorak eskstremnog sluÄ?aja: Uzorci snježne grudve Svrsishodni Uzorci snježne grudve (takoÄ‘er poznati kao lanÄ?ano referentni uzorci) se koriste uzorak u kojem kada evaluator ne zna koga ili Å¡ta ukljuÄ?iti u uzorak. Koriste se kada su gra- se jedinice nice populacije nepoznate i ne postoji okvir uzorkovanja. Uzorci snježne grudve uzimaju sa lijevog i desnog se Ä?esto koriste u intervjuima. Evaluatori koji koriste ovu vrstu svrsishodnog kraja distribucije 362 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije uzorkovanja mogu pitati ljude koji zadovoljavaju kriterije za ukljuÄ?enje u studiju â– â–  Uzorci s kim joÅ¡ treba razgovarati. sluÄ?ajeva koji Uzorci snježne grudve sadrže ozbiljnu potencijalnu pristrasnost u oslanjanju potvrÄ‘uju i sluÄ?ajeva koji na referentnu tvrdnju. Jedan primjer njihove upotrebe opisan je u Nambiar (2008). ne potvrÄ‘uju: Treba ih pažljivo koristiti. Svrsishodni uzorak u kojem PraktiÄ?ni uzorci se jedinice Kod praktiÄ?nih uzoraka odabir se pravi na osnovu praktiÄ?nosti za evaluatora. uzimaju iz ÄŒesti primjeri praktiÄ?nih uzoraka u razvojnoj evaluaciji ukljuÄ?uju sljedeće: sluÄ?ajeva poznatih da • posjeta lokaciji projekta koja je najbliža aerodromu; potvrÄ‘uju ili su • intervjuiranje onih projekt menadžera koji su dostupni na dan posjete kontradiktorni evaluatora; konvenciona- lnom shvatanju, • posmatranje bilo kojeg fiziÄ?kog podruÄ?ja koje zvaniÄ?nici projekta odaberu principu ili teoriji pokazati; â– â–  Uzorak • razgovor sa predstavnicima bilo koje nevladine organizacije (NVO) i gra- snježne dskim prvacima na koje se naiÄ‘e (Jackson 2008). grudve: Uzorak uzet PraktiÄ?ni uzorci su ekstremno slabo sredstvo za donoÅ¡enje bilo koje vrste tako Å¡to se dokaza ili obrazaca iz podataka, zato Å¡to ne postoji naÄ?in da se zna koliko su ispitanicima razliÄ?iti ovi uzorci od relevantne populacije u cjelini. postavi pitanje koga joÅ¡ Nedostaci nenasumiÄ?nog uzorkovanja intervjuirati â– â–  PraktiÄ?ni Iako nenasumiÄ?ni uzorci imaju legitimnu upotrebu u razvojnoj evaluaciji, oni uzorci: Uzorci takoÄ‘er imaju nekoliko nedostataka: odabrani na • Kreatori politike ponekad ih doživljavaju kao manje kredibilne od nasumiÄ?nih osnovu praktiÄ?nosti za uzoraka; evaluatora • Zato Å¡to ne zadovoljavaju pretpostavke inferencijske statistike, testovi od statistiÄ?kog znaÄ?aja i proraÄ?uni povjerljivih intervala se nikada ne trebaju primijeniti u nenasumiÄ?nim uzorcima, • NenasumiÄ?ni uzorci mogu biti predmet svih vrsta pristrasnosti. Bez nasumiÄ?nog uzorkovanja ne može se generalizirati veća populacija. Podaci mogu biti veoma korisni, a mogu biti i najbolji dostupni uz date prepreke. Kombinirano uzorkovanje Metodi nasumiÄ?nog i nenasumiÄ?nog uzorkovanja se mogu kombinirati. Evalua- cioni tim koji prikuplja podatke o Å¡kolama na primjer, može odabrati dvije Å¡kole iz najsiromaÅ¡nijih zajednica i dvije iz najbogatijih. Iz ove Ä?etiri Å¡kole se zatim mogu nasumiÄ?no odabrati uÄ?enici za uzorak. Odabir strategije uzorkovanja 363 OdreÄ‘ivanje veliÄ?ine uzorka ÄŒak i kada koristimo nasumiÄ?ni uzorak, postoji mogućnost greÅ¡ke; uzorak može biti drugaÄ?iji od populacije. Statistika se koristi da se procijeni vjerovatnoća da su rezultati uzorka predstavnici populacije u cjelini. StatistiÄ?ari su razvili teorije i formule za vrÅ¡enje tih procjena i odreÄ‘ivanje odgovarajuće veliÄ?ine uzorka. U ovom dijelu fokusiramo se na razumijevanje osnovnih koncepata statistiÄ?ke anal- ize i kako ih primijeniti na dizajniranje evaluacije. Pri odabiru veliÄ?ine uzorka evaluatori moraju odluÄ?iti koliko uvjereni tre- â– â–  VeliÄ?ina baju biti da rezultati uzorka uistinu reflektiraju Ä?itavu relevantnu populaciju. Nivo uzorka: Broj uvjerenosti koji se obiÄ?no koristi je 95 procenata. Nivo 95 procenata znaÄ?i 95 puta posmatranja u od 100, rezultati uzorka će taÄ?no reflektirati populaciju u cjelini. uzorku Ako su evaluatori voljni da budu 90 procenata sigurni, onda mogu koristiti manji uzorak. Ako hoće da budu 99 posto uvjereni, onda im treba veći uzorak. Nakon Å¡to odaberu veliÄ?inu uzorka, evaluatori trebaju odrediti koliko precizne njihove procjene trebaju biti. Za razliku od pristrasnosti, greÅ¡ka uzorkovanja se može izraÄ?unati. To je prosjek razlike izmeÄ‘u svih procjena za sve moguće pri- mjere i vrijednosti prikupljene da je Ä?itava populacija obraÄ‘ena. Ovo se ponekad zove greÅ¡ka uzorkovanja ili margina greÅ¡ke. Anketa može otkriti da 48 pro- cenata populacije podržava povećanje poreza a 52 procenta se protivi, uz greÅ¡ku â– â–  GreÅ¡ka uzorkovanja od +/-3 posto poena. Ovo znaÄ?i da ako bi svi u populaciji bili ispi- uzorkovanja tani, stvarna proporcija bi bila 45-51 procenata (48 +/-3) za i 49-55 procenata (52 (ili margina +/- 3) protiv povećanaj poreza. ± 3 procenat se zove interval uvjerenosti (ne treba greÅ¡ke): ga zamijeniti sa nivoom uvjerenja). Primijetit ćete da se dva intervala djelimiÄ?no Procjena greÅ¡ke uzrokovane preklapaju. To znaÄ?i da ne možemo biti sigurni, na nivou od 95 procenata, da se posmatranjem viÅ¡e ljudi u populaciji protivi povećanju poreza nego Å¡to ih se zalaže za to. Rezul- uzorka a ne tati iz uzorka su isuviÅ¡e blizu. cjeline VeliÄ?ina uzorka je funkcija veliÄ?ine populacije od interesa, nivo željene sigu- â– â–  Interval rnosti i željeni nivo preciznosti. Prikladna veliÄ?ina uzorka se može odrediti na povjerenja: PodruÄ?je u dva naÄ?ina. Prvi u kojem se koristi formula. Drugi u kojem se koristi tabela koja kojem leži pokazuje veliÄ?inu uzorka potrebnu za dati nivo sigurnosti (Tabela 9.1). istinska Å to je populacija manja, to je veća veliÄ?ina uzorka relativnog populaciji u vrijednost cjelini. Ako je na primjer populacija 300, veliÄ?ina uzorka je 169 – neÅ¡to malo viÅ¡e populacije uz od pola od ukupne populacije – potrebno je da se ostvari nivo sigurnosti od 95 datu posto. Populacija od 900 zahtijeva uzorak veliÄ?ine 269 – manje od trećine ukupne vjerovatnoću populacije. Ako populacija prelazi 364 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 9.1 Minimalna veliÄ?ina uzorka potrebna na nivou sigurnosti od 95 procenata uz 5 procenata margine greÅ¡ke VeliÄ?ina VeliÄ?ina uzorka VeliÄ?ina VeliÄ?ina uzorka populacije populacije 10 10 550 226 20 19 600 234 40 36 700 248 50 44 800 260 75 63 900 269 100 80 1.000 278 150 108 1.200 291 200 132 1.300 297 250 152 1.500 306 300 169 3.000 341 350 184 6.000 361 400 196 9.000 368 450 207 50.000 381 500 217 100.000+ 385 Izvor: Krejcie i Morgan 1970. 100.000, potreban je uzorak 385, tj. samo 0,385 procenata od ukupne popu- lacije bi bilo potrebno. Kada se uzorkuju jedinice (kao Å¡to su distrikti, Å¡kole, nastavnici, roditelji ili graÄ‘ani) za dobrovoljno uÄ?ešće u evaluaciji, ne postoji sigurnost da će svi odabrani odgovoriti na zahtjev za uÄ?ešće ili potvrdno odgovoriti da uÄ?estvuju u evaluaciji. Zbog ovog fenomena mnogi evaluatori koriste viÅ¡e uzoraka nego je potrebno da bi na kraju zavrÅ¡ili sa veliÄ?inom uzorka koja im je potrebna. Kada se stvarna stopa odziva razlikuje od planirane za 10 procenata ili viÅ¡e, vjerovatnoća pristrasnosti odziva je visoka i zahtijeva analizu (vidjeti poglavlje Instrumetni prikupljanja podataka). Tabela 9.2 pokazuje veliÄ?inu uzorka za veoma velike populacije (1 milion i â– â–  Stopa odziva: viÅ¡e). Mnoge državne ankete koriste uzorke od oko 1.100, Å¡to ostavlja marginu Procenat namjeravanog greÅ¡ke od +/- 3 procenata poena sa nivoom sigurnosti od 95 procenata. uzorka iz kojeg Alati dostupni na internetu identificiraju veliÄ?inu populacije koja je potrebna se podaci da se ostvari dati nivo sigurnosti i margina greÅ¡ke. Linkovi do ovih izvora dati su ustvari na kraju ovog poglavlja. prikupljaju Odabir strategije uzorkovanja 365 Tabela 9.2 VeliÄ?ina uzorka za populacije od 1 milion i viÅ¡e Margina greÅ¡ke Nivo sigurnosti (u procentima) 99 procenata 95 procenata 90 procenata ±1 16.576 9.604 6.765 ±2 4.144 2.401 1.691 ±3 1.848 1.067 752 ±5 666 384 271 Izvor: Jackson 2007. Da sumiramo: • TaÄ?nost i preciznost se mogu poboljÅ¡ati povećanjem veliÄ?ine uzorka.; • Standard kojem treba stremiti je 95 procenata nivo sigurnosti (margina greÅ¡ke od +/-5 procenata); • Å to je veća margina greÅ¡ke, to je manja preciznost rezultata; • Å to je manja populacija, to je veći odnos veliÄ?ine uzorka sa veliÄ?inom populacije. Ako evaluacija zahtijeva kompleksnu viÅ¡eetapnu strategiju uzorkovanja, evaluatori mogu razmotriti traženje pomoći. AmeriÄ?ka statistiÄ?ka asocijacija ima direktorat statistiÄ?kih konsultanata. Savez statistiÄ?kih konsultanata nudi pomoć u upravljanju podacima, analizi podacima i konsultacije u vezi sa tezom, kao i statistiÄ?ku obuku i poduÄ?avanje. HyperStat Online nudi linkove ka mnogim drugim resursima koji nude pomoć sa statistikom. Linkovi do ovih web stranica su na kraju ovog poglavlja. Sažetak ObiÄ?no je nemoguće ili nepraktiÄ?no prikupiti podatke iz svakog izvora podataka. Iz ovog razloga evaluatori prikupljaju podatke iz uzorka izvora. Postoje dva oblika uzorkovanja - nasumiÄ?no uzorkovanje i nenasumiÄ?no uzorkovanje. NasumiÄ?ni uzorci su uzorci gdje svaka jedinica u populaciji ima jednaku Å¡ansu da bude odabrana. NasumiÄ?no uzorkovanje istražuje podskup populacije i generalizira rezultate na veću populaciju. Postoji Å¡est vrsta nasumiÄ?nih uzoraka: • jednostavni nasumiÄ?ni uzorci; • nasumiÄ?ni intervalni uzorci; • uzorci nasumiÄ?nog poÄ?etka i fiksnog intervala; 366 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • slojeviti nasumiÄ?ni uzorci; • nasumiÄ?ni uzorci skupine i • viÅ¡eetapni nasumiÄ?ni uzorci. Postoje tri vrste nenasumiÄ?nih uzoraka: • svrsishodni uzorci; • uzorci grudve snijega i • praktiÄ?ni uzorci. Evaluacija ne treba koristiti samo jednu vrstu uzorkovanja. Mogu se koristiti kombinacije tehnika uzorkovanja. VeliÄ?ina uzorka je funkcija veliÄ?ine populacije od interesa, željeni nivo sigu- rnosti i željeni nivo preciznosti. ÄŒak i kada se koriste nasumiÄ?ni uzorci, postoji mogućnost greÅ¡ke. Evaluatori koriste razne statistiÄ?ke pristupe da odrede nivo sigurnosti i interval sigurnosti. Odabir strategije uzorkovanja 367 Poglavlje 9 Aktivnosti Aplikacijska vježba 9.1: Uzorkovanje Grad koji prouÄ?avate ima populaciju od 300, svi su uvedeni u gradski registar, svaki ima jedinstven identifikacioni broj. Imate vremena i resursa da uzorkujete do 50 ljudi u gradu. Trebate napraviti generalizaciju iz uzorka za Ä?itavu popu- laciju od 300. Hoće li to biti moguće? Koju vrstu uzorka biste odabrali? Objasnite vaÅ¡u odluku. Aplikacijska vježba 9.2: Upotreba nasumiÄ?ne tabele sa brojevima Malo selo koje prouÄ?avate ima 90 kuća. Imate listu brojeva kuća iz koje trebate odabrati jednostavni nasumiÄ?ni uzorak od 10. Kako možete koristiti nasumiÄ?nu tabelu sa brojevima da odaberete uzorak? 44 14 12 12 03 12 73 72 62 33 35 62 80 34 77 69 59 54 90 01 50 04 93 76 69 43 95 47 60 80 23 95 24 95 24 55 69 89 41 18 12 94 43 21 43 40 76 50 38 18 05 44 23 72 61 58 67 99 05 75 54 05 51 52 04 34 25 64 90 95 02 86 51 14 37 36 82 03 65 38 93 49 64 06 93 01 30 62 05 68 96 19 97 24 16 26 94 14 17 45 22 51 09 92 16 75 85 18 50 50 60 80 52 42 11 05 70 89 53 38 57 78 12 98 55 51 48 77 54 07 66 15 33 44 64 58 20 10 51 62 06 25 56 63 67 73 73 79 05 65 55 84 17 67 52 38 16 29 05 24 12 05 35 87 31 92 44 84 04 17 47 18 78 54 40 02 59 74 06 73 86 96 79 86 75 67 31 41 40 20 87 17 85 98 70 78 84 03 69 43 38 43 98 90 75 56 49 88 52 78 25 05 76 72 06 59 37 56 24 36 95 05 30 62 02 26 67 04 13 77 37 21 57 77 41 82 30 32 80 09 368 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Aplikacijska vježba 9.3: Strategija uzorkovanja Rad u malim grupama je moguć, identificirajte odgovarajuću mjeru ili stati- stiku za svako od sljedećih evaluacionih pitanja. Zatim odluÄ?ite koju strategiju uzorkovanja biste koristili za svaku od ovih situacija i objasnite zaÅ¡to biste je odabrali. 1. Kakav je kvalitet puteva u selima u sjeverozapadnoj Kambodži neposredno poslije kiÅ¡ne sezone? 2. Koja proporcija djece u Tamil Nadu dobije malariju najmanje jednom prije nego napune 10 godina? 3. Koje su demografske karakteristike ljudi koji posjećuju zdravstvenu kliniku u ruralnom podruÄ?ju Å ri Lanke? Odabir strategije uzorkovanja 369 Bibliografija i dodatna literatura Easton, V. J., and J. H. McColl. 2007. Statistics Glossary: Sampling. http://www.stats.gla.ac.uk/steps/glossary/sampling.html. Guba, E., and Y. S. Lincoln. 1989. Fourth Generation Evaluation. Thousand Oaks, CA: Sage Publications. Henry, G. T. 1990. Practical Sampling. Thousand Oaks, CA: Sage Publications. Jackson, Gregg B. 2007. Sampling for IEG Managers. Presentation at George Washing- ton University, Washington, DC, December 18. ———. 2008. Sampling in Development Evaluations. International Program for Develop- ment Evaluation Training (IPDET) presentation, Ottawa, June 30 and July 1. Kish, L. 1995. Survey Sampling. New York: John Wiley & Sons. Krejcie, R. V., and D. W. Morgan. 1970. “Determining Sample Size for Research Activi- ties.â€? Educational and Psychological Measurement 30: 607–10. Kumar, R. 1999. Research Methodology: A Step-by-Step Guide for Beginners. Thousand Oaks, CA: Sage Publications. Laws, S., with C. Harper and R. Marcus 2003. Research for Development: A Practical Guide. Thousand Oaks, CA: Sage Publications. Levy, P., and S. Lemeshaw. 1999. Sampling of Populations. 3rd ed. New York: John Wiley & Sons. Lipsey, M. W. 1990. Design Sensitivity: Statistical Power for Experimental Research. Thousand Oaks, CA: Sage Publications. Lohr, S. 1998. Sampling: Design and Analysis. Pacific Grove, CA: Duxbury Press. Nambiar, Devaki. 2008. “The Delhi Snowball: Sampling Escapades in Urban India.â€? Paper presented at the Annual Meeting of the International Communication Associa- tion, Montreal, May 22–26. Neuman, W. Lawrence. 2006. Social Research Methods: Qualitative and Quantitative Approaches. 6th ed. Boston: Allyn and Bacon. Patton, M. Q. 2002. Qualitative Research and Evaluation Methods. Thousand Oaks, CA: Sage Publications. Scheyvens, R., and D. Storey, eds. 2003. Development Fieldwork: A Practical Guide. Thousand Oaks, CA: Sage Publications. Stattrek. http://stattrek.com/tables/randon.asph. Tryfos, P. 1996. Sampling Methods for Applied Research. New York: John Wiley & Sons. 370 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Web stranice Alliance of Statistics Consultants. http://www.statisticstutors.com/#statistical-analysis. American Statistical Association Directory. http://www.amstat.org/consultant directory/index.cfm. Dr. Drott’s Random Sampler. http://drott.cis.drexel.edu/sample/content.html. HyperStat Online. “Chapter 11: Power.â€? http://davidmlane.com/hyperstat/power .html. HyperStat Online: Help with Statistics: Statistical Consultants and Tutors. http://davidm- lane.com/hyperstat/consultants.html. Probability Sampling. http://www.socialresearchmethods.net/kb/sampprob.htm. Power Analysis. http://www.statsoft.com/textbook/stpowan.html. Research Randomizer. http://www.randomizer.org. StatPages.net. Web Pages that Perform Statistical Calculations, http://www.Stat Pages.net. Survey Research Methods Section. http://www.fas.harvard.edu/~stats/survey-soft/survey- soft.html. The Survey System: Sample Size Calculator. http://www.surveysystem.com/sscalc .htm. UCLA Statistics Calculator: http://calculators.stat.ucla.edu. Odabir strategije uzorkovanja 371 POGLAVLJE 10 Planiranje i provoÄ‘enje analize podataka Kada se podaci prikupe, evaluatori ih trebaju ispitati da pronaÄ‘u znaÄ?enje. Ovaj proces poÄ?inje strategijom analize podataka. Kvalita- tivni i kvantitativni podaci zahtijevaju razliÄ?ite strategije i tehnike. Ovo poglavlje ima Ä?etiri glavna dijela: • Strategija analize podataka • Analiziranje kvalitativnih podataka • Analiziranje kvantitativnih podataka • Povezivanje kvantitativnih podataka i kvalitativnih podataka 373 Strategija analize podataka Razvoj strategije analize podataka je važan dio procesa planiranja. Evaluatori trebaju biti svjesni opcija za analizu podataka – i njihovih snaga i slabosti – kada planiranju evaluaciju. U matrici dizajna cilj treba biti odreÄ‘en i treba indicirati analizu i grafiku koja će rezultirati iz prikupljenjih podataka. NajÄ?ešća greÅ¡ka je prikupljanje ogromnih koliÄ?ina podataka koji se nikad ne koriste. Bilo da evaluacioni dizajn naglaÅ¡ava uglavnom kvalitativne podatke ili uglavnom kvantitativne podatke, prikupljanje i analiza podataka će se preklapati. Na poÄ?etku prikupljanja podataka malo vremena se provodi na analizi podataka, posebno ako je pilot test prethodno proveden. Kako evaluacija nastavlja, viÅ¡e vremena se provodi analizirajući podatke a manje prikupljajući ih. Kvalitativna analiza je prikladna u situacijama gdje je, na primjer, koriÅ¡ten polustrukturirani intervju da bi se dobio detaljan uvid u intervenciju. Koristio bi se da se analiziraju odgovori na pitanja, kao Å¡to su sljedeća: • Na koje je poteÅ¡koće naiÅ¡lo osoblje? • Å ta uÄ?esnici kažu zaÅ¡to su napustili program ranije? â– â–  Kvalitativna • Kakvo je iskustvo za uÄ?esnike? analiza podataka: Kvantitativna analiza bi se koristila da se odgovori na pitanja za koja su Procedura koja koriÅ¡teni strukturirani instrumenti prikupljanja podataka, kao Å¡to je anketa. Mogu se koristi da se se koristiti da se odgovori na pitanja kao Å¡to su sljedeća: analiziraju informacije • Koji je srednji rezultat za razliÄ?ite grupe uÄ?esnika? prikupljene u • Kako uÄ?esnici ocjenjuju relevantnost intervencija na skali od jedan do pet? nenumeriÄ?kom • Koliko varijabilnosti postoji u odgovorima na stavku? obliku, kao Å¡to • Jesu li razlike izmeÄ‘u dvije grupe statistiÄ?ki znaÄ?ajne? su narativni, pisani ili snimljeni odgovori na Analiziranje kvalitativnih podataka polustrukturi- rane intervjue i Analiza kvalitativnih podataka se koristi da se da smisao nenumeriÄ?kim posmatranja ili drugi dokumen- podacima prikupljenim u evaluaciji. Analiziranje polustrukturiranih posmatranja, ti i mediji, da bi otvorenih intervjua, pisanih dokumenata i zapisnika sa fokusnih grupa zahtijeva se razumjelo i upotrebu kvalitativnih tehnika. interpretiralo Analiza kvalitativnih podataka poÄ?inje joÅ¡ dok smo na terenu, kada se mogu ponaÅ¡anje i pojaviti neke naznake. Dio rada na terenu je bilježenje i praćenje analitiÄ?kih situacije; naznaka koje su nastale tokom prikupljanja podataka. Analiza i prikupljanje procedura ukljuÄ?uje podataka se trebaju preklapati sve dotle dok evaluator vodi raÄ?una da ne dozvoli identifikaciju da poÄ?etne interpretacije razgraniÄ?e analitiÄ?ke mogućnosti (Tabela 10.1). Kako tema Patton (2002, p. 436) primjećuje: 374 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Kod prikupljanja podataka zasnovanog na anketama, standardiziranim testovima i eksperimentalnim dizajnima, linija izmeÄ‘u prikupljanja podataka i analize je jasna. Ali, teÄ?na i pojavna priroda naturalistiÄ?kih upita pravi razliku mnogo manje apsolutnom izmeÄ‘u prikupljanja i analize podataka. U toku rada na terenu ideje o pravcima analize će nastati. Obrasci dobivaju svoj oblik. Moguće teme padaju na pamet. Pojavljuju se hipoteze koje daju informacije o daljem radu na terenu. Dok su ranije etape rada na terenu viÅ¡e generativne i pojavne, kako se krećemo tamo gdje nas informacije vode kasnije faze će donijeti zatvaranje i kre- tati se ka potvrdnom prikupljanju podataka – produbljavajući uvid i potvrÄ‘ujući (ili ne potvrÄ‘ujući) obrasce koji su se pojavili. Ponekad se tokom analize pronaÄ‘u praznine ili nejasnoće. Ako raspored, budžet i drugi resursi dozvoljavaju, evaluator se može vratiti na teren da prikupi joÅ¡ podataka kako bi se potvrdili odgovori ili izvrÅ¡ila nova posmatranja. Kod prikupljanja podataka Ä?lanovi tima se Ä?esto sastaju dnevno ili sedmiÄ?no da disku- tiraju o nastalim temama i da prilagode protokole, kako je to naznaÄ?eno. Tabela 10.1 Savjeti za prikupljanje i analizu kvalitativnih podataka Zadatak Savjeti Prikupljanje • Voditi dobre biljeÅ¡ke; . podataka • Pisati intervjue, utiske i biljeÅ¡ke iz fokusnih grupa odmah nakon Å¡to su podaci prikupljeni; • Praviti stalno poreÄ‘enje kako napredujemo; • Sastajati se redovno sa timom da se uporede biljeÅ¡ke, identificiraju teme i izvrÅ¡e prilagoÄ‘avanja; Sažimanje • Napisati jednu stranicu sažetka odmah nakon svakog većeg podataka intervjua ili fokusne grupe; • UkljuÄ?iti sve glavne teme; • Identificirati najinteresantnija, pouÄ?na ili važna pitanja koja; su razmatrana ili za koja su prikupljene informacije; • Identificirati nova pitanja koja treba istražiti; KoriÅ¡tenje alata • Izraditi poseban fajl za vlastite reakcije tokom studije, za praćenje ukljuÄ?ujući osjećanja, slutnje i reakcije; • Zabilježiti ideje kako nastaju; • Imati fajl citata iz procesa prikupljanja podataka za upotrebu kada se prisjećamo razgovora dok piÅ¡emo izvjeÅ¡taj; Pohrana • Pobrinite se da su sve informacije na jednom mjestu; podataka • Napravite kopije svih informacija, a originale Ä?uvajte u centralnom fajlu; • Koristiti kopije da na njih piÅ¡ete, isijecate i lijepite po potrebi. Izvor: Autori. Planiranje i provoÄ‘enje analize podataka 375 Pravljenje dobrih biljeÅ¡ki Kada se prikupljaju kvalitativni podaci, važno je taÄ?no zabilježiti sva posma- tranja; dobre biljeÅ¡ke su veoma bitne. To znaÄ?i da se obrati posebna pažnja na ono Å¡to ljudi kažu i na naÄ?in kako to kažu. Kada pravi biljeÅ¡ke, evaluator treba nastojati da ne interpretira ono Å¡to ljudi kažu. Umjesto toga treba pisati ono Å¡to uoÄ?i, ukljuÄ?ujući govor tijela i bilo Å¡ta Å¡to je potencijalno relevantno a desilo se tokom prikupljanja podataka (na primjer, prekidi tokom intervjua). Evaluator treba zabilježiti neposredne misli, reakcije i interpretacije te ih treba držati u odvojenom dijelu bilježnice. Važno je evaluatoru osigurati vrijeme odmah nakon intervjua, opservacije, vježbe mapiranja ili fokusne grupe da pregleda, doda i napiÅ¡e biljeÅ¡ke tako da bi bilo moguće izvući smisao iz njih kasnije. IznenaÄ‘ujuće je kako je teÅ¡ko razu- mjeti biljeÅ¡ke koje smo napravili samo dan ranije, ako nisu jasno napisane. ÄŒak i ako je sesija snimana, evaluatori trebaju odvojiti malo vremena da pre- liminarno urade zabiljeÅ¡ke dok su utisci svježi. To može uÅ¡tedjeti sate sluÅ¡anja, gledanja ili pregledanja zapisnika. Triangulacija je upotreba tri ili viÅ¡e teorija, izvora, vrsta informacija ili vrsta analiza da se verificira i potkrijepi procjena unakrsnom provjerom rezultata. Triangulacija je korisna u analizi kvalitativnih podataka. Razmotrimo, na primjer, sljedeće primjere podataka iz mijeÅ¡anih izvora: • intervjui, fokusne grupe i upitnici; • upitnici, postojeći podaci i paneli struÄ?njaka; â– â–  Triangula - cija: upotreba • opservacije, evidencije programa i mapiranje; tri ili viÅ¡e teorija, • intervjui, dnevnici i postojeći podaci. izvora, vrsta informacija ili Kombinacija nalaza iz bilo koja tri izvora Ä?ini dokaz za obrazac. vrsta analiza da se verificira i potkrijepi Organiziranje kvalitativnih podataka za analizu procjena Nakon prikupljanja kvalitativnih podataka evaluator će dobiti puno stranica unakrsnom provjerom biljeÅ¡ki i prepisa opservacija, intervjua i ostalih izvora podataka. Organizacija i rezultata izvlaÄ?enje smisla iz ovih informacija može biti izazovno. Uspostavljene su smjernice kako podatke treba organizirati. Dokumentiranje ovog procesa je važno da bi se pokazala validnost nalaza (IDRC 2008). Da poÄ?nu organiziranja evaluatori trebaju: • uvjeriti se da su svi podaci kompletni; • napraviti nekoliko kopija podataka i • organizirati podatke u razliÄ?ite fajlove (IDRC 2008). 376 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Evaluator može organizirati fajlove na razliÄ?ite naÄ?ine koristeći Ä?vrste kopije ili elektronske fajlove, od kojih neki mogu biti skenirani dokumenti. Neki evalu- atori prave Ä?etiri fajla: prvi, u koji pohranjuju podatke hronoloÅ¡kim redom; drugi, u kojem Ä?uvaju analitiÄ?ke fajlove ili biljeÅ¡ke žurnala; treći, u kojem Ä?uvaju rele- vantne biljeÅ¡ke o metodologiji istraživanja i Ä?etvrti koji sadrži kopije svih biljeÅ¡ki (IDRC 2008). Patton (2002) predstavlja druge opcije za organiziranje i izvjeÅ¡tavanje o kvali- tativnim podacima. Patton podsjeća evaluatore da analiza podataka treba proisteći iz evaluacionih pitanja. Izbor organiziranja podataka treba stremiti da odgovori na evaluaciona pitanja. • Narativni pristupi prezentiranja podataka su hronoloÅ¡ki (priÄ?anje priÄ?e od poÄ?etka do kraja) ili retrospektivno (poÄ?eti od kraja i ići unazad da se opiÅ¡e kako je nastupio kraj). • Pristupi studije sluÄ?aja predstavljaju informacije o ljudima ili grupama; kritiÄ?ni dogaÄ‘aji se obiÄ?no predstavljaju redoslijedom pojavljivanja. • AnalitiÄ?ki okviri ukljuÄ?uju opise procesa, osvjetljavanje kljuÄ?nih pitanja (Ä?esto ekvivalentnih primarnim evaluacionim pitanjima), organizacija pitanja i diskusije o kljuÄ?nim konceptima, kao Å¡to su vodstvo nasuprot slijeÄ‘enja. ÄŒitanje i kodiranje kvalitativnih podataka Identifikacija i upotreba kategorija za organiziranje informacija su poÄ?etni koraci. Sljedeći korak je Ä?itanje podataka. Nakon nekoliko Ä?itanja evaluator bi trebao vidjeti potencijalne teme. Patton (2002) primjećuje da je uspostava centralnih tema kao izrada indeksa za knjigu ili oznaÄ?avanje sistema fajlova. Sugerira da evaluatori pogledaju to Å¡to imaju i svakoj temi daju ime ili oznaku. Kada su podaci organizirani u teme, potrebno ih je kodirati (Tekstualni okvir 10.1). „Kodovi su efikasna sredstva za oznaÄ?avanje podataka i pronalaženje podataka. Osnažuju i ubrzavaju analizu“ (Miles i Huberman 1994, str. 65). Kodiranje je iterativan proces. Iako je izrada liste kodova prije rada na terenu korisna, evaluatori će trebati pregledati, preraditi, redefinirati, dodati a ponekad i odbaciti podatke kako evaluacija napreduje i kako biljeÅ¡ke sa terena sugeriraju viÅ¡e empirijski upravljane oznake. Planiranje i provoÄ‘enje analize podataka 377 Tekstualni okvir 10.1 Primjer kodiranja Ono Å¡to slijedi su primjeri kodova uspostavljenih za evaluaciju obrazovnog programa. P oznaÄ?ava uÄ?esnike, S osoblje. Kod: Ps Re Prog (reakcija uÄ?esnika na program) Kod: Ps Re Ps (reakcija uÄ?esnika na druge uÄ?esnike) Kod: Ob PP (opservacije interakcije uÄ?esnika) Kod: Ob SS (opservacije interakcije osoblja) Kod: Ob SP (opservacije interakcije izmeÄ‘u osoblja i uÄ?esnika) Kod: Phil (izjave o filozofiji programa) Kod: Prc (primjeri procesa programa) Kod: P/outs (efekti programa na uÄ?esnike, ishod) Kod: S-G (formiranje podgrupa) Kod: GPrc (grupni procesi) Kod: C! (konflikti) Kod: C-PP (konflikti meÄ‘u uÄ?esnicima) Kod: C-SP (konflikti meÄ‘u osobljem i uÄ?esnicima) Kod: C-SS (konflikti meÄ‘u osobljem) Ako se kodiranje obavlja manuelno, skraćenice se piÅ¡u na margine dire- ktno pored relevantnih pasusa ili citata podataka. Pune oznake u zagradama imaju svrhu da razdvoje fajlove koji sadrže sve sliÄ?no kodirane pasuse. Izvor: Patton 2002. ProvoÄ‘enje analize sadržaja â– â–  Analiza sadržaja: Analiza kvalitativnih podataka zove se analiza sadržaja. Identificira i kodira Vrsta sistemske analize prisustvo odreÄ‘enih rijeÄ?i, fraza ili koncepata unutar teksta, govora ili dru- kvalitativnih gih medija. To je sistemski pristup koji identificira i sažima poruke skrivene u podataka koja podacima. identificira i Analiza sadržaja se odnosi na analizu knjiga, broÅ¡ura, prijepisa, novin- kodovima skih izvjeÅ¡taja, drugih pisanih dokumenata, govora i vizuelnih medija. Primje- obilježava njuje se na naraciju kao i na dnevnike i žurnale kao i kvalitativne odgovore na prisustvo odreÄ‘enih rijeÄ?i, otvorena pitanja u anketama, intervjuima i fokusnim grupama. Analiza sadržaja fraza ili se može koristiti, naprimjer, da se ispitaju djeÄ?iji udžbenici da bi se odredilo da koncepata li pokrivaju neophodni materijal za uÄ?enje odreÄ‘enog predmeta, je li materijal na unutar teksta, odgovarajućem nivou Ä?itanja i prezentiran na naÄ?in konzistentan sa kontekstom u govora i/ili kojem djeca žive i uÄ?e. Dublja analiza bi mogla istražiti prenose li udžbenici neku drugih medija odreÄ‘enu politiÄ?ku poruku ili pristrasno interpretiraju historiju. 378 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Analiza sadržaja obiÄ?no poÄ?inje kodiranjem podataka. Proces pretpostavlja da rijeÄ?i i fraze koje se najÄ?ešće pojavljuju reflektiraju važne stvari. Stoga, analiza sadržaja poÄ?inje rijeÄ?ima, frekvencijom, mjerenjem prostora (centimetri kolone u sluÄ?aju novina), dodijeljenim vremenom (za radio i televiziju) i uÄ?estalošću kljuÄ?nih rijeÄ?i. â– â–  Konceptualna Analiza sadržaja je daleko viÅ¡e od pukog prebrojavanja rijeÄ?i. Možemo anali- analiza zirati sadržaj, rijeÄ?i se kodiraju i organiziraju u kategorije pogodne za obradu. sadržaja: Kod ovih novih kategorija ispituje se uÄ?estalost odgovora i odnosi (Tekstualni Analiza koja okvir 10.2). posmatra Analiza sadržaja se može klasificirati u dvije vrste, konceptualna analiza uÄ?estalost ponavljanja i odnosna analiza. Konceptualni sadržaj posmatra uÄ?estalost pojavljivanja odabranih odabranih termina u tekstu. Analiza odnosnog sadržaja ide iznad odreÄ‘ivanja termina u tekstu uÄ?estalosti i istražuje odnose meÄ‘u identificiranim konceptima (Busch i ostali â– â–  Odnosna 2005). analiza Na primjer, analiza koncepta može identificirati kategorije koristeći sljedeću koncepta: Analiza koja ide listu: iznad • zajedniÄ?ki jezik o temi (Å¡ta se uzima zdravo za gotovo a Å¡ta trebaju razjasniti odreÄ‘ivanja ostali uÄ?esnici); uÄ?estalosti da istraži odnose izmeÄ‘u identificiranih koncepata Tekstualni okvir 10.2 Upotreba analize sadržaja da se identificira percipirana korist od ruÄ?nih pumpi Da bi saznali kako seljani doživljavaju upotrebu ruÄ?nih pumpi za pumpanje vode, evaluatori su intervjuirali 100 seljana. Rezultate analiziraju koristeći sljedeći proces: 1. ÄŒitaju svaki drugi odgovor i zapisuju svaki odgovor; 2. Odabiru najÄ?ešće odgovore i kratko navode svaki. Grupiraju svaki veći odgovor u kategoriju. Ako, na primjer, odgovori ukljuÄ?uju „ruÄ?ne pumpe je puno lakÅ¡e koristiti“ i „voda je uvijek Ä?ista i pumpa se nikad ne kvari“, evaluator može identificirati sljedeće kategorije: lahkoća upotrebe, osigu- ranje Ä?iste vode, pouzdanost; 3. Osigurati da su sve kategorije uzajamno iskljuÄ?ive i da će koderi biti u mogućnosti identificirati koji odgovor pripada kojoj kategoriji; 4. Uraditi proceduru kodiranja; 5. Tabelirati uÄ?estalost svakog odgovora. Izvor: Narayan 1996. Planiranje i provoÄ‘enje analize podataka 379 • vjerovanja i mitovi o zajedniÄ?koj temi, Å¡ta je uzeto zdravo za gotovo, a Å¡ta se osporava; • poziv za argumente uÄ?esnika kada su njihovi pogledi osporeni; • izvori informacija pozvanih uÄ?esnika da opravdaju svoje poglede i iskustva i naÄ?in na koji su drugi reagirali na njih; • argumenti, izvori i vrste informacija koji stimuliraju promjene miÅ¡ljenja ili interpretaciju iskustva; • boja glasa, govor tijela i stepen emotivnog angažmana ukljuÄ?enog kada uÄ?esnici razgovaraju o temi (Catterall i Maclaran 1997). Prema Kripendor (2004), analiza sadržaja mora odgovoriti na Å¡est pitanja: • Koji podaci su analizirani? • Kako su podaci definirani? • Iz koje populacije su uzeti podaci? • Prema kojem kontekstu su podaci analizirani? • Koje su granice analize? • Å ta je cilj zakljuÄ?aka? Kada se pitanja rijeÅ¡e, mogu se napraviti izbori o relevantnim i nerelavantnim podacima. Neuendorf (2006) predstavlja dijagram toka koji prikazuje proces analize sadržaja (Ilustracija 10.1). PoÄ?inje razmatranjem teorije i razloga za analizu. Izazov je analizu sadržaja uraditi dobro. Evaluatori trebaju biti svjesni poten- cijalnih problema pri njenoj primjeni (Tabela 10.2). Analiza sadržaja uz pomoć kompjutera Ako koristimo kompjutere da izvrÅ¡imo analizu sadržaja, sve informacije moraju biti u fajlovima koje kompjuterski program može Ä?itati. Može biti potrebno da evaluatori unose, skeniraju ili ponovo izrade fajlove podataka. Mnogi softverski paketi mogu pomoći da se organiziraju podaci izvedeni iz opservacija, intervjua ili fokusnih grupa. Ovo ukljuÄ?uje menadžere tekstualnih baza podataka, programe za obradu teksta i softver automatskog indeksiranja. Ovi programi su razvijeni specijalno za rad sa tekstualnim aplikacijama. Neki od softve- rskih programa analize sadržaja se mogu koristiti sa drugom vrstom medija. 380 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 10.1 Dijagram toka za istraživanje analize sadržaja 1. Teorija i razlozi: Koji sadržaj i zaÅ¡to? Imate li pitanja iz istraživanja? Hipoteze? 2. Odluke o konceptualizaciji: Koje varijable će se koristiti u studiji? Kako ih konceptualno definirate? 3. Operativne mjere: Mjere trebaju odgovarati konceptualizaciji (internoj validnosti); Koju jedinicu prikupljanja podataka ćete koristiti? Može postojati viÅ¡e od jedne jedinice; Jesu li varijable mjerene na visokom nivou mjerenja, kategorijama koje su iscrpive i uzajamno iskljuÄ?ive? Apriori shema kodiranja koja opisuje sve mjere koje treba izraditi; Vanjska validnost i validnost sadržaja se mogu procijeniti u ovom trenutku. Manuelno kodiranje Kompjutersko kodiranje 4a. Sheme kodiranja: 4b. Sheme kodiranja: I kod kompjuterske analize Izraditi sljedeće sadržaja potrebna je knjiga kodova – potpuno (1) Knjigu kodova (sa svim objaÅ¡njenje rjeÄ?nika i metoda njihove primjene; Možete varijablama mjera potpuno koristiti rjeÄ?nike da definirate kljuÄ?ne rijeÄ?i; Kada se objaÅ¡njenim) (2) Oblik kodiranja izraÄ‘uju originalni rjeÄ?nici, prvo treba izraditi listu uÄ?estalosti iz primjerka teksta i istražiti kljuÄ?ne rijeÄ?i i fraze. 5. Uzorkovanje: Je li moguć cenzus sadržaja? (Ako jest, idite na 6.) Kako ćete nasumiÄ?no uzorkovati podskup sadržaja (po vremenskom periodu, pitanju, stranici, kanalu ili drugim sredstvima)? 6. Obuka i poÄ?etna pouzdanost: Tokom sesija obuke u kojima koderi rade skupa ustanoviti da li se mogu složiti o kodu varijabli; Zatim, u nezavisnom testu kodiranja zabilježite pouzdanost svake varijable; U svakoj fazi preradite knjigu kodova/oblike kodiranja, ako je potrebno. 7b. Kodiranje (manuelno): Koristiti najmanje 7a. Kodiranje (kompjutersko): Primijeniti dva kodera kako bi se uspostavila rjeÄ?nike na uzorak teksta da se generira pouzdanost meÄ‘u koderima; uÄ?estalost po jedinici za svaki rjeÄ?nik; Kodiranje treba raditi nezavisno. Uraditi provjeru nekih taÄ?aka zbog validacije. 8. KonaÄ?na pouzdanost: IzraÄ?unajte pouzdanost za svaku varijablu. 9. Tabeliranje i izvjeÅ¡tavanje: Može se uraditi na mnogo razliÄ?itih naÄ?ina; Može prikazivati brojke i statistiku jedno po jedno ili unakrsno-tabelarno; TakoÄ‘er se mogu koristiti trendovi. Izvor: Neuendorf 2006. 381 Tabela 10.2 Potencijalna snaga i izazovi analize sadržaja Potencijalna snaga Potencijalni izazovi Posmatra direktno komunikaciju koristeći tekstove ili Može uzimati veoma mnogo vremena; transkripte te tako dobiva centralni aspekt druÅ¡tvene Predmet je greÅ¡ke, posebno kada se odnosna interakcije; analiza koristi da se postigne viÅ¡i nivo Može omogućiti kvantitativne i kvalitativne operacije; interpretacije; Može osigurati vrijedan historijski/kulturni uvid ÄŒesto se liÅ¡ava teoretske osnove ili pokuÅ¡ava izvući analizom teksta tokom vremena; smislene zakljuÄ?ke o odnosima i utjecajima previÅ¡e Može se koristiti za interpretaciju tekstova u takve slobodno impliciranim u studiji; svrhe kao Å¡to je razvoj struÄ?nih sistema (zato Å¡to Inherentno je reduktivna, posebno kada se radi sa znanje i pravila mogu biti kodirani u terminima kompleksnim tekstovima; eksplicitnih izjava o odnosima izmeÄ‘u koncepata); ÄŒesto se sastoji samo od brojanja rijeÄ?i; Nenametljivo je sredstvo analiziranja interakcija; ÄŒesto zanemaruje kontekst u kojem je nastao Osigurava uvid u kompleksne modele ljudskog tekst, kao i stanje stvari nakon Å¡to je tekst nastao; razmiÅ¡ljanja i upotrebe jezika. TeÅ¡ko se kompjuterizira. Izvor: Busch i ostali 2005. Kompjuterski softver za analizu kvalitativnih podataka (CAQDAS) — poznat i kao softver za analizu kvalitativnih podataka (QDAS or QDA softver) â– â–  Kompjuterski — traži, organizira, kategorizira i obilježava tekstualne i vizuelne podatke softver za (Teksutalni okvir 10.3). Programi ovog tipa omogućuju evaluatorima da vizua- analizu liziraju odnose i teoretske konstrukcije i pomažu im izgraditi teorije. Paket kvalitativnih ukljuÄ?uje Ethnograph, Qualpro, Hyperqual, Atlas-ti, QSR’s N6 (nekadaÅ¡nji podataka (CAQDAS): NUD*IST) i NVivo 8, AnSWR, HyperRESEARCH, Qualrus, i druge. Upotreba Web stranica AmeriÄ?kog udruženja za evaluaciju ima javnu sekciju za resurse. kompjutera da Jedna od kategorija u resursima je „softver za analizu kvalitativnih podataka“. se traže, U ovoj kategoriji nalaze se kratki opisi dostupnog softvera, Ä?esto sa troÅ¡kovima i organiziraju, obimom ili vrstom medija, kao i linkovima do stranica softver provajdera. Opisi kategoriziraju i obilježe podaci takoÄ‘er bilježe mogućnost besplatnog preuzimanja ili besplatnih testnih verzija. Manuelna analiza kvalitativnih podataka Porteous, Sheldrick i Stewart (1997) pružaju vrijedne sugestije za analizu kvalitativnih podataka manuelno. Naravno, ako je prikupljena velika koliÄ?ina podataka, preporuÄ?uje se upotreba kompjuterskog softvera. PoÄ?inje se priku- pljanjem sljedećeg materijala: • nekoliko markera (razliÄ?ita boja za svako evaluacijsko pitanje); • radni list za svako evaluacijsko pitanja (Ilustracija 10.2); • podaci, ukljuÄ?ujući biljeÅ¡ke, transkripte i snimke sa intervjua ili fokusne grupe; • alati prikupljanja za upitnike, registracijske obrasce, opservacije ili grafiÄ?ke preglede. 382 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 10.3 Strategije za elektronsko kodiranje podataka Sljedeći savjeti su korisni pri upotrebi CAQDAS-a: • Podsjetnici su najosnovniji naÄ?in za bilježenje podataka. Mali elektronski etikete omogućavaju korisnicima da obilježe podatke; • Slobodno kodiranje omogućava evaluatorima da obilježe i dodijele kod sekciji podataka; • Procedure automatskog kodiranja rade na razliÄ?ite naÄ?ine. NajÄ?ešći naÄ?in je da kompjuterski program automatski kodira rezultate pretrage. Podaci se takoÄ‘er mogu automatski ponovo kodirati na osnovu prethodno odreÄ‘enih upita; • Softverski generirane sugestije za kodiranje su novo svojstvo Qualrusa gdje algoritam sugerira kodove na osnovu kodova koji su se prethodno pojavljivali; • Multimedijalno kodiranje koje nudi N6, HyperRESEARCH i Qualrus. Ovi programi omogućavaju kodiranje sekvenci audio i video fajlova i dijelova slike. Neki drugi CAQDAS programi omogućavaju povezivanje sa eksternim multimedijalnim fajlovima; Izvor: Loughborough University Department of Social Sciences 2007. Ilustracija 10.2 Nepopunjen radni list za analizu kvalitativnih podataka Tema/broj referenci Citati Nalazi Izvor: Porteous, Sheldrick, i Stewart 1997. Planiranje i provoÄ‘enje analize podataka 383 Koristiti najmanje jedan radni list za svako evaluaciono pitanje. Napisati svako evaluaciono pitanje u za to namijenjeni prostor na vrhu svakog radnog lista. Za svako pitanje odaberite kod za identifikaciju podataka. To može biti boja olovke ili markera ili to može biti simbol. Zabilježite boju ili simbol na drugo mjesto na vrhu svakog radnog lista. Da popunite radni list idite kroz biljeÅ¡ke i prikupljeni materijal i kodirajte informacije koristeći sljedeću proceduru: • ProÄ?itajte sve kompletirane alate ili biljeÅ¡ke i transkripte odjednom; • Koristite markere razliÄ?itih boja za obilježavanje dijelova gdje se govori o svakom evaluacionom pitanju; • Vratite se i pažljivo proÄ?itatje sve podatke koji se odnose na prvo evaluaciono pitanje; • U koloni „Teme“ u radnom listu napiÅ¡ite svako miÅ¡ljenje, ideju ili osjećaj koji se odnosi na oÄ?ekivanja za to evaluaciono pitanje; • Ostavite prostor izmeÄ‘u svake teme za praćenje uÄ?estalosti ponavljanja svake taÄ?ke; • OznaÄ?avajte koliko puta se ponavlja miÅ¡ljenje, ideja ili osjećanje; Ostatak radnog lista uradite na sljedeći naÄ?in (Ilustracija 10.3): • Iz biljeÅ¡ki izvucite i umetnite citate koji najbolje predstavljaju svaku temu; • Donesite preliminarni zakljuÄ?ak o odreÄ‘enim taÄ?kama i zapiÅ¡ite ih u kolonu „Nalazi“; • Organizirajte nalaze prema tipu ili kategoriji; • Koristite broj odgovora (N=x) da se dobije preciznost i osjećaj važnosti. Kada se koriste podsjetnici pri analizi kvalitativnih podataka, cilj je obiÄ?nim rijeÄ?ima, frazama, temama ili obrascima sumirati Å¡ta se vidjelo ili Ä?ulo. Nove teme se mogu pojaviti prije ili kasnije, materijal može biti potrebno ponovo Ä?itati da se provjeri jesu li teme zaista bile tamo od poÄ?etka ali nisu primijećene zato Å¡to njihov znaÄ?aj tada nije bio jasan. Kada identificirate rijeÄ?i, pitanja, teme ili obrasce, obilježite gdje se nalaze kako biste bili u mogućnosti ponovo ih pronaći ako bude potrebno verificirati citate ili kontekst. Ovo može biti zamorno kada se radi prvi put, ali sa iskustvom postaje lakÅ¡e brzo locirati potencijalno važne informacije. 384 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 10.3 Kompletiran Topic/number radni list za analizu of references kvalitativnih podatakaFindings Quotations Tema/broj referenci Citati Nalazi Parents decide on topics I think the There was a strong feeling that Roditelji Naracija: process of Mislim da će Postojao parents should be more je jak osjećaj da proces odluÄ?ivanja biti roditelji trebaju biti viÅ¡e deciding would involved in the choice of topics. vrijedan ukljuÄ?eni u odabir teme be valuable. Cover several topics per session Sometimes we Many participants (38 of 52 Pokriva nekoliko tema po sesiji Ponekad just samo got into a Å¡to interviewed) doÄ‘emo Mnogi thoughtuÄ?esnici (38 there od 52 do teme, topic then it je and vrijeme intervjuiranih) da se be more should time for smatrali su da ide ili was topreÄ‘e na da se time neÅ¡to discussion. je trebalo biti viÅ¡e vremena drugo leave or move to za diskusiju Not enough time spent on each topic Dovoljno vremena za temu Treba nam else. something viÅ¡e vremena za diskusiju We need more time to discuss. Izvor: Porteous, Sheldrick, i Stewart 1997. Povremeno, stav manjine je važan i treba o njemu izvijestiti. Koristiti vla- stitu procjenu, ali uvijek objasniti da je samo jedan ili nekoliko ispitanika izrazilo takvo miÅ¡ljenje. Kako na web stranici Univerziteta West of England primjećuju: Život je rijetko uredno spakovan u uredne svežnjeve. Postoje uvijek neke Ä?upave vreće, teme koje nestaju ili su nekonzistentne jedne sa drugima. IskuÅ¡enje je u kvali- tativnom istraživanju ignorirati rasparene kategorije koje se ne uklapaju u poja- vnu teoriju. Ovi ostaci su kao neparna Ä?arapa koju naÄ‘ete u ladici. Svi kvalitativni istraživaÄ?ki projekti će imati ostatke koji prkose karakterizaciji; ne treba ih prikri- vati na slici, nego ih treba predstaviti kao dio cjeline. Interpretiranje kvalitativnih podataka Evaluatori opisuju podatke i interpretiraju ih. Prije nego Å¡to kvalitativni podaci mogu biti analizirani, treba ih jasno predstaviti na opisan naÄ?in. Interpre- tiranje podataka znaÄ?i pronalaženje mogućih uzroÄ?nih veza, praveći zakljuÄ?ke, pridavajući znaÄ?enja i radeći sa sluÄ?ajevima kontradiktornim analizi. Mnogi ljudi se boje koristiti statistiku. Stoga postoji tendencija miÅ¡ljenja da je koriÅ¡tenje kvalitativnih metoda unekoliko lakÅ¡a opcija. Ustvari, dobra analiza kvalitativnih podataka zahtijeva viÅ¡e od oka obiÄ?nog posmatraÄ?a. Analiziranje kvalitativnih podataka može biti naporan posao koji uzima puno vremena, ali može otkriti uvide u ponaÅ¡anja ili procese koji nisu ostva- rivi iz kvantitativnih podataka. Evaluatori trebaju planirati dovoljno vremena da to urade dobro. Planiranje i provoÄ‘enje analize podataka 385 â– â–  Induktivna Kvalitativni metodi mogu biti moćni alati za istraživanje uzroÄ?nosti. (Izvrstan analiza: izvor sa korak po korak uputstvom za provoÄ‘enje sistemske analize kvalitativnih Analiza podataka je Miles i Huberman 1994.) Patton (2002) opisuje dvije vrste kvalita- podataka koja ukljuÄ?uje tivne analize: induktivna i deduktivna. Induktivna analiza ukljuÄ?uje otkrivanje otkrivanje obrazaca, tema i kategorija u podacima. Deduktivna analiza ukljuÄ?uje analizu obrazaca, tema i podataka koristeći postojeći okvir. TipiÄ?no, kvalitativni podaci se induktivno ana- kategorija liziraju u ranoj fazi (otkrivanje kategorija, obrazaca i tema). Kada se te kategorije, â– â–  Deduktivna obrasci i teme uspostave, može se izvrÅ¡iti deduktivna analiza. Deduktivna faza analiza: ukljuÄ?uje testiranje i potvrdu autentiÄ?nosti i prikladnosti induktivne analize. Analiza podataka Postoji rizik pristrasnosti kada se radi sa kvalitativnim podacima (ako se koristeći ne koristi softver za analizu sadržaja); ljudi Ä?esto vide ono Å¡to hoće vidjeti a postojeći okvir propuÅ¡taju stvari koje se ne podudaraju sa njihovim oÄ?ekivanjima. Pomaže (ali ne popravlja baÅ¡ uvijek situaciju) da joÅ¡ jedna osoba analizira podatke. PoreÄ‘enjem dvije analize evaluatori mogu identificirati nove teme ili naći razliÄ?ite naÄ?ine razumijevanja podataka. Kada se izvjeÅ¡tava o kvalitativnim podacima, nije uvijek moguće ili pametno predstaviti zbir koliko procenata je kazalo ili uradilo neÅ¡to. Zato Å¡to svim uÄ?esnicima nije postavljeno isto pitanje, teÅ¡ko je znati kako se svi osjećaju u vezi sa tim pitanjem. Drugi naÄ?in kontrole pristrasnosti je da dva kodera pregledaju iste dokumente i kodiraju ih u smislu tema. Ako su evaluatori dobro obuÄ?eni a operativne definicije i sistem ocjenjivanja jasni i unaprijed usaglaÅ¡eni, oba evalu- atora će imati visoku stopu saglasnosti pri ocjenjivanju materijala. Visok nivo pouzdanosti meÄ‘u ocjenjivaÄ?ima bi bio indikator kredibilnosti. Nizak nivo pouzda- nosti meÄ‘u ocjenjivaÄ?ima bi ukazivao na potrebu revizije operativnih definicija, sistema ocjenjivanja ili oboje. Tabela 10.3 sažima sugestije za organiziranje i interpretaciju kvalitativnih podataka. IzvjeÅ¡tavanje o kvalitativnim podacima Mnoge evaluacije koriste kvalitativne i kvantitativne podatke. Ako se koristi mjeÅ¡oviti metod (kvalitativni i kvantitativni) pristupa prikupljanja podataka, evaluator treba pronaći komentare koji razjaÅ¡njavaju i osvjetljavaju neke od kvantitativnih podataka. Ako je, na primjer, 55 procenata ispitanika nezadovoljno pristupnošću intervencije, korisno je ukljuÄ?iti reprezentativnu mjeÅ¡avinu kome- ntara koja ilustrira izvore nezadovoljstva. Evaluator će napraviti „citate koji se mogu citirati“. Izjave uÄ?esnika treba iza- brati zato Å¡to jasno predstavljaju temu ili važno stajaliÅ¡te vrijedno naglaÅ¡avanja. Postoji snaga u ovim rijeÄ?ima: mnogi ljudi koji Ä?itaju izvjeÅ¡taj zapamtit će citat, ali ne stranicu opisa. Da bi se izbjegla pristrasnost, evaluatori trebaju ukljuÄ?iti citate koji pokazuju viÅ¡e pitanja i perspektiva o istoj temi. 386 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 10.3 Organiziranje i interpretacije kvalitativnih podataka Zadatak Sugestije Razviti • Koristiti teme, ideje, rijeÄ?i i fraze koje se ponavljaju; kategorije • Koristiti kategorije koje su dovoljno velike da pokriju podruÄ?je pogleda, ali ne toliko velike da budu beznaÄ?ajne; • Napraviti kategorije koje se razlikuju jedna od druge; Kodirati • Razviti shemu kodiranja; kategorije • Razviti pravila odluÄ?ivanja za kodiranje koje je iscrpno i jasno; • ObuÄ?iti kodere da koriste shemu kodiranja; Provjeriti • Provesti predtestiranje sa malim uzorkom kvalitativnih pouzdanost podataka; kada se • Provjeriti meÄ‘usobnu pouzdanost ocjenjivaÄ?a – da li ljudi mjere koristi viÅ¡e od iste stvari, na isti naÄ?in, dobivaju iste rezultate? jednog posmatraÄ?a • Ako postoje problemi, rijeÅ¡iti ih; zatim uraditi predtest ponovo; Analizirati • Urediti podatke; podatke • Razmotriti postavljanje podataka na kartice; • Razmotriti postavljanje podataka na radni list; • Razmotriti upotrebu kompjutera za pomoć pri analizi podataka; • Sortirati podatke da se otkriju obrasci i teme; Interpretirati • Kada je moguće, imati timove od najmanje dvoje ljudi za podatke pregled i kategorizaciju podataka kako bi se poredili nalazi i pregledali i preradili ako se razlikuju; • Tražiti znaÄ?enje i znaÄ?aj u podacima; • Povezati teme i kategorije sa procesima programa, ishoda ili sa procesima i jednog i drugog. Prevladavaju li neke teme kada ispitanici raspravljaju o pitanjima procesa? Jesu li neke teme viÅ¡e relevantne kada ispitanici diskutiraju o pitanju ishoda? Potražiti alternativna objaÅ¡njenja i druge naÄ?ine razumijevanja podataka; Razmijeniti i • Razmijeniti informacije rano i Ä?esto sa kljuÄ?nim informatorima; pregledati • Neka drugi pregledaju rane nacrte sa namjerom pribavljanja informacije informacija, pitanja, drugih naÄ?ina interpretacije podataka i drugih mogućih izvora podataka; Napisati • Opisati glavne teme (tematski pristup) ili predstaviti materijal izvjeÅ¡taj kako odslikava Å¡ta se vremenom deÅ¡avalo (prirodni historijski pristup); • OznaÄ?iti interesantne perspektive Ä?ak iako su ih primijetili samo jedno ili dvoje ljudi; • Ostati fokusiran: sa velikom koliÄ?inom podataka lahko se izgubi; • UkljuÄ?iti samo važne informacije. Pitati se da li informacije odgovoraju na evaluaciona pitanja i hoće li informacije biti korisne dionicima? Izvor: PrilagoÄ‘eno od Porteous 2005. Planiranje i provoÄ‘enje analize podataka 387 Analiziranje kvantitativnih podataka Analiza kvantitativnih podataka sumira numeriÄ?ke informacije prikupljene kao dio evaluacije. Evaluatori unose podatke u kompjuterski fajl podataka da bi pomogli u organizaciji podataka ili koriste softverske pakete da analiziraju podatke dok ih unose. Kodiranje podataka Kvantitativne podatke treba kodirati za analizu, to je jednostavnije uraditi nego provesti analizu sadržaja kvalitativnih podataka. Kodiranje kvantitativnih podataka se koristi kada podatke treba transformirati u numeriÄ?ki odgovor. Kodi- ranje omogućava da se podaci obraÄ‘uju na smislen naÄ?in. Podaci o karakteri- stikama kao Å¡to su visina, težina, dob i broj dana odsustva iz Å¡kole ne trebaju kodiranje, zato Å¡to su već brojÄ?ani. Druge vrste podataka – kao Å¡to su da li ispi- tanik ima bankovni raÄ?un – trebaju numeriÄ?ke kodove da bi se omogućila analiza. Evaluator može kodirati odgovore koristeći 1 za da i 2 za ne. Drugi podaci se mogu prikupiti u opsegu ili miÅ¡ljenju. Recimo, na primjer, da je pitanje „Kojoj starosnoj grupi pripadate?“ Svakoj starosnoj grupi može se dati kod (ispod 18 = 1, 18-25 = 2, 26-35 = 3, i tako dalje). Neki savjeti za održavanje kvantitativnih podataka mogu biti korisni (Tekstualni okvir 10.4). Svaka osoba ili zapis zovu se „sluÄ?aj“. Fajlovi podataka su saÄ?injeni od vari- jabli i vrijednosti za svaku varijablu. Varijable su svaka od stavki koju treba analizirati. Ekstremno je važno za evaluatore da naznaÄ?e kako je svaka varijabla kodirana i u koju kategoriju je postavljena. Kodove treba unijeti u knjigu kodova (koja Tekstualni okvir 10.4 Savjeti za održavanje kvantitativnih podataka • Uvijek se uvjerite da su varijable oznaÄ?ene; • Uvjerite se da su rjeÄ?nici podataka ažurirani za svaku promjenu naprav- ljenu u oznaÄ?avanju podataka ili kodova odgovora. Dobra dokumentacija je veoma bitna! • Uradite sigurnosnu kopiju seta podataka za hitne sluÄ?ajeve. Izradite privremene i stalne setove podataka mudro. RazmiÅ¡ljajte Å¡ta uraditi ako se podaci izgube; • Uvijek Ä?uvajte kopiju originalnog seta podataka. Izvor: Child and Adolescent Health Measurement Initiative 2009. 388 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije se ponekad zove rjeÄ?nik podataka). Koderi moraju imati pristup knjizi kodova i trebaju biti obuÄ?eni da je koriste. ÄŒišćenje podataka ÄŒišćenje podataka (takoÄ‘er se zove i ribanje podataka) je proces uklanjanja greÅ¡aka i nedosljednosti iz podataka da bi im se popravio kvalitet (Rahm and Do 2000). Podaci sa greÅ¡kama ili nedosljednostima se Ä?esto zovu „prljavi podaci“. AnalitiÄ?ari podataka procjenjuju da se polovina vremena potrebnog za analizu â– â–  ÄŒišćenje provede u Ä?išćenju podataka. ObiÄ?no je to vrijeme potcijenjeno. Kada su podaci podataka: Proces Ä?isti, analiza je jasna (P.A.N.D.A. 2000). uklanjanja ÄŒesti izvori greÅ¡aka u bazama podataka ukljuÄ?uju sljedeće: greÅ¡aka i • nedostaju podaci nedosljednosti iz podataka • “neprimjenjivi“ ili prazni odgovori kako bi im se • greÅ¡ke pri kucanju kod unosa podataka popravio kvalitet • nepravilno formatirani podaci • pomjeranje kolone (podaci za kolonu jedne varijable unose se u susjednu kolonu) • krivotvoreni podaci • greÅ¡ke kodiranja • greÅ¡ke pri mjerenju i intervjuima • zastarjeli podaci (P.A.N.D.A. 2000). U nekim sluÄ?ajevima ispitanici ne znaju odgovor na pitanje ili ga odbijaju dati. U drugim sluÄ?ajevima ispitanici mogu nehotice propustiti pitanje. Konvencija koju mnogi evaluatori koriste za ovakve odgovore je sljedeća: • ne zna = 8 i • odbijeni ili podaci koji nedostaju = 9. Razmotrimo, na primjer, sluÄ?aj gdje podatke u bazu podataka unosi nekoliko razliÄ?itih ljudi. Jedan koder unosi podatke koristeći velika slova, drugi unosi poÄ?etna slova prezimena velikim slovima a sve ostalo malim. Jedan koder svaku adresu unosi kao jedan unos, drugi adresu ulice kao jedan unos, adresu grada kao drugi i države kao treći unos. Pored toga podaci se spajaju sa podacima iz evalu- acije provedene 10 godina ranije. Novi instrumenti istraživanja ukljuÄ?ili su viÅ¡e pitanja nego stari, tako da stariji podaci ne sadrže odgovore na mnoga od pitanja. JoÅ¡ jedan problem sa podacima je da su mnogi ispitanici bili zbunjeni nekim pitanjima. Ljudi koji su bilježili odgovore radili su Å¡to su najbolje mogli sa ovakvim odgovorima, ali je svaki koristio drugaÄ?ija pravila za kodiranje. U neko- liko sluÄ?ajeva od ispitanika je traženo da odaberu na skali od 1 do 5 koristeći decimalne brojeve (na primjer 2,5). Neki koderi su zaokruživali takve brojeve Planiranje i provoÄ‘enje analize podataka 389 na bliži cijeli broj, drugi su zaokruživali na 2, a neki su odgovore tretirali kao podatke koji nedostaju. Svi ovi problemi uzrokovani su ljudskom greÅ¡kom pri davanju odgovora ili pri unosu podataka. Mnogi od ovih problema mogu se minimalizirati ako se uspostave i striktno provode pravila za kodiranje podataka pri unosu. Iz tog razloga unos podataka treba provjeriti. Evaluatori trebaju postaviti pitanja za kodiranje odgovora i praćenje originalnih upitnika (kao referencu kada se identi- ficiraju moguće greÅ¡ke). Evaluatori trebaju ispitati podatke i pokuÅ¡ati identifici- rati prljave podatke. Kada se podaci unesu, treba ih pregledati i oÄ?istiti prije analize. Razmotrimo, na primjer, podatke zasnovane na Å¡kolskoj dokumentaciji. Na pitanje o spolu postoje samo dva moguća odgovora: 1 za muÅ¡ki i 2 za ženski. Ako se pronaÄ‘u drugi odgovori, moraju se smatrati greÅ¡kom. Za pitanje o tome jeste li imali fiziÄ?ki test jedine moguće vrijednosti bile bi 1 za da i 2 za ne, 8 za ne zna i 9 nedostaju podaci ili odgovor nije dat. Svi drugi odgovori smatrali bi se greÅ¡kom pri kodiranju. Da bi otkrio moguće greÅ¡ke u podacima u visini, evaluator može pogledati vrijednosti koje su daleko iznad ili ispod oÄ?ekivanih za dob uÄ?enika (O’Rourke 2000b). Ako postoji zabrinutost o taÄ?nosti podataka, evaluator se može vratiti na originalnu listu podataka da verificira taÄ?nost (ili netaÄ?nost) kodiranih podataka. (Chapman [2005] nudi koristan primjer principa i metoda Ä?išćenja podataka. Poziva se na nekoliko online resursa i dostupnih softvera. Iako se specifiÄ?no bavi pitanjima biodiverziteta, mnoge informacije su za opću upotrebu. Da bi demo- nstrirao tehnike Ä?išćenja podataka, Cody [n.d.] nudi vježbu. Link do ove vježbe nalazi se na kraju ovog poglavlja. Kompjuterski softverski programi su dostupni za Ä?išćenje podataka. Program provjerava podatke koji su izvan opsega. Jedan primjer je WinPure. KljuÄ?an je za voÄ‘enje evidencije o donesenim odlukama o Ä?išćenju podataka. Upotreba statistike Kvantitativni podaci se analiziraju koristeći statistiku. U ovom dijelu upozna- jemo neke od najvažnijih statistiÄ?kih koncepata koje ljudi koji provode ili Ä?itaju razvojne evaluacije trebaju znati. StatistiÄ?ari statistiku dijele u dvije velike kategorije: • Opisna statistika, koja (u najužoj definiciji) opisuje i sumira kvantitativne podatke; • Inferencijalna statistika, koja se obiÄ?no koristi za analizu nasumiÄ?nih uzo- raka podataka predviÄ‘ajući opseg vrijednosti populacije za kvantitativne ili kvalitativne varijable, na osnovu informacija za tu varijablu iz nasumiÄ?nog 390 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije uzorka. Dio predviÄ‘anja ukljuÄ?uje izjavu o pouzdanosti koja iznosi mogućnost â– â–  Opisna da prava vrijednost populacije leži unutar odreÄ‘enog opsega vrijednosti. statistika: Statistika koja se koristi da se Opisna statistika opiÅ¡u i sumiraju ObiÄ?no se podaci sumiraju koristeći dvije vrste opisne statistike: kvantitativni • Mjere centralne tendencije: naÄ?in opisivanja grupe podataka da se ukaže na podaci â– â–  Inferencijalna centralnu taÄ?ku; statistika: • Mjere disperzije: naÄ?in opisivanja grupe podataka da se ukaže koliko su Statistika koja podaci raÅ¡ireni. se koristi da se iz uzorka Mjere centralne tendencije. Tri mjere centralne tendencije ponekad se nazivaju donesu zakljuÄ?ci tri Ms. o populaciji Grupa podataka se Ä?esto postavi u grafiÄ?ki oblik koji se zove distribucija â– â–  Mjere centralne uÄ?estalosti da bi se sumirali podaci, tako da se ukaže na uÄ?estalost svake varijable tendencije: u grupi. Zatim se odredi centralna vrijednost koristeći jednu ili viÅ¡e od tri mjere StatistiÄ?ke centralne tendencije: srednja, medijan i mod. mjere koje pokazuju Mod: najuÄ?estaliji odgovor. sliÄ?nost izmeÄ‘u Medijan: srednja taÄ?ka vrijednosti u distribuciji – veće vrijednosti su u jednoj karakteristika polovini, a manje u drugoj. U setovima podataka sa isto brojeva medijan se â– â–  Mjere definira kao prosjek dva srednja sluÄ?aja. disperzije: StatistiÄ?ke Sredina: zbir svih prikupljenih vrijednosti podijeljen sa brojem prikupljenih mjere koje vrijednosti (veliÄ?ina uzorka). pokazuju koliko su razliÄ?ite Dvije najÄ?ešće koriÅ¡tene statistike su sredina i medijan. karakteristike Tabela 10.4 predstavlja podatke o proporciji populacije u 16 zemalja koja je urbana. Pretpostavimo da hoćemo sumirati ove informacije i pronaći srednju vrijednost urbanosti (prosjek) za ovu grupu zemalja. Sredina bi bila zbir urbane proporcije podijeljeno sa brojem zemalja: (90 + 64 + 84 . . . + 93)/16 = 1141/16 = 71.3. Dva srednja sluÄ?aja ispod kojih i iznad kojih se nalazi 50 posto sluÄ?ajeva su 71 i 73, Å¡to Ä?ini medijan 72 (73 + 71 = 144/2 = 72). Mod je 47.6. Primijetit ćete da su u ovom sluÄ?aju sredina i medijan blizu, ali je mod puno drugaÄ?iji. Planiranje i provoÄ‘enje analize podataka 391 Tabela 10.4 Procenat urbanizacije po državama za Latinsku Ameriku i Centralnu Ameriku Procenat Procenat populacije koja populacije koja živi živi u urbanim u urbanim Država podruÄ?jima u 2007. Država podruÄ?jima u 2007. Argentina 90 Honduras 47 Bolivija 64 Meksiko 76 Brazil 84 Nikaragva 59 ÄŒile 88 Panama 71 Kolumbija 73 Paragvaj 59 Kostarika 62 Peru 73 Ekvador 63 Urugvaj 92 â– â–  Nominalni podaci: Gvatemala 47 Venecuela 93 Podaci koji Izvor: World Bank. World Development Indicators 2008, 162-64. spadaju u jednu od viÅ¡e kategori- Koju mjeru centralne tendencije koristiti zavisi od vrste podataka: nominalni, ja koje se ne ordinalni ili interval/odnos (Tabela 10.5). preklapaju, kao Å¡to su spol, • Nominalni podaci, koji se ponekad nazivaju kategoriÄ?ni podaci, podaci su religija ili zemlja koji spadaju u jednu od viÅ¡e kategorija koje se ne preklapaju, kao Å¡to su spol, porijekla â– â–  Redni podaci: religija ili zemlja porijekla. Podaci koji se • Redni podaci su podaci koji se mogu postaviti na skalu koja ima redoslijed, mogu postaviti ali „udaljenost“ izmeÄ‘u konsekutivnih odgovora nije nužno ista. Skale koje na rednu skalu idu od „najvažnije“ do „najmanje važno“ ili „slažem se u potpunosti“ do „ne â– â–  Intervalni ili slažem se“ ilustriraju redne podatke. Rednim podacima nedostaje nulta taÄ?ka. podaci • Interval/odnos podaci su realni brojevi. Ovi podaci imaju nultu taÄ?ku odnosa: Podaci sa i fiksne intervale, kao linijar, te se mogu podijeliti i porediti sa drugim bro- nultom taÄ?kom i jevima odnosa. fiksnim intervalima, kao Za interval/odnos podatke izbor će takoÄ‘er zavisiti od distribucije. Ako je distri- kod linijara, koji bucija u obliku zvona, sredina, medijan i mod trebaju biti veoma blizu. U ovom se mogu sluÄ?aju sredina bi bila najbolja mjera centralne tendencije. U suprotnom, ako u podijeliti i rezultatima ima jako visokih i jako niskih rezultata, sredina viÅ¡e neće biti blizu porediti sa centra. U ovoj situaciji medijan bi bio bolja mjera centralne tendencije. drugim brojevima odnosa Mjere disperzije. Dvije mjere se obiÄ?no koriste da se mjeri raÅ¡irenost kvantita- â– â–  Raspon: tivnih varijabli: raspon i standard devijacije. Raspon je razlika izmeÄ‘u najviÅ¡e i Razlika izmeÄ‘u najniže vrijednosti varijable. najviÅ¡ih i najnižih vrijednosti varijable 392 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Koristeći podatke iz Tabele 10.4 raspon za procenat Tabela 10.5 PreporuÄ?ene mjere urbane populacije je 93 - 47 = 46. centralne tendencije po tipu podataka Raspon ne otkriva puno zato Å¡to je odreÄ‘en ekskluzi- Vrsta Najbolja mjera podataka centralne tendencije vno po dvije opservacije; svi drugi sluÄ?ajevi se ignori- raju. Kada su dva kraja vrijednosti ekstremna, raspon ne Nominalni Mod pruža osjećaj gdje se nalaze ostali rezultati. Redni Mod ili medijan NajÄ?ešće koriÅ¡tena mjera disperzije za interval ili Interval/Odnos Mod, medijan ili sredina odnos podataka je standardna devijacija. Standardna devijacija je mjera rasprostranjenosti rezultata na bilo Izvor: Autori. kojoj strani sredine. Å to se rezultati viÅ¡e razlikuju od sre- dine to će biti veći standard devijacije. Da bismo bolje razumjeli pojam standardne devijacije, važno je razumjeti normalnu distribuciju (Ilustracija 10.4), koja se ponekad naziva zvonolika kri- â– â–  Normalna vulja zato Å¡to ima oblik zvona. U normalnoj distribuciji većina podataka spada distribucija: Stalna u sredinu distribucije. Sve je manje i manje podataka na krajevima distribucije. vjerovatnoća Podaci nemaju uvijek normalnu distribuciju. Neke distribucije imaju ravniju distribucije koja krivulju, druge strmiju krivulju ili krivulje koje se dižu na jednom ili drugom opisuje podatke kraju (Ilustracija 10.5) koji se grupiraju Standardna devijacija mjeri koliko blizu sredini su se grupirali podaci. Mjeri oko sredine udaljenost od sredine. U normalnoj distribuciji jedna standardna devijacija od sre- dine u bilo kojem pravcu na horizontalnoj osi zahvata oko 68 procenata podataka (Ilustracija 10.6). Dvije standardne devijacije od sredine zahvataju približno 95 posto podataka. Tri standardne devijacije od sredine zahvataju oko 98 posto podataka. Ilustracija 10.4 Normalna distribucija y Frekvencija x O Vrijednost Izvor: Autori. Planiranje i provoÄ‘enje analize podataka 393 Ilustracija 10.5 Nenormalne distribucije y y y x x x O O O Izvor: Autori. Ilustracija 10.6 Standardne devijacije u normalnoj distribuciji y Sredina Jedna standaradna devijacija od sredine Dvije standardne devijacije od sredine Tri standardne devijacije od sredine x O 68 95 98 Izvor: Autori. Ako je krivulja seta podataka ravnija, standardna devijacija bi bila veća. Vrije- dnost standardne devijacije ukazuje kako su rasprostranjeni podaci od sredine (Tekstualni okvir 10.5). Ako svi na testu imaju 75, sredina bi bila 75, a standardna devijacija bi bila 0. Ako svi imaju rezultate izmeÄ‘u 70 i 80, sa srednjim rezultatom od 75, standardna devijacija bi bila manja nego kad bi svi imali rezultat 40 i 90 (sa sredinom od 75). 394 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 10.5 IzraÄ?unavanje standardne devijacije Standardna devijacija distribucije se raÄ?una ovako: 1. IzraÄ?unati sredinu za podatke; 2. Oduzeti sredinu od svake taÄ?ke podataka da se naÄ‘e devijacija; 3. Podići na kvadrat svaki rezultat devijacije; 4. Sabrati sve kvadrate devijacija; 5. Oduzeti 1 od broja taÄ?aka podataka; 6. Podijeliti zbir svih kvadrata devijacija sa rezultatom iz koraka pet (broj stavki na listi minus 1); 7. Izvaditi kvadratni korijen rezultata iz koraka 6. Ovo je formula za izraÄ?unavanje standardne devijacije: σ= (x − x ) N −1 (x − x ) σ = Gdje je = standardna N −1 devijacija, = σσ= ( ( xzbir xx− − = Nstandardne ) )i x = sredina. ÄŒak i za mali uzorak izraÄ?unavanje −1 devijacije uzima puno vre- N −1 mena. Srećom, većina statistiÄ?kih programa, ukljuÄ?ujući Excel i SPSS za Windows, može vrÅ¡iti ta izraÄ?unavanja. Drugim rijeÄ?ima: Mala standardna devijacija = nema puno disperzije. Velika standardna devijacija = puno disperzije. Standardna devijacija je superiornija od raspona, zato Å¡to za svaki sluÄ?aj omogućava da ima utjecaj na svoju vrijednost. ÄŒesto koriÅ¡tena opisna mjerenja. Ponekad pitanje traži odreÄ‘ena prebrojavanja („Koliko koza imate? Koliko Ä?esto koristite usluge banke?“). Odgovori na takva pitanja se prenose apsolutno i u vidu postotaka. Drugi put, od ljudi se traži da daju miÅ¡ljenja prema skali. Na primjer, evaluator može pitati jesu li ispitanici bili u stanju primijeniti ono Å¡to su nauÄ?ili, dajući im skalu od pet taÄ?aka koja se kreće od „nismo nikako“ do „da puno“. Kada se analizira ovakva vrsta podataka, treba uspostaviti pravilo za odluÄ?ivanje: koncentrirati se na procenat onih Ä?iji su odgovori na ekstremnim krajevaima skale, na one koji su odgovorili na stranama srednje kategorije ili na prosjeÄ?ne odgovore. Iako ne postoje Ä?vrsta pravila, neke smjernice mogu biti od koristi (Tekstualni okvir 10.6). Planiranje i provoÄ‘enje analize podataka 395 Tekstualni okvir 10.6 Smjernice za analizu kvantitativnih podataka ankete Sljedeće smjernice mogu pomoći evaluatorima da analiziraju kvantitativne podatke ankete: 1. Odabrati standardni naÄ?in analize podataka i dosljedno ga primjenjivati; 2. Ne kombinirati srednju kategoriju sa kategorijama sa krajeva skale; 3. Ne prikazivati „slažem se“ ili „ne slažem se“ kategoriju a da se takoÄ‘er ne prikazuju „u potpunosti se slažem“ ili „u potpunosti se ne slažem“ kategorije (ako su koriÅ¡tene); 4. Analizirati i prikazati i postotke i brojeve; 5. Osigurati ispitanike kao referentnu taÄ?ku; 6. Ako postoji malo razlike u rezultatima, postaviti mjerilo: kako izgledaju rezultati kada je fokus na pitanja gdje je većina odgovorila sa „veoma zadovoljni“ ili „u potpunosti se ne slažem“? 7. Zapamtite da je analiza podataka umjetnost i vjeÅ¡tina; postaje lakÅ¡e uz trening i praksu. Izvor: Autori. Razmotrimo anketu klijenata zdravstvenog centra (Tabela 10.6). Jedan naÄ?in analize ovih podataka je prikazati da se polovina ispitanika slaže ili slaže u potpu- nosti da su dobili dobru zdravstvenu njegu, a 55 procenata se slaže ili slaže u potpunosti da je osoblje klinike voljno odgovoriti na pitanja. MeÄ‘utim, 60 proce- nata se slažu ili slažu u potpunosti da puno vremena provedu Ä?ekajući na pregled. U ovoj analizi evaluator odluÄ?uje prikazati kombinirane procente za odgovore: slažem se i slažem se u potpunosti. Ako su podaci razliÄ?iti, evaluator može koristiti drugaÄ?iju strategiju. Razmotrimo, na primjer, rezultate predstavljene u Tabeli 10.7. Analiza u ovom sluÄ?aju može pokazati da se 80 procenata ispitanika slaže ili slaže u potpunosti da su imali dobru zdravstvenu njegu, a 70 procenata se slaže ili slaže u potpunosti da su puno vremena Ä?ekali na pregled. Najveća snaga ana- lize je spremnost osoblja da odgovori na pitanja, gdje je 95 procenata ispitanika odgovorilo da se slažu u potpunosti ili se slažu da imaju dobru zdravstvenu njegu. 396 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 10.6 Stavovi klijenata o uslugama zdravstvene njege u lokalnoj klinici (procenat ispitanika) 1. Imajući u vidu vaÅ¡e iskustvo sa lokalnom zdravstvenom klinikom, slažete li se ili ne sa sljedećim izjavama? U Niti se potpunosti slažem niti se ne Ne se ne Slažem U potpunosti Izjava slažem slažem se slažem se se slažem Puno vremena Ä?ekam na pregled 10 20 10 35 25 Osoblje je voljno odgovoriti na moja pitanja  5 10 30 30 25 Na klinici imam dobru zdravstvenu njegu 15 25 10 25 25 Izvor: Autori. Napomena: N = 36 Tabela 10.7 Stavovi klijenata o uslugama zdravstvene njege u lokalnoj klinici (procenat ispitanika) Imajući u vidu vaÅ¡e iskustvo sa lokalnom zdravstvenom klinikom, slažete li se ili ne sa 1. ​ sljedećim izjavama? U Niti se potpunosti slažem niti se ne Ne se ne Slažem U potpunosti Izjava slažem slažem se slažem se se slažem Puno vremena Ä?ekam na pregled 50 20 10 15  5 Osoblje je voljno odgovoriti na moja pitanja  0  5  0 30 65 Na klinici imam dobru zdravstvenu njegu  0 20  0 55 25 Izvor: Autori. Napomena: N = 36 Planiranje i provoÄ‘enje analize podataka 397 â– â–  Unakrsno Opisivanje dvije varijable u isto vrijeme. Ponekad evaluator hoće opisati dvije tabeliranje: varijable u isto vrijeme. Pretpostavimo, na primjer, da hoće opisati sastav Spoj distribucije praktiÄ?ne nastave i predavanja. Za svaki Ä?as želi znati procenat djeÄ?aka i procenat dvije ili viÅ¡e djevojÄ?ica. Analiza podataka pokazuje da praktiÄ?ne Ä?asove pohaÄ‘a 55 procenata varijabli, obiÄ?no predstavljeno u djeÄ?aka i 45 procenata djevojÄ?ica, a tradicionalne Ä?asove sa predavanjima pohaÄ‘a tabeli 55 procenata djevojÄ?ica i 45 procenata djeÄ?aka. Unakrsno tabeliranje prikazuje spoj distribucije dvije ili viÅ¡e varijabli, obiÄ?no predstavljeno u formatu matrice, gdje frekvencija distribucije osigurava distribuciju jedne varijable, a tabela kontingencije opisuje distribuciju dvije ili viÅ¡e varijabli simultano. Svaka ćelija pokazuje procenat i broj ispitanika, Å¡to daje odreÄ‘enu kombinaciju odgovora. Podaci o pohaÄ‘anju Ä?asova mogu se interpretirati kako slijedi: u ovom uzorku â– â–  Nezavisna djeÄ?aci će prije (55 procenata) nego djevojÄ?ice (45 procenata) pohaÄ‘ati praktiÄ?nu varijabla: nastavu. Ovi nalazi sugeriraju odnos izmeÄ‘u spolne pripadnosti i odabira Ä?asova. Varijabla koja Ali koliko su snažni ti nalazi? Kada posmatramo mjere asocijacije, važno je objaÅ¡njava razumjeti koncepte nezavisnih i zavisnih varijabli. promjenu u drugoj (zavisnoj) Nezavisne varijable su varijable koje objaÅ¡njavaju promjenu u drugoj (zavi- varijabli snoj) varijabli. U evaluaciji kursa obuke, na primjer, nezavisne varijable mogu â– â–  Zavisna ukljuÄ?ivati iskustvo instruktora, pozadinu uÄ?esnika, nastavni plan koji se koristi, varijabla: dužinu obuke, koriÅ¡tene modalitete, i tako dalje. Varijabla koju Zavisne varijable su varijable koje treba objasniti. Na kursu obuke zavisne treba objasniti varijable mogu biti: rezultati na testu znanja, ocjene na matrici dizajna za evalu- aciju ili poboljÅ¡anje dizajna evaluacije. Evaluatore Ä?esto interesira postoji li razlika u prosjeÄ?nim vrijednostima kva- ntitativnih varijabli za par uzoraka. Može ih, na primjer, interesirati istraživanje pitanja kao Å¡to su sljedeća: • Je li prosjeÄ?an prinos usjeva veći nakon projekta navodnjavanja nego Å¡to je bio prije projekta? • Otkrivaju li ankete pacijenata u starijoj bolnici i pacijenata u bolnici izgraÄ‘enoj u razvojnom projektu razlike u procentu pacijenata koji su zadovoljni njegom? Evaluatori trebaju odrediti da li neke oÄ?igledne razlike ukazuju na stvarne razlike u sredini populacije ili nasumiÄ?noj varijaciji u uzorcima uzetim iz dvije populacije. U statistiÄ?kom testu obiÄ?no se pretpostavlja da ne postoji razlika izmeÄ‘u sredine dvije populacije (ili proporcije). Ovo pitanje je razmotreno u dijelu o inferencijalnoj statistici. 398 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Mjere asocijacije (ili odnosa) ukazuju koliko su varijable srodne. Jednostavne â– â–  Mjere asocijacije ne dokazuju uzrok. Mogu samo generalno sugerirati mogućnost asocijacije: Mjere koje uzroÄ?nog odnosa ako je mjera u asocijaciji jaka. ukazuju koliko Mjere asocijacije se obiÄ?no prikazuju u vidu skale koja se kreće od -1 do +1. su varijable Mjera sa pozitivnim znakom znaÄ?i da se varijable mijenjaju u istom pravcu: srodne obje idu gore ili idu dolje. Ovo se naziva direktni odnos. SavrÅ¡en pozitivan odnos bi bio +1. â– â–  Direktni odnos: Odnos Negativni znak ukazuje da varijable imaju obrnut odnos, znaÄ?i da se kreću u u kojem se suprotnim pravcima (na primjer, kako se povećavaju godine, zdravstveni status varijable kreću u se smanjuje). SavrÅ¡en negativni odnosi bi bio -1. Å to je mjera bliže nuli, odnos je istom pravcu slabiji (odnos koji uopće ne pokazuje asocijaciju bio bi 0); Å¡to je mjera bliže +1 (obje idu gore ili ili -1, to je odnos jaÄ?i). dolje) â– â–  Obrnuti odnos: Odnos u kojem se Inferencijalna statistika varijable kreću u Inferencijalna statistika omogućava evaluatorima da prave procjene o populaciji suprotnim na osnovu nasumiÄ?nog uzorka odabranog iz te populacije. Najveća bojazan pri pravcima koriÅ¡tenju nasumiÄ?nog uzorka je da rezultati ne odslikavaju neku devijaciju uzorka i tako ne otkrivaju taÄ?nu sliku populacije. Ako su evaluatori odabrali razliÄ?it uzorak, da li bi rezultati bili priliÄ?no sliÄ?ni ili priliÄ?no razliÄ?iti? Test statistiÄ?kog znaÄ?aja mjeri vjerovatnoću dobivanja istih rezultata ako uistinu nije bilo razlike u populaciji u cjelini. Evaluatori ovo zovu nulta hipoteza; uvijek se zasniva na nultoj razlici u populaciji. Pretpostavimo anketu zasnovanu na nasumiÄ?nom uzorku ljudi u Pakistanu koja pokazuje postojanje razlike od 5.000 rupija u godiÅ¡njem prihodu izmeÄ‘u žena i muÅ¡karaca. Test se može izraziti na ovaj naÄ?in: ako zaista ne postoji razlika u populaciji, koja je mogućnost pronalaženja razlike od 5.000 rupija u nasumiÄ?nom uzorku? Ako postoji 5 procenata Å¡anse (0.05) ili manje, zakljuÄ?ujemo da je rezu- ltat uzorka taÄ?na procjena populacije, da postoji razlika od oko 5.000 rupija i da je razlika statistiÄ?ki znaÄ?ajna. P-vrijednost (vjerovatnoća greÅ¡ke) od 5 procenata znaÄ?i da je evaluator 95 procenata siguran da rezultati uzorka nisu uzrok sluÄ?ajnosti. To znaÄ?i da su rezu- ltati statistiÄ?ki znaÄ?ajni na 0.05 nivou. Svi testovi statistiÄ?kog znaÄ?aja su djelimiÄ?no zasnovani na veliÄ?ini uzorka. Ako je uzorak veoma veliki, male razlike su vjerovatno statistiÄ?ki znaÄ?ajne. Evaluatori trebaju odluÄ?iti jesu li razlike važne u datoj prirodi istraživanja. Tri Ä?esto koriÅ¡tena statistiÄ?ka testa su hi-kvadrat test, t-test i analiza varijacija test. Svaki je ukratko opisan u nastavku. Planiranje i provoÄ‘enje analize podataka 399 â– â–  Hi-kvadrat Hi-kvadrat test. Iako nije najjaÄ?a mjera za asocijaciju, hi-kvadrat test je jedan test: StatistiÄ?ki od najpopularnijih statistiÄ?kih testova, zato Å¡to ga je lahko izraÄ?unati i interpre- test koji se tirati. Cilj hi-kvadrat testa je odrediti razlikuju li se znaÄ?ajno posmatrane frekve- koristi da se odredi razlikuju ncije od oÄ?ekivanih sluÄ?ajnih frekvencija. Ovaj test se koristi da se uporede dvije li se posma- nominalne vrijednosti (na primjer, braÄ?no stanje i vjersko opredjeljenje). TakoÄ‘er trane frekve- se koristi da se porede dvije redne varijable (odgovori prema skali) ili kombi- ncije od nacija nominalnih i rednih varijabli. oÄ?ekivanih Hi-kvadrat statistika je zbir kontribucija iz svake od pojedinih ćelija u tabeli sluÄ?ajnih podataka. Svaka ćelija u tabeli doprinosi neÄ?im ukupnoj hi-kvadrat statistici. frekvencija Ako se data ćelija znaÄ?ajno razlikuje od oÄ?ekivane frekvencije za tu ćeliju, tada je kontribucija te ćelije ukupnoj hi-kvadrat statistici velika. Ako je ćelija blizu oÄ?ekivane frekvencije za tu ćeliju, tada je kontribucija te ćelije ukupnom hi-kvadratu niska. Velika hi-kvadrat statistika ukazuje da se – negdje u tabeli- posmatrane frekve-ncije znaÄ?ajno razlikuju od oÄ?ekivanih frekvencija. Ne govori nam koja ćelija (ili ćelije) uzrokuje visok hi-kvadrat, nego samo da one postoje. Hi-kvadrat mjeri jesu li dvije varijable neovisne jedna o drugoj na osnovu posmatranih podataka. Hi-kvadrat test mjeri znaÄ?aj unakrsnog tabeliranja. Hi-kvadrat vrijednosti ne treba raÄ?unati u procentima. Unakrsne tabele se moraju konvertirati nazad u apsolutni zbroj (brojeve) prije nego se izvede test. Hi-kvadrat test je takoÄ‘er problematiÄ?an kada bilo koja ćelija ima frekvenciju manju od pet. (Za detaljnu diskusiju o ovom pitanju pogledajte Fienberg 1980.) â– â–  T-test: StatistiÄ?ki test koji se koristi da T-test    se odredi jesu li Kada su posmatrali razlike izmeÄ‘u rezultata za dvije grupe, evaluatori su numeriÄ?ki procjenjivali razliku izmeÄ‘u sredine relativne raÅ¡irenosti varijabiliteta njihovih rezultati jedne rezultata. T-test radi upravo to. Koristi se da se odredi je li jedna grupa numeriÄ?kih grupe statistiÄ?ki rezultata statistiÄ?ki viÅ¡a ili niža od druge grupe rezultata. Ova analiza je pogodna veći ili manji od rezultata druge kad god se sredine dviju grupa porede. Evaluatori koriste t-statistiku da porede grupe sredinu rezultata grupe na koju je utjecao projekt sa sredinom rezultata kontrolne grupe. â– â–  Analiza Analiza varijacije (ANOVA) varijacije:   T-test je nezgrapan za upotrebu kada se poredi tri ili viÅ¡e grupa. Kada evalu- (ANOVA): acija treba porediti sredine nekoliko razliÄ?itih grupa u isto vrijeme, najbolje je StatistiÄ?ka tehnika za koristiti analizu varijacije (ANOVA). procjenu razlike ANOVA je statistiÄ?ka tehnika za procjenu razlika izmeÄ‘u setova podataka. Uz izmeÄ‘u setova pomoć EXCEL-a koristi se za simultana poreÄ‘enja izmeÄ‘u dvije ili viÅ¡e sredina podataka da se odredi je li uoÄ?ena promjena nastala usljed sluÄ?ajne varijacije ili kao faktor ili kombinacija testiranih faktora. ANOVA stoga procjenjuje kako nominalne 400 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije nezavisne varijable utjeÄ?u na stalnu zavisnu varijablu. Pretpostavlja da populacija za sve grupe koje se porede ima jednaku standardnu devijaciju (pretpostavka homogenosti varijacije) i da su uzorci nasumiÄ?no odabrani iz populacije. Važno je provjeriti da ove pretpostavke stoje prije koriÅ¡tenja ANOVA-e. Testovi u ANOVA-i su zasnovani na F-omjeru – varijaciji nastaloj pri eksperi- mentalnom tretmanu ili efektu koji se dijeli sa varijacijom nastalom usljed eksperimentalne greÅ¡ke. Nulta hipoteza je da je omjer jednak 1.0 (to jest, efekti tretmana su isti kao eksperimentalna greÅ¡ka). Ova hipoteza se odbacuje ako je F-omjer dovoljno veliki tako da je mogućnost izjednaÄ?avanja 1.0 manja nego neki unaprijed dodijeljeni nivo, kao Å¡to je 0.05 (1 u 20). Povezivanje kvalitativnih i kvantitativnih podataka Miles i Huberman (1994) razmatraju kako se mogu povezati kvalitativni i kvanti- tativni podaci. Diskusiju poÄ?inju citatom Freda Kerlingera, visoko cijenjenog kva- ntitativnog istraživaÄ?a: „Ne postoji neÅ¡to Å¡to se zove kvalitativni podaci. Sve je 1 ili 0.“ Oni zatim iznose drugaÄ?iji stav: svi podaci su u osnovi kvalitativni. Spor u vezi sa kvantitavnim i kvalitativnim podacima traje godinama u Sjedinjenim Državama; meÄ‘utim, to generalno nije bio problem u razvoju. Razvojne evaluacije koriste i kvantitativne i kvalitativne podatke za razumijevanje svijeta: „kvantitet je od kvaliteta, i mjereni kvalitet je samo magnituda izražena u svojoj mjeri“ (Miles i Huberman 1994). Kvalitativni metodi pružaju viÅ¡e konteksta; kvantitativni pristupi omogućavaju generalizaciju nalaza na druge situacije. Miles i Huberman primjećuju da povezivanje kvantitativnih i kvalitativnih podataka u studiji dizajna omogućava evaluatoru da: • potvrdi ili potkrijepi svaku vrstu podataka kroz triangulaciju; • elaborira ili razvije analizu, osiguravajući viÅ¡e detalja i • pokrene nove linije razmiÅ¡ljanja obraćanjem pažnje na iznenaÄ‘enja ili para- dokse, „okrećući ideje“ i pružajući svježi uvid. Greene, Caracelli i Graham (1997) opisuju epistemologiÄ?nu i politiÄ?ku vrije- dnost mijeÅ¡anja metoda u evaluaciji: • epistemologiÄ?na: neÅ¡to možemo znati bolje ako mu pristupimo sa viÅ¡e strana; • politiÄ?ka: svi naÄ?ini saznavanja su parcijalni, stoga viÅ¡estruke, razliÄ?ite naÄ?ine saznavanja treba vrednovati i cijeniti. Oni primjećuju da „dobro izmijeÅ¡ani metodi evaluacije aktivno traže razliÄ?ite naÄ?ine razmiÅ¡ljanja i vrednovanja koji zajedno rade ka boljem razumijevanju“ a „razliÄ?ite vrste metoda najbolje odgovaraju kada se uÄ?i o razliÄ?itim vrstama fenomena.“ Planiranje i provoÄ‘enje analize podataka 401 Hawkins (2005) navodi sljedeće koristi upotrebe integriranog pristupa evalu- aciji mjeÅ¡ovitim metodom: • Provjere konzistentnosti se mogu ugraditi procedurama triangulacije koje dozvo- ljavaju da se urade dvije ili viÅ¡e nezavisnih procjena kljuÄ?nih varijabli; • Mogu se pribaviti razliÄ?ite perspektive. Na primjer, evaluatori mogu prihod ili potroÅ¡nju smatrati kljuÄ?nim indikatorima dobrobiti domaćinstva, ali studije sluÄ?aja mogu otkriti da žene viÅ¡e brinu o ugroženosti, nemoći ili izloženosti nasilju; • Analize se mogu provesti na razliÄ?itim nivoima. Metodi ankete mogu osigu- rati dobru procjenu dobrostanja pojedinaca, domaćinstava i zajednica, ali su mnogo manje efikasni kod analize druÅ¡tvenih procesa (na primjer, socijalni konflikt) ili za provoÄ‘enje institucionalne analize (na primjer, koliko efektivno rade javne službe ili koliko efektivno rade u oÄ?ima zajednice). Mnoge kvalita- tivne metode su dizajnirane da analiziraju pitanja kao Å¡to su druÅ¡tveni procesi, institucionalno ponaÅ¡anje, druÅ¡tevna struktura i konflikti; • Mogu se osigurati prilike za povratne informacije koje će evaluatorima pomoći da interpetiraju nalaze. IzvjeÅ¡taji anketa Ä?esto ukljuÄ?uju reference ka oÄ?iglednim nekonzistentnostima u nalazima ili interesantnim razlikama izmeÄ‘u grupa koje se ne mogu objasniti analiziranjem podataka. U većini kvantitativnih evalu- acija, kada se zavrÅ¡i faza prikupljanja podataka, nije moguće vratiti se na teren i prikupiti dodatne podatke; • Anketni evaluatori Ä?esto ukazuju na upotrebu kvalitativnih metoda za provjeru krajnosti. U mnogim sluÄ?ajevima analitiÄ?ari trebaju donijeti arbitrarne odluke kao Å¡to su: treba li iskljuÄ?iti ispitanike Ä?iji odgovori ukazuju na uvjete koji su znatno iznad ili ispod norme; • UoÄ?ene koristi od integriranih pristupa zavise od pozadine evaluatora. Iz perspe- ktive kvantitativnog evaluatora, kvalitativna komponenta će pomoći identi- fikaciju kljuÄ?nih pitanja koja treba tretirati u evaluaciji; postavit će pitanja tako da odgovaraju pogledima ispitanika; i pružit će informacije o socijalnom, ekonomskom i politiÄ?kom kontekstu u kojem se evaluacija obavlja. TakoÄ‘er je moguće vratiti se na teren i pratiti interesantne nalaze. Metodi uzorkovanja se mogu koristiti da se omogući generaliziranje nalaza na Å¡iru populaciju. Odabir uzorka se može koordinirati sa tekućom ili ranijom anketom tako da se nalazi iz kvalitativnog rada mogu uporediti sa nalazima ankete. StatistiÄ?ka analiza se može koristiti za kontrolu karakteristika domaćinstva i socioekonomske uvjete razliÄ?itih podruÄ?ja studije, tako se eliminiraju alternativna objaÅ¡njenja uoÄ?enih promjena. 402 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Hawkins (2005) obrazlaže kada ne koristiti pristup mjeÅ¡ovitih metoda. Po njemu, mjeÅ¡tovite metode treba koristiti u sljedećim okolnostima: • kada je neophodno detaljno razumijevanje intervencije i njenog konteksta i • kada postoji ograniÄ?en budžet i znaÄ?ajna vremenska ograniÄ?enja, a triangu- lacija može pomoći validaciji informacija prikupljenih iz razliÄ?itih izvora, gdje su koriÅ¡teni razliÄ?iti metodi i mali uzorci. MjeÅ¡ovite metode ne treba koristiti u sljedećim okolnostima: • Kada se na pitanja može odgovoriti koriÅ¡tenjem pristupa sa jednim metodom; • Kada je potrebna generalizacija nalaza, indikatori ili mjere su neposredni; • Kada evaluatori sa ekspertizom u odabranim metodima nisu dostupni za Ä?itavu studiju (bolje je koristiti samo one metode za koje je ekspertiza dostupna); • Kada je posvećenost kljuÄ?nih dionika odreÄ‘enoj paradigmi toliko jaka da ih pristup mjeÅ¡ovitim metodima neće razuvjeriti, ma koliko dobar bio; • Kada je vrijeme za analizu i fazu interpretacije veoma ograniÄ?eno. Sažetak Analiza kvalitativnih podataka se koristi za nenumeriÄ?ke podatke. Kvalitativni podaci se mogu prikupljati, na primjer, upotrebom nestrukturiranih opservacija, otvorenih intervjua, analizom pisanih dokumenata i transkripcijom fokusnih grupa. BiljeÅ¡ke napravljene tokom prikupljanja kvalitativnih podataka su veoma važne, tako da moraju biti detaljne. Analiza sadržaja je proces za analizu kvalitativnih podataka. Analiziranje kvalitativnih podataka je intenzivan i dugotrajan posao, ali se tako mogu otkriti vrijedne informacije. Nakon prikupljanja kvalitativnih podataka evaluatori ih trebaju organizirati, podaci se mogu sortirati tako da se ukažu obrasci i sliÄ?nosti. Kada se sortiraju (manuelno ili elektronski), podaci se mogu kodirati a zatim interpretirati. Kvantitativni podaci se analiziraju koristeći opisnu i inferencijalnu statistiku. Opisna statistika sumira podatke i opisuje centralnu vrijednost kroz 3 M – sre- dina (mean), medijan i mod. ZajedniÄ?ka mjera disperzije je raspon i standardna devijacija. Ostale Ä?esto koriÅ¡tene statistike ukljuÄ?uju distribuciju frekvencije, pro- cente, ocjene, razmjere i stope promjene. Inferencijalna statistika omogućava evaluatorima da prave procjene o popu- laciji na osnovu nasumiÄ?nog uzorka odabranog iz populacije. UobiÄ?ajeni alati inferencijalne statistike su hi-kvadrat test, t-test i ANOVA. Planiranje i provoÄ‘enje analize podataka 403 Evaluatori obiÄ?no koriste i kvalitativne i kvantitativne metode. KoriÅ¡tenje viÅ¡e od jednog metoda ima mnoge koristi u mnogim sluÄ?ajevima. U sluÄ?ajevima gdje se postavlja samo nekoliko pitanja na koja je relativno lahko odgovoriti, preporuÄ?uje se jedan pristup. 404 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Poglavlje 10 Aktivnosti Aplikacijska vježba 10.1: Kodiranje i analiziranje kvalitativnih podataka Prikupite nekoliko dužih novinskih Ä?lanaka o razvojnim pitanjima. Koristeći ove Ä?lanke napravite tabelu, oznaÄ?ite kolone: „Ä?lanak“ i „isjeÄ?ak“. Zatim unesite isjeÄ?ke iz Ä?lanaka koje smatrate važnim. PoÅ¡to identificirate teme iz Ä?lanaka, une- site ih kao dodatni naslov kolone. Zatim oznaÄ?ite odgovarajuću ćeliju gdje isjeÄ?ak sadrži svaku temu. Narativno napiÅ¡ite sažetak nalaza iz Ä?lanaka. Aplikacijska vježba 10.2: Izbjegavanje Ä?estih greÅ¡aka pri interpretaciji kvantitativnih podataka 1. Osamdeset procenata ispitanika program smatra korisnim. Koji naÄ?in bi bio bolji da se ovi nalazi interpretiraju, „Program je koristan“ ili „UÄ?esnici pro- gram smatraju korisnim“? Ispitanici u anketi su trebali identificirati prepreke i potpore programu. Å ta je problem sa predstavljanjem rezultata u smislu dobrih i loÅ¡ih strana? 2. Anketa od uÄ?enika traži da ocijene razne komponente kursa. Većina uÄ?enika je svaku od komponenti ocijenila pozitivno. Å ta je problem da se predstavi da 70 procenata uÄ?enika osjeća da je kurs bio uspjeÅ¡an? 3. ÄŒetrdeset procenata žena i 30 procenata muÅ¡karaca su za promjenu nastavnog plana. Je li taÄ?no predstaviti da je većina žena za promjenu nastavnog plana? 4. Pedeset jedan procenat ispitanika je za promjene nastavnog plana. Je li taÄ?no predstaviti da je viÅ¡e od polovine ispitanika za promjenu nastavnog plana? 5. Anketu je uradilo 5 od 20 instruktora na kursu. Svih 5 je izjavilo da su dobro pripremljeni za održavanje kursa. Je li taÄ?no kazati da su svi instruktori bili dobro pripremljeni? Je li taÄ?no kazati da je 25 posto instruktora bilo dobro pripremljeno? 6. Broj žena politiÄ?kih zastupnika se povećao sa 2 na 4 u zastupniÅ¡tvu sa 50 osoba. Je li taÄ?no predstaviti da je to povećanje od 100 procenata? 7. UÄ?esnici programa obuke zaradili su 20 posto viÅ¡e od onih koji nisu u pro- gramu. Je li taÄ?no predstaviti da je program uzrokovao povećanje zarade od 20 procenata? Planiranje i provoÄ‘enje analize podataka 405 Aplikacijska vježba 10.3: Analiziranje rezultata upitnika Uradite ovu anketu i neka je urade najmanje dvoje vaÅ¡ih kolega. Prikupite ankete i evidentirajte rezultate. Sami ili sa drugima, sažmite rezultate u narativnom obliku, izvedite neke zakljuÄ?ke o ukupnim nalazima. 1. U kojem obimu smatrate da imate analitiÄ?ki kapacitet da uradite sve Å¡to slijedi? U malom ili Veoma nikakvom U odreÄ‘enom Umjerenom Velikom velikom VjeÅ¡tina obimu obimu obimu obimu obimu a. Dizajnirati evaluaciju b.  Analizirati podatke c. Razviti anketu d.  Provesti fokusnu grupu Održati sastanak e.  dionika Napisati   f.  evaluacijski izvjeÅ¡taj g. Pripremiti usmeni brifing 406 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije 2. U ovom trenutku programa obuke slažete li se ili ne sa svakom od sljedećih izjava: Niti se Ne slažem slažem se Ne niti se ne Slažem Slažem se u Izjava uopće slažem slažem se potpunosti a.  Materijal je nov za mene b. Materijal je interesantan KoliÄ?ina c.  vremena posvećena lekcijama je dovoljna KoliÄ?ina d.  vremena posvećena diskusijama u razredu je dovoljna Vježbe su e.  korisne UÄ?im o  f.  materijalu koji mogu koristiti u svom poslu 3. Ukoliko imate neke komentare u vezi sa kursom molimo da ih napiÅ¡ete. Planiranje i provoÄ‘enje analize podataka 407 Bibliografija i dodatna literatura Babbie, E., F. Halley, and J. Zaino. 2000. Adventures in Social Research. Thousand Oaks, CA: Pine Forge Press. Busch, Carol, Paul S. De Maret, Teresa Flynn, Rachel Kellum, Sheri Le, Brad Meyers, Matt Saunders, Robert White, and Mike Palmquist. 2005. Content Analysis. Writ- ing@CSU, Colorado State University, Department of English, Fort Collins, CO. http://writing.colostate.edu/guides/research/content/. Child and Adolescent Health Measurement Initiative (CAHMI). 2006. “Promoting Healthy Development Survey: Implementation Guidelines.â€? Portland, OR: Oregon Health and Science University, Department of Pediatrics. ———. 2009. “Step 4: Monitor Survey Administration and Prepare for Analysis.â€? http://www.cahmi.org. Catterall, M., and P. Maclaran. 1997. “Focus Group Data and Qualitative Analysis Programs: Coding the Moving Picture as Well as the Snapshots.â€? Sociological Research Online 2 (1). http://www.socresonline.org.uk/socresonline/2/1/6.html. Chapman, Arthur D. 2005. Principles and Methods of Data Cleaning: Primary Species- Occurrence Data. Report for the Global Biodiversity Information Facility, Version 1.0, Copenhagen. http://www2.gbif.org/DataCleaning.pdf. Cody, Ronald. n.d. “Data Cleaning 101.â€? Robert Wood Johnson Medical School, Piscatawy, NJ. http://www.ats.ucla.edu/stat/sas/library/nesug99/ss123.pdf. Constable, Rolly, Marla Cowell, Sarita Zornek Crawford, David Golden, Jake Hartvig- sen, Kathryn Morgan, Anne Mudgett, Kris Parrish, Laura Thomas, Erika Yolanda Thompson, Rosie Turner, and Mike Palmquist. 2005. Ethnography, Observational Research, and Narrative Inquiry. Writing@CSU, Colorado State University, Depart- ment of English, Fort Collins, CO. http://writing.colostate.edu/guides/research/observe/. Dehejia, Rajeev H., and Sadek Wahba. 2002. “Propensity Score-Matching Methods for Nonexperimenal Causal Studies.â€? Review of Economics and Statistics 84 (1): 151–61. http://www.nber.org/~rdehejia/papers/matching.pdf. Denzin, N., and Y. Lincoln, eds. 2000. Handbook of Qualitative Research. 2nd ed. Thou- sand Oaks, CA: Sage Publications. Fienberg, S. E. 1980. The Analysis of Cross-Classified Categorical Data. 2nd ed. Cam- bridge, MA: MIT Press. Firestone, W. 1987. “Meaning in Method: The Rhetoric of Quantitative and Qualitative Research.â€? Educational Researcher 16 (7): 16–21. http://edr.sagepub.com/cgi/content/abstract/16/7/16. Gao, Jie, Michael Langberg, and Lenard J. Schulman. 2006. Analysis of Incomplete Data and an Intrinsic-Dimension Helly Theorem. http://www.cs.sunysb.edu/~jgao/paper/clustering_lines.pdf. Glass, G., and K. Hopkins. 1996. Statistical Methods in Education and Psychology. 3rd ed. Boston: Allyn and Bacon. 408 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Greene, J. C., and V. J Caracelli. 1997. Advances in Mixed Method Evaluation: The Challenges and Benefits of Integrating Diverse Paradigms. New Directions for Evaluation No. 74. San Francisco: Jossey-Bass. Greene, J. C., V. J. Caracelli, and W. F. Graham. 1989. “Toward a Conceptual Framework for Mixed-Method Evaluation Designs.â€? Educational Evaluation and Policy Analysis 11 (3) 255–74. Hawkins, Penny. 2005. “Thinking about Mixed Method Evaluation.â€? International Pro- gram for Development Evaluation Training (IPDET) presentation, Ottawa, July. IDRC (International Development Research Centre). 2008. Qualitative Research for Tobacco Control, Module 6: Qualitative Data Analysis. Ottawa, Canada. http://www.idrc.ca/en/ev-106563-201-1-DO_TOPIC.html. Jaeger, R. M. 1990. Statistics: A Spectator Sport. 2nd ed. Thousand Oaks, CA: Sage Publications. Krippendorf, Klaus. 2004. Content Analysis: An Introduction to Its Methodology. 2nd ed. Thousand Oaks, CA: Sage Publications. Loughborough University Department of Social Sciences. 2007. New Methods for the Analysis of Media Content. CAQDAS: A Primer. Leicestershire, United Kingdom. http://www.lboro.ac.uk/research/mmethods/research/software/caqdas_ primer.html#what. Miles, Mathew. B., and A. Michael Huberman. 1994. Qualitative Data Analysis an Expanded Sourcebook. 2nd ed. Thousand Oaks, CA: Sage Publications. Morse, Janice M., and Lyn Richards. 2002. “The Integrity of Qualitative Research.â€? In Read Me First for a User’s Guide to Qualitative Methods, ed. J. M. Morse and L. Richards, 25–46. Thousand Oaks, CA: Sage Publications. Narayan, Deepa. 1996. “Toward Participatory Research.â€? World Bank Technical Paper 307, Washington, DC. http://www-wds.worldbank.org/external/default/WDSContentServer/WDSP/ IB/1996/04/01/000009265_3980625172923/Rendered/PDF/multi0page.pdf. NCSTE (Chinese National Centre for Science and Technology Evaluation), and IOB (Policy and Operations Evaluation Department. 2006. Country-Led Joint Evalu- ation of the ORET/MILIEV Programme in China. Amsterdam: Aksant Academic Publishers. Neuendorf, Kimberly A. 2006. The Content Analysis Guidebook Online. http://academic.csuohio.edu/kneuendorf/content/index.htm. O’Rourke, Thomas W. 2000a. “Data Analysis: The Art and Science of Coding and Enter- ing Data.â€? American Journal of Health Studies 16 (3): 164–66. http://Findarticles.com/p/articles/mi_m0CTG/is_3_16/ai_72731731. ———. 2000b. “Techniques for Screening and Cleaning Data for Analysis.â€? American Journal of Health Studies 16: 217–19. http://Findarticles.com/p/articles/mi_m0CTG/is_4_16/ai_83076574. P.A.N.D.A. (Practical Analysis of Nutritional Data). 2000. “Chapter 2: Data Cleaning.â€? http://www.tulane.edu/~panda2/Analysis2/datclean/dataclean.htm. Patton, Michael. Q. 2002. Qualitative Research and Evaluation Methods. 3rd ed. Thou- sand Oaks, CA: Sage Publications. Planiranje i provoÄ‘enje analize podataka 409 Porteous, Nancy. 2005. “A Blueprint for Public Health Management: The ToolKit’s Approach to Program Evaluation.â€? Presentation at the International Program for Development Evaluation Training, June–July 2005. Ottawa, Ontario. Porteous, Nancy L., B. J. Sheldrick, and P. J. Stewart. 1997. Program Evaluation Tool Kit: A Blueprint for Public Health Management. Ottawa-Carleton Health Department, Ottawa. http://www.phac-aspc.gc.ca/php-psp/tookit.html. Rahm, Erhard, and Hong Hai Do. 2000. “Data Cleaning: Problems and Current Approaches.â€? University of Leipzig, Germany. http://homepages.inf.ed.ac.uk/wenfei/tdd/reading/cleaning.pdf. Rossman, G. B., and B. L. Wilson. 1994. “Numbers and Words Revisited: Being ‘Shame- lessly Methodologically Eclectic.’â€? Quality and Quantity 28: 315–27. Sieber, S. D. 1973. “The Integration of Fieldwork and Survey Methods.â€? American Jour- nal of Sociology 78 (6):1335–59. Smith, J. A. 1991. The Idea Brokers: Think Tanks and the Rise of the New Policy Elite. New York: Free Press. StatSoft. 2008. Electronic Textbook. http://www.statsoft.com/textbook/glosp.html. Stemler, Steve 2001. “An Overview of Content Analysis.â€? Practical Assessment, Research & Evaluation 7 (17). http://PAREonline.net/getvn.asp?v=7&n=17. Swimmer, Gene. 2006. “Qualitative Data Analysis, Part I.â€? IPDET Handbook 2005. International Program for Development Evaluation Training (IPDET) presentation, Ottawa, July. University of the West of England. 2006. Analysis of Textual Data. Bristol. http://hsc.uwe.ac.uk/dataanalysis/qualTextData.asp. U.S. GAO (General Accounting Office). 1996. Content Analysis: A Methodology for Structuring and Analyzing Written Material. GAO/PEMD-10.3.1. Washington, DC. (Available free of charge.) Washington State University. 2000. A Field Guide to Experimental Designs: What Is an ANOVA? Tree Fruit Research and Extension Center. Wenatchee, WA. http://www.tfrec.wsu.edu/ANOVA/basic.html. Weber, Robert Philip 1990. Basic Content Analysis. 2nd ed. Thousand Oaks, CA: Sage Publications. Weiss, Christopher, and Kristen Sosulski. 2003. Quantitative Methods in Social Science: QMSS E-lessons. Columbia Center for New Media Teaching and Learning, Columbia University, New York. http://www.columbia.edu/ccnmtl/projects/qmss/anova_about.html. Wolcott, H. F. 1990. “On Seeking—and Rejecting—Validity in Qualitative Research.â€? In Qualitative Inquiry in Education: The Continuing Debate, eds. E. W. Eisner and A. Peshkin, 121–52. New York: Teachers College Press. 410 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Web stranice Online tekstovi i vodiÄ?i CAQDAS (Computer-Assisted Qualitative Data Analysis Software). 2008. http://caqdas. soc.surrey.ac.uk/. Lane, D. M. Hyperstat Online Textbook. http://davidmlane.com/hyperstat/index .html. Statistics at Square One. http://bmj.bmjjournals.com/collections/statsbk/index .shtml. Stat Primer. http://www2.sjsu.edu/faculty/gerstman/Stat Primer. Kompjuterski softveri i kvalitativni podaci AEA (American Evaluation Association). http://www.eval.org/Resources/QDA.htm. AnSWR. http://www.cdc.gov/hiv/topics/surveillance/resources/software/answr/index.htm (developer site), http://www.cdc.gov/hiv/software/answr/ver3d.htm (free download site). Atlas-ti. http://www.atlasti.com/. CDC EZ-Text. http://www.cdc.gov/hiv/topics/surveillance/resources/software/ ez-text/index.htm (developer site), http://www.cdc.gov/hiv/software/ez-text.htm (free trial download site) Ethnograph. http://www.qualisresearch.com/default.htm. Friese, Susanne. 2004. Overview/Summary of Qualitative Software Programs. http:// www.quarc.de/software_overview_table.pdf. Hyperqual. http://home.satx.rr.com/hyperqual/. QSR Software. NVivo 8. http://www.qsrinternational.com/. Qualpro. http://www.qualproinc.com/. Kompjuterski softveri SPSS. http://www.spss.com. OpenStat. Version 4. http://www.statpages.org/miller/openstat/. Tutorial for SPSS v. 11.5. http://www.datastep.com/SPSSTraining.html/. Getting Started with SPSS for Windows. http://www.indiana.edu/~statmath/stat/spss/ win/. WinPure. Data Cleaning Software. http://www.winpure.com. Primjeri analize podataka Carleton University. Canadian Foreign Policy Journal. http://www.carleton.ca/npsia/ cfpj. IISD (International Institute for Sustainable Development). http://www.iisd.org/measure/ default.htm. Planiranje i provoÄ‘enje analize podataka 411 IMF (International Monetary Fund). http://www.imf.org/external/pubs/res/index .htm. ———. http://www.imf.org/external/np/sta/index.htm. North-South Institute. http://www.nsi-ins.ca/ensi/research/index.html. OECD (Organisation for Economic Co-operation and Development). http://www .oecd.org/dac/. UNDP (United Nations Development Programme). Human Development Report 2002. http://www.undp.org/hdr2002. UNEP (United Nations Environmental Programme). http://www.grid.unep.ch. UNESCO (United Nations Educational, Scientific, and Cultural Organization). http:// www.uis.unesco.org/en/stats/stats0.htm. UNHCR (United Nations High Commission for Refugees). http://www.unhcr.ch/cgi-bin/ texis/vtx/home. UNSD (United Nations Statistics Division). http://unstats.un.org/unsd/databases .htm. USAID (U.S. Agency for International Development.) http://www.usaid.gov/educ_train- ing/ged.html. ———. http://www.dec.org/partners/eval.cfm. U.S. Census Bureau. http://www.census.gov/ipc/www/idbnew.html. WHO (World Health Organization). http://www.who.int/health-systems-performance. ———. Statistical Information System (WHOSIS). http://www.who.int/topics/statistics/ en/. World Bank. http://www.worldbank.org/data. ———. World Development Indicators 2005. http://worldbank.org/data/wdi2005. 412 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije SUOÄŒAVANJE SA IZAZOVIMA “Kada radimo najbolje Å¡to možemo, nikad ne možemo znati koje Ä?udo će se desiti u naÅ¡em životu ili u životu drugih.“    —HELEN KELLER Poglavlje 11: Evaluacija kompleksnih intervencija • Å ira slika razvojne evaluacije • Združene evaluacije • Evaluacije državnog programa • Evaluacije sektorskih programa • Tematske evaluacije • Evaluacija globalnih i regionalnih partnerskih programa POGLAVLJE 11 Evaluacija kompleksnih intervencija Razvojne intervencije postaju sve kompleksnije stvarajući nove izazo- ve, oÄ?ekivanja, paradigme borbe sa siromaÅ¡tvom, metode i klijente za evaluatore. Ovo poglavlje razmatra evaluaciju na združenom, državnom, tematskom, sektorskom i globalnom nivou. Ovo poglavlje ima Å¡est glavnih dijelova: • Å ira slika razvojne evaluacije • Združene evaluacije • Evaluacije državnog programa • Evaluacije sektorskog programa • Tematske evaluacije • Evaluacije globalnih i regionalnih partnerskih programa 415 Å ira slika razvojne evaluacije Evaluacija ponekad mora posmatrati Å¡iru sliku. To znaÄ?i da treba ići iznad eva- luacije jednog projekta, programa ili politike da bi se takoÄ‘er evaluirali srodni projekti, programi i politike. Pogled na Å¡iru sliku može se baviti ukupnim iskustvom i utjecajem razvojnih intervencija unutar sektora, kao Å¡to je zdravstveni, obrazovni ili sektor transpo- rta. Ministarstvo, na primjer, može htjeti odrediti ukupni utjecaj intervencije kao i lekcije koje će se nauÄ?iti iz intervencije Ä?iji je cilj poboljÅ¡ati dobrostanje djece ili žena; donator će možda htjeti ispitati efektivnost strategije obrazovnog sektora. Sve viÅ¡e, kao reakcija na Parisku deklaraciju i Accra Accord, donatorski pro- grami se zasnivaju na sektorskim pristupima (SWAps). Kompleksni ekonomski, politiÄ?ki i druÅ¡tveni faktori utjeÄ?u na razvojne aktivnosti i evaluacije. Razvoj i razvojne evaluacije sve viÅ¡e postaju pluralistiÄ?ki poduhvati, ukljuÄ?ujući uÄ?ešće nevladinih sudionika, kao Å¡to je privatni sektor, neprofitne implementacije i zastupniÄ?ke agencije, te civilno druÅ¡tvo u cjelini. Razvojne intervencije se ne kreću po linearnom lancu. Iako postoje „ako- onda“ razlozi iza razvojne intervencije, mnogi faktori – ekonomski, politiÄ?ki, klimatski i socijalni – uzajamno djeluju na program te mogu utjecati na njegov ishod. Evaluatori trebaju identificirati ove faktore i dizajnirati evaluacije koje izdvajaju utjecaj. Kako se kompleksnost evaluacije povećava, interakcija ovih faktora takoÄ‘er postaje kompleksnija. Države i njihovi partneri nastoje odrediti kumulativne efekte prikupljanja promjena u sektoru, u državi, ili popreÄ?nom presjeku pitanja kao Å¡to su klimatske promjene. Evaluatori trebaju upravljati evaluacijama prema ovim kompleksnostima. Ali, kompleksnost evaluacija se ne povećava jednostavno zbog proÅ¡irenja djelokruga onog Å¡to se evaluira. Uz povećanu svijest o teretu evaluacije na slabe kapacitete države, Pariska deklaracija i Accra Accord su pojaÄ?ale potrebu za multipartnerskim evaluacijama kvaliteta pomoći u državi i evaluaciju rezu- ltata te pomoći. Razvoj je evoluirao ka opsežnijem programu, sve se viÅ¡e bavi reformom državne politike, izgradnjom kapaciteta i globalnim pitanjima. S druge strane, evaluacija je proÅ¡irena ka: • preusmjeravanju fokusa sa nivoa projekta, programa ili aktivnosti na nivo države, sektora, tematski nivo, regionalni ili globalni; 416 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • odreÄ‘ivanju najboljeg naÄ?ina skupljanja ishoda intervencije na državnom nivou i nivou aktivnosti kako bi se mogli procijeniti globalni rezultati ili rezu- ltati Ä?itavog programa; • pronalaženju naÄ?ina da se procijeni utjecaj dizajna programa, pristupa partne- rstva i upravljanja ukupnim rezultatima; • traženju mogućnosti repliciranja na viÅ¡i nivo i mogućnosti primjene na siste- mski nivo (Heath, Grasso i Johnson 2005). Državne evaluacije su jedan naÄ?in da se dobije ukupno razumijevanje onog Å¡to se dogaÄ‘a i da se osigura uvid u ukupne efekte i iskustvo razvoja unutar države. Ali kako provesti ove evaluacije nije uvijek tako jasno. Sektorske ili tematske evaluacije – jedne ili viÅ¡e država – takoÄ‘er mogu otkriti Å¡iru sliku. Pri njiho- vom provoÄ‘enju uglavnom se koristi viÅ¡e metoda, ukljuÄ?ujući neke kombinacije dostupnih podataka, intervjua, terenskih posjeta, anketa i fokusnih grupa. U ovom poglavlju posmatramo pet vrsta pogleda na Å¡iru sliku: • združene evaluacije; • evaluacije državnih programa; • evaluacije sektorskih programa; • tematske evaluacije i • evaluacije programa globalnog i regionalnog partnerstva. Združene evaluacije Združene evaluacije: Evaluacije u kojima uÄ?estvuje viÅ¡e od jedne organizacije â– â–  Združene evaluacije su Postoje razliÄ?iti stupnjevi „združivanja“, ovisno od opsega u kojem pojedini evaluacije u partneri saraÄ‘uju u procesu evaluacije, spajaju resurse evaluacije i kombiniraju kojima izvjeÅ¡tavanje o evaluaciji. Združene evaluacije mogu pomoći pri prevladavanju uÄ?estvuje viÅ¡e problema atribucije u procjeni efektivnosti programa i strategija, kompleme- od jedne ntarnosti napora koje podržavaju razliÄ?iti partneri, kvaliteta koordinacije pomoći, i organizacije tako dalje (OECD 2002, str. 26). Združene evaluacije se provode joÅ¡ od ranih 1990-tih. Kvalitet i broj združenih evaluacija je povećan od izdavanja Pariske deklaracije 2005. i Accra Accorda 2008. MeÄ‘utim, zamiÅ¡ljeni koncept oslanjanja na državne sisteme za podatke zasnovane na rezultatima je i dalje slab. Evaluacija Pariske deklaracije ukazuje da se združene evaluacije povećavaju, a sve viÅ¡e ih je boljeg kvaliteta i korisnije su. MeÄ‘utim, donatori koji nisu u mogućnosti raÄ?unati na robusne državne sisteme za podatke, joÅ¡ se suoÄ?avaju sa pritiskom da izvjeÅ¡tavaju o rezultatima prema vlastitim sistemima. Združene evaluacije mogu provoditi: Evaluacija kompleksnih intervencija 417 • donator + donator; • donator + država partner; • multidonatori + multipartneri i • partner + partner (Chen i Slot 2007). Breier (2005) identificira tipologiju za združene evaluacije zasnovane na modelu rada. Prema klasiÄ?nom multipartnerskom ureÄ‘enju, mogu uÄ?estvovati svi zainteresirani partneri koji aktivno uÄ?estvuju i doprinose pod jednakim uvjetima. Prema kvalificiranom multipartnerskom ureÄ‘enju, uÄ?ešće je dozvoljeno samo onima koji zadovoljavaju odreÄ‘ene uvjete, kao Å¡to su npr. pripadnost odreÄ‘enoj grupi (kao Å¡to je Evropska unija) ili onima koji imaju visok ulog u predmetu koji se evaluira. Planiranje združene evaluacije je kritiÄ?no za njen uspjeh. Prema Breieru: Jedna od skoro univerzalnih lekcija nauÄ?enih iz skorijeg iskustva sa združenim evaluacijama je da je njihov imperativ omogućiti dovoljno vremena na poÄ?etku procesa da se razvije i usaglasi okvir zajedniÄ?kog razumijevanja predložene svrhe, ciljeva, fokusa i djelokruga evaluacije. Kada se ovo ne uradi u neophodnom vre- menu i strpljivo, kao Å¡to je to sluÄ?aj u brojnim analiziranim evaluacijama, postoji velika Å¡ansa da će proces evaluacije kasnije naići na poteÅ¡koće. (2005, str. 40) Kada združena evaluacija ukljuÄ?uje samo nekoliko agencija, struktura menadžmenta može biti jednostavna: • Evaluatori mogu odluÄ?iti da se redovno sastaju i uÄ?estvuju u svim odlukama upravljanja; • Evaluatori mogu odluÄ?iti da sve agencije budu jednako ukljuÄ?ene u mena- džment, ali da se jedna ili viÅ¡e agencija postave u ulogu voditelja; • Evaluatori mogu odluÄ?iti da delegiraju odgovornost upravljanja jednoj agenciji omogućavajući drugim agencijama da pregledaju kljuÄ?ne ishode (OECD 2006). Za veće združene evaluacije najÄ?ešća struktura menadžmenta je: Dvorazinski sistem, koji se sastoji od (a) upravnog komiteta Å¡ireg Ä?lanstva i (b) manje menadžment grupe koja vodi svakodnevni posao evaluacije. Unutar ove strukture postoji znaÄ?ajna sloboda odluÄ?ivanja o tome hoće li neke agencije uÄ?estvovati kao tihi partneri, na kojem nivou detalja će upravni komitet biti ukljuÄ?en u donoÅ¡enje odluka i koliko partnera treba biti u menadžment grupi i koliko odgovornosti će im biti dodijeljeno. (OECD 2006, str. 20) Druga opcija je fleksibilni decentralizirani pristup. Svaka agencija može upravljati diskretnim potkomponentama ukupne evaluacije u nekoj vrsti slagalice. TakoÄ‘er je moguće usvojiti mjeÅ¡oviti pristup u kojem se neki dijelovi obraÄ‘uju združeno a druge opet poduzimaju odreÄ‘eni partneri (OECD 2006). 418 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Decentralizirana i centralizirana struktura imaju svoje snage i slabosti. Decentralizirani menadžment evaluacije olakÅ¡ava delegiranje ili raspodjelu odgovornosti, rezultirajući efikasnijim procesom upravljanja. Decentralizirane strukture, meÄ‘utim, takoÄ‘er mogu kreirati dupliciranje napora ili uzrokovati propuÅ¡tanje važnih pitanja. Upotreba decentralizirane strukture menadžmenta omogućava svakom partneru utjecaj na sve komponente evaluacionog procesa, ali ono Å¡to nedostaje je osjećaj vlasniÅ¡tva i urgentnosti koja dolazi sa decentra- liziranom strategijom. Partneri trebaju razmotriti pluseve i minuse svake stru- kture a zatim odluÄ?iti koja najbolje odgovara potrebama evaluacije. DAC identificira sljedeća kljuÄ?na podruÄ?ja o kojima evaluacioni partneri moraju postići saglasnost: • osnovna pravila za upravljanje evaluacijom; • opis poslova za evaluaciju; • tehnike prikupljanja i analiziranja podataka; • naÄ?ini odabira evaluacionog tima (ponude i ugovori); • budžetiranje, troÅ¡kovi i finansiranje i • predstavljanje nalaza, ukljuÄ?ujući pravila objelodanjivanja (OECD 2006). Breier (2005) razmatra naÄ?ine suoÄ?avanja sa pravnim pitanjima za združenu evaluaciju. Ta pitanja ukljuÄ?uju sljedeće: • ugovorne potrebe raznih partnera; • usaglaÅ¡avanje procedura koje normalno odslikavaju pravni sistem, uvjeti i uspostavljena praksa agencije koja preuzima vodstvo u interesu grupe; • pauÅ¡alne sporazume nasuprot napravljenim ugovorima, ukljuÄ?ujući klauze prekida (zbog loÅ¡e izvedbe); • odredbe o dostavi izvjeÅ¡taja o napretku koji pokazuju da se sredstva troÅ¡e namjenski. Kada se postavi formalna struktura i osnovna pravila, vodstvo združene evaluacije se treba okrenuti ka operativnim i upravnim pitanjima. Freeman (2007) opisuje 16 pravila za organiziranje i upravljanje eksternim evaluacionim timom (Tabela 11.1). JoÅ¡ jedan vrijedan resurs je DAC-ov VodiÄ? za upravljanje združenim evaluacijama (Guidance for Managing Joint Evaluations). (Link do web stranice nalazi se na kraju ovog poglavlja.) Evaluacija kompleksnih intervencija 419 Tabela 11.1 Odabir i upravljanje eksternim evaluacionim timom i predstavljanje rezultata Tema Pravilo Odabir eksternog • Osigurati da je osnovna struÄ?nost u kompleksnim evaluacijama velikih razmjera evaluacionog razvojne saradnje Å¡to solidnija. tima • Da organizacija bude Å¡to je moguće jednostavnija i kad god je to moguće da se radi sa organizacijom s kojom ste radili prije. • Integrirati državne konsultante u meÄ‘unarodni konkurenti proces ponuda i ukljuÄ?iti ih u metodologiju odabira i dizajna. • U studijama viÅ¡e država neka svaki tim na terenu kombinira resurse iz razliÄ?itih organizacija u konzorcij, a ne da se svaka organizacija specijalizira geografski ili institucionalno. Upravljanje • Razjasniti opredjeljenje za evaluaciju na nivou odbora glavne eksterne eksternim evaluacione organizacije. evaluacionim • Održati evaluacione timske radionice za razvoj zajedniÄ?kog pristupa mjerama i timom izvjeÅ¡tavanju. • Kad god je moguće, napraviti menadžment grupu koja je odgovorna glavnom upravnom odboru evaluacije. • Omogućiti dovoljno vremena na sastancima upravnog odbora za punu diskusiju i pronalaženje zajedniÄ?kih pozicija. • U združenim evaluacijama osigurati da eksterni evaluatori rade otvoreno i transparentno i direktno povezuju metode sa prikupljenim dokazima, nalazima, zakljuÄ?cima i preporukama. • Kod pregovora o dodatnim resursima, kada je to potrebno, neka evaluacioni tim i upravna grupa poÄ?nu tako Å¡to će se usaglasiti o raspodjeli posla koji treba poduzeti kao rezultat originalnog ugovora (i koristeći originalnu omotnicu resursa) i posla koji je rezultat novih pitanja i interesa ili pitanja koja su nastala kao rezultat nepredvidivih okolnosti. Da bi to uradio tim treba pripremiti detaljne vremenski vezane planove za svaki novi potrebni posao. Organiziranje • Osigurati da je vodeća organizacija u konzorciju veoma predana i da će pratiti eksternog evidenciju evaluacije meÄ‘unarodne razvojne saradnje. Projekt treba prirodno menadžment odgovarati svom osnovnom poslovanju i tržiÅ¡tu. tima • Osigurati da dionici održe snažnu pozitivnu orijentaciju tokom operacije. • Osigurati da eksterni evaluacioni tim koji radi sa svim Ä?lanovima upravnog odbora izbjegava demonstraciju institucionalne pristrasnosti i da se ponaÅ¡a kao da su svi jednaki. • Uložiti znatan dio budžeta u diseminaciju i popratne aktivnosti. Predstavljanje • Predstaviti preliminarne nalaze prije predstavljanja samog nacrta izvjeÅ¡taja. rezultata • Neka evaluatori i Ä?lanovi upravnog odbora diskutiraju o nacrtu otvorenih stavova eksternog ka poboljÅ¡anjima koja se mogu napraviti, pritom osigurati da su evaluatori u menadžment mogućnosti i voljni održati objektivnu odgovornost za nalaze i zakljuÄ?ke tima evaluacije. Izvor: Zasnovano na Freeman 2007. 420 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Evaluacije državnih programa Pogled na Å¡iru sliku se Ä?esto fokusira na državnu pomoć. Program državne evalu- â– â–  Evaluacije acije (koji se ponekad naziva evaluacija državne pomoći ili evaluacija državnog državnih programa) procjenjuje cjelokupni program pomoći jednoj državi. programa: Evaluacija Evaluacija državnog programa je velikim dijelom normativna studija kojom se Ä?itavog poredi ono Å¡to je uraÄ‘eno sa onim Å¡to je planirano. Može nastojati da: programa pomoći jednoj • procijeni strateÅ¡ku relevantnost programa državne pomoći u odnosu na potrebe državi države; • testira implementaciju Å¡irokih ishoda agencije da se odredi jesu li namjeravani ishodi ostvareni; • identificira uspjehe i neuspjehe u razliÄ?itim sektorima ili razliÄ?itim pristupima koji se koriste u državi i da identificira faktore koji doprinose uÄ?inku i • identificira efektivnost donatorske pomoći datoj državi (OECD 1999). Evaluacije državne pomoći se obiÄ?no fokusiraju na DAC kriterije releva- ntnosti, efikasnosti, utjecaja i održivosti. Mogu posmatrati djelovanje donatora, djelovanje države ili djelovanje i jednog i drugog (Tekstualni okvir 11.1). Evaluacije državnih programa mogu se suoÄ?avati sa znaÄ?ajnim izazovima: • Ukupnoj državnoj pomoći mogu nedostajati suvisli ciljevi i dobro artikulirani ishodi, te se umjesto toga reflektira oportunistiÄ?ki pristup; • SliÄ?ne razvojne intervencije se mogu finansirati iz nekoliko izvora, otežavajući tako atribuciju. (Napomena: sufinansiranje je jedna stvar; donatori koji finansi- raju sliÄ?ne intervencije druga.) • ObiÄ?no ne postoji mapiranje unutar državne pomoći, Å¡to Ä?ini težim da se zna Å¡ta ostali rade u podruÄ?ju intervencije; • Kao i u bilo kojoj evaluaciji, „reputacija je u pitanju a strah od posljedica može ugroziti moral i predanost osoblja i partnera programu. Evaluacija državnog programa, kao i svaka evaluacija, mora se provoditi sa osjećajem.“ (OECD, 1999, str .18). DAC mreža razvojnih evaluacija daje sljedeće preporuke: • Veći dio evaluacije treba obaviti združeno, uz puno i aktivno uÄ?ešće primalaca pomoći i drugih partnera; • Zemlje u razvoju trebaju pokazati veću inicijativu u preuzimanju vodstva u planiranju, koordinaciji i rasporedu evaluacija; • Zemlje u razvoju treba podržati da izgrade institucionalne kapacitete za pokre- tanje i voÄ‘enje združenih evaluacija; Evaluacija kompleksnih intervencija 421 Tekstualni okvir 11.1 Primjer metodologije evaluacije državnog programa Od 1995. Nezavisna evaluaciona grupa (IEG) Svjetske banke preduzela je viÅ¡e od 70 evaluacija državnih programa i razvila jasno artikuliranu metodologiju (World Bank 2008). IEG metodologija evaluacije je „od dna do vrha i od vrha do dna“ pristup. Za svaki od glavnih ciljeva evaluacija državne pomoći evaluira: • relevantnost ciljeva; • relevantnost strategije banke ka ostvarenju cilja, ukljuÄ?ujući balans izmeÄ‘u kreditnih i nekredit- nih instrumenata; • efikasnost kojom je strategija implementirana i • ostvarene rezultate. Evaluacija se provodi u dva koraka. Prvi je pregled od vrha do dna je li program banke ostvario odreÄ‘ene ciljeve banke ili planirani ishod i je li imao dovoljan utjecaj na razvoj zemlje. Drugi pregled je pregled od dna prema vrhu proizvoda i usluga banke (kreditiranje, analitiÄ?ke i usluge savje- tovanja, te koordinacija pomoći) koje su koriÅ¡tene da se ostvare ciljevi. Ova dva koraka skupa testi- raju konzistentnost nalaza iz proizvoda i usluga i dimenzija razvojnog utjecaja. Nakon toga vrÅ¡i se procjena relativnog doprinosa rezultatima koje je ostvarila banka, drugi donatori, vlada i egzogeni faktori. Kada IEG evaluira oÄ?ekivani utjecaj razvoja na program pomoći, mjeri stepen u kojem su glavni strateÅ¡ki ciljevi bili relevantni i ostvareni. TipiÄ?no, programi izražavaju svoje ciljeve koristeći ciljeve viÅ¡eg reda, kao Å¡to su Milenijski razvojni ciljevi i smanjenje siromaÅ¡tva. Strategija državne pomoći takoÄ‘er može postaviti srednjoroÄ?ne ciljeve, kao Å¡to su poboljÅ¡ano usmjeravanje socijalnih usluga ili promocija integriranog ruralnog razvoja. TakoÄ‘er može specificirati kako se od programa oÄ?ekuje da doprinese ostvarenju ciljeva viÅ¡eg reda. Evaluacija nastoji validirati jesu li srednji ciljevi proizveli zadovoljavajuću neto korist i je li lanac rezultata odreÄ‘en u strategiji državne pomoći bio validan. Ondje gdje uzroÄ?na povezanost nije odreÄ‘ena, evaluator mora pokuÅ¡ati rekonstruirati uzroÄ?ni lanac iz dokaza. Evaluator takoÄ‘er treba ocijeniti relevantnost, efikasnost i ishod srednjih i ciljeva viÅ¡eg reda. Evaluatori takoÄ‘er procjenjuju stepen u kojem klijenti demonstriraju vlasniÅ¡tvo meÄ‘unarodnih razvojnih prioriteta. Primjeri takvih prioriteta ukljuÄ?uju: MGDs, zaÅ¡titu ljudskih prava, demokra- tizaciju, spolove i okoliÅ¡. Idealno, ova su pitanja identificirana i obraÄ‘ena u strategiji državne pomoći, omogućavajući evaluatoru da se fokusira na to jesu li pristupi prilagoÄ‘eni ovoj pomoći bili odgovarajući. Moguće je da je strategija preÅ¡la preko nekih konflikata ili je izbjegla rjeÅ¡avanje razvo- jnih ograniÄ?enja kod kljuÄ?nih klijenata, potencijalno smanjujući relevantnost programa i vlasniÅ¡tvo klijenata te da je povećala nepoželjne popratne efekte, kao Å¡to je ugrožavanje prava. Svi ovi faktori se moraju uzeti u obzir pri ocjenjivanju ishoda programa. Važno je istaći da Ä?ak iako je projekt Svjetske banke izveden dobro, a država nije dobro uradila, pomoć se tada može ocijeniti nezadovoljavajućom, ili obratno. 422 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • Bolja koordinacija i razmjena znanja je potrebna meÄ‘u raznim partnerima i zemljama koje primaju pomoć. Mreže državnog monitoringa i evaluacije i pro- fesionalna udruženja treba izgraditi i proÅ¡iriti; • Kada se velike združene evaluacije preduzimaju uz uÄ?ešće nekoliko zemalja u razvoju, treba omogućiti da se zemlje u razvoju sastanu da koordiniraju stavove i ulazne elemente (OECD 2005, str. 7). Evaluaciona grupa za saradnju multilateralnih razvojnih banaka objavila je nedavno standarde dobre prakse za evaluaciju država. Cilj ovih standarda je da dalje harmoniziraju evaluacione kriterije, procese i procedure te rezultate evalu- acije uÄ?ine uporedivim. Link za web stranicu za verziju ovih standarda iz 2003. godine se može naći na kraju ovog poglavlja (Evaluation Cooperation Group 2008). Evaluacija državnog programa treba poÄ?eti jasno definiranim projektnim zadatkom koji su zajedno razvili država i razvojna agencija da bi se taÄ?no odredilo Å¡ta dionici oÄ?ekuju. Vremenski period koji treba pokriti treba biti odreÄ‘en. Proje- ktni zadatak treba: • jasno navesti svrhu evaluacije, kriterij evaluacije i naÄ?in na koji će nalazi biti koriÅ¡teni; • odrediti originalne prioritete organizacije za državni program (na primjer, smanjenje siromaÅ¡tva, povećana proizvodnja usjeva); • odrediti izvjeÅ¡tavanje, diseminaciju i popratne procedure; potpuno objelo- danjivanje nalaza je idealno. Zbog teÅ¡koće pronalaska protuÄ?injenica sistemsko vrednovanje je važno u evaluaciji državnog programa. PoreÄ‘enja se obiÄ?no vrÅ¡e sa sliÄ?nim državama, obiÄ?no u istom regionu. PoÅ¡to je sve viÅ¡e evaluacija državnog programa otvoreno za javnost, sve viÅ¡e poreÄ‘enja meÄ‘u organizacijama će biti izvodivo. Kako je naznaÄ?eno u GPS-u, kompleksnost državnih evaluacija se povećava. Kao rea- kcija na Parisku deklaraciju i Accra Accord, na primjer, javlja se potreba da se â– â–  Evaluacija multipartnerske evaluacije državne pomoći proÅ¡ire izvan MDB-a i da ukljuÄ?e sve sektorskog izvore vanjske pomoći, za koju su evaluacijski izazovi znatno veći. programa: Evaluacija provedena na glavnom Evaluacije sektorskih programa sektorskom programu, kao Evaluacije sektorskih programa su evaluacije koje se provode na glavnim sekto- Å¡to je obra- rskim programima, kao Å¡to su obrazovanje, zdravstvo, stambena politika ili zovanje, transport. Evaluacione smjernice MeÄ‘unarodne organizacije za migracije (IOM) zdravstvo, stambena definiraju sektorsku evaluaciju kao „evaluaciju raznih aktivnosti pomoći gdje su politika ili sve aktivnosti locirane u jednom sektoru, bilo da je to u jednoj državi ili je to transport izmeÄ‘u država. Evaluacija kompleksnih intervencija 423 Sektor pokriva odreÄ‘eno podruÄ?je aktivnosti kao Å¡to su zdravstvo, industrija, obrazovanje, transport ili poljoprivreda“ (IOM 2006, str. 30). Zato Å¡to evaluacije sektorskih programa posmatraju viÅ¡e projekata koji imaju razliÄ?ite ciljeve i razliÄ?ite donatore kompleksnije su nego evaluacije projekata; mogu biti isto toliko kompleksne kao i evaluacije državnih programa. Sektorske evaluacije su generalno normativne. Korisno je porediti evaluacije državnih programa i evaluacije sektorskih pro- grama na IEG-u. Na državnom nivou IEG obiÄ?no provodi pregled Ä?itavog porto- folija projekata Grupe Svjetske banke tokom relevantnog vremenskog perioda za državu. U sektorskoj evaluaciji IEG provodi pregled portfolija svih projekata u sektoru tokom relevantnog vremenskog perioda u odabranim državama. MeÄ‘utim, u sluÄ?aju sektorskih pregleda IEG Ä?esto ima definiciona pitanja. Ako je, na primjer, projekt viÅ¡esektorski, ukljuÄ?uje li IEG samo projekte za koje je sektor od interesa bio glavni sektor ili takoÄ‘er ukljuÄ?uje i one za koje je to bilo drugostepeno ili trećestepeno pitanje? Ako IEG uzme Å¡iri set, vaga li rezultate po procentu resursa koji idu u taj sektor u odnosu na druge sektore? Stoga, iako i državne i sektorske evaluacije ukljuÄ?uju preglede portfolija, pitanja mogu biti kompleksnija za sektor- ske preglede. SliÄ?na pitanja se mogu postaviti o evaluacionom dizajnu i metodima. Za Grupu Svjetske banke, a sve viÅ¡e i za ostale kreditore i donatore, metodi državne evalu- acije su postali viÅ¡e standardizirani. Nasuprot tome, sektorske evaluacije nastoje biti viÅ¡e sui generis, sa dizajnom i metodima koji su odredila specifiÄ?na evalu- aciona pitanja i resursi dostupni za studiju. Iako većina ukljuÄ?uje studije državnih sluÄ?aja, to nije neophodno. Kada se koriste studije sluÄ?ajeva, postoje važna pitanja odabira sluÄ?aja i metoda koje treba rijeÅ¡iti. VlasniÅ¡tvo i odgovornost partnera su kljuÄ?na pitanja u evaluacijama sektorskih programa (Danish Ministry of Foreign Affairs 1999). Razvojne organizacije i partnerske institucije interesira poboljÅ¡anje dostave pomoći, odgovornosti i održivosti u sektoru. Kratak opis združenih evaluacija u zdravstvenom sektoru Tanzanije oznaÄ?ava te kljuÄ?ne interese (Tekstualni okvir 11.2). â– â–  Tematske evaluacije: Tematske evaluacije Evaluacija odabranih Tematske evaluacije se bave „odabranim aspektima ili temama u brojnim razvo- aspekata ili tema u brojnim jnim aktivnostima“ (Danish Ministry of Foreign A airs 1999, str. 30). Ove teme razvojnim se javljaju iz stavova politike. Razvoj organizacije može odluÄ?iti, na primjer, da aktivnostima svi projekti ili programi tretiraju odreÄ‘eno pitanje ili pitanja – spolovi, okolinska i socijalna održivost ili ublaženje siromaÅ¡tva. Svako od ovih pitanja se mora treti- rati u svim etapama projekta ili programa i za sve oblike pomoći. 424 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 11.2 Združene eksterne evaluacije zdravstvenog sektora Tanzanije od 1999 do 2006 Tokom 90-tih zdravstveni sektor u Tanzaniji suoÄ?avao se sa periodom stagna- cije. Lokalne zdravstvene službe je karakterizirao veliki nedostatak osnovnih lijekova, opreme i zaliha, a tu je bila i dotrajala infrastruktura, slaba uprava, nedostatak nadzora i nedostatak motivacije osoblja. Sektor se suoÄ?io sa stagnacijom ili pogorÅ¡anjem bolniÄ?ke njege. Bilo je malo saradnje u vrÅ¡enju zdravstvene službe izmeÄ‘u javnog sektora, vjerskih organizacija i vrÅ¡ilaca privatnih usluga. Zdravstvena služba je imala veoma mali budžet, gdje se na sektor javnog zdravstva troÅ¡ilo US$3,46 po stanovniku. TakoÄ‘er je postojalo malo dokaza o koordinaciji podrÅ¡ke javnom sektoru razvojnih partnera. Vlada Tanzanije i njeni razvojni partneri (Belgija, Kanada, Danska, NjemaÄ?ka, Holandija i Å vicarska) odgovorili su na ovu situaciju procesom koji je poÄ?eo združenom misijom planiranja koji je organizirala vlada sredinom desetljeća. Do 1999. ovaj proces rezultirao je prvim većim strateÅ¡kim pla- nom za zdravstveni sektor - Program rada zdravstvenog sektora (POW) i sporazumom da će podrÅ¡ka zdravstvenom sektoru biti u okviru sektorskog pristupa (SWAp). POW i naknadni StrateÅ¡ki plan 2 za zdravstveni sektor (HSSP2) artikulirali su proces reforme zdravstvenog sektora s ciljem da se rijeÅ¡e oÄ?igledni nedostaci u sektoru i ostvare odreÄ‘eni ciljevi u zdravstvu, kako je to iskazano Milenijskim razvojnim ciljevima (MDGs) i državnom strategijom za razvoj i smanjenje siromaÅ¡tva (NSGRP)/MKUKUTA). POW i HSSP2 identificirali su nekoliko prioritetnih podruÄ?ja strateÅ¡ke intervencije: • jaÄ?anje oblasnih zdravstvenih službi i reforma i jaÄ?anje regionalnih i državnih bolnica; • transformacija uloge centralnog Ministarstva zdravstva i socijalne zaÅ¡tite u organizaciju koja potiÄ?e izradu politike; • poboljÅ¡anje centralnog sistema podrÅ¡ke (ukljuÄ?ujući infrastrukturu, informa- cione sisteme zdravstvenog menadžmenta, zalihe lijekova, transport i komunikacione i informacione tehnologije); • usvajanje i implementacija državne strategije za borbu sa HIV/AIDS-om kao eksplicitnim elementima HSSP2; • poboljÅ¡anje odnosa vlade i razvojnih partnera da bi se unaprijedila harmoni- zacija i usklaÄ‘ivanje eksternih i domaćih resursa Tanzanije u efektivnije partnerstvo. Nastavlja se Evaluacija kompleksnih intervencija 425 Tekstualni okvir 11.2 Nastavak Evaluacija se fokusirala na Ä?etiri podruÄ?ja: • relevantnost strategija zdravstvenog sektora i planova implementacije za ostvarenje MDG-a u zdravstvu i NSGRP ciljeva zdravstvenog sektora i prikladnost i relevantnost eksterne podrÅ¡ke; • stepen napretka i ostvarenje prema svakom od devet strateÅ¡kih priorite- ta procesa reforme zdravstvenog sektora; • ostvarenja u poboljÅ¡anju pristupa, kvaliteta usluga i ishoda u zdravstvu tokom perioda evaluacije i • promjene u partnerstvu tokom perioda evaluacije, ukljuÄ?ujući evaluaciju napora za harmonizaciju i usklaÄ‘ivanje te upotrebu razliÄ?itih modaliteta pomoći. Evaluaciju je od decembra 2006. do septembra 2007. proveo tim od osam meÄ‘unarodnih zdravstvenih i evaluacijskih konsultanata, od kojih su tri bila iz Ugande i Malavija. Glavne metodologije koje su koriÅ¡tene ukljuÄ?uju sljedeće: • ekstenzivan pregled dokumentacije; • intervjue kljuÄ?nih informanata na državnom nivou; • vlastitu procjenu oblasti koju je provelo osoblje Ministarstva zdravstva i socijalne zaÅ¡tite u 16 oblasti u Tanzaniji; • detaljne studije sluÄ?aja u Å¡est oblasti (ukljuÄ?ujući rasprave sa pripadnici- ma zajednice) koje je proveo evaluacijski tim; • analizu toka finansijskih i drugih resursa u zdravstvenom sektoru na državnom, regionalnom i nivou vijeća; • pregled državnih zdravstvenih podataka ishoda. Evaluacione informacije svih metodologija koje su koriÅ¡tene testirane su i triangulirane da se identificiraju sliÄ?nosti i snage validnosti nalaza i zakljuÄ?aka. Izvor: Dansko ministarstvo inostranih poslova 2007. Kao i kod državnih i sektorskih evaluacija, pristup tematskih evaluacija je od dna prema vrhu i od vrha prema dnu. Teme se evaluiraju na projektu po projektnoj osnovi; informacije iz ovih evaluacija pružaju izvor za informacije za tematske evaluacije. Pored toga, tematske evaluacije prelaze nivo projekta i posmatraju 426 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije sve projekte; takoÄ‘er, obiÄ?no odabiru države za detaljnu studiju (studije sluÄ?aja). Tematska evaluacija posmatra mnoge razliÄ?ite vrste informacija (Tekstualni okvir 11.3). Zatim uzima skupljene informacije iz tih izvora. Jedan od kljuÄ?nih nalaza tematske evaluacije o djeci koja skupljaju otpatke jeste uloga spola: većina djece su djevojÄ?ice, a skoro sve odrasle osobe su žene. Ova studija se izdvaja po osjetljivosti koju je pokazala za pitanja u vezi sa spolom. Tekstualni okvir 11.3 Primjer tematske evaluacije procjene djece sakupljaÄ?a otpada u Africi, Aziji i Evropi WASTE je organizacija koja radi na održivom poboljÅ¡anju uvjeta života siromaÅ¡nih u urbanim sredinama i urbanog okruženja generalno. MeÄ‘unarodna organizacija rada (ILO) angažirala je organizaciju da provede tematsku evaluaciju djeÄ?ijeg rada na prikupljanju otpada. Cilj evaluacije je bio osigurati smjernice za ILO kako da se najbolje bore protiv iskoriÅ¡tavanja djece u ovom sektoru. Tematska evaluacija je identificirala i kritiÄ?ki procijenila prikupljanje otpa- da i razne pristupe u rjeÅ¡avanju problema djeÄ?ijeg rada u odnosu na priku- pljanje otpada. Informacije su izvuÄ?ene iz raznih projekata koje je u ovom sektoru proveo MeÄ‘unarodni program za eliminaciju djeÄ?ijeg rada kao i iz sliÄ?nih napora drugih agencija, institucija ili vlada. Evaluacija je rezultirala strateÅ¡kom procjenom i preporukama za ILO. (Evaluacija, Addressing the Exploitation of Children in Scavenging (Waste Picking): A Thematic Action Agenda on Child Labour se može preuzeti sa ILO web stranice.) WASTE istraživaÄ?i na terenu, u Egiptu, Indiji, Rumuniji, Tanzaniji i Tajlandu, napisali su dodatne izvjeÅ¡taje na osnovu kljuÄ?nih nalaza. U Tanzaniji, na primjer, izvjeÅ¡taj je ukljuÄ?io pregled relevantnih dokumenata, intervjua sa menadžmentom i osobljem projekta, intervjue ostalih dionika, terenske posjete na dvije transfer taÄ?ke u gradu i glavnom otpadu u Dar es-Salamu i intervjue sa sakupljaÄ?ima otpada i predstavnicima udruženja prikupljaÄ?a otpada. Izvor: Duursma 2004; WASTE 2005 Osobite karakteristike pristupa osjetljivog na spol su: • konceptualni okvir koji prepoznaje spolnu prirodu razvoja i doprinos jedna- kosti spolova ekonomskom i druÅ¡tvenom razvoju i Evaluacija kompleksnih intervencija 427 • izrada podataka o spolovima na državnom, sektorskom ili lokalnom nivou koji spaja podatke koji se odnose na spol i identificira kljuÄ?na pitanja spolova koja treba tretirati u dizajnu i tematskoj evaluaciji projekta. Nedostatak spolno disagregiranih podataka se Ä?esto koristi da se opravda nedostatak pažnje koja se poklanja pitanju spolova. Kada podaci nisu svrstani po spolovima, važno je definirati strategije za razvoj prikladne baze podataka koja će omogućiti provoÄ‘enje bolje analize spolova u budućnosti. Takve strate- gije ukljuÄ?uju sljedeće: • osigurati da metodi prikupljanja podataka generiraju informacije o muÅ¡karcima i ženama i da su kljuÄ?na pitanja spolova (kao Å¡to je raspored rada prema spolu, analiza koriÅ¡tenja vremena, kontrola resursa i donoÅ¡enje odluka na nivou domaćinstva i zajednice) ukljuÄ?ena u dizajn istraživanja; • osigurati da se prikupe informacije o razliÄ?itim Ä?lanovima domaćinstva i od razliÄ?itih Ä?lanova domaćinstva i da „glava domaćinstva“ (obiÄ?no definirana kao muÅ¡karac) nije jedini izvor informacija; • komplementiranje konvencionalnih metoda prikupljanja podataka sa meto- dama ukljuÄ?enja spolova, gdje je to prikladno; • osigurati da istraživaÄ?ki tim ukljuÄ?i balans izmeÄ‘u muÅ¡karaca i žena i • osigurati da se dionici konsultiraju tokom dizajna, analize i diseminacije evalu- acije i da te konsultacije ukljuÄ?e grupe koje predstavljaju i žene i muÅ¡karce (World Bank 2007e). Planiranje razvoja i evaluacija Ä?esto koriste „spolno neutralne“ pristupe koji pretpostavljaju da žene i muÅ¡karci imaju iste razvojne potrebe. U većini druÅ¡tava muÅ¡karci nastoje dominirati u donoÅ¡enju odluka u zajednici i domaćinstvu, tako da „spolno neutralni“ pristupi uveliko reagiraju na prioritete muÅ¡karaca ignorirajući da će potrebe i kapaciteti žena znaÄ?ajno smanjiti efikasnost i jedna- kost politike i programa. NaÄ?ini na koji se primjenjuju mnogi razvojni alati plani- ranja i evaluacije nisu spolno osjetljivi, tako da Ä?ak i kada konsultacije ili ankete u domaćinstvu namjeravaju sagledati stavove svih sektora zajednice, problemi žena Ä?esto ostanu u potpunosti neprimjećeni. 428 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Evaluacija globalnih i regionalnih partnerskih programa Globalni i regionalni partnerski programi (GRPPs) su sve viÅ¡e važan modalitet â– â–  Evaluacija za kanaliziranje i pružanje razvojne pomoći u rjeÅ¡avanju hitnih globalnih i regio- globalnih i nalnih pitanja. Većina GRPPs je specifiÄ?na za sektor ili temu, kao Å¡to je poljo- regionalnih privreda, okoliÅ¡, zdravstvo, finansije ili meÄ‘unarodna trgovina. partnerskih programa GRPPs je programsko partnerstvo u kojem: (GRPP): Programska • partneri daju i udružuju (finansijske, tehniÄ?ke, ljudske i reputacione) resurse partnerstva u kako bi ostvarili usaglaÅ¡ene ciljeve; kojima partneri • su aktivnosti programa globalne, regionalne ili meÄ‘udržavne u svom djelo- doprinose i krugu i udružuju • partneri uspostavljaju novu organizaciju sa upravnom strukturom i jedinicom resurse da uprave da bi se izvele ove aktivnosti (World Bank 2007f ). ostvare usaglaÅ¡ene Novi GRPP se obiÄ?no uspostavlja nakon Å¡to grupa globalnih ili regionalnih ciljeve koji imaju aktera identificira problem ili priliku koja zahtijeva javno djelovanje, ali koja globalni regionalni ili prelazi državne suverene granice. Akteri mogu biti donatori ili korisnici a mogu multidržavni dolaziti iz javnog ili privatnog sektora. djelokrug Razmotrimo primjer upravljanja vodenim resursima u Mekongu ili bazenu rijeke Nil. Problemi ili mogućnosti se ne mogu efektivno rijeÅ¡iti samo na nivou jedne države zato Å¡to su mnoge države – 6 u bazenu Mekonga, 19 u bazenu Nila – ukljuÄ?ene u upravljanje bazenima. Pored toga, zamaÅ¡ne ekonomije nastaju iz kolektivnog djelovanja na globalnom i regionalnom nivou (nastanak novih tehnologija ili dobre prakse relevantne razvoju u mnogim zemljama). GRPPs se Ä?esto fokusira na proizvodnju i zaÅ¡titu globalnih javnih dobara (na primjer, istraživanje kojim se dobije poboljÅ¡ana tehnologija sjemena ili se povećava biodiverzitet) ili smanjenje globalnih javnih problema (na primjer, HIV/ AIDS ili zagaÄ‘enje). Globalna javna dobra su dobra koja su nerivalska (snabdi- jevanje jedne osobe ili države ne umanjuje zalihe drugoj) i nisu iskljuÄ?iva (kada se jednom opskrbi neka država ili osoba, svi imaju korist) i Ä?ija korist prelazi državne granice. Partneri GRPPs obiÄ?no imaju razliÄ?ite perspektive i pobude. Formalna upravna struktura se uspostavlja da se postave formalni ciljevi, kriteriji Ä?lanstva ili uÄ?ešća, procedure donoÅ¡enja odluka, a ponekad i kriteriji rasporeÄ‘ivanja. Oko 150 multipartnerskih GRPPs je uspostavljeno. Nivo isplate je od nekoliko miliona dolara do viÅ¡e od milijarde godiÅ¡nje. Njihove aktivnosti mogu biti ograniÄ?ene na razmjenu znanja i umrežavanje ili takoÄ‘er mogu sadržavati tehniÄ?ku pomoć, ulaganje i tržiÅ¡ne aktivnosti. Pri-mjeri GRPPs ukljuÄ?uju Konsultativnu grupu za meÄ‘unarodno istraživanje Evaluacija kompleksnih intervencija 429 u poljoprivredi, Program transporta i HIV/AIDS u Zapadnoj Africi, Globalno partnerstvo za vodu, Integrirani okvir za trgovinu i Ulaganje u lijekove za malariju. Svojstva GRPPs koja ih Ä?ine kompleksnim za evaluaciju ukljuÄ?uju sljedeće: • Priroda programa kao partnerstva ima dvije implikacije. Prva, razliÄ?ite perspe- ktive razliÄ?itih partnera treba uzeti u obzir. Drugo, efektivnost same upravne strukture treba evaluirati prema unutraÅ¡njim kriterijima koji se odnose na dobru praksu u partnerstvu i u smislu doprinosa rezultatima programa (pozi- tivnog ili negativnog); • Za razliku od projekata GRPPs nemaju fiksni vremenski okvir u kojem treba ostvariti ciljeve. Ustvari, ciljevi i strategije Ä?esto evoluiraju kako se finansi- ranje povećava (ili smanjuje), sastav donatora ili partnerstva se mijenja ili se mijenjaju vanjski uvjeti; • TroÅ¡kovi nastaju i korist se obraÄ?unava na razliÄ?itim nivoima (lokalnom, državnom i globalnom). Evaluacija efektivnosti treba razmotriti doprinos i meÄ‘uzavisnost meÄ‘u razliÄ?itim nivoima; ovo konstrukciju lanca rezultata Ä?ini kompleksnom i predstavlja problem agregacije rezultata; • Globalne i regionalne dimenzije javnih dobara GRPPs znaÄ?i da postoji razlika izmeÄ‘u troÅ¡kova i koristi nastalih na državnom i globalnom nivou. Ovo evalu- aciju efektivnosti troÅ¡kova Ä?ini kompleksnom i procjenu efektivnosti globalne državne koordinacije i povezanosti veoma bitnom; • Zbog otvorenog i dužeg vremenskog okvira od evaluatora se Ä?esto traži da razmotre napredak prema kompleksnim srednjoroÄ?nim strateÅ¡kim ciljevima, kao Å¡to su mobilizacija resursa usmjerena na postepeno povećavanje, prijenos na lokalne implementatore, nezavisnost od domaćih agencija, zatvaranje ili izlaz ili promijenjeni obrasci saradnje sa novonastalim globalnim programima. Uz dato rastuće uÄ?ešće Grupe Svjetske banke u GRPPs i njihove sve viÅ¡e važnosti u ostvarivanju globalnih održivih razvojnih rezultata u 2006. Nezavisna evaluaciona grupa Svjetske banke (IEG) pokrenula je dvije nove aktivnosti za podrÅ¡ku nastavka ispitivanja i poboljÅ¡anja njihovog uÄ?inka. Prvo, kao odgovor na zahtjev OECD/ DAC evaluacione mreže (uz podrÅ¡ku Evaluacione grupe Ujedinje- nih naroda (UNEG) i Evaluacione grupe kooperacije multilateralne Razvo- jne banke), IEG predvodi napore za razvoj principa konsenzusa i standarda za evaluaciju GRPPs. Prvi proizvod ovog rada bila je Knjiga izvora za evaluaciju programa globalnih i regionalnih partnerskih programa (World Bank 2007f ). Nastavljaju se radovi na istraživanju koje će doprinijeti objavljivanju pratećeg izvjeÅ¡taja koji će dati detaljnije smjernice i primjere. Drugo, IEG je poÄ?eo pregled nezavisnih evaluacija GRPPs u kojima je ukljuÄ?ena banka kako bi se procijenio kvalitet evaluacije i dale povratne informa- cije, pružila nezavisna procjena nalaza i preporuka i procijenio uÄ?inak banke 430 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije kao partnera. Sedam pregleda globalnih programa objavljeno je u javnosti, kao i nauÄ?ene lekcije. Evaluacija i pregled globalnog programa Ulaganje u lijekove za malariju MMV je primjer takvog pregleda. Uspostavljen 1999, MMV nastoji smanjiti teret malarije u zemljama gdje je oboljenje endemiÄ?no otkrivajući, razvijajući i opskrbljujući nove priuÅ¡tive antimalarijske lijekove kroz efektivno javno privatno partnerstvo. Kumulativni doprinos u 2006. je bio US$151 milion. Sekretarijat programa, koji je organiziran kao neprofitna organizacija prema Å¡vicarskom zakonu je u Ženevi, a njegov satelit postoji u New Delhiju. MMV upravni odbor se sastoji od 11 istaknutih pojedinaca iz industrije, akademije, Svjetske zdravstvene organizacije i Bill & Melinda Gates fondacije koja osigurava 60 procenata finansiranja. MMV donatori proveli su eksternu evaluaciju 2005. Odbor je saraÄ‘ivao sa evaluacijom iako je nije provodio. Evaluaciju je izvrÅ¡io tim od Ä?etiri Ä?lana, predvoÄ‘en istaknutim afriÄ?kim profesorom javnog zdravstva. Projektni zadatak tražio je upotrebu standardnih kriterija evaluacije sa evalua- cionim pitanjima koja su istraživala detaljnije aspekte specifiÄ?ne za GRPPs uopće i prirodu aktivnosti koje je finansirao MMV posebno. Sljedeća diskusija ilustrira kako se takvi kriteriji primjenjuju u kompleksnoj GRPP evaluaciji: Relevantnost. Postavljena su pitanja o relevantnosti ciljeva programa: je li posto- jao meÄ‘unarodni konsenzus o problemu koji se rjeÅ¡ava i potreba da ga program tretira? Evaluacija je ukazala na relevantnost programa za ostvarenje MDGa u prevenciji Å¡irenja prenosivih bolesti, Å¡to je takoÄ‘er globalno javno dobro. Evalu- aciona procjena relevantnosti je takoÄ‘er primijenjena na supsidijarni princip kriterija, koji kaže da program treba implementirati na Å¡to je viÅ¡e moguće lokal- nom nivou. Evaluacija je tražila da vidi osigurava li program usluge koje se ne mogu pružati na državnom ili lokalnom nivou? Zbog toga Å¡to se radi o glo- balnom javnom dobru evaluacija zakljuÄ?uje da je program zadovoljio princip supsidijarnosti. Evaluacija je razmatrala MMV vrijednost dodanu u odnosu na druge izvore snabdijevanja i usluga (uzimajući u obzir druge programe u vezi sa malarijom i Ä?isto privatni sektor razvojnih programa za lijekove). TakoÄ‘er je procijenjena relevantnost ciljeva programa za potrebe korisnika. Program je prosuÄ‘ivan rele- vantno prema ovom kriteriju, zato Å¡to se ne bavi samo razvojem lijeka nego takoÄ‘er i pitanjem opskrbe i dostupnosti. Evaluacija je takoÄ‘er postavila i sljedeća pitanja: Jesu li programska strategija i dizajn relevantni? Je li izbor intervencije relevantan i prikladan? Koji je bio geografski opseg i domet? Kako je koriÅ¡teno javno-privatno partnerstvo? Da li bi alternativni dizajn za voÄ‘enje strategije programa bio relevantniji? Evaluacija kompleksnih intervencija 431 Efektivnost (ostvarenje ciljeva). Evaluacija je ispitala ostvarene izlazne rezultate i ishode u odnosu na oÄ?ekivanja, kao i faktore koji su pomogli ili koÄ?ili ostva- renje ciljeva. Ovaj aspekt evaluacije je uveliko ovisan o kvalitetu okvira monito- ringa i evaluacija (MiE) i o prikupljanju podataka. Doprinos sljedećih faktora je procijenjen: • ukljuÄ?enje dionika; • efektivnost portfolio menadžmenta; • efektivnost menadžmenta javno-privatnog partnerstva; • upotreba nauÄ?nog pristupa; • efektivnost kljuÄ?nog pristupa proizvodu i • nenamjeravani ishodi. Efikasnost. Iako to nije eksplicitno odvojen kriterij u smislu referenci, evalu- atori su prepoznali važnost razmatranja oportunitetnih troÅ¡kova kao efikasnijeg sredstva vrÅ¡enja usluga. Analizirali su troÅ¡kove menadžmenta i administracije u odnosu na troÅ¡kove programa i trendove tokom vremena te ih poredili prema mjerilu kao Å¡to je troÅ¡ak razvoja lijekova za druge bolesti i troÅ¡kove procesa razvoja tipiÄ?nog proizvoda u velikoj privatnoj farmaceutskoj kompaniji. Upravljanje. Evaluacija je procijenila legitimnost MMV-ovog upravljanja posmatrajući zastupljenost endemiÄ?nih država u upravnom tijelu; upotrebu nauÄ?ne ekspertize, kao Å¡to su istraživaÄ?i iz Svjetske zdravstvene organizacije i endemiÄ?nih država; dokaz povjerenja meÄ‘u partnerima u kampanjama uspjeÅ¡ne mobilizacije resursa i reakcijama na evaluaciju. Evaluacija je takoÄ‘er procijenila efektivnost uprave u vrÅ¡enju sljedećih važnih funkcija: • postavljanje strategije (koliko dobro je upravna struktura informirala o novom naÄ?inu pristupa lijekovima na državnom nivou); • saradnja sa drugim agencijama koje imaju sliÄ?an mandat (evaluacija preporuÄ?uje viÅ¡e pažnje ovom aspektu) i • mobilizacija resursa (evaluacija preporuÄ?uje da se djeluje viÅ¡e proaktivno, da se pribave potrebni resursi i da se diverzificira podrÅ¡ka donatora). Održivost/srednjoroÄ?na strateÅ¡ka pitanja. Evaluacija je istražila hoće li koristi programa biti održive u trenutnim uvjetima, gdje se održivost posmatra u uvjetima potrebe finansiranja i neprekidnog zastupanja i podrÅ¡ke ciljevima. TakoÄ‘er je procijenila mogu li se napraviti neke promjene koje bi okolnosti uÄ?inile povo- ljnijim za održivost. (Treba li promijeniti razmjer programa? Mogu li odnosi sa drugim organizacijama biti efektivniji? Treba li razmotriti alternativno orga- nizaciono ili upravno ureÄ‘enje?) Evaluacija se takoÄ‘er bavila poboljÅ¡anjem MiE. 432 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Projektni zadatak nalagao je evaluatorima da testiraju Å¡ablon koji su postavili donatori za procjenu efektivnosti javno-privatnog partnerstva. Pored toga, evalu- atori su napravili preporuke za poboljÅ¡anje monitoringa za podrÅ¡ku budućih inici- jativa monitoringa i evaluacije. Metodologija evaluacije ukljuÄ?ivala je pregled dokumenata o programu, ekstenzivne intervjue sa dionicima na nivou programa i aktivnosti, opservacije sastanaka nauÄ?no-savjetodavnog odbora i posjete lokaci- jama u državi. Pregled globalnog programa procijenio je nezavisnost i kvalitet evaluacije. Razmotreno je ko je proveo evaluaciju i kako je evaluacijom upravljano s ciljem procijene stepena neovisnosti. Istraženo je da li je evaluacija pokrila sve aspekte rada prema projektnom zadatku. TakoÄ‘er je posmatran kvalitet evaluacije i njen konaÄ?ni utjecaj (stepen u kojem je menadžment programa implementirao prepo- ruke). Pregled je pružio nezavisnu procjenu nalaza evaluacije. PotvrÄ‘eno je da je postavljena Ä?vrsta osnova za naredne aktivnosti menadžmenta programa i banke. Pregled globalnog programa procijenio je uÄ?inak Svjetske banke kao partnera, razmotrivÅ¡i upotrebu sakupljanja snaga da se pomogne uspostava programa; naknadna finansijska podrÅ¡ka, koja je u poÄ?etku važna ali se tokom vremena smanjuje u odnosu na ostale donatore; i uÄ?ešće banke u prosuÄ‘ivanju upravnih tijela i odbora. Identificira pitanja koja se tiÄ?u uloge banke u programu za koji se smatra da bi se mogao pojaviti u budućnosti. Pregled sažetih lekcija iz evaluacije ukljuÄ?uje: one za sam program (potreba da se uspostavi prikladan okvir moni- toringa i evaluacije), lekcije koje se mogu primijeniti na druge GRPPs (potreba za efektivnom koordinacijom i konsultacijom sa drugim kljuÄ?nim akterima na globalnom i državnom nivou), i one primjenjive na druge instrumente pomoći (lekcije za projekte koji se oslanjaju na javno-privatno partnerstvo za pružanje usluga). Evaluacija kompleksnih intervencija 433 Sažetak Odnedavno evaluatori nastoje istražiti efekte mnogih intervencija sa konceptu- alnim fokusom na sektor, državu ili temu. Ovi pristupi pokuÅ¡avaju odrediti kako intervencije utjeÄ?u na Å¡iru sliku. Kompleksniji pristupi posmatraju viÅ¡e projekata, programa ili politika da identificiraju interakciju i naÄ?ine razmjene resursa. Takve evaluacije ukljuÄ?uju združene evaluacije, evaluacije državnih programa, evalu- acije sektorskih programa, tematske evaluacije i evaluacije globalnih i regiona- lnih partnerskih programa. 434 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Bibliografija i dodatna literatura ADB (Asian Development Bank). 2006a. Indonesia: Capacity Building Project in the Water Resources Sector. Project Performance Evaluation Report for Indonesia. http:// www.adb.org/Documents/PPERs/INO/26190-INO-PPER.pdf. ———. 2006b. Private Sector Development and Operations: Harnessing Synergies with the Public Sector. http://www.oecd.org/dataoecd/6/59/39519572.pdf. AfDB (African Development Bank). 2005. Morocco: Evaluation of Bank Assistance to the Education Sector. http://www.oecd.org/dataoecd/36/19/37968449.pdf. Bamberger, Michael. 2005. IPDET Handbook for Evaluating Gender Impacts of Devel- opment Policies and Programs. International Program for Development Evaluation Training, Ottawa. Bamberger, Michael, Mark Blackden, Lucia Fort, and Violeta Manoukian. 2001. “Integrating Gender into Poverty Reduction Strategies.â€? In The PRSP Sourcebook. 335–74. Washington, DC: World Bank. http://povlibrary.worldbank.org/files/4221_chap10.pdf. Breier, Horst. 2005. Joint Evaluations: Recent Experiences, Lessons Learned and Options for the Future. Draft report to the Development Assistance Committee Network on Development Evaluation, Organisation for Economic Co-operation and Development, Paris. Chen, Jhaoying, and Hans Slot. 2007. “Country-Led Joint Evaluation: Dutch ORET/ MILIEV Programme in China.â€? Presentation at the sixth meeting of the Development Assistance Committee Network on Development Evaluation, Paris, June. http://www.oecd.org/dataoecd/63/28/38851957.ppt. Compton, Donald W., M. Baizerman, and S. H. Stockdill, eds. 2002. The Art, Craft, and Science of Evaluation Capacity Building. New Directions for Evaluation 93 (Spring) (publication of the American Evaluation Association). Danish Ministry of Foreign Affairs. 1999. Evaluation Guidelines. 2nd ed. Copenhagen. http://www.um.dk/NR/rdonlyres/4C9ECE88-D0DA-4999-9893-371CB351C 04F/0/Evaluation_Guidelines_1999_revised.pdf. ———. 2006. Evaluation Guidelines. Copenhagen. ———. 2007. Joint External Evaluation: The Health Sector in Tanzania 1999–2006. http://www.oecd.org/dataoecd/53/46/39837890.pdf. Duursma, M. 2004. Child Labour in Scavenging, Tanzania, Dar es Salaam. Updated August 16, 2005. http://www.waste.nl/page/724. “Evaluation of the Implementation of the Paris Declaration. Synthesis Report.: 2008, 26. Freeman, Ted. 2007. “Joint Evaluations.â€? International Program for Development Evalu- ation Training (IPDET) presentation, Ottawa, June–July. Fullan, M. 1993. Change Forces. London: Falmer Press. GTZ (Gesellschaft für Technische Zusammenarbeit). 2004. National Monitoring of Sustainable Poverty Reduction Strategy Papers PRSPs. Eschborn, Germany. http:// Evaluacija kompleksnih intervencija 435 siteresources.worldbank.org/INTISPMA/Resources/Training-Events-and-Materials/ summary_MainReport.pdf. Heath, John, Patrick Grasso, and John Johnson. 2005. World Bank Country, Sector, and Project Evaluation Approaches. International Program for Development Evaluation Training (IPDET) presentation, Ottawa, July. House, Ernest R. Guiding Principles for Evaluators. 1995. New Directions for Program Evaluation No. 66. San Francisco: Jossey-Bass. IOM (International Organization for Migration). 2006. IOM Evaluation Guidelines. Office of the Inspector General. http://www.iom.int/jahia/webdav/site/myjahiasite/shared/shared/mainsite/about_iom/ eva_techref/Evaluation_Guidelines_2006_1.pdf. Johnson, John. 2007. “Confronting the Challenges of Country Assistance Evaluation.â€? International Program for Development Evaluation Training (IPDET) presentation, Carleton University, Ottawa, June 26–27. Kusek, Jody Zall, and Ray C. Rist. 2004. Ten Steps to a Results-Based Monitoring and Evaluation System. World Bank, Washington, DC. http://www.oecd.org/dataoecd/23/27/35281194.pdf. Mackay, Keith. 1999. Evaluation Capacity Development: a Diagnostic Guide and Action Framework. ECD Working Paper 6 (January), World Washington, DC. http:// lnweb18.worldbank.org/oed/oeddoclib.nsf/a4dd58e444f7c61185256808006a0008/7f2 c924e183380c5852567fc00556470?OpenDocument. ———. 2006. Institutionalization of Monitoring and Evaluation Systems to Improve Public Sector Management. World Bank, Independent Evaluation Group, Washing- ton, DC. http://siteresources.worldbank.org/INTISPMA/Resources/ecd_15.pdf. ———. 2007. How to Build M&E Systems to Support Better Government. World Bank, Washington, DC. http://www.worldbank.org/ieg/ecd/docs/How_to_build_ME_gov.pdf. Mertens, D. M. 1994. “Training Evaluators: Unique Skills and Knowledge.â€? New Direc- tions for Program Evaluation 62: 17–27. MLB (Multilateral Development Bank), EC (Evaluation Cooperative Group), and WGEC (Working Group on Evaluation Criteria and Ratings for Public Sector Evalu- ation). 2003. Good Practice Standards for Evaluation of MDB Supported Public Sector Operations. http://www.ifc.org/ifcext/oeg.nsf/AttachmentsByTitle/MDB-ECG/US$FILE/MDB- ECG_Good-Practice.pdf. OECD (Organisation for Economic Co-operation and Development). 1999. “Evaluat- ing Country Programmes,â€? Development Assistance Committee, Vienna Workshop, March 11–12. http://www.oecd.org/dataoecd/41/58/35340748.pdf. ———. 2002. OECD Glossary of Key Terms in Evaluation and Results Based Manage- ment. Development Assistance Committee, Paris. ———. 2005. Workshop on “Challenging the Conventional Wisdom: The View from Developing Country Partners,â€? Network on Development Evaluations, Development Assistance Committee, Nairobi, April 20–21. http://www.oecd.org/dataoecd/20/44/34981186.pdf. 436 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije ———. 2006. DAC Evaluation Series: Guidance for Managing Joint Evaluations. Devel- opment Assistance Committee, Paris. http://www.oecd.org/dataoecd/29/28/37512030.pdf. Porteous, Nancy L., Barbara J. Sheldrick, and Paula J. Stewart. 1999. “Enhancing Managers’ Evaluation Capacity: A Case Study for Ontario Public Heath.â€? Canadian Journal of Program Evaluation. Special Issue: 137–54. http://www.phac-aspc.gc.ca/php-psp/pdf/toolkit/enhancing_managers_ evaluation%20_capacity%20_CJPE_1999.pdf. UNFPA (United Nations Population Fund). 2005. State of World Population 2005.http:// www.unfpa.org/swp/2005/english/notes/index.htm. WASTE. 2005. Thematic Evaluation on Child Labour in Scavenging Africa, Asia, and Europe Assessment. Gouda, the Netherlands. http://www.waste.nl/page/720. World Bank. 2001a. Design Paper for a Multipartner Evaluation of the Comprehensive Development Framework. Comprehensive Development Framework Secretariat, Washington, DC. http://www.worldbank.org/evaluation/cdf/cdf_evaluation_design_paper.pdf. ———. 2001b. Engendering Development—through Gender Equality in Rights, Resources and Voice. Washington, DC: World Bank. ———. 2001c. The PRSP Sourcebook. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/ EXTPRS/0,,menuPK:384207~pagePK:149018~piPK:149093~theSitePK:384201,00 .html. ———. 2005. Evaluation of World Bank’s Assistance to Primary Education. Operations Evaluation Department, Washington, DC. http://www.worldbank.org/oed/education/evaluation_design.html. ———. 2007a. Country Assistance Evaluation: CAE Retrospective. Independent Evalua- tion Group, Washington, DC. http://www.worldbank.org/ieg/countries/cae/featured/cae_retrospective.html. ———.2007b. Global Program Review: Medicines for Malaria Venture. Independent Evaluation Group, Washington, DC. http://lnweb18.worldbank.org/oed/oeddoclib.nsf/24cc3bb1f94ae11c85256808006a00 46/d591aea3bbb897de852573130077a0cb?OpenDocument. ———. 2007c. Impact Evaluations: Bangladesh Maternal and Child Health. Indepen- dent Evaluation Group, Washington, DC. http://www.worldbank.org/oed/ie/bangladesh_ie.html. ———. 2007d. Poverty Monitoring Systems. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/ EXTPAME/0,,contentMDK:20203848~menuPK:435494~pagePK:148956~piPK: 216618~theSitePK:384263,00.html. ———. 2007e. PRSP Sourcebook. Washington, DC. http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/ EXTPRS/0,,contentMDK:20175742~pagePK:210058~piPK:210062~theSitePK: 384201,00.html. ———. 2007f. Sourcebook for Evaluating Global and Regional Partnership Programs: Indicative Principles and Standards. Independent Evaluation Group, Washington, Evaluacija kompleksnih intervencija 437 DC. http://siteresources.worldbank.org/EXTGLOREGPARPRO/Resources/sourcebook. pdf. ———. 2008. CAE Methodology. Independent Evaluation Group, Washington, DC. http://web.worldbank.org/WBSITE/EXTERNAL/EXTOED/EXTCOUASSEVA/ 0,,contentMDK:21107046~menuPK:3098030~pagePK:64168445~piPK:64168309~t heSitePK:2832047,00.html. Web stranice International Labour Organization. http://www.ilo.org. Stufflebeam, D. L. 1999. Evaluation Plans and Operations Checklist. http://www .wmich.edu/evalctr/checklists/plans_operations.htm. ———. 2001. Guiding Principles Checklist. http://www.wmich.edu/evalctr/checklists/ guiding_principles.pdf. World Bank. ADePT: Stata Software Platform for Automated Economic Analysis. http:// econ.worldbank.org/programs/poverty/adept. ———. Core Welfare Indicators Questionnaire (CWIQ). http://www4.worldbank.org/afr/ stats/cwiq.cfm. ———. Global and Regional Partnership Programs. http://www.worldbank.org/ieg/grpp. 438 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije RUKOVOÄ?ENJE “ Akcija treba kulminirati mudrošću“ —BHAGAVAD GITA Poglavlje 12: Upravljanje evaluacijom • Upravljanje matricom dizajna • Dodjeljivanje evaluacije • Uloge i odgovornosti razliÄ?itih aktera • Upravljanje ljudima, zadacima i budžetom Poglavlje 13: Prezentiranje rezultata • Osnovi komunikacije • Pisanje evaluacijskog izvjeÅ¡taja za vaÅ¡u publiku • Upotreba vizuelnih informacija • Pravljenje oralnih prezentacija Poglavlje 14: Usmjeravanje evaluatora: Evaluaciona etika, politika, standardi i vodeća naÄ?ela • EtiÄ?no ponaÅ¡anje; • Politika i evaluacija i • Evaluacioni standardi i vodeća naÄ?ela POGLAVLJE 12 Upravljanje evaluacijom Evaluacija može biti komplikovan poduhvat, može biti izazovno voditi raÄ?una da svi rade svoj posao, zadovoljiti rokove i vrÅ¡iti visoko- kvalitetan posao. U ovom poglavlju razmatramo naÄ?ine na koje evalua- tor može planirati, upravljati, zadovoljiti standarde kvaliteta i razmijeniti rezultate tako da kreatori politike koriste te evaluacije da bi utjecali na promjenu. Ovo poglavlje ima Ä?etiri glavna dijela: • Upravljanje matricom dizajna • Dodjeljivanje evaluacije • Uloge i odgovornosti razliÄ?itih aktera • Upravljanje ljudima, zadacima i budžetom 441 Upravljanje matricom dizajna KljuÄ? uspjeÅ¡ne razvojne evaluacije je planiranje. Ako je evaluacija slabo plani- rana, nema joj spasa bez obzira koliko je kasnije analizirali i koliko je ta analiza sofisticirana. Prema kineskoj poslovici: „Čak i putovanje od hiljadu milja mora poÄ?eti prvim korakom“. Vjerovatnoća da će se dospjeti na odrediÅ¡te je puno veća ako prvi korak i naredni koraci putnika vode u pravom smjeru. Lutati okolo bez jasnog smisla i svrhe ili pravca uzima vrijeme, energiju, i resurse ne samo putniku nego i evaluatoru. TakoÄ‘er se umanjuje mogućnost da se uopće stigne na cilj. Stoga je mudro pripremiti se za putovanje, pribaviti neophodne mape, prouÄ?iti alternativne rute; procijeniti vrijeme; troÅ¡kove i opasnosti na koje se može naići. Kao Å¡to smo vidjeli u prethodnim poglavljima, matrica evaluacionog dizajna je vizuelni naÄ?in mapiranja evaluacije. Fokusira se na svaku od glavnih kompo- nenti u dizajniranju evaluacije. Å ablon matrice nije neÅ¡to Å¡to je uklesano u kamen, može se prilagoÄ‘avati da na najbolji naÄ?in odgovara potrebama evalu- acije. Kao i svaki plan, proći će kroz iterativni proces ažuriranja i revizija. Kako prikupljamo nove informacije, bit će potrebno revizirati neke ideje i pristupe. Dobra matrica dizajna evaluacije nije sve Å¡to nam je potrebno da provedemo dobru evaluaciju. Najbolji dizajni mogu rezultirati evaluacijom niskog kvaliteta ako je, na primjer, pokuÅ¡aju implementirati ljudi bez potrebnih vjeÅ¡tina i ako se evaluacija obavi prekasno da bi utjecala na kritiÄ?ne odluke ili ako budžet istekne tokom prikupljanja podataka. Dodjeljivanje evaluacije Menadžer evaluacije je odgovoran za identifikaciju i popunjavanje praznina u vjeÅ¡tinama kod osoblja dostupnog za evaluaciju. Potražnja za osobljem sa evalu- acionim vjeÅ¡tinama može biti velika, a ponuda mala. Iz tog razloga, razvojne evaluacije se Ä?esto dodjeljuju konsultantskim firmama ili pojedinaÄ?nim konsu- ltantima. Neke institucije, kao Å¡to je Evropska unija, većinu svojih evaluacija dodjeljuje specijalistima. Da bi se osiguralo da se objektivnost ne kompromituje, konsultanti ne bi trebali imati prethodno uÄ?ešće u programu koji se evaluira. KoriÅ¡tenje izvoÄ‘aÄ?a ima prednosti i nedostatke. Prednosti ukljuÄ?uju Ä?injenicu da izvoÄ‘aÄ? može imati veliko znanje o sektoru i vrsti programa koji se evaluira; može govoriti lokalnim jezikom i imati lokalno znanje; i ako se koristi konkurentni proces, može biti najisplativiji dostupni evaluator. Nedostaci ukljuÄ?uju Ä?injenicu da je dodjeljivanje posla nekome skupo (proces tendera može koÅ¡tati viÅ¡e nego sam ugovor) i znaÄ?iti da se unutarnji kapaciteti ne povećavaju. 442 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Zahtjevi za ponude Proces angažovanja konsultantske firme, a ponekad pojedinaÄ?nog konsultanta, obiÄ?no poÄ?inje razvojem zahtjeva za ponude (RFP). Zavisno o organizaciji i pravilima i procedurama ugovaranja, ugovor se može dodijeliti na osnovu jedi- nog izvora, upućivanjem poziva viÅ¡e izvoÄ‘aÄ?a, ili putem otvorenog nadmetanja. PobjedniÄ?ku ponudu može odabrati menadžer evaluacije ili imenovani panel koji pravi prijedloge na osnovu prethodno specificiranih kriterija. Hawkins (2005) sugeriÅ¡e da RFP ukljuÄ?uje sljedeće stavke: • svrhu evaluacije; â– â–  Zahtjev za • pozadinu i kontekst studije; ponudu: Poziv • uvjete kljuÄ?nih informacija; za uÄ?ešće u projektu • ciljeve evaluacije; • uvjete isporuke; • vremenski okvir; • kriterij za odabir tendera; • ugovorne detalje za projekt menadžera; • rok za ponude te • budžet i ostale resurse. Odabir pobjedniÄ?ke ponude treba uraditi panel u kojem uÄ?estvuju ljudi sa evaluacionim znanjem i iskustvom, poznavanjem podruÄ?ja programa, pozna- vanjem kulture, i vlasniÅ¡tva nalaza i njihove upotrebe. Ovaj panel treba odabrati ponudu koristeći kriterij u RFP. Treba voditi dobre biljeÅ¡ke kod procesa odabira. Hawkins savjetuje koriÅ¡tenje sljedećih kriterija za odabir konsultanta: • Je li RFP adekvatno obraÄ‘en? • Postoji li detaljno objaÅ¡njenje kako će evaluacija biti implementirana? • Koje strategije komunikacije i izvjeÅ¡tavanja se predlažu? • Postoji li dokaz o kompetenciji? Postoji li zapis o dostignućima? • Koji su troÅ¡kovi? Jesu li detaljno specificirani? Kada se izvoÄ‘aÄ? odabere, menadžer evaluacije joÅ¡ uvijek ima odgovornost prema izvoÄ‘aÄ?u i evaluaciji. To ukljuÄ?uje sljedeće: • održavanje jasnih ciljeva; • održavanje vlasniÅ¡tva studije; • monitoring rada i pružanje pravovremenih povratnih informacija; • donoÅ¡enje odluka - pravovremenih i • biti otvoren za pregovore sa izvoÄ‘aÄ?em ako su potrebne izmjene ugovora. Upravljanje evaluacijom 443 Projektni zadatak Projektni zadatak (TOR) je izjava o pozadini, ciljevima, svrsi evaluacije, pojedinaÄ?nim obavezama i odgovornostima Ä?lanova evaluacijskog tima te roko- vima dostave. Projektni zadatak obiÄ?no opisuje cjelokupnu evaluaciju i usposta- vlja poÄ?etne sporazume. To može biti sporazum izmeÄ‘u klijenta i menadžera evaluacije, menadžera evaluacije i izvoÄ‘aÄ?a, ili menadžera evaluacije i osoblja evaluacije. Svi Ä?lanovi evaluacionog tima trebaju imati jasno, pisano razumi- jevanje njihovih odreÄ‘enih odgovornosti za evaluaciju, koje je obiÄ?no napisano kao projektni zadatak. Projektni zadatak realistiÄ?no definira Å¡ta treba uraditi u defniranom vremen- skom periodu. â– â–  Projektni Projektni zadatak može ukljuÄ?iti matricu dizajna, ili razvoj matrice dizajna zadatak može biti jedna od prvih isporuka. TakoÄ‘er može odslikavati sporazume o etici i (TOR): Izjava standardima u provoÄ‘enju i izvjeÅ¡tavanju evaluacije (vidjeti Poglavlje 14 disku- o pozadini, ciljevima, i svrsi sija o etici i standardima). evaluacije; Proces razvoja cjelokupnog projektnog zadatka može biti koristan u osigura- pojedinaÄ?ne vanju ukljuÄ?enja dionika u diskusiju i donoÅ¡enje odluka o tome koja evaluaciona obaveze i pitanja bi trebalo obraditi. Projektni zadatak uspostavlja osnovne smjernice, tako odgovornosti da svi ukljuÄ?eni razumiju oÄ?ekivanja za evaluaciju (Tekstualni okvir 12.1). Ä?lanova Prema Glosaru kljuÄ?nih termina u evaluaciji i menadžmentu zasnovanom na evaluacionog tima; i rokovi rezultatima (OECD 2002), projektni zadatak za evaluaciju je pisani dokument dostave koji predstavlja: • svrhu i djelokrug evaluacije; • metode koji će se koristiti; • standard prema kojem će se procjenjivati uÄ?inak i vrÅ¡iti analize; • dodijeljeno vrijeme i resurse i • uvjete izvjeÅ¡tavanja. 444 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 12.1 Savjeti za pisanje projektnih zadataka za evaluaciju Sljedeći savjeti mogu koristiti pri pisanju projektnog zadatka za evaluaciju: • Jasno navesti ciljeve evaluacije i identificirati sljedeće: - opće teme i preliminarna evaluaciona pitanja koja treba obraditi, - kljuÄ?ne dionike i upotrebu evaluacije koju oni oÄ?ekuju, - okvirni evaluacioni pristup koji treba usvojiti, - oÄ?ekivane proizvode iz evaluacije, do kada svaku potrebu treba dostaviti i kada će se svaka koristiti, - potrebna struÄ?nost Ä?lanova evaluacionog tima, - logistiÄ?ko ureÄ‘enje. • Ne navoditi ciljeve jednostavno u tehniÄ?kim ili procesnim terminima. Razjasniti kako se oÄ?ekuje da će evaluacija pomoći organizaciji; • Fokusirati se na preliminarna pitanja koja treba obraditi; • Izbjegavati odabir previÅ¡e pitanja. Bolje je da evaluacija istraži nekoliko tema detaljno nego da povrÅ¡no posmatra Å¡irok raspon tema. Izvor: prilagoÄ‘eno iz UNDP 2006. Projektni zadatak obiÄ?no ukljuÄ?uje sljedeće: • kratak opisan naslov; • opis projekta ili programa; • razloge i oÄ?ekivanja evaluacije; • izjavu o djelokrugu i fokusu evaluacije (teme koje treba obraditi, pitanja na koja treba odgovoriti); • identifikacija ukljuÄ?enja dionika (ko će biti ukljuÄ?en, ko će Å¡ta raditi, proces odgovornosti); • opis procesa evaluacije (Å¡ta će se uraditi); • lista dostavljanja (plan rada evaluacije, privremeni izvjeÅ¡taj, konaÄ?ni izvjeÅ¡taj, prezentacija); • identifikaciju neophodnih kvalifikacija (obrazovanje, iskustvo, vjeÅ¡tine, i potrebne sposobnosti) i • procjena troÅ¡kova, na osnovu aktivnosti, vremena, broja ljudi, struÄ?nih naknada, putovanja, i svih drugih troÅ¡kova. Projektni zadatak se piÅ¡e kao dodatak, a ne umjesto, matrice dizajna evalu- acije. Projektni zadatak se fokusira na odgovornosti. Matrica dizajna je plan za provoÄ‘enje evaluacije. Upravljanje evaluacijom 445 Uloge i odgovornosti razliÄ?itih aktera Mnogi ljudi rade na evaluaciji. Imaju razliÄ?ite kapacitete, uloge i odgovornosti. KljuÄ?ne uloge su one koje imaju klijent (tražitelj), dionici, menadžer evaluacije i evaluator (ugovorni evaluator ili evaluator Ä?lan osoblja). Angažovani ljudi sa ograniÄ?enim ulogama i odgovornostima ukljuÄ?uju analitiÄ?are podataka, savje- tnike, struÄ?ni nadzor i one koji prikupljaju podatke. Uloge i odgovornosti svih ukljuÄ?enih u evaluaciju treba jasno definirati i usaglasiti. Glavni klijent Evaluacija može imati mnoge dionike, ali obiÄ?no ima samo jednog glavnog kli- jenta koji zahtijeva i obiÄ?no finansira evaluaciju. OdreÄ‘ena pitanja koja klijent traži da se obrade, upotreba evaluacije koju je planirao klijent i odgovarajuće vremenske implikacije, obiÄ?no uokviruju evaluaciju. Evaluatori se podstiÄ?u da se Å¡to ranije sretnu sa klijentom da diskutuju o sljedećim temama: • priroda i kontekst zahtjeva; • potreba, tema, ili interesi koji vode do evaluacionog zahtjeva; • kritiÄ?no vrijeme potrebno za evaluaciju nalaza; • pitanja od glavne važnosti koje evaluacija treba obraditi i • raspored i frekvencija komunikacije. Scriven (2007) u KljuÄ?noj listi provjere evaluacije opisuje važnost sastanka sa klijentom prije poÄ?etka evaluacije da bi se identificirali detalji zahtjeva onako kako ih klijent vidi ili da se klijent podstakne da razjasni miÅ¡ljenje o detaljima. Scriven sugeriÅ¡e postavljanje pitanja kao Å¡to su sljedeća: • Å ta taÄ?no treba evaluirati? • Koliko konteksta treba ukljuÄ?iti? • Evaluira li evaluator efekte programa u cjelini ili doprinos svake od njegovih komponenti? Evaluira li teoriju klijenta o tome kako komponente rade? • Treba li evaluacija razmotriti utjecaj u svim relevantnim pogledima ili samo u nekim pogledima? • Hoće li evaluacija biti formativna, sumativna, i/ili opisna? Kao Å¡to smo vidjeli u Poglavlju 4, evaluacioni tim upravlja odnosom sa glavnim klijentom i djelomiÄ?no razvojem plana komunikacije. Plan komunikacije pomaže evaluatoru da radi sa klijentom, kao i sa kljuÄ?nim dionicima, medijima i javnosti. Definira: zaÅ¡to, Å¡ta, gdje i kako za davanje i 446 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije primanje informacija. Uspostavlja plan komunikacije, koji obiÄ?no ukljuÄ?uje razliÄ?ite medije za razliÄ?itu publiku. Uspostava plana komunikacije je posebno važna ako evaluacija ukljuÄ?uje osjetljive informacije. Evaluator Ä?esto zamiÅ¡lja komunikaciju kao neÅ¡to Å¡to se dogaÄ‘a na kraju procesa, kada je izvjeÅ¡taj uraÄ‘en. Ustvari, komunikacija i razvoj strategije komunikacije se treba obraditi na poÄ?etku i doraÄ‘ivati kroz proces. Komuni- kaciju treba koristiti za izgradnju podrÅ¡ke evaluaciji, poboljÅ¡anje evaluacije i njene metodologije, i promociju upotrebe nalaza. Dionici Kako je definirano u Poglavlju 4, dionici su ljudi i organizacije koji nisu klijent, a imaju ulog u intervenciji. ObiÄ?no, oni su ti koje intervencija pogaÄ‘a, bilo da je to tokom djelovanja intervencije ili u godinama nakon intervencije. Dionici mogu biti unutar ili izvan organizacije. Njihova uloga u evaluaciji se može kretati od identifikacije pitanja za evaluaciju do pružanja podataka. U participativnim evaluacijama, dionici mogu preuzeti odgovornosti na raznim nivoima za evaluaciju. Takve evaluacije mogu ukljuÄ?iti odabrane dio- nike kao dio evaluacionog tima, ukljuÄ?ujući ih u pitanja razvoja, prikupljanje podataka i u analizu. Dionici će prije podržati evaluaciju i djelovati prema rezultatima i preporukama ako su ukljuÄ?eni u proces evaluacije. (Za diskusiju o participativnim evaluacijama, vidjeti Poglavlje 5.) Evaluacija se može koristiti da se ukljuÄ?e kritiÄ?ari projekta, programa ili politike koja se evaluira u evaluaciji. Do stepena u kom mogu identificirati teme koje su važne za evaluaciju (i mogu stvarno diskreditirati evaluaciju ako se ne obrade), uÄ?ešće kritiÄ?ara jaÄ?a proces evaluacije (CDC 2001). Knjiga izvora uÄ?ešća Svjetske banke pruža korisna uputstva o ukljuÄ?ivanju dionika koja su osobito relevantna za participativne evaluacije (World Bank 1996). Kada su dionici identificirani, treba ih angažovati. Evaluatori traže da rade sa dionicima kroz razne pristupe. Specijalne mjere su Ä?esto potrebne kako bi se osiguralo da se Ä?uje glas grupe koja je normalno iskljuÄ?ena iz procesa donoÅ¡enja odluka. Da bi se ovo ostvarilo, evaluatori prvo trebaju organizirati „bezglasno“, ureÄ‘enje predstavljanja, održati participativne sesije sa njima i koristiti tehnike koje će omogućiti da se Ä?uje glas dionika sa svih nivoa. Mnogim dionicima stranac, koji nudi „participativnu evaluaciju“, može biti sumnjiv. Iskustvo sa javnim agencijama, javnim službenicima i dona- torskim projektima može kreirati negativne impresije koje treba ispravljati. Povjerenje se može izgraditi razmjenom informacija radeći preko posrednika, tako Å¡to se poÄ?ne rano i u punom obimu. Jedan naÄ?in izgradnje povjerenja je razmjena informacija o tome Å¡ta se evaluacijom namjerava. Evaluatori ovo Upravljanje evaluacijom 447 mogu uraditi kroz pojedinaÄ?ne sastanke ili sa velikim grupama kao Å¡to su gradski sastanci. Tokom ovih sastanaka, evaluatori mogu razmijeniti informacije o tome „zaÅ¡to i kako evaluacija“. UÄ?esnici na sastancima imaju mogućnost izra- ziti svoja oÄ?ekivanja i bojazni. Ako je evaluacija participativna, kada se uspostavi povjerenje, uÄ?esnike možemo pozvati da formiraju vlastite odbore koji će raditi na evaluaciji. Postavljanje pristupnih dokumenata na web stranice i poziv za postavljanje komentara je naÄ?in otvaranja komunikacije sa akademskom i istraživaÄ?kom zajednicom, nevladinim organizacijama (NVO) i zainteresiranim graÄ‘anima. Naravno, ovo se mora uraditi kada se novi ulazni elementi joÅ¡ uvijek mogu razmatrati i napraviti revizije. Najefektivnije je kada evaluatori postavljaju odgovore sažimajući komentare i preduzete aktivnosti (ili razloge za nepri- hvatanje sugestija). U nekim prilikama, nepovjerenje je toliko da je potrebno ukljuÄ?iti posre- dnike da premoste prazninu izmeÄ‘u evaluatora i dionika. U takvim sluÄ?ajevima, strana koju dionici poÅ¡tuju može biti u mogućnosti iskoristiti svoju poziciju da spoji evaluatore i dionike. Evaluatori takoÄ‘er trebaju posjetiti dionike, posebno kada su direktno pogoÄ‘eni intervencijom, zatim se mogu predstaviti i pitati dionike jesu li Ä?uli za evaluaciju i Å¡ta misle o njoj. Ove neformalne povratne informacije se mogu porediti sa onim Å¡to evaluator Ä?uje kroz druge kanale. Služi kao naÄ?in verifi- kacije konzistentnosti i provjere pristrasnosti. Kada se da glas dionicima u dizajniranju kolektivne evaluacije, povećavaju se Å¡anse rjeÅ¡avanja razlika i postizanje konsenzusa o temama. Rano ukljuÄ?ivanje dionika tako može biti mjera za izbjegavanje konflikta. Za one koji u dizajnu evaluacije vide liÄ?ni gubitak jedini mogući stav može biti protivljenje, a Å¡to je gubitak veći, jaÄ?e će biti protivljenje. Kada se opozicija mobilizira, teÅ¡ko je – ako ne i nemoguće – razrijeÅ¡iti spor. 448 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Menadžer evaluacije Menadžer evaluacije je osoba koja upravlja dizajnom, pripremom, imple- â– â–  Menadžer mentacijom, analizom, izvjeÅ¡tavanjem, diseminacijom i praćenjem evaluacije. evaluacije: Menadžer može upravljati sa nekoliko evaluacija u isto vrijeme. U nekim Osoba koja upravlja sluÄ?ajevima evaluator će i upravljati i provoditi evaluaciju. dizajnom, Odgovornosti menadžera evaluacije se mogu grupirati u tri faze: pripremom, priprema, implementacija i praćenje (UNFPA 2007). Priprema ukljuÄ?uje pre- implementaci- thodni posao definiranja evaluacije i razvoj RFP-a, projektnog zadatka i razvoj jom, analizom, matrice dizajna evaluacije te bavljenje logistikom. Od menadžera zahtijeva da izvjeÅ¡tavanjem, uradi sljedeće: diseminacijom i praćenjem • Odrediti svrhu i identificirati korisnike rezultata evaluacije; evaluacije • Odrediti ko treba biti ukljuÄ?en u proces evaluacije; • Sresti se sa kljuÄ?nim dionicima; • Definirati djelokrug, pristup, matricu dizajna evaluacije, kao i ukljuÄ?iti pitanja; • Izraditi nacrt projektnog zadatka i odrediti vremenski okvir za evaluaciju; • Identificirati mjeÅ¡avinu vjeÅ¡tina i iskustava potrebnih da se provede evaluacija; • Pratiti razvoj i prethodno testiranje instrumenata prikupljanja podataka i pratiti prikupljanje postojećih informacija. Koristiti selektivnost i osigurati da su postojeći izvori informacija pouzdani i dovoljno kvalitetni da mogu dati znaÄ?ajne evaluacione rezultate – prikupljene informacije trebaju biti obradive; • Odabrati, angažirati i upoznati evaluatore sa svrhom evaluacije, matricom i planom rada, a zatim ih po potrebi obuÄ?iti; • Osigurati da se potrebna dokumentacija/materijali prikupe i dostave dovoljno prije izvoÄ‘enja evaluacije tako da evaluacioni tim ima vremena klasificirati materijal; • VrÅ¡iti nadzor plana terenskih posjeta; • Osigurati dostupnost sredstava za izvrÅ¡enje evaluacije. Implementacija je stvarno provoÄ‘enje evaluacije, ukljuÄ?ujući analizu, izradu nacrta i izvjeÅ¡tavanje. Od menadžera zahtijeva da uradi sljedeće: • Osigura da evaluatori imaju potpuni pristup fajlovima, izvjeÅ¡tajima, publikaci- jama i svim drugim relevantnim informacijama; • Prati napredak evaluacije – pruži povratne informacije i usmjerava evaluatore tokom svih faza implementacije; • Procijeni kvalitet izvjeÅ¡taja evaluacije i diskutira o snazi i ograniÄ?enjima sa evaluatorima da osigura da nacrt izvjeÅ¡taja zadovoljava projektni zadatak, da su nalazi evaluacije odbranjivi, a preporuke realne; • Organizuje sastanak sa evaluatorima i kljuÄ?nim dionicima na kom se diskutira i komentira o nacrtu projekta; Upravljanje evaluacijom 449 • Odobri krajnji proizvod i osigura prezentaciju evaluacionih rezultata dionicima. Finalna faza, praćenje, odnosi se na procjenu uÄ?inka, diseminaciju rezu- ltata, praćenje preporuka i provoÄ‘enje obdukcije. Tokom ove faze, odgovornosti menadžera ukljuÄ?uju sljedeće: • Evaluaciju uÄ?inka evaluatora i pohranjivanje u bazu; • Diseminaciju rezultata evaluacije kljuÄ?nim dionicima i drugoj publici; • Promoviranje implementacije preporuka i upotrebu evaluacionih rezultata u trenutnom i budućem programiranju, promovirati redovni monitoring kako bi se osiguralo djelovanje prema preporukama; • Predvodi tim pri pregledu u kom se identificira Å¡ta je bilo dobro i Å¡ta treba ponoviti i Å¡ta se moglo uraditi drugaÄ?ije. Tokom sve tri ove faze menadžer evaluacije može biti medijator tokom sasta- naka tima omogućavajući svim uÄ?esnicima da razmijene stavove i ideje. Kao medijator, menadžer je odgovoran za: • postavljanje dnevnog reda; • pomoć da se grupa drži dnevnog reda; • osiguranje da se svi stavovi Ä?uju i • nadgledanje procesa za donoÅ¡enje odluka (konsenzusa ili procesa glasanja). Evaluator Evaluatori su ljudi koji vrÅ¡e glavni posao u evaluaciji. Broj evaluatora ovisi o veliÄ?ini i djelokrugu evaluacije, budžetu i broju dostupnih ljudi. Razvojni program Ujedinjenih naroda (UNDP 2006) identificira sljedeće kara- kteristike dobrog evaluatora: • ekspertiza u odreÄ‘enom polju; • poznavanje kljuÄ?nih razvojnih pitanja, posebno onih koja se odnose na glavne ciljeve ili onih koji se odnose na mogućnost da se vidi „šira slika“; • poznavanje poslovanja organizacije i naÄ?ina na koji se posao obavlja; • evaluacijske vjeÅ¡tine dizajniranja, prikupljanja podataka, analize podataka i pripreme izvjeÅ¡taja i • vjeÅ¡tine koriÅ¡tenje informacionih tehnologija. Populacioni fond Ujedinjenih naroda (UNFPA 2007) identificira potencijalne odgovornosti evaluatora: • Osigurava ulazne elemente potrebne za evaluacioni dizajn, doraÄ‘uje i odreÄ‘uje evaluacione ciljeve i pitanja; • Provodi evaluaciju; 450 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • Pregleda informacije/dokumentaciju; • Dizajnira/doraÄ‘uje instrumente za prikupljanje dodatnih informacija po potrebi, provodi ili koordinira prikupljanje dodatnih informacija; • Obavlja posjete lokacijama, provodi intervjue; • U participativnim evaluacijama omogućava uÄ?ešće dionika; • Osigurava redovno izvjeÅ¡tavanje/brifiranje menadžeru evaluacije; • Analizira i spaja informacije, interpretira nalaze, razvija i diskutira o zakljuÄ?cima i preporukama te izvlaÄ?i nauÄ?ene lekcije; • UÄ?estvuje u diskusijama o nacrtu izvjeÅ¡taja evaluacije, ispravlja ili popravlja Ä?injeniÄ?ne greÅ¡ke ili pogreÅ¡ne interpretacije; • Vodi osvrte/diskusije da omogući prezentaciju nalaza evaluacije na seminarima/ radionicama; • Finalizuje izvjeÅ¡taj evaluacije i priprema prezentaciju rezultata evaluacije. Mnoge organizacije nastoje uspostaviti kriterij profesionalne konkurencije za pojedince koji se ukljuÄ?uju u evaluaciju. U toku su takoÄ‘er diskusije za uspostavu certificiranja evaluatora. (Kompetencija i certifikacija evaluatora je obraÄ‘ena u Poglavlju 15.) Upravljanje ljudima, zadacima i budžetom VrÅ¡ena su mnoga poreÄ‘enja u opisu upravljanja projektom. Neka porede upra- vljanje projektom sa žongliranjem, zato Å¡to projekt menadžer mora pratiti mnogo stvari u isto vrijeme (ljude, zadatke, vrijeme, budžet, kvalitet). Druga opet porede projekt menadžment sa dirigovanjem orkestrom, zato Å¡to menadžer stoji na odsto- janju i upravlja mnogim komponentama ljudi sa razliÄ?itim vjeÅ¡tinama. Upravljanje ljudima Osigurati da evaluacioni tim radi dobro i timski zahtijeva razne vjeÅ¡tine. U ovom dijelu opisana su rjeÅ¡avanja konflikata i izgradnja timskih vjeÅ¡tina kojima menadžer mora ovladati. Menadžeri takoÄ‘er trebaju upravljati strahom „vlasnika“ programa. Neke ljude može brinuti da će se evaluacija fokusirati na negativno, a to je ono Å¡to privlaÄ?i pažnju. Mogu strahovati da će neki negativni nalazi evaluacije biti Å¡tetni za program koji je uglavnom dobar. Može postojati strah da će nedostatak utjecaja programa, koje je teÅ¡ko mjeriti, rezultirati pogreÅ¡nim zakljuÄ?cima da je program neefektivan, Å¡to dovodi do negativnih posljedica po njegovo finansiranje. NaÄ?in na koji evaluatori mogu rijeÅ¡iti pitanje straha vlasnika programa od evaluacije je taj Å¡to će ih ukljuÄ?iti u identifikaciju pitanja koja bi evaluacija Upravljanje evaluacijom 451 obraÄ‘ivala. Evaluatori im takoÄ‘er trebaju pružiti priliku da pregledaju planove rada evaluacije, nalaze i preporuke. VjeÅ¡tine rjeÅ¡avanja konflikta Konflikt se Ä?esto javlja meÄ‘u ljudima koji rade u grupama. Dvije najpotre- bnije vjeÅ¡tine u rjeÅ¡avanju konflikta su vjeÅ¡tina komunikacije i vjeÅ¡tina sluÅ¡anja. Važna vjeÅ¡tina komunikacije ukljuÄ?uje koriÅ¡tenje „ja“ izjava, umjesto „ti“ jezika. VjeÅ¡tina sluÅ¡anja ukljuÄ?uje potvrdu da je sluÅ¡alac ispravno razumio govornika („Čujem da ti priÄ?aÅ¡... Je li to taÄ?no?“). Ne moraju svi konflikti zavrÅ¡iti sa pobjednikom i gubitnikom. Većina konstruktivnih konflikata zavrÅ¡ava „pobjedom“ svih strana (Tekstualni okvir 12.2). Tekstualni okvir 12.2 Savjeti za rjeÅ¡avanje konflikta Menadžeri mogu pomoći da se konflikt rijeÅ¡i na razne naÄ?ine: • Sakupiti one koji su u konfliktu na sastanak. Omogućiti svakoj strani da ukratko sažme svoju taÄ?ku glediÅ¡ta, bez prekidanja. Ako jedna osoba ne dozvoljava drugoj da zavrÅ¡i ili poÄ?ne kritikovati, potrebno ju je zaustaviti; • Omogućiti ljudima da iznesu svoja osjećanja. Tako se prijeÄ‘e dugi put ka smanjenju konflikta; • Pitati svaku osobu koja je ukljuÄ?ena da opiÅ¡e radnje koje bi željela da druga osoba preduzme; • SasluÅ¡ati obje strane. Upitati se postoji li bilo Å¡ta u radnoj situaciji Å¡to bi moglo uzrokovati ovaj konflikt. Ako postoji, razmotriti naÄ?in izmjene radne situacije da bi se konflikt rijeÅ¡io; • Ne stavljati se na strane. Podsjetiti uÄ?esnike na cilj evaluacije i nastojati pronaći naÄ?in da se obje strane pomognu u dostizanju cilja; • Tražiti od uÄ?esnika da rade na rjeÅ¡avanju spora. Omogućiti im da se i dalje sastaju da bi rijeÅ¡ili konflikt. Odrediti vrijeme za pregled napretka. 452 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije VjeÅ¡tine izgradnje tima Rad u timu zahtijeva razne vjeÅ¡tine. Ove vjeÅ¡tine ukljuÄ?uju sljedeće: • SluÅ¡anje: Ä?lanovi tima trebaju razviti i koristiti dobre vjeÅ¡tine aktivnog sluÅ¡anja. Ove vjeÅ¡tine mogu biti najvrjednije sredstvo tima; • Postavljanje pitanja: Ä?lanovi tima trebaju postavljati pitanja da razjasne i ela- boriraju ono Å¡to drugi imaju reći; • Uvjeravanje: Ä?lanovi tima trebaju razmjenjivati ideje, elaborirati, braniti, i promiÅ¡ljati o idejama; • PoÅ¡tivanje: Ä?lanovi tima trebaju poÅ¡tivati miÅ¡ljenja drugih i podsticati i podržavati njihove ideje i nastojanja; • Pomaganje: Ä?lanovi tima trebaju se meÄ‘usobno pomagati nudeći pomoć kada je potrebno. Upravljanje timom zahtijeva i neke dodatne vjeÅ¡tine (Tekstualni okvir 12.3). Razne tehnike se mogu koristiti da se dobije najviÅ¡e od tima. Razmjena ideja se koristi da se prikupe ideje od grupe ljudi u kratkom vremenu. Svaka â– â–  Razmjena osoba doprinosi idejom za evaluaciono pitanje, koje se piÅ¡e na prezentacijskoj ideja: Tehnika koja se koristi mapi. Jedna osoba iznosi ideju, druga osoba daje drugu ideju. Medijator kruži za prikupljanje po grupi sve dok se javljaju ideje. Osnovno pravilo je da se svaka ideja piÅ¡e na ideja od grupe prezentacijskoj mapi – nema loÅ¡ih ideja. Nema diskusije o idejama. Na ovaj ljudi u kratkom naÄ?in sve ideje se Ä?uju. Grupa u cjelini zatim poÄ?inje identificirati zajedniÄ?ke vremenu ideje i kreira se nova lista. Tekstualni okvir 12.3 Savjeti za poboljÅ¡anje timskog rada Sljedeći savjeti mogu pomoći menadžerima da poboljÅ¡aju naÄ?in na koji Ä?lanovi tima rade zajedno: • Predstaviti svrhu i važnost odreÄ‘enog posla; • UkljuÄ?iti se u aktivno sluÅ¡anje, pomoći drugima da iznesu miÅ¡ljenje kroz efektivno parafraziranje; • SaraÄ‘ivati sa kolegama i drugima u pozitivnoj praksi ispitivanja, vredno- vati jedinstven doprinos i taÄ?ku glediÅ¡ta svake osobe; • Ostaviti po strani liÄ?nu pristrasnost radi traženja odgovora na teÅ¡ka pita- nja za dobrobit ljudi pogoÄ‘enih projektom, programom ili evaluacijom; • Staviti na stranu odbrambene stavove kad se suoÄ?ava sa nalazima evaluacije. Izvor: NEIR TEC 2004. Upravljanje evaluacijom 453 Mapiranje koncepta je moderirani grupni proces koji se koristi da se traže ideje od svih uÄ?esnika i zatim grupiraju i postave redoslijedom po važnosti. PoÄ?inje â– â–  Mapiranje generiranjem ideja, preko razmjene ideja ili dijagramiranje afiniteta. Svaka ideja koncepta: se piÅ¡e na odvojenu karticu i postavlja se na zid. Moderirani Kada viÅ¡e nema ideja, od uÄ?esnika se traži da pogledaju ideje i postave kartice grupni proces u grupe koje predstavljaju sliÄ?an koncept ili temu. UÄ?esnici zatim identificiraju koji se koristi da se traže ideje odgovarajuću oznaku za svaki koncept/temu. Moderator zatim vodi diskusiju o od svih važnosti svake teme i zaÅ¡to je ili zaÅ¡to nije svaka važna. Neki relativno nevažni uÄ?esnika i da se koncepti ili teme mogu otpasti u ovoj fazi, a ideje koje spadaju u tu grupu se isto grupiraju i mogu odbaciti ili prebaciti u drugu rubriku. Dok uÄ?esnici pregledaju grupiranje postave na zidu, mogu od moderatora tražiti da neke ideje premjesti u druge kategorije. redoslijedom po važnosti Kada su uÄ?esnici zadovoljni konceptima/temama i grupiranjem, moderator prelazi na njihovo rangiranje. Svakom uÄ?esniku da se odreÄ‘en broj naljepnica, ovisno o broju koncepata/tema koje moderator hoće oznaÄ?iti kao važne. Ako ih je pet onda svaki uÄ?esnik dobije pet naljepnica. UÄ?esnici zatim postavljaju nalje- pnice do svakog od pet koncepata/tema koje smatraju najvažnijim. Moderator zatim identificira pet koncepata/tema sa najvećim brojem naljepnica i postavlja ih prema broju naljepnica koje su dobili. Proces se može ponavljati sa idejama iz svakog koncepta/teme, ako je potrebno. Upravljanje zadacima Upravljanje zadacima ponekad izgleda lakÅ¡e nego upravljanje ljudima, ali ovaj proces ima svoje izazove. KljuÄ?no je ostati fokusiran na cilj evaluacije i najvažnije zadatke. Mapa zadataka na kojoj se nalaze svi zadaci skupa sa datumom poÄ?etka i zavrÅ¡etka (Tabela 12.1). Ganttov dijagram je takoÄ‘er koristan alat monitoringa. â– â–  Mapa Stub svakog zadatka se može ispuniti tako da pokazuje stvarni napredak u odnosu zadatka: na ono Å¡to je planirano. Grafikon takoÄ‘er može pokazati ovisnost jednog zadatka Tabela koja identificira o zavrÅ¡etku drugog zadatka ili uskog grla gdje se spaja zavrÅ¡etak viÅ¡e zadataka. zadatake, liÄ?ne Mnogi softverski paketi imaju Gantt grafikon Å¡ablone. odgovornosti, i Aktivnosti se moraju pratiti da se osigura da je zadatak zavrÅ¡en prema raspo- datume poÄ?etka redu. Ako se oÄ?ekivani napredak ne postiže, evaluator treba identifikovati pre- i zavrÅ¡etka preke i odluÄ?iti kako ih ukloniti. Važno je da se Ä?lanovi tima osjećaju slobodno â– â–  Ganttov grafikon: prijaviti probleme, poÅ¡to je probleme lakÅ¡e rijeÅ¡iti ako se ranije otkriju. Grafikon koji se Iako je važno imati plan, takoÄ‘er je važno ostati fleksibilan kada se suoÄ?ava sa koristi da se preprekama. Prilagodbe se mogu napraviti dodjelom viÅ¡e vremena ili resursa ili ilustrira smanjenjem broja ukljuÄ?enih zadataka. raspored projekta 454 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 12.1 Primjer mape zadataka Odgovorna osoba Datum Datum Zadatak ili ljudi poÄ?etka zavrÅ¡etka Provesti pregled eksterne literature, i identificirati srodna Anna, Miguel i Kabir 7/1 7/4 interna i eksterna pitanja; Pregledati dokumentaciju projekta(na primjer, dokumente Kabir 7/5 7/23 odbora, dokumente odluka, izvjeÅ¡taje supervizije) specifiÄ?ne za intervenciju; Zakazati i održati sastanak sa klijentom; Anna 7/15 7/31 Identificirati kljuÄ?ne dionike i zakazati sastanke; Kabir i Miguel 7/15 7/17 Napisati sažetak sastanka sa klijentom i donijete odluke; Anna 8/1 8/3 Provesti sastanke sa dionicima, sažeti pitanja; Anna i Miguel 8/5 8/15 Izraditi poÄ?etni dizajn evaluacije. Anna 7/1 8/31 Izvor: Autori. Ilustracija 12.1 Primjer Ganttovog grafikona Sedmica Sedmica Sedmica Sedmica Sedmica Sedmica Sedmica Zadatak 1 2 3 4 5 6 7 ProvoÄ‘enje pregleda literature Održavanje sastanaka sa dionicima Nacrt teorije promjene Izvor: Autori. Upravljanje evaluacijom 455 Upravljanje budžetom Prema Sandersu (1983), budžet evaluacije obiÄ?no ukljuÄ?uje 10 kategorija: • plate i naknade osoblja evaluacije; • konsultanti; • putovanja i dnevnice (za osoblje i konsultante); • komunikacija (poÅ¡ta, telefon i tako dalje); • printanje i kopiranje; • obrada podataka; • printani materijali; • zalihe i oprema; • podugovori i • dodatni (prostorije, komunalije). Horn (2001) nudi detaljnu listu provjere za uspostavljanje budžeta evaluacije. Lista provjere razlaže elemente troÅ¡kova prema vrsti ili iznad navedenim kate- gorijama. Evaluacioni menadžer može izraÄ?unati troÅ¡kove za svaku od kategorija da procijeni troÅ¡kove evaluacije. Ako se pokaže da je budžet za evaluaciju visok, može biti neophodno razmi- sliti o nekim mjerama uÅ¡tede koje su razvili Fitzpatrick, Sanders, i Worthen (2004): • Koristiti volontere ili manje skupe radnike; • Koristiti lokalne specijaliste za prikupljanje podataka da se smanje troÅ¡kovi putovanja; • ObuÄ?iti manje skupo osoblje za izvrÅ¡enje odabranog zadatka; • Posuditi opremu, ljude, materijal, i zalihe; • Tražiti doprinos u naturi od organizacije gdje je eksterni evaluator zaposlen; • Smanjiti djelokrug evaluacije (možda neke dijelove ostaviti za budućnost); • Koristiti postojeće mjere, podatke ili izvjeÅ¡taje; • Koristiti manje skupo prikupljanje podataka kada preciznost može biti žrtvovana bez velikih posljedica; • Koristiti javne medije za diseminaciju rezultata; • Povećati efikasnost kroz dobar menadžment. Proporcija budžeta programa ili projekta dodijeljenog evaluaciji ovisi o mnogo faktora, ukljuÄ?ujući preglednost projekta ili programa, planiranog djelokruga evaluacije i rizika po reputaciju ako evaluacija ostavi praznine. The Kellogg Foundation’s Evaluation Toolkit (1998) ukazuje da budžet evalu- acije treba predstavljati 5-10 procenata ukupnog budžeta projekta. 456 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Drugi evaluacioni specijalisti sugeriÅ¡u da 1-3 procenta troÅ¡kova programa ili pro- jekta treba dodijeliti evaluaciji (procenat je manji za veće projekte). Upravljanje projektima Upravljanje projektima je vezano za upravljanje svim aspektima projekta – ukljuÄ?ujući vremenski raspored, djelokrug, troÅ¡kove, i dostupne resurse – u isto vrijeme. Upravljanje projektima je proces koji ukljuÄ?uje viÅ¡e faza. Postoje mnogi modeli upravljanja projektima i nekoliko programa certifikacije u upravljanju projektom. Michael Greer (2001), jedan od autoriteta u upravljanju projektima, razvio je model koji naglaÅ¡ava aktivnosti i rezultate. Njegov model upravljanje projektom dijeli na pet faza: • zapoÄ?injanje; • planiranje; • izvrÅ¡enje; • kontrola i • zatvaranje. Svaka faza je podijeljena na korake, koje Greer naziva aktivnosti. Identificira 20 aktivnosti koje treba izvrÅ¡iti kroz 5 faza (Tabela 12.2). Upravljanje evaluacijom 457 Tabela 12.2 Greerovih 20 aktivnosti upravljanja projektom Faza/aktivnost Rezultati uspjeÅ¡nog uÄ?inka ZapoÄ?injanje faze 1. Demonstracija • Dokument koji potvrÄ‘uje potrebu za predmetima potreba i provodivosti isporuke projekta i u Å¡irem smislu opisuje predmete projekta isporuke, sredstva za izradu predmeta isporuke, troÅ¡kove izrade i implementacije predmeta isporuke i koristi koje će se dobiti implementacijom predmeta isporuke; 2. Pribavljanje • “Ide – ne ideâ€? odluka koju donosi sponzor; odobrenja za projekt • Imenuje se projekt menadžer koji formalno priznaje projekt i projekt menadžeru se daje ovlaÅ¡tenje da primjenjuje resurse na projektne aktivnosti; IzraÄ‘uje se povelja projekta kojom se (a) formalno priznaje projekt, (b) izdaje je menadžer koji je izvan projekta i na dovoljno visokom nivou u organizaciji da može dodijeliti resurse potrebama projekta i (c) daje ovlaÅ¡tenje projekt menadžeru da koristi resurse za projektne aktivnosti; 3. Pribavljanje • “Ide-ne ideâ€? odluku donosi sponzor; Menadžeru odobrenja za fazu projekta se daje ovlaÅ¡tenje da koristi resurse organizacije na aktivnosti odreÄ‘ene faze; • Pisano odobrenje za fazu, koja je izraÄ‘ena i kojom se (a) formalno priznaje postojanje faze i (b) koju izdaje menadžer koji je izvan projekta i na dovoljno visokom nivou u organizaciji da može zadovoljiti potrebe projekta. Faza planiranja 4. Opisivanje djelokruga • Izjava o djelokrugu projekta; projekta • Djelokrug menadžment plana; • Struktura podjele posla; 5. Definiraju se • Lista aktivnosti koje treba izvesti; aktivnosti i pravi se • Ažuriranje strukture podjele posla; redoslijed projekta • Mrežni dijagram projekta; 6. Procjenjuje se • Procjena vremena potrebnog za svaku aktivnost i trajanje aktivnosti i pretpostavke vezane za svaku procjenu; potrebni resursi • Izjava o potrebnim resursima; • Ažuriranje liste aktivnosti; 7. Pravi se raspored • Detalji podrÅ¡ke, kao Å¡to je upotreba resursa tokom projekta vremena, procjena toka novca, plan narudžbe/ dostave, i tako dalje; 458 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije 8. Procjenjuju se • Procjena troÅ¡kova za zavrÅ¡etak svake aktivnosti; troÅ¡kovi • Detalj podrÅ¡ke, ukljuÄ?ujući pretpostavke i prepreke; • Plan upravljanja troÅ¡kovima koji opisuje kako će se postupati sa varijacijama u troÅ¡kovima. Faza/aktivnost Rezultati uspjeÅ¡nog uÄ?inka 9. Izrada budžeta i plana • Osnovica troÅ¡kova ili budžet u vremenskim fazama potroÅ¡nje za mjerenje/monitoring troÅ¡kova; • Plan troÅ¡enja, iskaz koliko će biti potroÅ¡eno na koji resurs i u koje vrijeme; 10. Izrada formalnog • Plan upravljanja kvalitetom, ukljuÄ?ujući operativne plana kvaliteta definicije; (neobavezno) • Lista provjere verifikacije kvaliteta; 11. Izrada formalnog Plan upravljanja komunikacijom, ukljuÄ?ujući strukturu • ​ plana komunikacija prikupljanja, strukturu distribucije, opis informacija projekta koje će biti diseminirane, lista rasporeda nastanka (neobavezno) informacija, metod ažuriranja plana komunikacije; 12. Organizacija i • Raspodjela uloga i odgovornosti; angažovanje osoblja • Plan osoblja; • Organizacioni grafikon, sa odgovarajućim detaljima; • Osoblje projekta; • Direkcija projektnog tima; 13. Identificirati rizike i Dokument koji opisuje potencijalne rizike, ukljuÄ?ujući • ​ planirati reakcije izvore, simptome, i naÄ?ine njihovog rjeÅ¡avanja; (neobavezno) 14. Plan i pribavljanje Plan upravljanja nabavkama koji opisuje kako će • ​ vanjskih resursa izvoÄ‘aÄ?i biti angažirani; (neobavezno) Izjava o radu ili izjava o zahtjevima koji opisuju stavku • ​ (proizvod ili uslugu) koja će biti nabavljena; Dokumenti ponude; • ​ •  Kriterij evaluacije (naÄ?in ocjene ponuda ponuÄ‘aÄ?a); Ugovor sa jednim ili viÅ¡e dobavljaÄ?a roba ili usluga; • ​ 15. Organizacija plana Sveobuhvatan plan projekta koji sakuplja sve izlazne • ​ projekta elemente prethodnih aktivnosti planiranja; 16. Zatvaranje faze Plan projekta koji je odobrio, pismeno, sponzor • ​ planiranja projekta („zeleno svjetlo“ da se poÄ?ne raditi na projektu); 17. Ponovni pregled Uvjerenje da je detaljni plan za izvrÅ¡enje odreÄ‘ene • ​ plana projekta i faze joÅ¡ uvijek taÄ?an i da će efektivno ostvariti izmjene po potrebi rezultate kako je planirano. nastavlja se Upravljanje evaluacijom 459 Tabela 12.2 Nastavak Faza/aktivnost Rezultati uspjeÅ¡nog uÄ?inka Faza izvrÅ¡enja 18. IzvrÅ¡enje projektnih Rezultati rada (predmeti isporuke); • ​ aktivnosti Zahtjevi za promjenom (na osnovu proÅ¡irenja ili • ​ ograniÄ?enja projekta); PeriodiÄ?ni izvjeÅ¡taji o napretku; • ​ Procjena i poboljÅ¡anje (ako je potrebno) uÄ?inka tima; • ​ Traženje ponuda za predmete isporuke, odabir • ​ izvoÄ‘aÄ?a (dobavljaÄ?a), i ponovna uspostava ugovora; ProvoÄ‘enje ugovora da se ostvare željeni rezultati • ​ rada. Kontrolna faza 19. Kontrola projektnih Odluka da se prihvate ispitani predmeti isporuke: • ​ aktivnosti Korektivne radnje, kao Å¡to je dorada predmeta; • ​ isporuke, prilagoÄ‘avanje procesu rada, i tako dalje Ažuriranje projektnog plana i djelokruga; • ​ Lista nauÄ?enih lekcija; • ​ •  PoboljÅ¡ani kvalitet; • ​ Kompletirana lista provjere evaluacije (ukoliko je primjenjivo). Faza zatvaranja Formalno prihvatanje, pisani dokumenti, koje 20. Aktivnosti zatvaranja • ​ projekta sponzor prihvata kao proizvod ove faze ili aktivnosti; Formalno prihvatanje proizvoda rada i aktivnosti • ​ izvoÄ‘aÄ?a; • ​ Formalno prihvatanje proizvoda rada i ažuriranje fajlova izvoÄ‘aÄ?a; •  Ažurirana projektna evidencija spremna za arhivu; • Plan praćenja i/ili predaje proizvoda rada. Izvor: Greer 2001. Printano uz dozvolu. Sažetak Planiranje je neophodno da se osigura da evaluacija ostvari svoje ciljeve. Svaki evaluator koji radi na evaluaciji treba razumjeti svoju ulogu i odgovornosti u odnosu na ostale koji rade na evaluaciji. Projektnim zadatkom se ove odgovo- rnosti stavljaju na papir svima na uvid. U rjeÅ¡avanju pitanja osoblja, vremena, zadataka i troÅ¡kova, menadžeri moraju imati na umu cilj evaluacije. Svaka odluka treba biti zasnovana na dostizanju cilja evaluacije. 460 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Poglavlje 12 Aktivnosti Aplikacijska vježba 12.1: Projektni zadatak ProÄ?itajte sljedeći projektni zadatak i slijedite instrukcije koje se nalaze iza. Prema sugestiji Svjetske trgovinske organizacije (WTO), meÄ‘uagencijska grupa koja upravlja programom integriranog okvira tražila je od Svjetske banke da preuzme vodstvo u provoÄ‘enju pregleda implementacije programa tokom protekle dvije godine. Združeni poduhvat nekoliko agencija – Integrisani okvir nastoji pomoći najnerazvi- jenijim zemljama da iskoriste prilike koje nudi meÄ‘unarodni trgovinski sistem. Sistem, koji je nastao na seminarima o pravilima WTO-a za poboljÅ¡anje luka i pristaniÅ¡ta, pruža pomoć u vezi sa trgovinom. Funkcionira tako Å¡to pojedinim državama pomaže da identificiraju svoje potrebe i zatim program tražene pomoći donesu za okrugli sto za podrÅ¡ku donatora. Pregled treba pokriti sljedeće teme: • percepcija ciljeva Integrisanog okvira (ostvaruje se istraživanjem stavova ukljuÄ?enih strana); • pregled pomoći koja se odnosi na trgovinu (izgradnja institucija, izgradnja ljudskih i poduzetniÄ?kih kapaciteta i infrastrukture); • razmatranje politike, ukljuÄ?ujući povećanja Integrisanog okvira i trgovinsko i makroekonomsko politiÄ?ko okruženje; • upravljanje Integrisanim okvirom i • preporuke za budućnost. Pri obradi ovih tema, konsultant treba procijeniti relevantnost operacija Integri- sanog okvira za njegove ciljeve. TakoÄ‘er evaluator treba procijeniti isplativost Okvira u ostvarenju svojih ciljeva i efektivnost koordinacije izmeÄ‘u centralnih agencija koje nadgledaju Okvir i procjenjuje isplativost okruglih stolova i ostalih aktivnosti. Od konsultanta se oÄ?ekuje da istraži dokumentaciju o implementaciji, provede intervjue sa operativnim osobljem svih ukljuÄ?enih agencija i traži pregled pre- dstavnika najnerazvijenijih država kao i vlada i poslovnih predstavnika u najmanje dvije najnerazvijenije države koje su imale koristi od Integrisanog okvira, od kojih jedna treba biti iz Afrike (predlažu se Bocvana i Uganda). Predstavnike kljuÄ?nih donatora takoÄ‘er treba konsultirati. IzvjeÅ¡taj treba biti oko 20 stranica, ne ukljuÄ?ujući dodatke ako su potrebni. Raditi u paru, ako je moguće, pregledati i kritikovati projektni zadatak i odgovoriti na sljedeća pitanja: 1. UkljuÄ?uje li projektni zadatak sve neophodne elemente? 2. Koji elementi su kompletni? 3. Koji elementi se mogu poboljÅ¡ati? Upravljanje evaluacijom 461 Aplikacijska vježba 12.2: Jeste li spremni da budete menadžer? ProÄ?itajte listu karakteristika menadžera (Reh 2007). Identificirajte vjeÅ¡tine koje imate i one koje treba unaprijediti. Kao osoba: • Imate pouzdanje u sebe i svoje mogućnosti. Zadovoljni ste onim Å¡to ste, ali joÅ¡ uvijek uÄ?ite i nastojite biti bolji; • Otvoreni ste. Ne morate biti centar zabave, ali ne možete biti ni djevojka koju niko ne zove na ples. Menadžment je ljudska vjeÅ¡tina – to nije posao za nekoga ko ne uživa sa ljudima; • ÄŒasni ste i neposredni. VaÅ¡ uspjeh ovisi uveliko o povjerenju drugih; • UkljuÄ?ujete, a ne iskljuÄ?ujete. Druge uvodite u ono Å¡to radite. Ne iskljuÄ?ujete druge zato Å¡to im nedostaju odreÄ‘eni atributi; • Prisutni ste. Menadžer mora voditi. Efektivne voÄ‘e posjeduju odreÄ‘eno svo- jstvo tako da ljudi primijete kad oni uÄ‘u u prostoriju. Na poslu: • Konzistentni ste ali ne rigidni. Pouzdani ste, ali možete promijeniti miÅ¡ljenje. Donosite odluke, ali sa lahkoćom prihvatate sugestije drugih; • Pomalo ste ludi. RazmiÅ¡ljate izvan kutije. PokuÅ¡avate nove stvari, i ako ne uspiju, priznajete greÅ¡ku, ali se ne izvinjavate Å¡to ste pokuÅ¡ali; • Ne bojite se „raÄ?unati“. Pravite planove i rasporede i radite prema njima; • Okretni ste i možete brzo promijeniti planove, ali niste povrÅ¡ni; • Informacije vidite kao sredstvo koje treba koristiti, a ne kao snagu koju treba gomilati. 462 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Bibliografija i dodatna literatura Bemelmans Videc, M. L., R. C. Rist, and E. Vedung. 1997. Sticks, Carrots, and Sermons: Policy Instruments and Their Evaluation. Piscataway, NJ: Transaction Publishers. Billson, Janet Mancini. 2004. The Power of Focus Groups: A Training Manual for Social, Policy, and Market Research: Focus on International Development. Burling- ton, RI: Skywood Press. CDC (U.S. Centers for Disease Control and Prevention). 2001. Introduction to Program Evaluation. http://www.cdc.gov/tobacco/tobacco_control_programs/surveillance_ evaluation/evaluation_manual/00_pdfs/Chapter1.pdf. Chelimsky, E. 1987. “The Politics of Program Evaluation.â€? Social Science and Modern Society 25: 24–32. de Regt, Jacomina. 1996. “Mozambique: Country Implementation Review.â€? In World Bank Participation Sourcebook, 83–88. Washington, DC: World Bank.http://www. worldbank.org/wbi/sourcebook/sb0211.pdf. ESRC (Economic and Social Research Council). 2007. “Welcome to ESRC Today. Top Ten Tips.â€? http://www.esrc.ac.uk/ESRCInfoCentre/Support/Communications_toolkit/communi- cations_strategy/index.aspx. Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Community Programs with Participants. London: MacMillan, in association with Teaching Aids at Low Cost. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evalu- ation: Alternative Approaches and Practical Guidelines. New York: Pearson Education. Greer, Michael. 2001. “20 Key Project Manager Actions and Results.â€? In The Project Manager’s Partner. Amherst, MA: HRD Press. http://www.michaelgreer.com/20-actns.htm. ———. 2008. Michael Greer’s Project Management. http://www.michaelgreer.com. Hawkins, Penny. 2005. “Contracting Evaluation.â€? International Program for Develop- ment Evaluation Training (IPDET) presentation, Ottawa, June 30–July 1. Horn, Jerry 2001. A Checklist for Developing and Evaluating Evaluation Budgets. http:// www.wmich.edu/evalctr/checklists/evaluationbudgets.pdf. Kellogg Foundation. 1998. Evaluation Handbook. Battle Creek, MI. http://www.wkkf.org/Pubs/tools/Evaluation/Pub770.pdf. King, Jean A., Laurie Stevahn, Gail Ghere, and Jane Minnema. 2001. “Toward a Tax- onomy of Essential Evaluator Competencies.â€? American Journal of Evaluation 222: 229–47. http://www.nbowmanconsulting.com/Establishing percent20Essentialpercent 20Programpercent20Evaluator percent20Competencies.pdf. Kirkhart, K. E. 2000. “Reconceptualizing Evaluation Use: An Integrated Theory of Influence.â€? In The Expanding Scope of Evaluation Use, ed. V.J. Caracelli and H. Preskill, 5–24. New Directions for Evaluation No. 88. San Francisco: Jossey-Bass. Kusek, Jody Zall, and Ray C. Rist. 2004. Ten Steps to a Results-Based Monitoring and Evaluation System. Washington, DC: World Bank. Upravljanje evaluacijom 463 Lawrence, J. 1989. “Engaging Recipients in Development Evaluation: The ‘Stakeholder’ Approach.â€? Evaluation Review 13 (3): 243–56. Leeuw, Frans. 1991. “Policy Theories, Knowledge Utilization and Evaluation.â€? OECD World Forum on Statistics: Knowledge and Policy, vol. 4, 73–91. Organisation for Economic Co-operation and Development, Paris. McNamara, C. 1999. Checklist for Program Evaluation Planning. http://www.managementhelp.org/evaluatn/chklist.htm. Muir, Edward. 1999. “They Blinded Me with Political Science: On the Use of Non–Peer Reviewed Research in Education Policy.â€? Political Science and Politics 32 (4): 762–64. NCSTE (Chinese National Centre for Science and Technology Evaluation), and IOB (Policy and Operations Evaluation Department [the Netherlands]). 2006. Country-Led Joint Evaluation of the ORET/MILIEV Programme in China. Amsterdam: Aksant Academic Publishers. NEIR TEC (Northeast and the Islands Regional Technology in Education Consortium). 2004. Gathering Together and Planning: Exploring Useful Skills for Educators to Develop Through Collaborative Evaluation. http://www.neirtec.org/evaluation/PDFs/Gathertogether3.pdf. OECD (Organisation for Economic Co-operation and Development). n.d. DAC Evalua- tion Quality Standards for Test Phase Application. Development Assistance Commit- tee, Paris. http://www.oecd.org/dataoecd/30/62/36596604.pdf. ———. 2002. OECD Glossary of Key Terms in Evaluation and Results-Based Manage- ment. Development Assistance Committee, Paris. Patton, Michael Q. 1977. “In Search of Impact: An Analysis of the Utilization of Federal Health Evaluation Research.â€? In Using Social Research in Public Policy Making, ed. C. H. Weiss, 141–64. Lexington, MA: Lexington Books. ———. 1997. Utilization-Focused Evaluation. 3rd ed. Thousand Oaks, CA: Sage Publications. ———. 2005. “Qualitative Methods and Analysis for Development Evaluation.â€? Interna- tional Program for Development Evaluation Training (IPDET) presentation, Ottawa, June 27–29. Reh, F. John. n.d. “How to Be a Better Manager.â€? http://management.about.com/cs/midcareermanager/a/htbebettermgr.htm. ———. 2007. “Management Tips.â€? http://management.about.com/cs/generalmanagement/a/mgt_tips03.htm. Rist, Ray C., and N. Stame. 2006. From Studies to Streams: Managing Evaluative Sys- tems. Piscataway, NJ: Transaction Publishers. Rossi, Peter Henry, Howard E. Freeman, and Mark W. Lipsey. 1999. Evaluation: A Systematic Approach. Thousand Oaks, CA: Sage Publications. Rutman, L. 1980. Planning Useful Evaluations: Evaluability Assessment. Thousand Oaks, CA: Sage Publications. Sanders, James R. 1983. “Cost Implications of the Standards.â€? In The Cost of Evaluation, eds. M. C. Alkin and L. C. Solman, 101–17. Thousand Oaks, CA: Sage Publication. Schwartz, R. 1998. “The Politics of Evaluation Reconsidered: A Comparative Study of Israeli Programs.â€? Evaluation 4: 294–309. 464 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Schwartz, R., and J. Mayne. 2004. Quality Matters: Seeking Confidence in Evaluating, Auditing, and Performance Reporting. Piscataway, NJ: Transaction Publishers. Scriven, Michael. 2007. “Key Evaluation Checklist.â€? http://www.wmich.edu/evalctr/checklists/kec_feb07.pdf/. Stufflebeam, Daniel L. 1999. “Evaluations Plans and Operations Checklist.â€? http://www.wmich.edu/evalctr/checklists/plans_operations.pdf. Tilley, Nick. 2004. Applying Theory-Driven Evaluation to the British Crime Reduction Programme: The Theories of the Programme and of Its Evaluations. Thousand Oaks, CA: Sage Publications. UNFPA (United Nations Population Fund). 2007. “Tool No. 5: Planning and Managing an Evaluation.â€? Programme Manager’s Planning, Monitoring and Evaluation Tool- kit. New York. http://www.unfpa.org/monitoring/toolkit/5managing.pdf. Weiss, Carol H. 1973. “Where Politics and Evaluation Research Meet.â€? Evaluation 1: 37–45. ———. 2004. Identifying the Intended Uses of an Evaluation. International Program for Development Evaluation Training (IPDET) presentation, Ottawa, July. http://www. idrc.ca/ev_en.php?ID=58213_201&ID2=DO_TOPIC. Wholey, J. S. 1979. Evaluation: Promise and Performance. Washington, DC: Urban Institute. ———. 1994. “Assessing the Feasibility and Likely Usefulness of Evaluation.â€? In Hand- book of Practical Program Evaluation, eds. Joseph S. Wholey, Harry P. Hatry, and Kathryn E. Newcomer, 15–39. San Francisco: Jossey-Bass. Widavsky, A. 1972. “The Self-Evaluating Organization.â€? Public Administration Review 32: 509–20. World Bank. 2006. The World Bank Participation Sourcebook. Washington, DC: World Bank. http://www.worldbank.org/wbi/sourcebook/sbhome.htm. Web stranice Canadian Evaluation Society. Professional Designation Project. http://www .evaluationcanada.ca/site.cgi?s=5&ss=6&_lang=EN. Conflict Resolution Information Source. http://www.crinfo.org/index.jsp. Conflict Resolution Network. http://www.crnhq.org/. EIB (European Investment Bank Group). 2008. “What Is the EIB Group?â€? http://www. eib.org/attachments/general/whatis_eibgroup_2008_en.pdf. ESRC (Economic and Social Research Council). “ESRC Society Today: Communication Strategy.â€? http://www.esrc.ac.uk/ESRCInfoCentre/Support/ Communications_toolkit/communications_strategy/index.aspx. Europe Aid Co-operation Office. 2005. Evaluation Methods. http://ec.europa.eu/ europeaid/evaluation/methodology/index_en.htm. ———. 2006. Methodological Bases. http://ec.europa.eu/europeaid/evaluation/ methodology/methods/mth_en.htm. European Commission. 2008. Evaluation Network. http://ec.europa.eu/regional_ policy/sources/docgener/evaluation/tech_en.htm. Upravljanje evaluacijom 465 Evalnet. 2000. http://www.evalnet.co.za/services/. IBSTPI (International Board of Standards for Training, Performance, and Instruction). Competencies for Internal Staff and External Consultants Conducting Evaluations in Organizational Settings. http://www.ibstpi.org/Competencies/evaluatorcompetencies. htm. IDRC (International Development Research Centre). 2004. Evaluation Planning in Pro- gram Initiatives. http://web.idrc.ca/uploads/user-S/108549984812guideline-web.pdf. MSH (Management Sciences for Health), and UNICEF (United Nations Children’s Fund). “Quality Guide: Stakeholder Analysis.â€? In Guide to Managing for Quality. http://bsstudents.uce.ac.uk/sdrive/Martin percent20Beaver/Week percent 202/Quality percent20Guide percent20- percent20Stakeholder percent20 Analysis.htm. Treasury of Board of Canada Secretariat. 2005. Improving the Professionalism of Evalua- tion. http://www.tbssct.gc.ca/eval/dev/Professionalism/profession_e.asp. UNDP (United Nations Development Programme). 2006. Planning and Managing an Evaluation Website. http://www.undp.org/eo/evaluation_tips/evaluation_ tips.html. UNFPA (United Nations Population Fund). 2004. Programme Manager’s Plan- ning, Monitoring and Evaluation Toolkit. http://www.unfpa.org/monitoring/ toolkit/5managing.pdf. Weiss, Carol. Identifying the Intended Use(s) of an Evaluation. International Develop- ment Research Centre. http://www.idrc.ca/ev_en.php?ID=58213_201&ID2= DO_TOPIC. Western Michigan University Evaluation Center. Evaluation Checklists. http://www. wmich.edu/evalctr/checklists/checklistmenu.htm. ———. The Checklist Project. http://evaluation.wmich.edu/checklists. Primjeri projektnih zadataka ADB (Asian Development Bank). 2008. Model Terms of Reference Diagnostic City Water Assessment (Links). http://www.adb.org/Water/tools/City-Water- Assessments.asp. CIDA (Canadian International Development Agency). Model for Evaluation Terms of Reference. http://www.acdicida.gc.ca/INET/IMAGES.NSF/vLUImages/ Performancereview4/US$file/tor_sample_text.pdf. FAO (Food and Agriculture Organization of the United Nations). FAO Model Terms of Reference for a Joint Evaluation Mission. http://www.fao.org/pbe/pbee/ common/ecg/233/en/torseng.doc. UNDP (United Nations Development Programme). 2002. Handbook on Monitoring and Evaluating for Results. http://www.undp.org/eo/documents/HandBook/ME-Hand- Book.pdf. 466 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije POGLAVLJE 13 Prezentiranje rezultata Kada su prikupljanje podataka i analiza uveliko zavrÅ¡eni, vrijeme je podijeliti preliminarne rezultate i napraviti planove predstavljanja konaÄ?nih rezultata. Razmjena onog Å¡to se nauÄ?ilo je jedan od najvažnijih dijelova evaluacije. To je kritiÄ?an preduvjet za efektivnu promjenu. Predstavljanje rezultata se može uraditi u pisanoj formi (kroz izvjeÅ¡taje i dopise) ili usmeno (kroz brifinge i prezentacije). Ovo poglavlje ima Ä?etiri glavna dijela: • Izrada Strategije Komunikacije • Pisanje Evaluacionog IzvjeÅ¡taja • Vizuelno Prikazivanje Informacija • Pravljenje Usmene Prezentacije 467 Izrada strategije komunikacije Evaluacija koja se ne koristi da se informiraju odluke je od male vrijednosti. Kada se dizajnira evaluacija, kritiÄ?no je imati na umu cilj pružanja korisnih informacija dionicima Å¡to vodi odlukama. Evaluacija ne traži znanje radi znanja. Ovo je kljuÄ?na razlika izmeÄ‘u evaluacije i istraživanja. Neophodno je rezultate evalu- acije predstaviti jasno, taÄ?no i na naÄ?in koji publici omogućava najbolju upotrebu informacija. Strategija komunikacije je neophodna komponenta razvojne evaluacije. U ovom tekstu smo naglaÅ¡avali da dobra komunikacija poÄ?inje na samom poÄ?etku i nastavlja se tokom evaluacije. To nije aktivnost koja se deÅ¡ava samo na kraju evaluacije. Klijent i glavni dionici trebaju biti ukljuÄ?eni ne samo u planiranje evaluacije nego i u razvoj procesa i naÄ?ina predstavljanja nalaza kao i u traženje povratnih informacija. Strategiju komunikacije treba razviti od samog poÄ?etka. Strategija treba identificirati: • ko treba primiti informaciju o evaluaciji; • koje informacije su potrebne; • koji format informacija treba biti; • kada treba dostaviti informaciju i • ko je odgovoran za dostavu informacija. Dobra strategija komunikacije pokriva sve faze i proizvode evaluacije. Koristi viÅ¡e oblika komunikacije prilagoÄ‘enih potrebama odreÄ‘enih dionika. Strategija komunikacije za evaluaciju može poÄ?eti istraživaÄ?kom raspravom o pitanjima sa naruÄ?iocem evaluacije, nakon Ä?ega slijedi rasprava sa lokalnim grupama dionika (Tabela 13.1). Nakon diskusije sa naruÄ?iocem može uslijediti formalni brifing o preliminarnom dizajnu evaluacije. Grupi lokalnih dionika može se poslati obavjeÅ¡tenje e-mailom da se preliminarni dizajn nalazi na web stranici i da je otvoren za javne komentare. Neformalna komunikacija je vrijedna tokom evaluacije. Klijenti i kljuÄ?ni dionici mogu, na primjer, biti informirani o napretku evaluacije telefonskim pozivima ili e-mailovima. KonaÄ?ni rezultati mogu se diseminirati razliÄ?itim stranama u razliÄ?itim obli- cima. Donator se, na primjer, detaljno informira o nalazima evaluacije, nakon Ä?ega slijedi formalni konaÄ?ni izvjeÅ¡taj. Lokalnom osoblju programa može se dati na pregled izvjeÅ¡taj i brifing. 468 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 13.1 Primjer liste provjere strategije komunikacije za preliminarnu i dizajn fazu evaluacije Publika Aktivnost Oblik komunikacije Ko je odgovoran Datum Preliminarni rad Klijent Diskusija o pitanjima Sastanak VoÄ‘a tima 6/1 programa i vremenskim potrebama Državne i lokalne Diskusija o pitanjima Sastanak ÄŒlan tima B 6/5 nevladine programa organizacije Osoblje programa Diskusija o pitanjima Sastanak ÄŒlan tima C 6/11 programa ZvaniÄ?nici lokalne Diskusija o pitanjima Sastanak ÄŒlan tima B 6/10 vlade programa Savjetodavni Identificira i Å¡alje E-mail ÄŒlan tima A 6/14 odbor pozivnice Planira i održava Sastanak ÄŒlan tima B 6/25 sastanak o pitanjima savjetodavnog odbora Zajednica razvojne Poziv za komentare o E-mail obavjeÅ¡tenja o ÄŒlan tima C 6/25 evaluacije pitanjima otvorenoj web stranici evaluacije Dizajn Savjetodavni Pregled i diskusija o Sastanak ÄŒlan tima A 7/15 odbor nacrtu dizajna savjetodavnog odbora Slanje finalnog dizajna E-mail ÄŒlan tima A 7/30 Klijent Predstavljanje finalnog Usmeni brifing VoÄ‘a tima 7/22 dizajna VoÄ‘a tima Zajednica razvojnih Pregled nacrta dizajna Web stranica ÄŒlan tima B 7/31 evaluatora (praćenje komentara) Izvor: Autori. Za konaÄ?ni izvjeÅ¡taj evaluatori mogu koristiti brifinge, prezentacije i pisane izvjeÅ¡taje. Saopćenja za javnost mogu se koristiti za diseminaciju informacija Å¡iroj publici. Ako su javno saopćenje ili konferencija za Å¡tampu planirani, vrijeme održavanja i upravljanje treba raspraviti sa glavnim dionicima. Važno je ukljuÄ?iti proces povratnih informacija da se skupe dionici i evaluatori da diskutiraju o nalazima, uvidima, alternativnim radnjama i narednim koracima. Ako će se održati velika grupna diskusija, evaluatori trebaju identificirati sve iza- zove predstavljanja rezultata simultano razliÄ?itim grupama dionika. Prezentiranje rezultata 469 ÄŒak i oni koji piÅ¡u izvjeÅ¡taje tehniÄ?kih evaluacija slažu se da to nije najefekti- vniji naÄ?in predstavljanja nalaza evaluacije (Torres, Preskill, i Piontek 1997). Evaluatori možda trebaju koristiti alternativne alate komunikacije, kao Å¡to su broÅ¡ure, video, novinska izdanja i kratki sažeci sa grafikonima i dijagramima, da bi se poslala poruka (Tekstualni okvir 13.1). Tekstualni okvir 13.1 Upotreba inovativnih tehnika komunikacije za povećanje interesa za rezultate evaluacije Da bi diseminirali rezultate dionicima, Lawrenz, Gullickson i Toal (2007) kori- stili su razne inovativne tehnike. 1. Pisali su naracije o sluÄ?ajevima, koje su diseminirali na razne naÄ?ine, ukljuÄ?ujući internet, da bi zadovoljili potrebe svoje audijencije. U naraciji sluÄ?aja opisane su posjete timova evaluatora na 13 projektnih lokacija. Razmotrene su ne samo potrebe klijenta nego takoÄ‘er i potrebe drugih koji bi mogli imati korist od nalaza; 2. Organizirali su rezultate evaluacije u devet Ä?lanaka (obraÄ‘ujući saradnju, diseminaciju, razvoj materijala, profesionalni razvoj, poboljÅ¡anje pro- grama, angažman i retenciju, održivost, savjetodavne odbore, i evaluaci- ju) te ih postavili na web stranicu. Ovi Ä?lanci sintetiziraju izvjeÅ¡taje sa posjeta lokacijama, podatke iz anketa i prethodna istraživanja; 3. Da bi izgradili interes za ove Ä?lanke, izradili su broÅ¡uru kao reklamu. BroÅ¡ura je proizvela toliko interesovanja za Ä?lanke tako da su izdali puni set Ä?lanaka u žurnalu, diseminirajući rezultate Å¡iroj publici nego Å¡to je pr- vobitno planirano; 4. Postavili su online priruÄ?nik za posjetu lokacijama, koji sadrži procedure koje se koriste za provoÄ‘enje posjeta lokacijama. Nakon Å¡to su ih posta- vili na web stranicu, otkrili su da su mnoge organizacije i istraživaÄ?i zainteresirani za njih; 5. Razvili su broÅ¡uru sa kljuÄ?nim koracima djelovanja za održivost programa koji su prouÄ?avali, a koja je zatim postavljena na web sajt u PDF formatu. Ova broÅ¡ura naiÅ¡la je na dobar prijem na terenu, zato Å¡to je bila lahka za upotrebu i pružala je znaÄ?ajne informacije o poboljÅ¡anju projekata; 6. Održavali su videokonferencije omogućavajući detaljne diskusije o nekim od njihovih ideja; 7. Povezali su linkovima videokonferencije sa web stranicom. Informacije na stranici sadržavale su: veze sa informacijama o autorima studije, kljuÄ?nim predavaÄ?ima na videokonferenciji, prateću dokumentaciju i video materijal. Sve ove informacije su postavljene na web stranicu i dostupne su na CD-u. 470 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Pisanje evaluacionog izvjeÅ¡taja Svrha izvjeÅ¡taja je komunikacija sa Ä?itaocima. Da bi to uradili razmotrite sljedeće savjete: • Imajte svrhu i publiku na umu kada piÅ¡ete izvjeÅ¡taj. NauÄ?ite Å¡to je viÅ¡e moguće o publici i izvjeÅ¡taj piÅ¡ite na naÄ?in kojim ćete najbolje dospjeti do njih; • Koristiti rijeÄ?i koje su: - jednostavne, - aktivne, - pozitivne, - poznate i - primjerene kulturi; • Izbjegavajte skraćenice i akronime Å¡to je viÅ¡e moguće; • OgraniÄ?ite dodatne informacije na onoliko koliko je potrebno da najavite izvjeÅ¡taj i kontekst uÄ?inite jasnim. Dodatni kontekst se može ukljuÄ?iti kao aneks ako je potrebno; • Osigurati dovoljno informacija o dizajnu evaluacije i metodima tako da Ä?itaoci imaju povjerenje u kredibilitet izvjeÅ¡taja, ali i da prepoznaju njegovu ograniÄ?enost. Upozoriti Ä?itaoce o interpretaciji nalaza na naÄ?in koji može ne biti validan. Ponovo, detalji mogu biti postavljeni u aneks; • Napisati izvrÅ¡ni sažetak; • Organizirati materijal u formi izvjeÅ¡taja u sekcije koje obraÄ‘uju glavne teme ili odgovaraju na kljuÄ?na evaluaciona pitanja; • Postaviti glavne taÄ?ke u svaku sekciju, sa manjim taÄ?kama kasnije u sekciji. Otvoriti svaki paragraf navodeći temu koju obraÄ‘uje; • Poduprijeti zakljuÄ?ke i preporuke dokazima; • Postaviti tehniÄ?ke informacije, ukljuÄ?ujući matricu dizajna i instrumente ankete, u dodatak; • Ostaviti vrijeme za reviziju, reviziju i reviziju! â– â–  IzvrÅ¡ni • Pronaći nekoga ko nije vidio materijal da uradi korekturu nacrta. Tražiti od sažetak: Kratki korektora da identificira sve Å¡to je izostavljeno ili nije jasno; sažetak • Ako je moguće, neka eksterni revizor struÄ?an za temu i koji poznaje izvjeÅ¡taja koji metodologiju evaluacije pregleda finalni nacrt i sugeriÅ¡e promjene dokumenta identificira ako je potrebno. Ako pregled struÄ?njaka nije provodiv, zamolite kolegu koji obraÄ‘ena evaluaciona nije povezan sa evaluacijom da pregleda izvjeÅ¡taj. pitanja, opisuje koriÅ¡tene IzvrÅ¡ni sažetak metodologije i sažima nalaze IzvrÅ¡ni sažetak izvjeÅ¡taja identificira obraÄ‘ena evaluaciona pitanja, opisuje izvjeÅ¡taja, koriÅ¡tenu metodologiju i sažima nalaze izvjeÅ¡taja zakljuÄ?ke, preporuke. Osigu- zakljuÄ?ke i rava naÄ?in Ä?itaocu da brzo obuhvati glavne poruke izvjeÅ¡taja. IzvrÅ¡ni sažetak nije preporuke Prezentiranje rezultata 471 jednostavno skraćena verzija zakljuÄ?ka izvjeÅ¡taja. To nije marketinÅ¡ki prospekt koji obećava da će se informacije otkriti kasnije. Mora služiti kao samostalan dokument za Ä?itaoce koji su suviÅ¡e zauzeti da Ä?itaju glavni izvjeÅ¡taj. Prema Scrivenu (2007, p. 1), cilj izvrÅ¡nog sažetka je sažeti rezultate, a ne samo proces: Tokom cijelog procesa evaluacije, pitajte se kako će izgledati ukupni sažetak, na osnovu onog Å¡to ste do sad nauÄ?ili i kako se to odnosi na potrebe klijenta, dionika i publike; ovo pomaže da se fokusira na ono Å¡to joÅ¡ uvijek treba uraditi da bi se nauÄ?ilo Å¡ta je najvažnije. IzvrÅ¡ni sažetak treba biti kratak: dvije stranice je odliÄ?no, viÅ¡e od Ä?etiri je previÅ¡e. Ovo treba ponoviti: dvije stranice sa jednostrukim proredom je odliÄ?no, a viÅ¡e od Ä?etiri je previÅ¡e! IzvrÅ¡ni sažetak treba ukljuÄ?iti sljedeće komponente: • Kratak pregled ili uvodni paragraf u kojem se navodi svrha studije i obraÄ‘ene teme, pisano na naÄ?in koji će privući pažnju Ä?itaoca; • Opis evaluacije, gdje se navode glavna obraÄ‘ena pitanja, plus kratki navod djelokruga i metodologije evaluacije; • Dovoljno pozadinskih informacija koje studiju postavljaju u kontekst; • Sažetak glavnih nalaza izvjeÅ¡taja. Prosuditi koji su nalazi najvažniji publici; • NaÄ?in na koji se Ä?itaocu ukazuje na broj stranice na kojoj je informacija u tekstu; • Glavni zakljuÄ?ci i preporuke. Tijelo izvjeÅ¡taja Tijelo evaluacionog izvjeÅ¡taja treba sadržavati sljedeće komponente, obiÄ?no podijeljene na Ä?etiri poglavlja (sekcije u kraćem izvjeÅ¡taju): • uvod; • opis evaluacije; • nalazi; • zakljuÄ?ci i • preporuke. Uvod izvjeÅ¡taja ukljuÄ?uje sljedeće komponente: • svrhu evaluacije; • pozadinske informacije; • ciljeve programa, prikazane kroz model teorije promjene i • evaluaciona pitanja. 472 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Kratak opis evaluacije ukljuÄ?uje sljedeće komponente: • svrha; • djelokrug; • pitanja; • metodologija; • ograniÄ?enja i • ljudi koji su ukljuÄ?eni (savjetodavni odbor, konsultantska firma). Nalazi slijede opis evaluacije. Pri pisanju ovog dijela, evaluator treba: • prezentirati nalaze na naÄ?in koji publika može jasno razumjeti; • ukljuÄ?iti samo najvažnije nalaze; • organizirati nalaze u vezi sa pitanjima studije, u vezi sa glavnim temama ili pitanjima i • koristiti grafikone, tabele i druge grafiÄ?ke elemente da se oznaÄ?e glavne taÄ?ke. Zadnji dio izvjeÅ¡taja su zakljuÄ?ci i preporuke, koje Ä?itaoci Ä?esto prvo Ä?itaju. Evaluatori Ä?esto teÅ¡ko razlikuju nalaze od zakljuÄ?aka. Nalazi opisuju Å¡ta je evalu- acija pronaÅ¡la. Mogu se odnositi na to je li kriterij zadovoljen ili ne. Nalaze treba poduprijeti dokazima. ZakljuÄ?ci se zasnivaju na profesionalnoj procjeni nalaza. Treba ih donijeti za svaki evaluacioni pomoćni cilj kao i za ukupni cilj projekta, programa ili politike. Nove informacije ne treba predstavljati u dijelu sa zakljuÄ?kom. Preporuke zagovaraju djelovanje i ukazuju Å¡ta se izvjeÅ¡tajem predlaže kli- jentima ili drugim kljuÄ?nim dionicima da rade. ÄŒesto je teÅ¡ko izraditi nacrt pre- poruka. Ne trebaju biti previÅ¡e preskriptivne i tako smanjiti prerogative uprave da ukažu na odreÄ‘ena rjeÅ¡enja za identificirane probleme. Evaluacija može, na primjer, preporuÄ?iti razvoj politike odreÄ‘ivanja cijena za aktivnosti tehniÄ?ke pomoći. Ne bi se pravio nacrt politike niti bi se odredili detalji uvjeta politike. MeÄ‘utim, mogle bi se odrediti kljuÄ?ne komponente koje treba ukljuÄ?iti u politiku odreÄ‘ivanja cijena. U isto vrijeme, preporuke ne mogu biti toliko generalne tako da „ne pokazuju zube“. Preporuke trebaju biti jasne i dovoljno specifiÄ?ne tako da svi razumiju Å¡ta treba uraditi kako bi se one zadovoljile, koja organizacija ili jedinica treba predu- zeti akciju i kada to treba uraditi. IzvjeÅ¡taji ne trebaju ukljuÄ?iti „liste pranja“ preporuka. Bolje je grupirati prepo- ruke tako da su podesne za upravljanje (tri do Ä?etiri) sa poddijelovima, ako je potrebno. Ton preporuka treba razmotriti. Važno je zapamtiti da izvjeÅ¡taji ne donose odluke – donose ih ljudi. Prezentiranje rezultata 473 Preporuke nemaju svrhe ako se u skladu s njima ne djeluje. Jedan naÄ?in da se slijede preporuke je uspostaviti sistem praćenja preporuka. Takav sistem omogućava dionicima da prate implementaciju preporuka evaluacije. Prati se svaka preporuka iz evaluacije i ostvareni napredak u implementaciji preporuka, ukljuÄ?ujući; • datum preporuke; • ko je odgovoran da preduzme aktivnosti i • reakciju/napredak. Tabela 13.2 pokazuje jednostavnu matricu koja se može koristiti u sistemu praćenja preporuka. U ovoj matrici, evaluatori mogu ispuniti prve dvije kolone, ali menadžeri prate i osiguravaju da se preporuke slijede. MeÄ‘unarodna finansijska korporacija (IFC), ogranak privatnog sektora Svjetske banke, predstavlja drugi primjer. IFC ima svoj sistem praćenja preporuka. Evaluacioni izvjeÅ¡taji, koje je pri- premila Nezavisna evaluaciona grupa (IEG) IFC-a, ukljuÄ?uju preporuke za IFC menadžment i za IFC-ovo upravljanje reakcijama. Ove preporuke se raspravljaju na IFC-ovom Upravnom komitetu za razvoj efektivnosti (CODE). CODE oÄ?ekuje periodiÄ?ne statusne izvjeÅ¡taje o prepo- rukama ukljuÄ?ujući nivo usvajanja i status. IEG sa IFC upravom, razvio je Menadžment aktivnosti evidencije praćenja (MATR). MATR je zamiÅ¡ljen da održava integritet procesa izvjeÅ¡tavanja, gdje IEG, a ni IFC, ne može promijeniti konaÄ?nu ocjenu. Ilustracija 13.1 prikazuje dvije faze MATR-a. U prvoj fazi IEG i IFC usaglaÅ¡avaju indikatore za procjenu impleme- ntacije svake nove preporuke. U drugoj fazi, status i nivo usvajanja svake aktivne preporuke se periodiÄ?no ažurira i predstavlja CODE-u. IEG i IFC ocjenjivanja ne trebaju biti ista. Kada su preporuke implementirane, zamijenjene, ili viÅ¡e nisu relevantne, deaktiviraju se. IEG-ove preporuke koje ne prihvati IFC uprava se ne prate. Tabela 13.2 Sistem praćenja preporuka Preporuka Izvor Datum Ko je odgovoran Reakcija/napredak 1. 2. 3. 4. Izvor: Autori. 474 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 13.1 IFC-ov MATR od dvije faze za praćenje preporuka Faza jedan Ciklus indikatora IEG Reakcija Menadžment preporuka menadžmenta Drugi korak postavlja menadžera zadatka Tim na zadatku Menadžer zadatka Prvi korak komentira odabire tim i predložene predlaže indikatore indikatore Odbija IEG Menadžment Prihvata prihvata ili Prihvata prihvata ili MATR odbija predložene odbija predložene indikatore indikatore Odbija Faza dva Monitoring ciklusa Menadžment IEG postavlja preporuka menadžera zadatka Eksterna publikacija Menadžer zadatka (samo ocjene) Tim na zadatku odabire tim pruža i predlaže status komentare plus nivo Interna usvajanja (LOA); publikacija komentari Odbija menadžmenta IEG dostavlja status; Menadžment MATR LOA i IEG komentari prihvata ili odbija Prihvata Izvor: Independent Evaluation Group of the International Finance Corporation 2008.  475 Vizuelno predstavljanje informacija Vizuelne informacije mogu izvjeÅ¡taj uÄ?initi interesantnim, prenositi informacije jasnije nego tekst i privući pažnju Ä?itaoca na odreÄ‘ene taÄ?ke. Efektivno koriÅ¡tenje grafike može, tako, povećati utjecaj evaluacionog izvjeÅ¡taja. Ilustracije Ilustracije mogu pomoći da smisao iz teksta bude jasniji. Treba ih uvijek koristiti sa razlogom, ali nikad za ukras. Ilustracije na naslovnoj strani izvjeÅ¡taja mogu se odnositi na okvirnu temu, ilustracije unutar izvjeÅ¡taja trebaju imati odreÄ‘en i konkretan razlog zaÅ¡to su tu. Sve ilustracije treba navesti u tekstu, tako da ukazuju na ono Å¡to Ä?italac treba vidjeti na slici. Primjeri ilustracija koje se mogu koristiti u evaluaciji ukljuÄ?uju mape, skice, linijske crteže i fotografije. Gdje je neophodno, treba pribaviti dozvolu za koriÅ¡tenje ilustracija. Mape Mape se mogu koristiti u izvjeÅ¡taju da: • ukažu na lokaciju programa; • pruže kontekst; • ukažu na geografski domet ili raÅ¡irenost programa; • pokažu osnove za nacrt primjera i • ukažu na stepen ili nivo pomoću topografije podruÄ?ja koristeći obrasce ili izo- hipse (Cummings 2003). Izrada većine mapa zahtijeva: • da se osigura da su lahke za Ä?itanje i razumijevanje (obrasci i sjenÄ?enja moraju se jasno isticati); • upotrebu najnovije verzije; • identifikaciju izvora i • ukljuÄ?ivanje strelice kompasa koja ukazuje na skalu, gdje je prikladno. Skice i crteži Kao dio prikupljanja podataka, evaluatori od uÄ?esnika ponekad traže da naprave skice (Ilustracija 13.1). Takve skice se mogu koristiti da: • izvjeÅ¡taj uÄ?ine interesantnijim; • personaliziraju izvjeÅ¡taj; • reflektuju metodoloÅ¡ki pristup; 476 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • zamijene sofisticiranije ilustracije ako tehniÄ?ki kapaciteti za izradu takvih ilu- stracija ne postoje; • dodaju humora i • omoguće direktan pogled na impresije uÄ?esnika. Crteži se mogu koristiti da se ilustrira kako neÅ¡to radi ili kako je jedan objekt povezan sa drugim. Veoma su korisni kada se opisuje proces ili situacija. Fotografije Fotografije mogu biti korisni dodaci izvjeÅ¡taju i mogu: • osigurati kontekst; • ukazati na opseg rada na terenu (napredak); • snimiti direktne opservacije (na primjer, vrstu kuća, prenapuÄ?ene uvjete u susjedstvu); • upoznati publiku sa situacijom na terenu i • pružiti dokaze (Cummings 2003). Kao i druge vrste ilustracija, fotografije nikad ne treba koristiti za puku dekoraciju. Levin, Anglin, i Carney (1987) pregledali su i saželi informacije o koriÅ¡tenju slika i ilustracija u materijalima. Oni su zakljuÄ?ili dvije stvari o efe- ktima koje slike imaju na proces uÄ?enja iz svakidaÅ¡njice: • Kada su ilustracije relevantne sadržaju, tada se mogu oÄ?ekivati umjereni do dovoljni rezultati u uÄ?enju; • Kada ilustracije NISU relevantne sadržaju, ili Ä?ak i gore od toga, konfliktne su, NE oÄ?ekujte rezultate u uÄ?enju nego možda Ä?ak i konfuziju. Slika 13.1 DjeÄ?iji doživljaj sela prije intervencije i nakon intervencije Izvor: Cummings 2003. Prezentiranje rezultata 477 Stoga, fotografije i ostale slike koje se koriste u izvjeÅ¡taju trebaju imati odreÄ‘ene i konkretne razloge zaÅ¡to su tu. Grafikoni i dijagrami Grafikoni i dijagrami pružaju vizuelno predstavljanje podataka. Idealno, sami po sebi kazuju priÄ?u, bez potrebe za naracijom. â– â–  Organizacioni Organizacioni dijagram dijagram: Organizacioni dijagram ilustrira hijerarhiju unutar organizacije (Ilustracija Dijagram kojim 13.2). Takvi dijagrami jasno i koncizno identificiraju odgovornosti i strukturu se ilustrira izvjeÅ¡tavanja. hijerarhija i Organizacioni dijagrami se Ä?esto ukljuÄ?uju u evaluacione izvjeÅ¡taje, zato Å¡to struktura izvjeÅ¡tavanja razumijevanje strukture entiteta može biti prvi korak u njegovom razumijevanju. unutar Većina programa za obradu teksta ima mogućnost izrade takvih dijagrama. organizacije Ilustracija 13.2 Primjer organizacionog dijagrama Predsjednik Savjetodavni odbor Evaluacija Direktor (1) Direktor (2) Direktor (3) Interna revizija i monitoring Pomoćnik Pomoćnik Pomoćnik direktora (1) direktora (2) direktora (3) Menadžer Menadžer Menadžer Menadžer Menadžer Menadžer Menadžer Menadžer Menadžer Izvor: Autori. 478 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ganttov dijagram Ganttov dijagram se Ä?esto koristi za planiranje (Ilustracija 13.3). Posebno su â– â–  Ganttov korisni za projektni menadžment, osobito za planiranje projekta. dijagram: Dijagram koji se koristi da se Grafikoni ilustrira Grafikon treba prenijeti jasnu poruku uz malo ispitivanja. raspored Svaki grafikon mora imati naslov, broj i liniju izvora. Naslov grafikona treba projekta ukazivati na godinu podataka (ako je moguće) (Tabela 13.3). â– â–  Grafikon: Najmanje Ä?etiri vrste grafikona ili dijagrama su korisni za prezentiranje Vizuelno predstavljanje podataka, svaki ima drugaÄ?iju svrhu (Tabela 13.4). odnosa izmeÄ‘u dva ili viÅ¡e Linijski grafikon podatka Linijski grafikon obiÄ?no prikazuje kako se varijabla (ili varijable) mijenja tokom â– â–  Linijski vremena (Ilustracije 13.4 i 13.5). Na primjer, evaluatori mogu koristiti linijski grafikon: grafikon da prikažu: rast ili pad cijena hrane tokom mjeseci u godini, promjene u Grafikon koji se dobije populaciji tokom viÅ¡e godina ili ocjene uÄ?enika za svaki dan tokom perioda od povezivanjem Å¡est sedmica. linijom serije Linijski grafikon može prikazivati jednu stavku ili viÅ¡e stavki kako se mijenjaju taÄ?aka tokom istog vremenskog perioda. Linijski grafikoni su dobar naÄ?in da se pokažu podataka; stalni rezultati, to jest, podaci koji su intervalni ili podaci odnosa. Intervalni podaci obiÄ?no se koristi da se pokažu su podaci koji su podijeljeni na raspone i gdje je rastojanje izmeÄ‘u intervala promjene znaÄ?ajno. Primjeri intervalnih podataka su raÄ?uni, kao Å¡to su raÄ?uni prihoda, tokom vremena godina obrazovanja, broja glasova. Podaci omjera (ratio) su intervalni podaci koji takoÄ‘er mogu imati i nultu taÄ?ku. I prihod možemo razumijeti kao odnos - zato Å¡to je nula dolara prihoda isto Å¡to i “nema prihodaâ€?. Ilustracija 13.3 Primjer Ganttovog grafikona Sedmica Sedmica Sedmica Sedmica Sedmica Sedmica Sedmica Zadatak 1 2 3 4 5 6 7 Provesti pregled literature Održati sastanak dionika Izraditi nacrt teorije promjene Izvor: Autori. Prezentiranje rezultata 479 Tabela 13.3 Dijelovi Grafikona Naziv Dijela Opis Naslov Svi grafikoni i dijagrami trebaju imati naslov tako da publika odmah zna poruku grafikona. Horizontalna ili x osa Horizontalna ili X osa je horizontalna linija linije ili stuba grafikona, koja predstavlja jednu varijablu (npr. vrijeme). Vertikalna ili y osa Vertikalna ili Y osa je vertikalna linija linije ili stuba grafikona, predstavlja drugu varijablu (npr. troÅ¡kove). Izvor Izvor je taÄ?ka gdje se vertikalna i horizontalna osa sreću. Mrežne linije Mnogi dijagrami imaju mrežne linije koje pomažu pri poreÄ‘enju podataka tako Å¡to se jasno pokazuju nivoi. Samo ograniÄ?en broj mrežnih linija treba koristiti da se izbjegene pretrpan izgled. Nazivi osa Nazivi X ose i Y ose su veoma važni. Identificiraju Å¡ta se mjeri i jedinice mjerenja (godine, metre, kilograme, kvadratne milje, kubne tone, dolare, stepene). Na primjer: • troÅ¡kovi (u US $) • udaljenost (u km). Mjerilo ose X i Y ose trebaju prikladne mjere da bi pokazale vrijednosti. Pažljivo odaberite mjeru da ukljuÄ?ite puni opseg vrijednosti podataka. Odaberite proporcije izmeÄ‘u mjere osa koje će najbolje ilustrirati odnose izmeÄ‘u varijabli. Stvarne vrijednosti Mnogi grafikoni i dijagrami takoÄ‘er ukljuÄ?uju stvarne vrijednosti za unose, koji se prikazuju kao dodatni tekst unutar grafike. Ovi dodaci su korisni Ä?itaocu da bi shvatio realnu situaciju. Koordinate Koordinata je taÄ?ka na grafikonu gdje X vrijednost podataka sijeÄ?e Y vrijednost. Kako će ovo biti predstavljeno (taÄ?ka, vrh, vrh stuba) ovisit će o tipu grafikona koji odaberete. Izvor: Autori. Ilustracija 13.4 Smanjenje prosjeÄ?ne temperature u provinciji A od februara do juna 2008. 40 32 30 28 25 24 Stepeni C 20 18 10 0 feb. mar. apr. maj juni 480 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 13.4 Vrste i svrhe razliÄ?itih tipova grafikona Tip grafikona Primjer Svrha Linijski grafikon Pokazuje trendove tokom vremena Dijagram sa jednim PoreÄ‘enje linearnih i stubom jednodimenzionalnih karakteristika Grafikon sa viÅ¡e Poredi dvije ili viÅ¡e stubova karakteristika sa vrijednošću zajedniÄ?ke varijable Kružni grafikon Prikazuje dijelove cjeline RasprÅ¡eni dijagram Pokazuje trendove ili odnose Izvor: Autori Ilustracija 13.5 Razlike u rezultatima Ä?itanja u tri Å¡kole u distriktu, 2004/2005. 120 90 Å kola 3 Ocjene Ä?itanja Å kola 2 60 Å kola 1 30 0 1kvartal 2 kvartal 3 kvartal 4 kvartal  2005. Å¡kolska godina 481 â– â–  Grafikon sa Grafikon sa stubovima stubovima: Grafikon sa stubovima koristi stubove (izdužene pravougaonike) da predstavi Vrsta grafikona koliÄ?ine i omogući nam poreÄ‘enje brojeva. Treba ih pažljivo nasloviti da se u kom se osigura da Ä?italac razumije koji su faktori predstavljeni. horizontalni ili vertikalni Postoje dvije vrste grafikona sa stubovima: grafikoni sa jednim stubom koji pravougaonici pokazuju informaciju o jednoj varijabli i grafikoni sa viÅ¡e stubova koji daju info- koriste da se rmacije za viÅ¡e od jedne varijable. Ovi stubovi se mogu formatirati vertikalno ili predstave i horizontalno. Grafikoni sa stubovima se koriste za poreÄ‘enje dvije ili viÅ¡e grupe porede koliÄ?ine podataka na istoj varijabli. Na primjer, evaluacija hoće uporediti stepen Ä?išćenja zemljiÅ¡ta od mina u razliÄ?itim regionima u državi. Za to se može koristiti grafikon sa viÅ¡e stubova da se prikažu informacije. U drugom primjeru, grafikon sa dva stuba se može koristiti da se porede odgovori djeÄ?aka i djevojÄ?ica iz upitnika. Grafikoni sa stubovima Ä?esto se koriste da se prikažu nominalni ili kategori- jalni podaci. Nominalni ili kategorijalni podaci nemaju redoslijed, i dodjela bro- jeva kategorijama je Ä?isto arbitrarna (1 = istok, 2 = sjever, 3 = jug). Ove kategorije se moraju jasno objasniti u legendi. Ono Å¡to slijedi su primjeri grafikona sa stubovima. Ilustracija 13.6 pokazuje postignute rezultate testiranja o roditeljstvu Ä?etiri trudnice. Jedan stub pokazuje podatke na odreÄ‘enoj varijabli za jednu grupu (Ilustracija 13.6). Grafikon sa viÅ¡e stubova pruža podatke o odreÄ‘enoj varijabli za viÅ¡e od jedne grupe (Ilustracija â– â–  Kružni grafikon: 13.7). Cirkularni grafikon Kružni grafikon podijeljen na Kružni grafikon može biti koristan kada je broj sekcija mali (Ilustracija 13.8). sekcije gdje Ne treba ga koristiti kada broj sekcija prelazi osam ili je manji od tri. svaka sekcija pokazuje relativnu magnitudu Ilustracija 13.6 Rezultati roditeljskog testa, varijacije prema regionu prikazanih elemenata 100 87 Rezultati u procentima 80 75 69 60 45 40 20 0 Zapadni Sjeverni IstoÄ?ni Južni Izvor: Autori, izmiÅ¡ljeni podaci Predmet 482 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ilustracija 13.7 Odgovori na pitanja direktora i Ilustracija 13.8 Treći kvartal pokazuje pomoćnika se razlikuju najveće cijene el. energije u kanadskim dolarima, 2008. 100 204.00 Direktori 90 80 Glavni odgovori na pitanja 313.00 70 1st Qtr 60 2nd Qtr 50 905.00 678.00 3rd Qtr 40 Asistenti 4th Qtr 30 20 10 0 Izvor: Autori, izmiÅ¡ljeni podaci 1 2 3 Broj pitanja Izvor: Autori, izmiÅ¡ljeni podaci RasprÅ¡eni dijagram RasprÅ¡eni dijagram je grafikon koji pokazuje odnos seta podataka postavljajući ih na horizontalnu i vertikalnu osu (Ilustracija 13.9). Ako su varijable u uzajamnoj vezi, linija ili krivulja će biti evidentna. Å to je korelacija bolja, to će taÄ?ke biti bliže liniji ili krivulji. RasprÅ¡eni dijagram koji ne pokazuje neki osobit obrazac ukazuje da ne postoji jasan odnos izmeÄ‘u dvije varijable. Ilustracija 13.9 Srednji rezultat testa poreÄ‘enja rezultata i nivoa razreda 100 90 80 Glavni rezultat na testu 70 60 50 40 30 20 10 0 0 1 2 3 4 5 6 7 8 9 10 11 12 Kompletni razred  Izvor: Autori, izmiÅ¡ljeni podaci 483 Tabele Tabele se mogu koristiti da se predstave informacije na organiziran naÄ?in. Postoje dvije vrste tabela koje treba razmotriti za upotrebu u izvjeÅ¡taju: tabele sa poda- cima i klasifikacijske tabele (matrice). Tabele sa podacima Mogu biti korisne da se predstave numeriÄ?ke informacije u tabelama, koji se zovu tabele podataka samo ako su setovi podataka mali (Tufte 1983). Veće tabele podataka generalno pružaju osnovu za prezentaciju podataka u drugim forma- tima, kao Å¡to su linijski i grafikoni sa stubovima, i obiÄ?no se postavljaju u dodatke. Kao i sa slikama i ilustracijama, publika neće automatski znati Å¡ta da gleda u tabeli. Korisno je kada naslov tabele opisuje Å¡ta bi trebali vidjeti i kako se to može odnositi na informacije. Kratak opis onoga Å¡to bi se trebalo vidjeti takoÄ‘er treba ukljuÄ?iti u narativni dio izvjeÅ¡taja. Kad god predstavljamo rezultate u tabelu, treba ukljuÄ?iti izvor podataka i godinu kada su podaci prikupljeni. Eherenburg (1977) sažima principe za voÄ‘enje dizajna tabela za predstavljanje informacija. • Ne zaokruživati brojeve na viÅ¡e od dvije decimale. Ovo pomaže da se naprave poreÄ‘enja. (napomena: sugeriÅ¡emo zaokruživanje na cijele brojeve; rijetko ko želi decimalni nivo detalja). • Pružiti zbir i sredinu redova i kolona (ako je prikladno) da se publici pomogne pri poreÄ‘enju pojedinih unosa u ćelije. • Postaviti najvažnije podatke u kolone zato Å¡to to omogućava Ä?itaocu da lakÅ¡e pravi poreÄ‘enja. Kada odluÄ?ujemo o formatu tabele, treba imati na umu da previÅ¡e linija (koje dijele ćelije tabele) otežava Ä?itanje. Ovo je prikazano u sljedeće dvije tabele, gdje se u Tabeli 13.5 daje primjer podataka u tabeli sa puno linija. Tabela 13.6 poka- zuje iste podatke u tabeli sa manje linija. TakoÄ‘er, obratite pažnju da posljednji red tabele pokazuje srednju vrijednost kolona sa podacima. Klasifikacione tabele (matrice) Klasifikacione tabele, ili matrice, su ureÄ‘ene tako da prikazuju kako je lista stvari organizirana prema razliÄ?itim faktorima (Tabela 13.7). Najmanje dva faktora sortiranja ukazuju na sliÄ?nost ili razliku meÄ‘u stvarima koje su klasificirane. Klasifikacione tabele mogu takoÄ‘er pomoći da se ilustruju kompleksne info- rmacije. Matrica dizajna je klasifikaciona tabela. 484 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tabela 13.5 Primjer podataka u tabeli sa viÅ¡e linija Demografske informacije o uÄ?esnicima Broj uÄ?esnika Visina Težina Starost Oblast 1 44 30 7,2 sjever 2 46 35 7,1 istok 3 40 20 7,6 sjever 4 32 22 7,2 jug 5 29 23 7,0 jug 6 50 38 7,8 sjever 7 44 30 7,3 zapad 8 44 28 7,3 zapad 9 42 30 7,5 istok 10 48 45 7,9 jug Srednja 38,09 27,36 6,72 vrijednost Tabela 13.6 Primjer podataka u tabeli sa manje linija Demografske informacije o uÄ?esnicima Broj uÄ?esnika Visina Težina Starost Oblast 1 44 30 7,2 sjever 2 46 35 7,1 istok 3 40 20 7,6 sjever 4 32 22 7,2 jug 5 29 23 7,0 jug 6 50 38 7,8 sjever 7 44 30 7,3 zapad 8 44 28 7,3 zapad 9 42 30 7,5 istok 10 48 45 7,9 jug Prosjek 38 27 7,0 Izvor: Autori (izmiÅ¡ljeni podaci) Napomena: N = 10. Prezentiranje rezultata 485 Tabela 13.7 Primjer klasifikacijske tabele Strategije smanjenja siromaÅ¡tva: Studija sluÄ?aja država Godine Država Datum poÄ?etka implementacije Pregled zavrÅ¡en Etiopija 17. sept. 2002. 4,7 Da Gvineja 25. juli 2002. 4,9 Da Mauritanija 06. feb. 2001. 6,3 Da Mozambik 25. sept. 2001. 5,7 Da Tanzanija 30 nov. 2000. 6,3 Da Izvor: PrilagoÄ‘eno iz World Bank 2004. Napomena: Podaci su iz maja 2007. PoboljÅ¡anje efektivnosti vizuelnih informacija Prema Edwardu Tufteu, struÄ?njaku za prikazivanje vizuelnih informacija, grafiÄ?ki prikazi trebaju ostvariti sljedeće: • prikazati podatke; • potaknuti posmatraÄ?a da razmiÅ¡lja o sadržaju grafike, a ne o metodologiji, grafiÄ?kom dizajnu, tehnologiji grafiÄ?ke produkcije ili bilo Ä?emu drugom; • da se izbjegne iskrivljavanje onog Å¡to podaci imaju reći; • predstaviti mnogo brojeva na malom prostoru; • da se da smisao velikom setu podataka; • podstakne oko da poredi razliÄ?ite podatke; • da se otkriju podaci na nekoliko nivoa detalja, od Å¡irokog pregleda do fine strukture; • da se pobliže integrira sa statistiÄ?kim i verbalnim opisima podataka (Tufte 1983). Tintu koriÅ¡tenu za prezentiranje samih podataka Tufte naziva „tinta podataka“. Većina tinte koriÅ¡tena za izradu grafike treba biti tinta podataka, Å¡to manje tinte treba ići u mrežne linije, oznake ili druge distraktore (Tekstu- alni okvir 13.2). Dekoraciju, koja ne nosi neke dodatne podatke, naziva „otpad grafikona“. 486 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Tekstualni okvir 13.2 Savjeti za izradu efektivnih ilustracija Sljedeći savjeti mogu pomoći da se maksimizira tinta podataka i poveća efektivnost ilustracija: • Predstaviti dovoljno podataka da se prenese poruka, ali ograniÄ?iti koliÄ?inu podataka predstavljenih u jednoj grafici; • Osigurati da grafika prenosi poruku i da poruka ima smisla razumnoj osobi; • Koristiti Ä?itljivi font, ne manji od 10. Izbjegavati upotrebu previÅ¡e veliÄ?ina i vrsta slova. OlakÅ¡ati Ä?itanje publici (postaviti tekst horizontalno ako je moguće i izbjegavati preklapanje sa drugim elementima grafikona); • Koncentrirati se na podatke, a ne na ono u Å¡ta se podaci postavljaju; • Izbjegavati teÅ¡ke mreže, prebukirane mreže, viÅ¡e oznaka nego Å¡to je potrebno, pretjerano predstavljanje jednostavnih podataka, okvire, sjene, pokazivaÄ?e i legende, gdje je to moguće; • Zamijeniti okvire oko prikaza postavljene duž X ili Y mreže; • Sakriti mrežne linije u grafikonima sa stubovima; • Koristiti kvaÄ?ice (bez linija) da se pokažu stvarne lokacije X i Y podataka; • „Potkresati“ grafikon zamjenjujući stubove pojedinaÄ?nim linijama, eliminirajući tintu bez podataka, eliminirati linije iz osa i zapoÄ?eti X ili Y ose na vrijednostima podataka (podruÄ?je okvira); • Imati iskrene mjere, i jasno ih odrediti. Pružiti Å¡to viÅ¡e informacija o mjerama, ali ukljuÄ?iti ih nenametljivo; • Izbjegavati prebukirane i nepotrebne obrasce; • Paziti se sjena koje mogu ne pokazivati namjeravanu diferencijaciju kada se isprintaju; • IzdaÅ¡no koristiti upotrebu bijelog prostora, koji će pružiti vizuelno rasterećenje; • Ukazati na izvor informacije. Ilustracija 13.10 pokazuje primjer grafiÄ?kog prikaza pretrpanog grafiko- nskim smećem. Sjene i mrežne linije ne Ä?ine niÅ¡ta da pojaÄ?aju poruku grafiÄ?kog prikaza. Oznake podataka na vrhu svake kolone ometaju Ä?itaoca da vidi obrasce. Ilustracija 13.11 pokazuje isti grafiÄ?ki prikaz bez grafikonskog smeća. Većina tinte na ovom prikazu je tinta podataka. Prezentiranje rezultata 487 Ilustracija 13.10 Primjer nepotrebno pretrpanog grafiÄ?kog prikaza 60 54 49 1 50 46 2 40 41 3 38 39 40 34 Frekvencija 30 30 27 20 20 20 10 0 Istok Zapad Sjever Jug Izvor: Autori Ilustracija 13.11 Primjer uravnoteženog prikaza gdje je maksimizirana tinta podataka 60 1 2 50 3 40 Rezultat 30 20 10 0 Istok Zapad Sjever Jug Izvor: Autori 488 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Pravljenje usmene prezentacije Mnogo ljudi imaju veliki strah od javnog obraćanja. Strah od javnog obraćanja se može smanjiti dobrom pripremom i vježbanjem prezentacije unaprijed. Kod planiranja prezentacije, razmotrimo sljedeća pitanja: • Ko je u publici? Å ta oÄ?ekuju? Koliko detalja žele? • Å ta je poenta moje prezentacije? Koje su tri najvažnije poruke koje hoću da publika zapamti? Å ta želim da publika uradi sa informacijama koje sam predstavio? • Postoje li jeziÄ?ni ili tehniÄ?ki izazovi za prenoÅ¡enje ove informacije ovoj publici? • Kako unaprijed otkriti kako bi publika mogla reagovati na moju prezentaciju? • Koliko vremena imam za prezentaciju? • Koje audio i vizuelne resurse ću moći koristiti (slajdovi, projektori)? Kada pripremamo prezentaciju, imati na umu publiku, fokusirati se na glavne poruke, i poÅ¡tovati jednostavno vremenom potvrÄ‘eno pravilo: „Reci im Å¡ta ćeÅ¡ im reći, reci im, a zatim im reci Å¡ta si im rekao.“ Jedan od najboljih naÄ?ina da se poboljÅ¡a kvalitet prezentacije je vježba. Ura- dite probu prezentacije sami prije nego Å¡to uradite probu pred drugima. Tražite povratnu informaciju nakon probe te, prema tome, prilagodite prezentaciju. Uvjerite se da prezentacija popuni dodijeljeno vrijeme i da ga ne prekoraÄ?i. Tokom prezentacije, govorite publici, a ne vaÅ¡im biljeÅ¡kama. Imajte vizuelni kontakt sa puno ljudi u publici. Ako koristite projektor i ekran, isprintajte kopiju svih slajdova i postavite ih ispred sebe tako da nikada ne okrećete leÄ‘a publici i ne Ä?itate sa ekrana. Upotreba vizuelnih pomagala Vizuelni elementi mogu pojaÄ?ati prezentaciju. Mogu se prezentirati kao slajdovi, projekcije, ploÄ?e sa posterima i kao materijal koji se podijeli. (Ako se koriste slajdovi ili projekcija, napravite rezervni plan u sluÄ?aju da vas izda oprema ili nestane elektriÄ?ne energije.) Pisane informacije jaÄ?aju informacije koje se prenose usmeno. Iz ovog razloga, posebno kada se prezentira ljudima Ä?iji maternji jezik može biti razliÄ?it, Ä?esto je dobra ideja podijeliti neÅ¡to materijala na poÄ?etku prezentacije (Tekstu- alni okvir 13.3). Na taj naÄ?in ostvarujemo prednost tako Å¡to omogućavamo lju- dima da prave napomene na kopiji. Kada nemaju materijal, nije neobiÄ?no vidjeti ljude kako frenetiÄ?no pokuÅ¡avaju zapisati prezentaciju! Nedostatak kod podjele Prezentiranje rezultata 489 Tekstualni okvir 13.3 Savjeti za pripremu PowerPoint prezentacije i materijala Materijal se može pojaÄ?ati ako sljedeće savjete imamo na umu: • Minimizirati broj rijeÄ?i. OgraniÄ?iti tekst na ne viÅ¡e od osam redova po slajdu ili projekciji; • UkljuÄ?iti dosta bijelog prostora; • Koristiti jasnu vizualizaciju; • Broj slajdova po stranici u materijalu neka bude dva radi Ä?itljivosti. materijala na poÄ?etku prezentacije je da će ljudi gledati unaprijed u materijal, umjesto da se fokusiraju na ono Å¡to se putem prezentacije predstavlja. Ako se iz ovog razloga materijal ne dijeli do kraja prezentacije, važno je publiku upoznati da će ga dobiti. Ako prezentacija ukljuÄ?uje kompleksne podatke ili tabele, razmo- trite podjelu ovih tabela kada se tema predstavlja. KoriÅ¡tenje programa prezentacije Programi prezentacije, kao Å¡to su PowerPoint, mogu vizuelne dojmove uÄ?initi profesionalnijim. Treba ih razborito koristiti da govor ne bi pretvorili u puki slajd Å¡ou. Da bi prezentaciju uÄ?inio interesantnom, govornik treba ograniÄ?iti broj sla- jdova, koristeći ih samo da se prenesu najvažnije taÄ?ke (Tekstualni okvir 13.4). Tekstualni okvir 13.4 Savjeti za koriÅ¡tenje slajdova Sljedeći savjeti mogu poboljÅ¡ati efektivnost slajdova u prezentaciji: • PoÄ?eti slajdom koji zaokuplja pažnju publike. Dati publici oko 10 sekundi da proÄ?ita slajd, zatim sljedećih pet minuta priÄ?ajte zaÅ¡to je važno ono Å¡to je na slajdu izneseno; • Koristiti slajdove da se ilustruju važne taÄ?ke, zaÄ?uÄ‘ujuće Ä?injenice, izjave koje je teÅ¡ko dokuÄ?iti usmeno i da se ilustruju važni zakljuÄ?ci; • Pokazati slajd, a zatim publici ispriÄ?ati priÄ?u koja stoji iza njega. Izvor: Zasnovano na Taylor 2007. Pretjerana upotreba slajdova može prezentaciju uÄ?initi katastrofalnom. TakoÄ‘er se rizikuje „pretvaranje svega u prodajnu prezentaciju“ i „postavljanje dominacije govornika nad publikom“ (Tufte 2003). Kao Å¡to Tufte primjećuje: 490 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Publika posljediÄ?no trpi nemilosrdnu sekvencijalnost, jedan prokleti slajd nakon drugog. Kada su informacije strpane u vremenu, teÅ¡ko je razumjeti kontekst i evalu- irati odnose. Vizuelno rezoniranje obiÄ?no efektivnije djeluje kada se relevantne informacije pokazuju jedna uz drugu. ÄŒesto, Å¡to je detalj intenzivniji, veća je jasnoća i razumijevanje. Ovo je posebno tako za statistiÄ?ke podatke, gdje će funda- mentalni analitiÄ?ki Ä?in napraviti poreÄ‘enje. (Tufte 2003) Sažetak PrenoÅ¡enje rezultata evaluacije je isto tako kritiÄ?no kao i provoÄ‘enje same evaluacije: ako se ne prenesu poruke evaluacije, nema puno smisla provoditi evaluaciju. Bilo da je evaluacija predstavljena pisano ili usmeno, mora se prila- goditi da zadovolji potrebe publike. I pisani i usmeni izvjeÅ¡taji mogu se pojaÄ?ati upotrebom grafike. PoÅ¡tujući pri- ncipe iznesene u ovom poglavlju, evaluatori mogu povećati utjecaj koji će imati njihova evaluacija. Poglavlje 13 Aktivnosti Aplikacijska vježba 13.1: PoboljÅ¡avanje evaluacionog izvjeÅ¡taja Razvijte listu kriterija da procijenite kako evaluacioni izvjeÅ¡taj prenosi metodo- logiju, nalaze, zakljuÄ?ke i preporuke ciljanoj publici. Koristeći ove faktore, proci- jeniti izvjeÅ¡taj koji je nedavno napisan na vaÅ¡em polju. Ocijenite ga na osnovu procjene svakog kriterija (A za odliÄ?no, B za vrlo dobro, C za adekvatno, i NI za potrebno poboljÅ¡anje). Identificirati poboljÅ¡anja koja se mogu napraviti na izvjeÅ¡taju tako da se njime efektivnije prenosi poruka. Aplikacijska vježba 13.2: PrilagoÄ‘avanje izvjeÅ¡taja publici Identificirajte razliÄ?itu publiku koja bi mogla biti zainteresirana za nalaze ili metodologiju izvjeÅ¡taja koji ste pregledali u prethodnoj vježbi. Razmotrite: koji bi aspekti evaluacije bili od najvećeg interesa svakoj publici, koji bi nivo detalja bio od interesa svakoj audijenciji i koji je najbolji naÄ?in prenoÅ¡enja glavnih poruka izvjeÅ¡taja da zadovolji potrebe i interese svake grupe. Treba koristiti analizu, izraditi listu provjere da se pokaže koja publika treba dobiti koju vrstu komunikacije i kada i od koga. Prezentiranje rezultata 491 Bibliografija i dodatna literatura Busuladzic, Dino, and James Trevelyan. 1999. Demining Research: An Ergonomic Aspect of Humanitarian Demining. University of Western Australia, Perth. http://www.mech.uwa.edu.au/jpt/demining/tech/dino/ergonomics.html. Cummings, Harry. 2003. “Using Graphics in Development Evaluations.â€? International Program for Development Evaluation Training (IPDET) presentation, Carleton Uni- versity, Ottawa, June 16–July 11. Druker, Phil 2006. Advanced Technical Writing. University of Idaho, Moscow, Idaho. http://www.class.uidaho.edu/adv_tech_wrt/week14/conclusion_ recommendation_final_report.htm. Ehrenberg, A. S. C. 1977. “Rudiments of Numeracy.â€? Journal of the Royal Statistical Society 140: 277–97. Independent Evaluation Group of the International Finance Corporation. 2008. Enhanc- ing Monitoring and Evaluation for Better Results: Biennial Report on Operations Evaluation in IFC 2008. Washington D.C.: World Bank. http: www.ifc.org/.../BROE2008_FullReport/$FILE/BROE+for+disclosure-final+V8- final.pdf. Kaplan, Craig S. 2003. “Presentation Tips.â€? Craig Web Experience. http://www.cgl.uwaterloo.ca/~csk/presentations.html. Lawrenz, Frances, Arlen Gullickson, and Stacie Toal. 2007. “Dissemination: Hand- maiden to Evaluation Use.â€? American Journal of Evaluation 28 (3): 275–89. Lentz, Michelle 2007. “Tufte and Visual Presentation.â€? http://www.writetech.net/2007/02/presentation_st.html. Lester, P. M. 2000. Visual Communication: Images with Messages. 2nd ed. Kentucky: Wadsworth Cengage Learning. Levin, J. R., G. J. Anglin, and R. N. Carney. 1987. “On Empirically Validating Functions of Pictures in Prose.â€? In the Psychology of Illustration, vol. 1, eds. D. A. Willows and H. A. Houghton, 51–85. London: Springer-Verlag. MIGA. 2007. Annual Report 2007–08. http://www.miga.org/documents/IEG_MIGA_2007_Annual_Report.pdf. Scriven, Michael. 2007. “Key Evaluation Checklist.â€? http://www.wmich.edu/evalctr/checklists/kec_feb07.pdf. Taylor, Dave. 2007. “Use PowerPoint to Enhance Your Presentation, Not Cripple It.â€? http://www.intuitive.com/blog/use_powerpoint_to_enhance_your_ presentation_not_cripple_it.html. Torres, R., H. S. Preskill, and M. E. Piontek. 1997. Evaluation Strategies for Communi- cating and Reporting. Thousand Oaks, CA: Sage Publications. Tufte, Edward R. 1983. The Visual Display of Quantitative Information. Cheshire, CT: Graphics Press. ———. 1990. Envisioning Information. Cheshire, CT: Graphics Press. 492 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije ———. 1997. Visual Explanations: Images and Quantities, Evidence and Narrative. Cheshire, CT: Graphics Press. ———. 2003. “PowerPoint Is Evil: PowerPoint Corrupts. PowerPoint Corrupts Abso- lutely.â€? Wired 11.09, September. http://www.wired.com/wired/archive/11.09/ppt2.html. ———. 2006. Beautiful Evidence. Cheshire, CT: Graphics Press. ———. 2008. The Work of Edward Tufte. http://www.edwardtufte.com/tufte/. Wallgren, Anders, Britt Wallgren, Rolf Persson, Ulf Jorner, and Jan-Aage Haaland. 1996. Graphing Statistics and Data. Thousand Oaks, CA: Sage Publications. World Bank Operations Evaluation Department. 2004. “The Poverty Reduction Strategy Initiative: An Independent Evaluation of the World Bank’s Support through 2003.â€? World Bank, Washington, DC. Web stranice Statistics Canada. Using Graphs. http://www.statcan.ca/english/edu/power/ch9/using/ using.htm. Torok, George. Presentation Skills Success. http://www.presentationskills.ca/. Prezentiranje rezultata 493 POGLAVLJE 14 Usmjeravanje evaluatora: evaluaciona etika, politika, standardi i vodeća naÄ?ela Evaluatori imaju mnoge zadatke, ukljuÄ?ujući planiranje, organiziranje, i dizajniranje evaluacija i prikupljanje, analiziranje, i predstavljanje podataka. TakoÄ‘er se trebaju nositi sa internim i eksternim pritiskom. Od njih se može tražiti da naprave promjene plana, organizacije ili izvjeÅ¡taja o evaluaciji da bi se zadovoljile potrebe drugih. Ponekad su predložene modifikacije dobrodoÅ¡le, u drugim sluÄ?ajevima, mogu pokrenuti etiÄ?ke ili politiÄ?ke obzire. Etika i politika su pitanja za sve evaluatore, posebno za one koji rade u zemljama sa slabom upravom i historijom korupcije. Interni pritisak unutar razvojne organizacije takoÄ‘er može pokrenuti etiÄ?ka pitanja. U ovom poglavlju raspravljamo o etiÄ?kim pitanjima i politiÄ?kim obzirima u evaluaciji. Ovo poglavlje ima tri glavna dijela: • EtiÄ?no ponaÅ¡anje • Politika i evaluacija • Evaluacioni standardi i vodeća naÄ?ela 495 EtiÄ?no ponaÅ¡anje Etika je skup vrijednosti i vjerovanja koji usmjeravaju izbore. Etika razmatra velika pitanja, kao Å¡to su „Kako trebamo živjeti?“ Razmislite o ovom pitanju. Ko definira: „kako“ (metod), „treba“ (ambicija), „mi“ (grupa koja traži konsenzus), i „živjeti“ (stvorenja sa tijelima) (World IQ 2008)? Etika zavisi o ljudima koji donose odluke. Zasnovana je na njihovim pogledima o onome Å¡to je ispravno, pogreÅ¡no, dobro i loÅ¡e. Zakoni su pisani u pokuÅ¡aju da se identificiraju i kontrolira etiÄ?no ponaÅ¡anje, ali zakoni ne mogu pokriti svaku moguću situaciju. Å taviÅ¡e, ponaÅ¡anje može biti legalno, ali ipak neetiÄ?no (na primjer, uzimanje malog poklona od nekoga koga upravo treba evaluirati ili mijenjanje tona izvjeÅ¡taja da bi ga se uÄ?inilo pozitivni- jim ili negativnijim uprkos snazi dokaza koja stoji iza njega). Evaluatori su Ä?esto suoÄ?eni sa situacijama u kojima prava stvar koju treba uraditi nije jasna, postoje mnoga siva podruÄ?ja. Ali, od njih se uvijek oÄ?ekuje da evaluaciju provode etiÄ?no. Zato Å¡to su osnove za odluÄ?ivanje Å¡ta je etiÄ?no zasno- vane na vrijednostima i vjerovanjima, razliÄ?ite kulture uspostavljaju razliÄ?ite zakone. Iz tog razloga, važno je biti svjestan Å¡ta je legalno kao i Å¡ta se smatra etiÄ?nim u državi u kojoj se evaluacija provodi. Evaluatori takoÄ‘er trebaju biti svjesni svih zakona kojima se zahtijeva prija- vljivanje kriminala ili sumnje u kriminal. U Sjedinjenim Državama, na primjer, seksualno zlostavljanje je kriviÄ?no djelo. Definirano je kao nepoželjno seksualno ponaÅ¡anje, zahtjev za seksualnim uslugama i druge verbalne ili fiziÄ?ke radnje seksualne prirode kada prihvatanje ili odbijanje radnji implicitno ili eksplicitno utjeÄ?e na radno mjesto ili radni uÄ?inak osobe ili kreira zastraÅ¡ujuće, neprijateljsko ili nasilno radno okruženje (U.S. Equal Employment Opportunity Commission 2002.) Neprijavljivanje sumnjivog seksualnog zlostavljanja može dovesti do pravne odgovornosti. Evaluatori trebaju biti svjesni zakona u državi u kojoj rade kao i smjernica i standarda u vlastitoj organizaciji. Mnoge razvojne organizacije su razvile i obja- vile etiÄ?ne standarde ili smjernice. Evaluacija podmitljivost i zablude Evaluatori trebaju biti u stanju „govoriti istinu jaÄ?ima“. Nezavisan, ispitivaÄ?ki i analitiÄ?ki mentalni sklop je neÅ¡to Å¡to se mora imati. Fitzpatrick, Sanders i Worthen (2004) predstavljaju pet oblika „evaluacione podmitljivosti“: • volja da se iskrivi istina i proizvedu pozitivni nalazi, kao rezultat konflikta interesa ili drugih percipiranih koristi ili kazni (takva volja može biti svjesna ili nesvjesna); 496 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • prodor neutemeljenih miÅ¡ljenja zbog nemarne, kapriciozne ili neprofesionalne evaluacione prakse; • “zaklanjanjeâ€? evaluacionih “nalazaâ€? kao rezultat prodora predrasuda evaluatora; • navoÄ‘enje klijenata ili uÄ?esnika da saraÄ‘uju dajući obećanja koja se ne mogu ispuniti i • propust da se oda poÄ?ast predanostima kojima se poÄ?ast treba odati. House (1995) podmitljivost posmatra iz neÅ¡to drugaÄ?ije perspektive. Ukazuje da evaluatori mogu jednostavno pogreÅ¡no razumjeti njihove odgovornosti. Ide- ntificira pet „zabluda evaluacije“. • Klijentizam: zabluda je da ako radimo sve ono Å¡to klijent traži i Å¡ta god će mu koristiti etiÄ?ki korektno; • Kontraktualizam: zabluda da evaluator mora slijediti pisani ugovor bez posta- vljanja pitanja, Ä?ak iako je to Å¡tetno po javno dobro; • Metodologizam: vjerovanje da praćenje prihvatljivih metoda istraživanja osigurava da će ponaÅ¡anje evaluatora biti etiÄ?no, Ä?ak i kad neke metodologije mogu ustvari praviti etiÄ?ne dileme evaluatoru; • Relativizam: zabluda da se svim miÅ¡ljenjima koja evaluator prikupi od raznih uÄ?esnika treba dati ista težina, kao da ne postoji osnova za prikladno davanje miÅ¡ljenja perifernih grupa manjeg prioriteta nego datih centralnih grupa; • Pluralizam/elitizam: zabluda kojom se dozvoljava da se onima sa snažnijim glasovima da veći prioritet zato Å¡to evaluator smatra da oni imaju viÅ¡e prestiža i potentnosti nego nemoćni ili bezglasni. Identificiranje etiÄ?nih problema Morris i Cohn (1993) su anketirali Ä?lanove AmeriÄ?ke evaluacione asocijacije o njihovim stavovima o etiÄ?nim pitanjima. Sljedeća lista etiÄ?nih problema je modi- ficirana iz njihove ankete: • Klijent odluÄ?i kakvi će biti nalazi prije nego se evaluacija desi ili planira nalaze koristiti na etiÄ?no upitan naÄ?in; • Klijent oznaÄ?ava odreÄ‘ena pitanja nedostupna evaluaciji, uprkos njihovoj važnosti; • Klijent namjerno mijenja nalaze prije nego su objavljeni; • Klijent vrÅ¡i pritisak na evaluatora da promijeni predstavljanje nalaza; • Klijent suspreže ili ignorira nalaze; • Klijent vrÅ¡i pritisak na evaluatora da prekrÅ¡i povjerljivost; • Klijent vrÅ¡i neodreÄ‘enu zloupotrebu nalaza. • Legitimni dionici su ispuÅ¡teni iz procesa planiranja; Usmjeravanje evaluatora: evaluaciona etika, politika, standardi i vodeća naÄ?ela 497 • Evaluator otkrije da je ponaÅ¡anje nelegalno, neetiÄ?no, ili opasno; • Evaluator nevoljko prezentira potpune nalaze, iz nejasnih razloga; • Evaluator je nesiguran u svoju mogućnost da bude objektivan ili fer u predsta- vljanju nalaza; • Iako nema pritiska od klijenta ili dionika da prekrÅ¡i povjerljivost, evaluator je zabrinut da bi izvjeÅ¡tavanje o odreÄ‘enim nalazima moglo predstavljati takvo krÅ¡enje; • Nalazi se koriste kao dokaz protiv nekoga. Pored ovih etiÄ?nih problema postoje i etiÄ?na pitanja povezana sa dizajnom evaluacije. EtiÄ?na pitanja mogu nastati u nasumiÄ?nim dizajnima kada se odluÄ?uje ko prima intervenciju, a ko je postavljen u kontrolnu grupu. Ako se tokom trajanja projekta intervencija pokaže obećavajućom, oni koji nisu obuhvaćeni intervenci- jom mogu zatražiti pristup intervenciji. Osiguranje tog pristupa mijenja dizajn evaluacije i evaluaciju. Ako se želi da evaluacija bude od koristi menadžerima, razvojnim organiza- cijama, uÄ?esnicima i graÄ‘anima, svi oni moraju biti poÅ¡teni, objektivni i praviÄ?ni. Posao evaluatora je osigurati da su prikupljanje, analiza i izvjeÅ¡tavanje podataka poÅ¡teni i praviÄ?ni. Utjecaj na poÄ?etku evaluacije može biti suptilan. Ponekad postoji pritisak da se izbjegne postavljanje odreÄ‘enih vrsta evaluacionih pitanja ili da se evaluacija upravi na manje osjetljivo podruÄ?je. Može se desiti da se ne iznesu odreÄ‘ena pitanja koja mogu negativno odslikati organizaciju ili program. Klijenti mogu reći: „Mi znamo i vi znate da mi imamo problem koji treba rijeÅ¡iti i mi smo već preduzeli korektivne mjere, ali ne moramo to objavljivati i ugroziti podrÅ¡ku pro- gramu.“ Može biti otpora u anketiranju osoblja, uÄ?esnika programa ili graÄ‘ana zato Å¡to se mogu otkriti osjetljiva (negativna) pitanja. U drugim situacijama, odreÄ‘eni ljudi mogu biti iskljuÄ?eni sa sastanaka ili iz intervjua, ili obilasci terena mogu biti ograniÄ?eni zbog „vremenskih ograniÄ?enja.“ Evaluator treba nastojati da pokrene pitanja koja se izbjegavaju, izbjegne da ga kooptiraju i uvjeriti se da su svi stavovi izneseni ili razmotreni. PokuÅ¡aji da se utjeÄ?e na evaluaciju takoÄ‘er se Ä?esto deÅ¡avaju tokom evaluacije. Iako bi većina evaluatora brzo prepoznala mito, ne mogu baÅ¡ uvijek prepoznati prepredene oblike utjecaja. Ponude prijateljstva, veÄ?ere ili rekreativne aktivnosti mogu biti geste dobrodoÅ¡lice nekome ko je daleko od kuće. Ali to, takoÄ‘er, može biti pokuÅ¡aj da se utjeÄ?e na perspektivu evaluatora pa tako i na izvjeÅ¡taj. Ponekad neko ukaže evaluatoru na trag korupcije ili prevare. Evaluator ne treba pokuÅ¡avati razluÄ?iti je li ta informacija pokuÅ¡aj da se skrene pažnja sa drugih pitanja, pokuÅ¡aj onog ko ga informira da se osveti nekome ili stvarna korupcija ili prevara. Evaluatori nisu obuÄ?eni kao specijalni istražitelji. Stoga oni ne trebaju istraživati da odrede je li optužba taÄ?na. Umjesto toga optužbu trebaju prijaviti odgovarajućem organu istrage. 498 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije U većini razvojnih organizacija, postoje procedure za prijavljivanje sumnjivih radnji ili prevara. U Svjetskoj banci, na primjer, Odjeljenje integracionog integri- teta istražuje optužbe krÅ¡enja pravila kao i optužbe prevare ili korupcije u opera- cijama banke. Takva odjeljenja Ä?esto imaju „vruće linije“ za prijavljivanje krÅ¡enja pravila, prevare ili zloupotrebe. ÄŒlanovi evaluacionog tima moraju biti upoznati sa politikom i standardima u njihovoj organizaciji za postupanje sa optužbama za prevaru, zloupotrebu ili krÅ¡enje pravila. Ove procedure mogu biti dio priruÄ?nika za osoblje, posebne broÅ¡ure ili dio ugovora o zapoÅ¡ljavanju. Evaluatori trebaju imati na umu da podliježu politici i standardima njihove organizacije. Moto „ne Ä?ini Å¡tetu“ se sigurno može primijeniti na evaluaciju. Osim kada se primijete i prijave zloupotreba ili prevara, evaluacija ne treba nanositi Å¡tetu uÄ?esnicima. Ovo znaÄ?i da ljude koji uÄ?estvuju ne treba identificirati ili dovoditi u prijeteće situacije. Ako je povjerljivost uÄ?esnika osigurana, a imena se poslije toga otkriju, Å¡teta je uÄ?injena. ZaÅ¡tita povjerljivosti je suÅ¡tinska stvar, ali mogu postojati situacije kada je to teÅ¡ko. Recimo, na primjer, da evaluatorima obrazovnog programa nekoliko ispitanika kaže da direktor novac iz programa troÅ¡i u liÄ?nu korist. Å ta evaluator treba uraditi? Otkrivanje ovih nalaza nosi rizik isticanja onih koji su ih prijavili u povjerenju. Ne prijavljivanje incidenta vodi do potencijalnog kompliciranja. Ova situacija ilustrira koristi anonimnih vrućih linija. TakoÄ‘er može koristiti da se priÄ?a sa supervizorom ili menadžerom (koji nisu ukljuÄ?eni u optužbe) o situaciji i opcijama. Evaluatori trebaju biti posebno pažljivi kada im menadžeri programa, oni koji hoće neÅ¡to prijaviti ili Ä?ak Ä?lanovi uprave hoće reći neÅ¡to „neslužbeno.“ U najma- nju ruku trebaju osobu koje hoće „neslužbeno“ razgovarati pitati Å¡ta misle pod tim „neslužbeno“. Evaluatori se trebaju uvjeriti da im odgovara definicija koju su dobili prije nego se upuste u „neslužbeni“ razgovor. Politika i evaluacija Evaluacija se uvijek izvrÅ¡ava u politiÄ?kom kontekstu, prosta Ä?injenica da se evaluacija vrÅ¡i može se iskoristiti da se unaprijedi liÄ?ni ili institucionalni program. ÄŒesto se kaže znanje je moć, evaluacija osigurava znanje koje se može koristiti kao Å¡tap i mrkva da bi se utjecalo na ponaÅ¡anje. To je aktivnost koja Ä?esto proi- zvodi pobjednike i gubitnike. Politika može potkopati integritet evaluacije. Može odrediti na koji naÄ?in i u kom stepenu će se koristiti evaluacija. Pozitivne evaluacije mogu pomoći u osigu- ravanju viÅ¡e sredstava, proÅ¡iriti pilot projektu programe punog obima, pojaÄ?ati reputaciju i utjecaj, izgraditi karijere onih koji su ukljuÄ?eni u intervenciju. Usmjeravanje evaluatora: evaluaciona etika, politika, standardi i vodeća naÄ?ela 499 Evaluacije koje identificiraju ozbiljne probleme mogu poboljÅ¡ati intervenciju i buduće rezultate, ali mogu rezultirati smanjenjem budžeta programa ili prekidom programa i gubitkom obraza, moći i utjecaja onih koji su ukljuÄ?eni u intervenciju. Uzroci postojanja politike u evaluaciji Evaluacija je oblik organizacionog znanja. Borba u vezi sa definicijama realnosti je neÅ¡to Å¡to je svojstveno evaluacionom procesu. Murray (2002) smatra da je razlog zaÅ¡to je politika neizbježna u evalu- aciji taj Å¡to postoji puno prostora za subjektivnost. Subjektivnost vodi do razlika izmeÄ‘u ljudi ukljuÄ?enih u evaluaciju. Evaluatori prikupljaju percepciju stva- rnosti od dionika i od ljudi koje evaluiraju. Percepcije se mogu razlikovati Ä?esto uzrokujući neslaganja u razliÄ?itim fazama evaluacije i rast politiÄ?kog ponaÅ¡anja. Murray (2002 str. 2) osnovu neslaganja pripisuje „problemima svojstvenim tehniÄ?kim elementima metoda evaluacije i veoma Ä?estim slabostima kod mnogih ljudskih bića“. TakoÄ‘er opisuje tehniÄ?ke i ljudske slabosti u evaluacijama koje mogu imati politiÄ?ke efekte. Svaka vrsta slabosti opisana je ispod. TehniÄ?ka slabost Većina evaluacija najbolje radi kada se mjeri prema zadanim ciljevima i stan- dardima. Ali evaluatori, klijenti i drugi dionici se ponekad teÅ¡ko mogu složiti o tome Å¡ta mjeriti. Pored toga, može biti teÅ¡ko odrediti fokus evaluacije. Dobra evaluacija identificira teoriju promjene i pretpostavke na kojima poÄ?iva pro- gram. Ako se razvija sa dionicima programa, teorija promjene može osigurati zajedniÄ?ko razumijevanje ciljeva, aktivnosti i rezultata programa za koje on treba biti odgovoran. Stoga teorija promjene može pomoći da se izbjegnu potencijalni konflikti oko razumijevanja programa prije nego postanu politiÄ?ki problemi. Murray (2002) identificira Ä?este tehniÄ?ke probleme koji vode do politiÄ?kih problema: evaluacija jednog nivoa organizacije i generaliziranje podataka na drugi nivo. Ovo uzrokuje probleme kada veze izmeÄ‘u uÄ?inka pojedinaca, pro- grama ili funkcija i organizacije u cjelini nisu jasno uspostavljene. Ponovo, teorija promjene je jedan naÄ?in da se pomogne identifikacija osnovnih pretpostavki. Ljudske slabosti Ljudi Ä?esto rade ono Å¡to je u njihovom interesu. Mogu imati nesvjesnu pristra- snost koja utjeÄ?e na provoÄ‘enje evaluacije ili analize njenih rezultata. Cutt i Murray (2000) identificiraju ljudske faktore koji mogu utjecati na evaluaciju: • „izgledaj dobro-izbjegavaj krivicu“ (LGAB) naÄ?in razmiÅ¡ljanja; • fenomen „subjektivne interpretacije stvarnosti“ (SIR); • faktori povjerenja. 500 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije LGAB naÄ?in razmiÅ¡ljanja identificira Ä?estu ljudsku karakteristiku: ljudi hoće da uspiju i da izbjegnu da ih se poveže sa neuspjehom. Većina evaluacija ima namjeru otkriti i uspjeh i neuspjeh. MeÄ‘utim, evaluatori mogu propustiti da pri- jave neuspjeh u punoj mjeri iz straha da će ih se povezati sa neuspjehom. U LGAB situaciji, ljudi će nadugo i naÅ¡iroko objaÅ¡njavati negativne rezultate kao neÅ¡to izvan njihove kontrole. Alternativno, mogu dovesti u pitanje djelokrug evaluacije i pristup (jedan razlog zaÅ¡to je slaganje u vezi sa dizajnom evaluacije prije poÄ?etka evaluacije tako važno). SIR fenomen se javlja tokom interpretacije podataka evaluacije. Dvoje ljudi koji svjedoÄ?e istom dogaÄ‘aju mogu ga opisati kao „nastavnik gubi kontrolu nad razredom“ ili „nastavnik koji je u potpunosti ukljuÄ?io razred u temu.“ Evaluatori imaju prethodna uvjerenja i stavove o tome Å¡ta funkcionira. Rezultati evaluacije mogu biti subjektivno interpretirani na osnovu tih uvjerenja i stavova. Na pri- mjer, evaluator koji vjeruje da je dobar nastavnik onaj kod kojega djeca sjede na svojim mjestima, priÄ?aju samo kada ih se prozove, će dogaÄ‘aj vjerovatno vidjeti kao haos ili gubitak kontrole. Evaluator Ä?ije je dijete u „otvorenom razredu“ će vjerovatno vidjeti isti taj dogaÄ‘aj kao primjer nastavnika koji ukljuÄ?uje uÄ?enike. SIR fenomen je jedan od razloga zaÅ¡to ovaj tekst ukazuje da evaluatori tre- baju provesti pregled literature da nauÄ?e Å¡ta funkcionira i koje teme evaluacije su identificirane u sliÄ?nim programima. Drugi naÄ?in da se smanji pristrasnost subjektivne realnosti je koristiti viÅ¡e metoda prikupljanja podataka, kao Å¡to su upitnici, intervjui i strukturirane opservacije, sa viÅ¡e izvora kao triangulacijska strategija. JoÅ¡ jedan faktor koji su identificirali Cutt i Murray je faktor povjerenja. Povjerenje je vjera u integritet ili mogućnosti osobe. Ako ljudi osjećaju nedostatak integriteta ili mogućnosti, mogu imati nepovjerenje prema toj osobi. Mogu stra- hovati da će im ta osoba naÅ¡tetiti. Povjerenje se mjeri u stepenima, krećući se od djelomiÄ?nog povjerenja (samo u odreÄ‘enom kontekstu ili o odreÄ‘enim pitanji- ma) do potpunog povjerenja (u svim situacijama). Kada nastane nepovjerenje, vjerovatno da će LGAB ili SIR fenomen uzrokovati da politika uÄ‘e u odnos. U prethodnim poglavljima sugerisane su razne strategije za izgradnju povjerenja, od ukljuÄ?ivanja dionika u dizajn evaluacije do odreÄ‘enih tehnika izgradnje povjerenja. Usmjeravanje evaluatora: evaluaciona etika, politika, standardi i vodeća naÄ?ela 501 Identificiranje politiÄ?kih igara Nemoguće je evaluaciju držati potpuno odvojenom od politike. Izazov je upravljati politiÄ?kom situacijom u kojoj se evaluatori naÄ‘u. Da bi se pomoglo evaluatoru da to uradi, Murray (2002) klasificira igre prema ulogama ljudi koji su ukljuÄ?eni. Razumijevanje ovih igara pomaže evaluatorima da upravljaju situacijom. PolitiÄ?ke igre koje igraju ljudi koji se evaluiraju Ljudi koji se evaluiraju Ä?esto žele izbjeći nepoželjno formalno pregledanje njiho- vih aktivnosti. Mogu reagovati tako Å¡to će: • poreći potrebu za evaluacijom; • tvrditi da će evaluacija uzeti previÅ¡e vremena od njihovih normalnih osobito, napornih radnih zadataka te traže da se evaluacija odgodi; • tvrditi da je evaluacija dobra stvar, ali će prići taktici odgaÄ‘anja i • nastojati ostvariti blizak liÄ?ni odnos sa evaluatorima kako bi ih uvjerili da im vjeruju. Kada evaluacija poÄ?ne i podaci se prikupljaju, mogu se pojaviti druge politiÄ?ke igre. Oni koji daju informacije mogu: • izostaviti ili iskriviti informacije koje im evaluatori traže, tako da ne izgledaju loÅ¡e; • pružiti evaluatorima velike koliÄ?ine informacija, otežavajući evaluatorima da razluÄ?e bitne informacije od nebitnih i • doći sa novim podacima pred kraj evaluacije. Kada se podaci prikupe i evaluatori su ih spremni interpretirati, ljudi koji se evaluiraju mogu reagovati tako Å¡to će: • poreći da problem postoji; • umanjiti važnost problema, tvrdeći da su već za to znali i da implementiraju promjene, ili probleme pripisuju drugima ili viÅ¡oj sili izvan njihove kontrole; • tvrditi da informacije nisu relevantne zato Å¡to su se stvari promijenile. PolitiÄ?ke igre koje igraju drugi dionici Drugi dionici takoÄ‘er mogu utjecati na politiku evaluacije. RazliÄ?iti dionici imaju drugaÄ?ije planove i interese. Ako dionici nisu ukljuÄ?eni u identifikaciju glavnih pitanja evaluacije, mogu odluÄ?iti da je evaluacija posmatrala pogreÅ¡ne stvari. Pored toga, mogu pokuÅ¡ati angažirati druge, kao Å¡to su mediji, da kritikuju organizaciju i ukažu kako je eva- luaciju trebalo provesti na drugi naÄ?in. 502 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije PolitiÄ?ke igre koje igraju evaluatori Evaluatori mogu igrati evaluacione igre. Tokom prikupljanja podataka, neki eva- luatori mogu podriti proces prikupljajući vlastite informacije „nezvaniÄ?no“. Ove neformalne informacije zatim mogu ući u fazu interpretacije evaluacije. Većina igara evaluatora nastane tokom faze interpretacije evaluacije. Te igre ukljuÄ?uju: • pomjeranje ili nepostavljanje standarda mjera; • primjena nenavedenih kriterija na donoÅ¡enje odluka; • primjena nenavedenih vrijednosti i ideoloÅ¡kih filtera na interpretaciju podataka, kao Å¡to je odluÄ?ivanje da neki izvor podataka nije povjerljiv; • ignorirajući podatke koji nisu konzistentni sa zakljuÄ?kom evaluatora. Upravljanje politikom u evaluacijama Zato Å¡to je politika u evaluaciji neizbježna, važno je nauÄ?iti kako njome upravljati. Kroz proces evaluacije, evaluator treba graditi povjerenje. Idealno, tokom svake faze evaluacije, drže se otvorene diskusije koje svim ukljuÄ?enim akterima daju Å¡ansu da diskutiraju o onome Å¡to ih interesuje i barem se slože ili ne slože o razli- kama. Murray (2002) razmatra važnost osiguravanja da sve strane ukljuÄ?ene u evaluaciju u potpunosti razumijevaju temeljnu logiku. Sugeriraju teoriju promjene kao jedan naÄ?in artikulacije logike tako da se ostavi Å¡to manje prostora za pogreÅ¡no razumijevanje. Na koje druge naÄ?ine se povjerenje izgraÄ‘uje? ObiÄ?no treba vremena i puno susreta. Murray sugerira ukljuÄ?ivanje svih zainteresiranih strana u proces evalu- acije, posebno onih koje će se evaluirati. Balansiranje dionika pregovorima Jedan od najvećih izazova za evaluatore je rad sa viÅ¡e dionika. Evaluatori trebaju posjedovati jake vjeÅ¡tine pregovaranja da bi baratali interesima i Ä?esto konkure- ntnim planovima viÅ¡e dionika. Markiewicz (2005) utvrÄ‘uje korisne principe i praksu za pregovaranje u evaluaciji. Principi pregovaranja u evaluaciji Sljedeće je prilagoÄ‘eno sa Markiewiczeve (2005) liste principa za pregovaranje u evaluaciji: • Prepoznati inherentnu politiÄ?ku prirodu evaluacije; • Vrednovati doprinos viÅ¡e dionika; • Procijeniti pozicije dionika i plan evaluacije; Usmjeravanje evaluatora: evaluaciona etika, politika, standardi i vodeća naÄ?ela 503 • Osigurati da je evaluator aktivan unutar zajednice dionika; • Razviti vjeÅ¡tine evaluatora kao pregovaraÄ?a koji reagira na konflikt; • Razviti vjeÅ¡tine upravljanja konfliktom sa viÅ¡e dionika. Jedna kljuÄ?na strategija je organizirati dionike u referentne grupe, upravne odbore ili savjetodavne komitete koji nadgledaju proces evaluacije. Ovaj pristup je konzistentan sa modelom „evaluatora kao medijatora“ (obiÄ?no nije primjenjiv na nezavisne evaluacije Ä?ija je glavna svrha evaluacija odgovo- rnosti). Važno je da ove grupe imaju jasno definirane uloge i funkcije. Grupe ili odbori trebaju uspostaviti osnovna pravila definirajući koliko će aktivni biti Ä?lanovi u procesu evaluacije. Prema Markiewiczu (2005), kada evaluator uspostavi nivo kredibiliteta i prihvaćenosti kod dionika, tada trebaju pregovarati o podruÄ?jima konflikta ili spora meÄ‘u njima. Evaluator treba djelovati kao katalizator koji dionicima pomaže da doÄ‘u do vlastitih rjeÅ¡enja. Da bi to uradio evaluator treba imati jake vjeÅ¡tine komunikacije, Å¡to ukljuÄ?uje sposobnost aktivnog sluÅ¡anja, postavljanje prikladnih pitanja i provjere razumijevanja. Evaluator takoÄ‘er treba držati proces pregovora fokusiran i omogućiti i ohrabriti interakciju meÄ‘u svim dionicima. Evaluatori trebaju razviti vjeÅ¡tinu pregovaranja. U nekim sluÄ?ajevma evalu- atori mogu obaviti dodatnu obuku i praksu u vjeÅ¡tinama pregovaranja (model evaluator kao medijator). Drugi naÄ?in da evaluator razvije vjeÅ¡tine pregovaranja je raditi sa kolegama na razmjeni iskustava (uspjeÅ¡nih i neuspjeÅ¡nih) ili rjeÅ¡avanja sukoba. Patton (1997) sugerira održavanje najmanje Ä?etiri sastanka (viÅ¡e za duže projekte): • prvi sastanak: fokus na evaluaciju; • drugi sastanak: metodi i alati mjerenja; • treći sastanak: razvijena instrumentacija prije prikupljanja podataka; • Ä?etvrti sastanak: pregled podataka da se usaglase interpretacije koje će dovesti do nalaza. Ovo je sliÄ?no koracima preporuÄ?enim u ovoj knjizi. Markiewicz razmatra aktivnu ulogu koju evaluator treba igrati sa dionicima. Dvije karakteristike koje opisuje kao vrijedne su da se bude osjetljiv i fleksibi- lan, kako bi se omogućilo ukljuÄ?ivanje dionika u proces. Ona takoÄ‘er govori o teÅ¡koćama koje nastaju ako evaluator postane suviÅ¡e blizak i ima previÅ¡e liÄ?nu interakciju sa dionicima. Patton sugerira da se ostane fokusirano na empirijski proces i pomoć dioni- cima da to urade dobro. To pomaže održanje odnosa objektivnim i izbjegava se uplitanje pristrasnosti ili zloupotrebe nalaza. 504 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Praksa pregovaranja u evaluaciji Markiewicz (2005) identificira tri faze pregovaranja u evaluaciji: • PoÄ?etna faza: pozicije se postavljaju na sto; • Srednja faza: vode se aktivni pregovori; • Posljedna faza: preduzimaju se koraci u postizanju konsenzusa. Da bi koristili ovaj model pregovaraÄ?i u evaluaciji trebaju imati raspon vjeÅ¡tina koji je empatiÄ?an i asertivan. EmpatiÄ?ne vjeÅ¡tine prave klimu pogodnu za pregovore. Asertivne vjeÅ¡tine pružaju strukturu procesu. Empatija se može definirati kao „proces demonstriranja taÄ?nog, neosuÄ‘ivaÄ?kog razumijevanja potreba, interesa i pozicija druge strane“. (Mnookin, Peppet, i Tulumello 2000, str. 46). To ukljuÄ?uje dvije komponente: sposobnost da se svijet vidi oÄ?ima drugih i sposobnost da se to glediÅ¡te izrazi rijeÄ?ima. Empatija ukljuÄ?uje prevoÄ‘enje razumijevanja iskustva drugih u zajedniÄ?ku reakciju. Markiewicz (2005) vjeruje da je empatija važna karakteristika za prikupljanje informacija o ciljevima, vrijednostima i prioritetima drugih. To postaje kataliza- tor za inspiraciju otvorenosti kod drugih i postaje uvjerljiv alat za pregovore. Kada evaluator ima dobro razumijevanje stavova svih dionika, on ili ona to razumijevanje trebaju parafrazirati svim prisutnim dionicima (Hale 1998). Evalu- ator zatim treba pitati strane je li to razumijevanje taÄ?no i dati im da objasne sve razlike. Aktivno i reflektivno sluÅ¡anje pomaže evaluatoru da razumije ono Å¡to se govori, da postavi prikladna pitanja i provjeri razumijevanje onoga Å¡to dionici kažu. Asertivnost je sposobnost izražavanja i zagovaranja vlastitih potreba, interesa i pozicija (Mnookin, Peppet, i Tulumello 1996). Kod pregovaranja u evaluaciji, to se može opisati kao autoritet moderatora. Balansiranje izmeÄ‘u empatije i asertivnosti može biti teÅ¡ko. Mnookin, Peppet i Tulumello (1996) empatiju i asertivnost vide kao dvije nezavisne dimenzije ponaÅ¡anja pri pregovorima. Kada se koriste zajedno, mogu proizvesti održivu korist u pregovaranju i bolje razumi- jevanje potreba dionika. Usmjeravanje evaluatora: evaluaciona etika, politika, standardi i vodeća naÄ?ela 505 Standardi i vodeća naÄ?ela evaluacije Profesionalna udruženja razvijaju standarde ili smjernice za pomoć svojim Ä?lanovima u donoÅ¡enju etiÄ?nih odluka. Profesionalna asocijacija u Sjevernoj Americi, Evropi i Australiji uspostavila je etiÄ?ki kodeks za evaluaciju. AmeriÄ?ka evaluaciona asocijacija (AEA) razvila je skup standarda i naÄ?ela, iznijeta u dva dokumenta, Standardi programske evaluacije i Vodeća naÄ?ela za evaluatore. Ovi Standardi i NaÄ?ela Ä?esto služe kao platforma za druge grupe, koje su ih modificirale i prilagodile njihovim lokalnim okolnostima i situacijama. AEA je razvila Vodeća naÄ?ela za evaluatore da pruži smjernice evaluatorima u njihovoj svakodnevnoj praksi. Najveća razlika izmeÄ‘u AEA standarda i naÄ?ela je njihova svrha. Standardi se odnose na profesionalni uÄ?inak, dok se vodeća naÄ?ela odnose na profesionalnu vrijednost. Standardi se fokusiraju na proizvod evalu- acije, dok se vodeća naÄ?ela fokusiraju na ponaÅ¡anje evaluatora. Oba dokumenta pružaju smjernice za etiÄ?ne i prikladne naÄ?ine provoÄ‘enja evaluacije. Standardi programske evaluacije AEA Standardi programske evaluacije su grupirani u Ä?etiri kategorije: • korisnost • ispravnost • provodivost • taÄ?nost. Ispravnost ukljuÄ?uje osam odreÄ‘enih standarda: • Orijentacija usluge: TiÄ?e se potrebe za evaluatora da služi ne samo u interesu agencije koja sponzorira evaluaciju nego takoÄ‘er i potrebe uÄ?enja uÄ?esnika programa, zajednice, i druÅ¡tva; • Formalni sporazumi: UkljuÄ?uju takva pitanja kao Å¡to je: slijeÄ‘enje protokola, pružanje pristupa podacima, jasno upozoravanje klijenata o ograniÄ?enjima evaluacije i ne obećavati previÅ¡e; • Prava ljudskim subjektima: UkljuÄ?uje takve stvari kao Å¡to su osigu- ranje informiranog pristanka, održavanje prava na privatnost i osiguranje povjerljivosti; • Interakcija meÄ‘u ljudima: dodatak pravima ljudskih subjekata, koji kaže da evaluator mora poÅ¡tovati ljudski dignitet i vrijednosti u svim 506 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije interakcijama i da ni jedan uÄ?esnik u evaluaciji ne smije biti ponižen ili oÅ¡tećen; • Kompletna i poÅ¡tena procjena: Ima za cilj osigurati da su i snaga i slabosti programa taÄ?no prikazani. Evaluator treba osigurati da ne iskrivi studiju da bi zadovoljio sponzora ili udobrovolji druge grupe; • Objavljivanje nalaza: Bavi se obavezom evaluatora da služi Å¡iroj javnosti koja ima koristi od programa i od taÄ?ne evaluacije programa, a ne samo klijentu ili sponzoru. Nalaze treba javno objaviti; • Sukob interesa: Bavi se potrebom da evaluatori iznesu svoje pristrasnosti i vrijednosti eksplicitno na Å¡to je poÅ¡tenije moguć naÄ?in, tako da se klijetni upo- zore na pristrasnost koja se nehotice može uvući u rad Ä?ak i najpoÅ¡tenijeg evaluatora; • Fiskalna odgovornost: ukljuÄ?uje potrebu da se uvjeri da su svi troÅ¡kovi – ukljuÄ?ujući vrijeme i napore uložene u pružanje, prikupljanje i omogućavanje prikupljanja informacija koje evaluatori traže i objaÅ¡njavanje evaluacija raznim jedinicama – prikladni, razumni, i dobro dokumentirani. AEA održava da su standardi njegove programske evaluacije unikatno ameriÄ?ki i da možda nisu prikladni za upotrebu u drugim državama bez prilagoÄ‘avanja. U 2000, W. K. Kellogg fondacija finansirala je sastanak regionalnih i državnih evaluatora u Barbadosu. Nekoliko meÄ‘unarodnih evaluacionih organizacija je bilo predstavljeno na sastanku. Jedno od razmatranih pitanja bilo je odnose li se AEA standardi programske evaluacije na druge zemlje i na koji naÄ?in. Jedan od rezultata sastanka bio je objavljivanje povremenih radova koji razma- traju ovu temu (Russon 2000). U prvom radu Taut (2000) tvrdi da su Standardi programske evaluacije zasnovani i da se vrijednosti razlikuju u kulturama. Ona istražuje kako razliÄ?ite vrijednosti utjeÄ?u na koriÅ¡tenje AEA standarda izvan Sjedinjenih Država. Taut poredi vrijednosti u standardima sa dimenzijama kulturne vrijednosti iden- tificiranim u meÄ‘u-kulturnoj literaturi. Dimenzije kulturne vrijednosti koje ona identificira kao najvažnije su: • individualizam nasuprot kolektivizmu; • hijerarhija nasuprot egalitarizma (ili udaljenost moći); • konzervatizam nasuprot autonomiji; • nadmoć nasuprot harmoniji i • izbjegavanje nesigurnosti. Druge razlike koje navodi u kulturama su direktna komunikacija nasuprot indirektnoj komunikaciji, visoki kontekst nasuprot niskog konteksta, i važnost starjeÅ¡instva. Usmjeravanje evaluatora: evaluaciona etika, politika, standardi i vodeća naÄ?ela 507 Taut zakljuÄ?uje „šta je korisno i etiÄ?no u velikoj se mjeri razlikuje u kultu- rama od onog Å¡to je izvodivo i taÄ?no... (To) postaje jasno da su teme Standarda ispravnosti veoma zavisne o politiÄ?kom i kulturnom utjecaju“ (2000, str. 24). PreporuÄ?uje da evaluatori opiÅ¡u svoja druÅ¡tva u vezi kulturnih dimenzija koje su obraÄ‘ene u Ä?lanku. TakoÄ‘er preporuÄ?uje da konsultiraju kolege u vezi sa nji- hovim percepcijama i da,takoÄ‘er, konsultiraju struÄ?njake iz kulture i da usmjere njihovu analizu. Vodeća naÄ?ela za evaluatore AEA nastoji promovirati etiÄ?nu praksu u evaluaciji programa, personala i politike. U tom cilju, razvila je vodeća naÄ?ela (1995) da pomogne evaluatorima u njihovoj profesionalnoj praksi. UkljuÄ?uju sljedeće: • sistematiÄ?no istraživanje; • poÅ¡tovanje ljudi; • kompetencija; • odgovornost za opću i javnu • integritet/poÅ¡tenje; dobrobit. AEA EtiÄ?ki komitet nadgledao je glavni pregled i ažuriranje NaÄ?ela 2004. (Ova publikacija i viÅ¡e informacija o Vodećim naÄ?elima i Standardima evaluacije programa može se naći na AEA web stranici. Linkovi do oba dokumenta su dati na kraju ovog poglavlja u dijelu „Evaluacija organizacija“.) Druge evaluacione organizacije sa nacrtom finaliziranih smjernica ili standa- rda dostupne na internetu ukljuÄ?uju sljedeće: • AfriÄ?ka evaluaciona asocijacija (nacrt evaluacionih standarda i smjernica); • Australijsko-azijsko evaluaciono druÅ¡tvo (etiÄ?ne smjernice); • Smjernice kanadskog evaluacionog druÅ¡tva za etiÄ?no vladanje; • NjemaÄ?ko druÅ¡tvo za evaluaciju (standardi); • Italijanska evaluaciona asocijacija (smjernice) • Å vicarsko evaluaciono druÅ¡tvo (standardi) • Evaluaciono druÅ¡tvo Ujedinjenog Kraljevstva (smjernice dobre prakse). Pored smjernica za praktiÄ?are, smjernice dobre prakse Ujedinjenog Kraljevstva uspostavile su smjernice za povjerenike i uÄ?esnike u provoÄ‘enju evaluacije. Evaluaciona etika za UN sistem Evaluaciona grupa Ujedinjenih naroda (UNEG) bavi se evaluacionom etikom u svojim EtiÄ?nim smjernicama (UNEG 2008). Ove smjernice su zasnovane na „zajedniÄ?kim i meÄ‘unarodno priznatim profesionalnim idealima“ (UNEG 2008 str. 3). 508 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Primjenjuju se kada evaluaciju provode Ä?lanovi osoblja, vanjski konsultanti i evaluatori iz partnerskih organizacija u svim UN agencijama. Ono Å¡to slijedi su konture etiÄ?nih principa ovih smjernica: • intencionalnost evaluacije, koja ukljuÄ?uje sljedeće: - korisnost - neophodnost • obaveze evaluatora: - nezavisnost - nepristrasnost - kredibilitet - sukobi interesa - poÅ¡tenje i integritet - odgovornost • obaveze prema uÄ?esnicima: - poÅ¡tovanje digniteta i raznolikosti - prava - povjerljivost - izbjegavanje Å¡tete • evaluacija procesa i proizvoda: - taÄ?nost, kompletnost, i pouzdanost - transparentnost - izvjeÅ¡tavanje - propusti i zloupotrebe (UNEG 2008). UNEG je takoÄ‘er uspostavila Standarde za evaluaciju u sistemu UN-a. Ti sta- ndardi za etiku ukljuÄ?uju sljedeće: • Evaluatori trebaju biti osjetljivi na vjerovanja, manire i obiÄ?aje te djelovati sa integritetom i poÅ¡tenjem u svojim odnosima sa svim dionicima; • Evaluatori trebaju osigurati da njihove kontakte sa pojedincima karakterizira isti respekt kojim bi i oni htjeli da se tretiraju; • Evaluatori trebaju Å¡tititi anonimnost i povjerljivost pojedinaca; • Evaluatori su odgovorni za njihov uÄ?inak i njihove proizvode. DAC standardi U Poglavlju 1 ove knjige bilo je rijeÄ?i o OECD Komitetu za pomoć razvoju Mreže razvojne evaluacije, norme i standardi glavne grupe za razvojnu eva- luaciju. Ažuriran sažetak DAC-ovih kljuÄ?nih normi i standarda je dostupan na http://www.oecd.org/dac/ evaluationnetwork. Usmjeravanje evaluatora: evaluaciona etika, politika, standardi i vodeća naÄ?ela 509 Od posebnog znaÄ?aja za ovo poglavlje je DAC-ov nacrt standarda kvalitete evaluacije, koji pruža smjernice o procesu evaluacije i proizvodu. Ovi standardi će biti finalizirani 2009-2010. nakon tri godine testne faze. Dio 6 smjernica foku- sira se na nezavisnost evaluatora i stepen u kom je evaluacioni tim u mogućnosti raditi slobodno i bez uplitanja sa strane. Dio 7 je posvećen evaluacionoj etici. Ovaj nacrt smjernica ukazuje da proces evaluacije pa tako i evaluator: „poka- zuju osjetljivost na spol, vjerovanja, manire i obiÄ?aje svih dionika te se provodi sa integritetom i poÅ¡teno. Prava i dobrobit uÄ?esnika u evaluaciji su zaÅ¡tićeni. Anonimnost i povjerljivost pojedinih informatora treba zaÅ¡tititi kada se to traži ili tako zahtijeva zakon“(str.22). Sukob interesa Eksplicitni i implicitni sukob interesa je glavno pitanje koje potencijalno utjeÄ?e na kredibilnost evaluatora i utemeljenost evaluacije. Za svaku evaluaciju, evalu- atori trebaju ukazati imaju li sukob interesa ili naznaku sukoba interesa. Neke organizacije su razvile smjernice za upravljanje sukobom interesa. Ope- racije evaluacione grupe Azijske razvojne banke, na primjer, brane Ä?lanovima osoblja ili konsultantima da evaluiraju radove u koje su ukljuÄ?eni. To je dobra praksa evaluacione jedinice. Sažetak Etika je skup vrijednosti i vjerovanja koja usmjerava izbore. Evaluatori mogu prekrÅ¡iti etiÄ?ne standarde provodeći evaluaciju uprkos sukobu interesa, ukljuÄ?ujući se u nemarnu, ili neprofesionalnu evaluacionu praksu, omogućavajući predra- sudama da utjeÄ?u na njihov posao, dajući obećanja koja ne mogu ispuniti, ili propuÅ¡tajući da daju poÄ?ast posvećenosti. PogreÅ¡no razumijevanje – u obliku kli- jentizma, kontraktualizma, metodologizma, relativizma, ili pluralizma/elitizma – takoÄ‘er može uzrokovati nastanak neetiÄ?nog ponaÅ¡anja. OECD Komitet za pomoć razvoju Mreže razvojne evaluacije, Evaluacione grupe Ujedinjenih naroda, AEA i druge agencije i asocijacije imaju razvijene standarde, smjernice i norme koje pomažu definiranje i mjerenje kvaliteta, etike i normi. Razvjoni evaluatori trebaju se upoznati sa relevantnim standardima, smjernicama i normama i modelima njihove prakse. 510 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Poglavlje 14 Aktivnost Aplikacijska vježba 14.1: Etika: Rosa i poljoprivredna evaluacija Rosa Marquez ispriÄ?a vam sljedeću priÄ?u i od vas traži savjet. Koja su glavna etiÄ?na pitanja, i kako biste savjetovali Rosu da ih rijeÅ¡i? Rosa se srela sa lokalnim zvaniÄ?nicima, zvaniÄ?nicima programa, i vlasnicima zemljiÅ¡ta da ih informira o nastupajućoj evaluaciji lokalnog poljoprivrednog programa. Godinama zajednica prima znaÄ?ajnu koliÄ?inu novca za izgradnju sistema navodnja- vanja, kupovinu gnojiva, izgradnju puteva i nabavku opreme. Ovo je bila Rosina prva posjeta podruÄ?ju. ÄŒlan lokanog tima, Eduardo, već je posjećivao podruÄ?je nekoliko puta i znao je mnoge od zemljoposjednika. Sugerirao je da svi odu na veÄ?eru i poÄ?nu praviti izvjeÅ¡taj. Tokom veÄ?ere, Rosa je sluÅ¡ala razgovor izmeÄ‘u Eduarda i zemljoposjednika. Izgledalo je da zemljoposjednici imaju blizak odnos sa Eduardom, poklonili su mu kutiju cigara. Razmatrali su potrebe tog podruÄ?ja. Zemljoposjednici su osjećali da im je potrebno viÅ¡e resursa da bi efektivno koristili zemljiÅ¡te. Htjeli su uvesti viÅ¡e opreme da zamijene neke od radnika na farmi. TakoÄ‘er su htjeli koristiti viÅ¡e gnojiva nego to zakon o okoliÅ¡u dozvoljava. Eduardo se složio sa zemljoposjednicima i rekao im da nastupajuća evaluacija može pomoći, zato Å¡to može predložiti da se tretiraju kao izuzetak od zakona. VeÄ?era je zavrÅ¡ila pozivom za Rosu da se pridruži jednom od farmera u obilasku podruÄ?ja, nakon Ä?ega bi uslijedio ruÄ?ak sa njegovom porodicom. Rosa je osjećala da bi bilo nepristojno odbiti i planirala je da se sretnu sljedeći dan. Kratko je razgovarala sa Eduardom i pitala ga zaÅ¡to se složio sa zemljoposjednicima. Eduardo je rekao da je vjerovao da bi moglo pomoći da zemljoposjednici bolje saraÄ‘uju ako osjete da bi mogli dobiti neÅ¡to pozitivno iz evaluacije. Tokom obilaska sljedećeg dana, zemljoposjednik je objasnio kako su teÅ¡ko radili i koliko su napredovali uprkos slabim izgledima. Rekao je Rosi da raÄ?una na nju da podrži njihove napore. Ako bi evaluacija bila negativna, on i njegova porodica ne bi mogli preživjeti. Kao znak poÅ¡tovanja, dao joj je ogrlicu za koju je rekao da je bila u njegovoj porodici generacijama. Nakon obilaska i ruÄ?ka sa porodicom zemljoposjednika, Rosa se srela sa menadžerom programa. Mapirao je raspored gdje je prikazao s kim se ona treba sresti tokom tri preostala dana. TakoÄ‘er je organizirao dva sastanka u zajednici. Ovi sastanci su ukljuÄ?ivali zemljoposjednike, savjetnike za poljoprivredu, Ä?lanove poslovne zaje- dnice, koji prodaju poljoprivrednu opremu i gnojivo, i izvoznike poljoprivrednih pro- izvoda. Kada je pitala zaÅ¡to niko od njihovih porodica i nijedan od radnika na farmi nije ukljuÄ?en, rekli su joj da oni nemaju niÅ¡ta vrijedno Ä?ime bi doprinijeli evaluaciji efekti-vnosti projekta. Pitala je postoji li joÅ¡ neko u zajednici s kim bi trebala razgo- varati. ReÄ?eno joj je da je program menadžer mukotrpno radio da osigura da svi pravi ljudi budu ukljuÄ?eni tako da bi ona imala lagan posao procjene programa. Usmjeravanje evaluatora: evaluaciona etika, politika, standardi i vodeća naÄ?ela 511 Bibliografija i dodatna literatura Cutt, James, and Vic Murray. 2000. Accountability and Effectiveness Evaluation in Non- profit Organizations. London: Routledge. Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evalua- tion: Alternative Approaches and Practical Guidelines. New York: Pearson Education Inc. Hale, K. 1998. “The Language of Co-Operation: Negotiation Frames.â€? Mediation Quar- terly 16 (2):147–62. House, E. R. 1995. “Principles Evaluation: A Critique of the AEA Guiding Principles.â€? In Guiding Principles for Evaluators, eds. R. Shadish, D. L. Newman, M. A. Scheirer, and C. Wye, 27–34. New Directions for Program Evaluation No. 66. San Francisco: Jossey-Bass. JCSEE (Joint Committee on Standards for Educational Evaluation). 1994. The Program Evaluation Standards: How to Assess Evaluations of Educational. Programs Thou- sand Oaks, CA: Sage Publications. Markiewicz, Anne. 2005. “‘A Balancing Act’: Resolving Multiple Stakeholder Interests in Program Evaluation.â€? Evaluation Journal of Australasia 4 (1–2): 13–21. Molund, Stefan, and Göran Schill. 2004. Looking Back, Moving Forward: SIDA Evalua- tion Manual. Stockholm: Swedish International Development Cooperation Agency. Mnookin, Robert H., Scott R. Peppet, and Andrew S. Tulumello. 1996. “The Tension between Empathy and Assertiveness.â€? Negotiation Journal 12 (3): 20–35. ———. 2000. Beyond Winning: Negotiating to Create Values in Deals and Disputes. Cambridge, MA: Harvard University Press. Morris, M., and R. Cohn. 1993. “Program Evaluators and Ethical Challenges: A National Survey.â€? Evaluation Review 17: 621–42. Murray, Vic V. 2002. Evaluation Games: The Political Dimension in Evaluation and Accountability Relationships. http://www.vserp.ca/pub/CarletonEVALUATIONGAMES.pdf. Patton, M. Q. 1997. Utilization-Focused Evaluation: The New Century Text. 3rd ed. Thousand Oaks, CA: Sage Publications. Russon, Craig. 2000. The Program Evaluation Standards in International Settings. http:// www.wmich.edu/evalctr/pubs/ops/ops17.pdf. Stufflebeam, D. L. 1986. “Standards of Practice for Evaluators.â€? Paper presented at the annual meeting of the American Educational Research Association, San Francisco, April. Tassie, A. W., V. V. Murray, J. Cutt, and D. Gragg. 1996. “Rationality or Politics: What Really Goes on When Funders Evaluate the Performance of Fundees?â€? Nonprofit and Voluntary Sector Quarterly 25 (3): 347–63. Taut, Sandy. 2000. “Cross-Cultural Transferability of the Program Evaluation Standards.â€? In The Program Evaluation Standards in International Settings, ed. Craig Russon. Occasional Papers Series, Western Michigan University, Evaluation Center, Kalama- zoo. http://www.wmich.edu/evalctr/pubs/ops/ops17.pdf. 512 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije UNEG (United Nations Evaluation Group). 2005. Norms for Evaluation in the UN System. http://www.uneval.org/index.cfm?module=UNEG&Page=UNEGDocuments &LibraryID=96. ———. 2008. Ethical Guidelines. http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=102. U.S. Equal Employment Opportunity Commission. 2002. http://www.eeoc.gov/facts/fs-sex.html. World IQ. 2008. “Simple View of Ethics and Morals.â€? http://www.wordiq.com/definition/Simple_view_of_ethics_and_morals. Web stranice Department for International Development. http://www.keysheets.org/red_7_swaps_rev. pdf. Evaluation Center, Western Michigan University. http://www.wmich.edu/evalctr/ Human Rights Education. http://www.hrea.org/pubs/EvaluationGuide/. Institute of Development Studies. 1998. Participatory Monitoring and Evaluation: Learning from Change, IDS Policy Briefing 12 (November). http://www.ids .ac.uk/ids/bookshop/briefs/PB12.pdf. Inter-American Development Bank. 2004. Proposal for Sectorwide Approaches (SWAps). http://enet.iadb.org/idbdocswebservices/idbdocsInternet/IADB PublicDoc.aspx?docnum=509733. MEASURE Evaluation Project. Monitoring and Evaluation of Population and Health Programs. University of North Carolina, Chapel Hill. http://www.cpc.unc.edu/ measure. National Aeronautics and Space Act of 1958. http://www.hq.nasa.gov/office/pao/History/ spaceact.html. Treasury Board of Canada. Linkages between Audit and Evaluation in Canadian Federal Developments. http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/TB_h4/evaluation03_e. asp. United Nations Population Fund. UNFPA List of Evaluation Reports and Findings. http:// www.unfpa.org/publications/index.cfm. World Bank. The World Bank Participation Sourcebook. Washington, DC: World Bank. http://www.worldbank.org/wbi/sourcebook/sbhome.htm. Udruženja evaluatora African Evaluation Association. http://www.geocities.com/afreval/. American Evaluation Association. http://www.eval.org. Australasian Evaluation Society. http://www.aes.asn.au/. Canadian Evaluation Society. http://www.evaluationcanada.ca. Usmjeravanje evaluatora: evaluaciona etika, politika, standardi i vodeća naÄ?ela 513 European Evaluation Society. http://www.europeanevaluation.org. German Society for Evaluation. http://www.degeval.de/. Government and Nongovernmental Organizations. http://www.eval.org/Resources/ govt_orgs_&_ngos.htm. Institute of Internal Auditors. http://www.theiia.org. International Organization of Supreme Audit Institutions. http://www.gao.gov/cghome/ parwi/img4.html. Italian Evaluation Association. http://www.valutazioneitaliana.it/aiv/news.php. Swiss Evaluation Society. http://www.seval.ch/en/. United Kingdom Evaluation Society. http://www.evaluation.org.uk/. Standardi i vodeća naÄ?ela American Evaluation Association. 2004. Guiding Principles. http://www.eval.org/Pub- lications/GuidingPrinciples.asp. (Abbreviated version in brochure form: http://www. eval.org.) ———. 2005. Program Standards. http://www.eval.org/EvaluationDocuments/ progeval.html. Asian Development Bank. Guidelines. Operations Evaluation Group. http://www .adb.org/documents/guidelines/evaluation/independent-evaluation.pdf. Australasian Evaluation Society. Ethical Guidelines for Evaluators. http://www.aes .asn.au/about/Documents%20-%20ongoing/guidelines_for_the_ethical_ conduct_of_evaluations.pdf. Canadian Evaluation Society. Guidelines for Ethical Conduct. http://www .evaluationcanada.ca. German Society for Evaluation. Standards. http://www.degeval.de/standards/ standards.htm. Italian Evaluation Association. Guidelines. http://www.valutazioneitaliana.it/statuto. htm#Linee). Organisation for Economic Co-operation and Development. Principles for Evaluation of Development Assistance. Development Assistance Committee. http://www.oecd.org/ dataoecd/31/12/2755284.pdf. ———. DAC Criteria for Evaluating Development Assistance. Development Assistance Committee. http://www.oecd.org/document/22/0,2340,en_2649_34435_ 2086550_1_1_1_1,00.html. ———. DAC Network on Development Evaluation. Evaluating Development Co-Operation: Summary of Key Norms and Standards. http://www.oecd.org/dac/ evaluationnetwork. United Kingdom Evaluation Standards. 2008. http://www.mfcr.cz/cps/rde/xbcr/mfcr/ EvalStandards_UK.pdf and http://www.evaluation.org.uk/resources/guidelines.aspx. 514 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije POGLAVLJE 15 Pogled u budućnost U prethodnih 14 poglavlja opisan je „put do rezultata.“ Razmatrane su osnove razvojne evaluacije, kako je pripremiti, dizajnirati i provesti te kako profesionalno djelovati. Ova poglavlja dovela su nas do danas. U ovom poglavlju kratko se osvrćemo na ono gdje smo bili i gdje smo danas prije nego pogledamo Å¡ta budućnost donosi razvojnoj evaluaciji. Ovo poglavlje ima dva glavna dijela: • Od proÅ¡losti do sadaÅ¡njosti • Budućnost 515 Od proÅ¡losti do sadaÅ¡njosti Promjene u razvoju se brzo odslikaju na razvojnu evaluaciju. Na okupljanju svjetskih lidera 2000. da se prihvati Milenijska razvojna deklaracija i da se definira razvoj kao globalno partnerstvo za smanjenje siromaÅ¡tva, skrenuta je pažnja na mjerenje rezultata. Razvojna evaluacija je reagovala, ali dugaÄ?ak put se joÅ¡ uvijek pruža ispred. Ova knjiga je posvećena povećanju upotrebe evaluativnog znanja za donoÅ¡enje odluka. Nekoliko kritiÄ?nih koraka može unaprijediti korisnost evaluacije u odreÄ‘ivanju razvojne efektivnosti: 1. Pomjeranje ka evaluaciji zasnovanoj na ciljevima. ViÅ¡e pažnje se poklanja ostvarenju ciljeva izvan mjerenja izlaznih elemenata, ali ta praksa joÅ¡ uvijek nije rutina za razvoj ili razvojnu evaluaciju. Dok ne budu znale kako će uspjeh intervencije izgledati kratkoroÄ?no, srednjoroÄ?no i dugoroÄ?no, organizacije će nastaviti nagraÄ‘ivati dostavu potrebnih dobara i usluga a da nisu sigurne da će to uzrokovati promjenu u ponaÅ¡anju i rezultirati željenim održivim institucio- nalnim poboljÅ¡anjem. 2. Identificiranje teorija promjene iza razvojnih intervencija. Nužno prvo pitanje u vezi sa utjecajem nije: „Koji je utjecaj intervencije?“, nego: „ Je li interve- ncija ustvari potrebna, i zaÅ¡to bismo oÄ?ekivali da ima utjecaj koji je imala?“ Ova vrsta analize treba postati standardna praksa. Teorija promjene treba grafiÄ?ki predstaviti logiÄ?ku vezu izmeÄ‘u intervencije i intervencijom namje- ravanih rezultata, kljuÄ?nih pretpostavki postavljenih o tome kako i zaÅ¡to će to funkcionirati, i drugih glavnih konkurentnih dogaÄ‘aja u okruženju koji bi mogli biti odgovorni za uoÄ?ene promjene. 3. Promovirati prikladnu upotrebu protuÄ?injenica u dizajnu evaluacije ProtuÄ?injenice su Ä?esto neophodne da se uspostavi veza izmeÄ‘u intervencije i ishoda i utjecaja. Ali iako su eksperimentalni (i kvazieksperimentalni) dizajni jaki dizajni, nisu „zlatni dizajni“. Razvojna evaluacija se treba fokusirati na pitanja na koja treba odgovoriti i odabrati dizajne prikladne pitanjima. Može biti korisnije, na primjer, nauÄ?iti o marginalnom utjecaju dužeg trajanja pro- grama ili varijacije intervencije u implementaciji uzrokovane kontekstualnim faktorima ili karakteristikama uÄ?esnika, nego nauÄ?iti o razlikama u utjecaju meÄ‘u tretman i netretman grupama. Iako razumijevanje eksperimentalnog i neeksperimentalnog dizajna mora biti dio svake obuke o utjecaju evaluacije, takva obuka takoÄ‘er mora ukljuÄ?iti neeksperimentalne dizajne, kao Å¡to su studije sluÄ?ajeva. 516 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije 4. Koristiti mapiranja, doprinos, i dodatnosti na državnom nivou umjesto da se traga za atribucijom. Pripisivanje razvojnih rezultata jednom razvojnom entitetu je teÅ¡ko na nivou projekta, generalno je bezuspjeÅ¡no u kompleksni- jim evaluacijama, kao Å¡to su one na nivou sektora ili države. Uz priznavanje razvoja kao globalnog partnerstva, potrebno je pomjeranje paradigmi. Prvi korak za razvojnu evaluaciju je mapiranje aktivnosti glavnih donatora, kredi- tora, i nevladinih organizacija u datoj državi. Poželjno je da ovu analizu uradi sama zemlja a zatim je koristi kao osnovu za evaluaciju koordinacije pomoći i za odreÄ‘ivanje doprinosa pojedinih razvojnih organizacija kroz dodatnosti. 5. Smanjiti troÅ¡kove i povećati korist od evaluacije na nivou projekta. Uprkos puno retorike, većina resursa evaluacije je joÅ¡ uvijek vezana za projektnu evaluaciju. Trebalo bi viÅ¡e koristiti grupne evaluacije srodnih projekata jednu do tri godine nakon prispjeća zadnje isplate. Ove evaluacije mogu tražiti obrasce ishoda i testirati postoje li karakteristike ili kontekstualne varijable uÄ?esnika koje su kritiÄ?ne za uspjeh. 6. Izgraditi kapacitete za evaluacije. Povećan naglasak na mjerenje rezultata sam je doveo do povećane potražnje za specijalistima razvojne evaluacije. Pariska deklaracija i Accra Accord su pomogli da se pažnja fokusira na potrebe izgra- dnje kapaciteta zemalja u razvoju i donatora koji reaguju povećanjem finansi- ranja, ali izgradnja evaluacionog kapaciteta će biti dugotrajan napor. Donatori takoÄ‘er trebaju posvetiti pažnju ovoj temi izgradnjom potražnje za evaluato- rima u ministarstvima i drugim agencijama u zemljama u razvoju. Ovaj dio jednaÄ?ine o izgradnji potražnje ne treba ignorirati. Multilateralne razvojne banke, bilateralne razvojne banke, i druge orga- nizacije za pomoć moraju se baviti izgradnjom evaluacionih kapaciteta uz pomoć vlastitog osoblja. Njihovom privrženom evaluacionom osoblju, gene- ralno skupljenom iz unutarnjih redova službenika razvojnih projekata, Ä?esto nedostaje Ä?vrsta evaluaciona podloga. Ponekad su to ekonomisti ili istraživaÄ?i sa drugim pozadinama, kojima, iako su obuÄ?eni u generalno primjenjivim metodama druÅ¡tvene nauke istraživanja i ekonometriji, može nedostajati obuke o kvalitativnim metodama. Obuka i drugi napori u izgradnji evaluacionog kapaciteta trebaju vlastite evaluacije da se osigura kvalitet programa. Kada potražnja nadmaÅ¡i ponudu, programi niskog kvaliteta mogu biti problem. Tvrdnje o ekspertizi u obuci evaluacije trebaju verifikaciju. 7. Koristiti evaluaciono znanje. Nijedan od prethodno navedenih koraka ne pravi puno razlike sve dok se nalazi ispravne evaluacije ne koriste da se pripremi razvoj sljedeće intervencije. Evaluacija ne služi samo u svrhu odgovornosti nego i u svrhu uÄ?enja. Ovo je dugo bila mantra evaluatora. Puno se zna o tome Pogled u budućnost 517 kako povećati vjerovatnoću upotrebe evaluacije u razvojno evaluacionom kontekstu. Vrijeme da se naglasak stavi na prevoÄ‘enje ovog znanja u djelo je već proÅ¡lo. (Rist i Stame 2006). Budućnost Niko od nas nema kristalnu kuglu pomoću koje možemo predvidjeti budućnost. MeÄ‘utim, možemo, razviti informirane stavove o budućim trendovima i izazo- vima za razvojne evaluacije. Zatvaramo knjigu sa razmiÅ¡ljanjima o ovome. Prvo i osnovno, vidimo stalni rast monitoringa i evaluacije (MiE) u gotovo svakoj zemlji u razvoju. Interesantan razvoj su studijska putovanja u zemlje u razvoju da se nauÄ?i viÅ¡e o njihovim MiE sistemima. Ova putovanja su za ljude iz zemalja u razvoju i razvijenih zemalja. Vjerujemo da će se javiti sliÄ?na nastojanja ne samo u vladinim ministarstvima i uredima nego takoÄ‘er i u parlamentima, fondacijama, crkvama, asocijacijama i drugim dobrovoljnim organizacijama i u privatnom sektoru. Potražnja za odgovornošću za rezultatima ne jenjava. Glavna joj je prijetnja smrt od previÅ¡e sistema monitoringa indikatora koji imaju previÅ¡e podataka, sa rezultatom da je nivo nastojanja neodrživ. Interna i eksterna evaluacija Razvojne evaluacije su uveliko postavile metode kvantitativno-kvalitativne debate koja je djelovala u AmeriÄ?koj evaluacionoj asocijaciji (AEA) u 1990-tim. Uistinu, upotreba mjeÅ¡ovitih metoda bila je Ä?esta u razvojnoj zajednici. ViÅ¡e problematiÄ?no za razvojnu evaluaciju bilo je pitanje da li izvrÅ¡iti eksternu ili internu evaluaciju i gdje, organizaciono, locirati evaluacione jedinice. Iako se monitoring sistemi i osoblje MiE jasno vide kao interni, evaluaciji je dato viÅ¡e pauze. Ovo je posebno važno pitanje za one koji poÄ?inju iz poÄ?etka a ne iz naslijeÄ‘enog okvira. Hoće li razvojna evaluacija nastojati biti interna i kombinirana funkcija za one koji upravljaju sistemima monitoringa i evaluacije zasnovanih na rezultatima? Ili će se razvojna evaluacija viÅ¡e okrenuti strategiji Evropske komisije i favorizirati dodjelu evaluacija vanjskim pojedincima i firmama? NaÅ¡e predviÄ‘anje je da će stalna jaka potražnja za rezultatima znaÄ?iti da razvojna evaluacija cvjeta ne samo unutar menadžmenta MiE jedinica nego 518 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije i u zahtjevima za evaluaciju koju provode vanjski konsultanti i firme. TakoÄ‘er predviÄ‘amo povećanu potražnju i neophodnost za nezavisnim evaluacijama. Evaluacija koja se provodi eksterno nije nužno nezavisna evaluacija. Ako se evaluacija provodi eskterno, ali je finansirana pod nadzorom onih koji upravljaju programom, to je interna evaluacija i ne treba je posmatrati kao nezavisnu. Neza- visne evaluacije, nezavisne evaluacione jedinice i nezavisni evaluatori trebaju zadovoljavati prinicipe nezavisnosti, kao Å¡to su oni koje je uspostavila Evalu- aciona grupa za saradnju multilateralnih razvojnih banaka (vidjeti Poglavlje1), nezavisni o reputaciji ili etici entiteta koji provodi evaluaciju. Funkcija nezavisne evaluacije može biti postavljena unutar razvojne orga- nizacije (primjer je Nezavisna evaluaciona grupa Grupe Svjetske banke). Može biti dio parlamentarne ili druge zakonodavne organizacije. Gdje god da je loci- rana, jedinica nezavisne evaluacije treba formalno procjenjivati ostvarenje naÄ?ela nezavisnosti, koristeći skalu rejtinga kao Å¡to je predstavljeno u Poglavlju 1. Razvoj evaluacionog kapaciteta Povećana potražnja za MiE mora ići skupa sa izgradnjom evaluacionog kapa- citeta. Funkcija evaluacije koja se oslanja na nekoliko vanjskih struÄ?njaka vjero- vatno neće ostvariti dugoroÄ?ne potrebe. Evaluacioni kapaciteti na svim nivoima unutar države moraju se generalno razviti. PredviÄ‘amo nastavak povećanja nasto- janja u izgradnji evaluacionog kapaciteta u zemljama u razvoju. Razvoj evaluacionog kapaciteta obuhvata viÅ¡estruke radnje za izgradnju i jaÄ?anje MiE sistema u zemljama u razvoju. Razvoj je fokusiran na državne nivoe i nivoe sektora. Obuhvata mnoge srodne koncepte i alate, ukljuÄ?ujući: kapacitete održanja rezultata razvojne efektivnosti, specifikaciju ciljeva i lanca rezultata projekta ili programa, informacije o uÄ?inku (ukljuÄ?ujući prikupljanje baznih podataka), programa i projekta MiE, ankete procjene korisnika, preglede sektora i reviziju uÄ?inka (Kusek i Rist 2004; Mackay 2007). Pogled u budućnost 519 Tekstualni okvir 15.1 KljuÄ?na pitanja za dijagnozu vladinog MiE sistema 1. Geneza postojećeg MiE sistema: uloga zagovornika i predvodnika MiE, kljuÄ?ni dogaÄ‘aji koji su kreirali prioritet za MiE informacije (na primjer, izbor reformski orijentirane vlade, fiskalna kriza); 2. Ministarstvo ili agencija odgovorni za upravljanje MiE sistemom i plani- ranjem evaluacija. Uloge i odgovornosti glavnih strana u MiE sistemu (ministarstvo finansija, ministarstvo planiranja, ured predsjednika, sektorska ministarstva, zakonodavstvo). Podsticaji dionicima da MiE shvate ozbiljno (jaÄ?anje potražnje za MiE informacijama). Moguće posto- janje nekoliko nekoordiniranih MiE sistema na državnom nivou i nivoima sektora. Važnost federalnih/državnih/lokalnih pitanja za MiE sistem; 3. Okruženje javnog sektora i da li otežava ili olakÅ¡ava menadžerima da ostvare visoke standarde i da budu odgovorni za svoj uÄ?inak. Postojanje reformi javnog sektora – kao Å¡to je strategija smanjenja siromaÅ¡tva, finansiranje uÄ?inka, jaÄ?anje vjeÅ¡tina analize politike, izrada kulture uÄ?inka u državnoj službi, poboljÅ¡anja u vrÅ¡enju usluga (kao Å¡to su standardi usluge podrÅ¡ke korisnicima), decentralizacija vlade, veće uÄ?ešće civi- lnog druÅ¡tva, ili antikorupcijska strategija – koja može imati korist od jaÄ?eg naglaska na mjerenje uÄ?inka vlade; 4. Glavni aspekti upravljanja javnim sektorom Å¡to MiE sistem snažno podržava, kao Å¡to je donoÅ¡enje odluka za budžet, upravljanje državnim ili sektorskim programom planiranja te odnosi odgovornosti (ministarstva finansija, ureda predsjednika, parlamenta, sektorskih ministarstava, civilnog druÅ¡tva); 5. Uloga MiE informacija u razliÄ?itim etapama budžetskog procesa (politika savjetovanja i planiranja, donoÅ¡enje odluka za budžet, pregled i izvjeÅ¡tavanje o uÄ?inku) i moguća nepovezanost izmeÄ‘u MiE rada sekto- rskih ministarstava i upotreba takvih informacija u budžetskom procesu. Postojanje nepovezanosti izmeÄ‘u budžetskog procesa i državnog plani- ranja. Prilike za jaÄ?anje uloge MiE u budžetu; 6. Stepen u kome MiE kljuÄ?ni dionici traže MiE informacije, na primjer, u kojoj mjeri sektorska ministarstva koriste ministarstvo finansija. Identifi- kacija barijera (ako postoje). Dokaz u vezi stepena u kom razni dionici koriste MiE informacije (na primjer dijagnostiÄ?ki pregled ili anketu). Primjer velikih evaluacija koje su bile veoma utjecajne; 7. Vrste alata naglaÅ¡enih u MiE sistemu (indikatori redovnog uÄ?inka, brzi pregledi evaluacije, revizije uÄ?inka, rigorozne detaljne evaluacije utjecaja). Razmjer i troÅ¡kovi ovog tipa MiE. NaÄ?in na koji su postavljeni prioriteti evaluacije (jesu li fokusirani na „programske probleme“, pilot 520 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije programe, programe sa visokim troÅ¡kovima ili veoma vidljive programe ili su zasnovani na sistemskom istraživanju plana da se odgovori na pitanja o efektivnosti programa?); 8. Odgovornost za prikupljanje informacija o uÄ?inku i provoÄ‘enje evalucije (sama ministarstva, akademska zajednica, ili konsultantske firme). Pro- blemi sa kvalitetom ili pouzdanošću podataka ili sa kvalitetom evaluacije koja se provodi. Snage i slabosti lokalne ponude MiE. KljuÄ?ne smetnje u kapacitetu i vladini prioriteti izgradnje kapaciteta; 9. Stepen podrÅ¡ke donatora za MiE u skorije vrijeme. Donatorski projekti koji podržavaju MiE na sve-vladinom, sektorskom ili na nivou agencije (pružanje tehniÄ?ke pomoći, ostala izgradnja kapaciteta i finansiranje za provoÄ‘enje glavnih evaluacija, kao Å¡to su evaluacije rigoroznog utjecaja); 10. ZakljuÄ?ci vezani za ukupne snage i slabosti MiE sistema, ukljuÄ?ujući održivost kod promjene u vladi. Ovisnost sistema o finansiranju dona- tora ili o drugoj podrÅ¡ci. Trenutni planovi za buduće jaÄ?anje MiE sistema. Izvor: World Bank 2006. Razvoj evaluacionog kapaciteta pomaže državama u odreÄ‘ivanju polazne pozicije u izgradnji evaluacionog kapaciteta (Tekstualni okvir 15.1). Razvijeni su razni dijagnostiÄ?ki instrumenti (vidjeti, na primjer, Svjetska banka 1999). Razvoj evaluacionog kapaciteta osigurava da su nalazi evaluacije dostupni za pomoć državama u Ä?etiri kljuÄ?na podruÄ?ja: • Raspored vladinih resursa u planiranju, donoÅ¡enju odluka i pravljenju priori- teta, posebno u budžetskom procesu; • Razumijevanje uÄ?inka tekućih aktivnosti na nivoima sektora, programa i pro- jekta tako da se uÄ?enje i napredak mogu ostvariti; • Odgovornost menadžera za uÄ?inak aktivnosti kojima upravljaju, tako da i vlada može odgovarati za svoj uÄ?inak. Pojam odgovornosti obuhvata prizna- vanje ekonomske uprave i Ä?vrstog javnog sektora od centralne je važnosti za državnu ekonomsku konkurentnost. TržiÅ¡te nagraÄ‘uje države koje su u mogućnosti upravljati i predstaviti javne troÅ¡kove, a evaluacija nudi alat državama da bi to mogle uraditi; • Demonstracija obima u kome su razvojne aktivnosti uspjeÅ¡ne. Ovo se poka- zuje sve viÅ¡e važnim za države kod privlaÄ?enja eksternih resursa, posebno uz postojeći pritisak na agencije za meÄ‘unarodnu razvojnu pomoć da usmjere ka Pogled u budućnost 521 državama gdje su protekli razvojni napori bili uspjeÅ¡ni. Pored toga, povećani naglasak agencija za razvojnu pomoć, na sve-vladinom pri-stupu, razvoju povećava premiju na postojanje mjera uÄ?inka u Ä?itavoj državi. Razvoj evaluacionog kapaciteta zahtijeva da se kreatori politike uvjere da je evaluacija korisna, poÅ¡to se to ne može nametnuti vladi. Takvo neÅ¡to zahti- jeva informacionu infrastrukturu koja omogućava da se podaci rutinski priku- pljaju a rezultati diseminiraju i koriste. Izgradnja korisnog evaluacijskog sistema obiÄ?no traje dugo vremena, zato Å¡to to iziskuje politiÄ?ke i institucionalne pro- mjene (Schaumberg-Müller 1996). Sjedinjenim Državama je na primjer, trebalo 10 godina da u potpunosti implementiraju Zakon o uÄ?inku i rezultatima vlade (GPRA) i sve sisteme unutar tog zakona. (Kusek i Rist 2004). Institucije tre- baju vjerovati da evaluacija nije sistem kontrole nego alat za poboljÅ¡anje uÄ?inka i donoÅ¡enja odluka. Å ta se može uraditi da se motivira razvoj evaluacionog kapaciteta? Koji podsticaji i prepreke postoje? Toulemonde (1999) govori o važnosti koriÅ¡tenja podsticaja (mrkva) i evaluacije po zahtjevu (Å¡tap). Prvi podsticaj koji on ide- ntificira je budžetski. Evaluacija koÅ¡ta, i novac mora biti dostupan da bi razvoj evaluacionog kapaciteta nastao. Drugi podsticaj je dobra karijera za one koji odluÄ?e postati evaluatori. Toulemonde identificira naÄ?ine izrade potražnje za evaluaciju po ograniÄ?enjima. Prvo je obavezna evaluacija. Kada se od organizacija traži da provedu evaluaciju, mora im se dati pravo da postavljaju pitanja. Moraju imati potpun pristup polju podataka i biti obavezni koristiti rezultate evaluacije. Toulemonde priznaje da su „zakoni i pravila besmisleni sami za sebe“ (1999, str. 159). Moraju se provoditi, i moć se mora ispoljiti. Nastavlja diskutirajući o vrijednosti mijeÅ¡anja podsticaja i ograniÄ?enja. Profesionalizam razvojnih evaluatora Svako može odluÄ?iti da uzme identitet razvojnog evaluatora. Ali, joÅ¡ uvijek ne postoje standardne kompetencije koje treba zadovoljiti preko obuke ili prakse, ne postoji proces akreditacije ili certificiranja kroz koji treba proći onaj ko se može zvati razvojni evaluator. Mnogo ljudi nauÄ?i o poslu bez formalne obuke. Za upra- vljanje evaluacionom jedinicom takoÄ‘er nisu potrebni posebni akreditivi: evalu- ativno znanje i iskustvo nisu preduvjeti. Metod uÄ?enja putem vremena provedenog na poslu ne treba potcijeniti, menadžeri bez formalne obuke mogu biti dorasli poslu. Nedostatak akrediti- ranja, meÄ‘utim, otežava naruÄ?iocima usluga razvojne evaluacije da identificiraju struÄ?nost. 522 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije PoÅ¡to potražnja za razvojnom evaluacijom nastavlja rasti, vjerujemo da će doći do povećanja poziva za profesionalizam kao odgovor na slabo zamiÅ¡ljene ili provedene evaluacije. MeÄ‘unarodna asocijacija za razvojnu evaluaciju (IDEAS) ima sve veću ulogu u globalnoj profesionalizaciji razvojne evaluacije. Uspostavljanje osnovnih kompetencija Jedno od glavnih pitanja unutar i van razvojne evaluacije je treba li uspostaviti osnovne kompetencije evaluatora, kao one kompetencije predstavljene u Tekstu- alnom okviru 15.2. AmeriÄ?ka evaluaciona asocijacija (AEA) izabrala je da ne prihvati takve kompetencije, nakon poÄ?etne istrage. Za razliku od njih Kanadsko evaluaciono druÅ¡tvo (CES) provodi „profesionalno opredjeljenje“, kao oblik akreditiranja. U isto vrijeme nastoji se povećati fakultetska obuka u evalu- aciji. Evaluaciona asocijacija Novog Zelanda trenutno razmiÅ¡lja o razvojnim kompetencijama. Trezorski odbor Kanade poziva na certifikaciju voditelja evaluacionih jedi- nica koji imaju mandat za kanadske agencije. IzvjeÅ¡taj koji je pripremio njegov sekretarijat predstavlja rezultate studije za „istraživanja pristupa za povećanje profesionalizma evaluacija u Federalnoj vladi“ (Treasury of Board of Canada Secretariat 2005). MeÄ‘unarodni odbor za standarde obuke, uÄ?inak i instrukcije razvio je kompetencije za interno osoblje i eksterne konsultante koji provode evaluacije u organizacionom okruženju (link do ove web stranice dat je na kraju ovog poglavlja). CES-ov Projekat profesionalnog opredjeljenja vjeruje da akreditacija treba biti zasnovana na kombinaciji obrazovanja i iskustva. Certifikaciju posmatra kao zahtijevanje ispitivanja. Stoga odabire pristup akreditacije koji nije zasnovan na testu. Mnogi zadaci koji su potrebni da se uspostavi akreditiranje su u pro- cesu ostvarivanja, ukljuÄ?ujući uspostavu uvjeta za akreditaciju, grandparentning mehanizama za one koji su već praktiÄ?ari, odbor za akreditaciju i mehanizme rjeÅ¡avanja sporova. OÄ?ekuje se da projekt predstavljanja poÄ?ne 2009. godine (AEA 2008). Link do CES-a na kraju ovog poglavlja daje viÅ¡e informacija o ovome. Å ta za standarde za one koji su ukljuÄ?eni u razvojnu evaluaciju? IDEAS poÄ?inje istraživati pitanje za razvojne evaluatore. Stalni napori i posao pripreme, koje radi Kanadsko evaluaciono druÅ¡tvo, pružit će jaku polaznu taÄ?ku. TakoÄ‘er može koristiti posao koji je obavila Operativna grupa za razvoj evaluacionog kapaciteta Evaluacione grupe Ujedinjenih naroda (UNEG) – koja je razvila osnovne kompe- tencije za osoblje evaluacije na razliÄ?itim nivoima, i koji su usvojeni 2008. (link do UNEG-ove web stranice dat je na kraju ovog poglavlja). Pogled u budućnost 523 Tekstualni okvir 15.2 Osnovne kompetencije programskih evaluatora .0 1 Profesionalna praksa: 1.1 Primjena profesionalnih evaluacionih standarda; 1.2 EtiÄ?no djelovanje i težnja ka integritetu i poÅ¡tenju pri provoÄ‘enju evaluacija; 1.3 PrenoÅ¡enje liÄ?nih evaluacionih pristupa i vjeÅ¡tina potencijalnim klijentima; 1.4 PoÅ¡tovanje klijenata, ispitanika, uÄ?esnika programa i drugih dionika; 1.5 Imati obzira za opće i javno dobrostanje u evaluacionoj praksi; 1.6 Doprinositi bazi znanja evaluacije. 2.0 Sistemsko ispitivanje: 2.1 Razumijevanje baze znanja evaluacije (termina, koncepata, teorija, pretpostavki); 2.2 Poznavanje kvantitativnih metoda; 2.3 Poznavanje kvalitativnih metoda; 2.4 Poznavanje mjeÅ¡ovitih metoda; 2.5 ProvoÄ‘enje pregleda literature; 2.6 Specificiranje teorije programa; 2.7 Uokvirivanje evaluacionih pitanja; 2.8 Razvoj evaluacionog dizajna; 2.9 Identifikacija izvora podataka; 2.10 Prikupljanje podataka; 2.11 Procjena vrijednosti podataka; 2.12 Procjena pouzdanosti podataka; 2.13 Analiza podataka; 2.14 Interpretacija podataka; 2.15 ProsuÄ‘ivanje; 2.16 Razvoj preporuka; 2.17 Pružanje obrazloženja za odluke u evaluaciji; 2.18 IzvjeÅ¡tavanje o proceduri i rezultatima evaluacije; 2.19 Primjećivanja ograniÄ?enja evaluacije; 2.20 ProvoÄ‘enje meta evaluacija. 3.0 Situaciona analiza: 3.1 Opisivanje programa; 3.2 OdreÄ‘ivanje evaluabilnosti programa; 3.3 Identifikacija interesa relevantnih dionika; 3.4 Zadovoljavanje potrebe za informacijama namjeravanih korisnika; 3.5 RjeÅ¡avanje konflikta; 3.6 Ispitivanje organizacionog konteksta evaluacije; 524 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije 3.7 Analiza politiÄ?kih razmatranja relevantnih za evaluaciju; 3.8 RjeÅ¡avanje pitanja upotrebe evaluacije; 3.9 RjeÅ¡avanje pitanja organizacione promjene; 3.10 PoÅ¡tovanje jedinstvenosti evaluacione lokacije i klijenta; 3.11 Ostati otvoren za informacije koji daju drugi; 3.12 Modificiranje studije po potrebi. 4.0 Upravljanje projektom: 4.1 Reagiranje na zahtjeve za ponude; 4.2 Pregovaranje sa klijentima prije poÄ?etka evaluacije; 4.3 Pisanje formalnih sporazuma; 4.4 Komunikacija sa klijentima u evaluacionom procesu; 4.5 Budžetiranje evaluacije; 4.6 Pravdanje troÅ¡kova za potrebe datih informacija; 4.7 Identificiranje potrebnih resursa za evaluaciju, kao Å¡to su informacije, ekspertize, osoblja i instrumenata; 4.8 Upotreba prikladne tehnologije; 4.9 Nadgledanje drugih koji su ukljuÄ?eni u evaluacije; 4.10 Obuka drugih ukljuÄ?enih u provoÄ‘enje evaluacije; 4.11 ProvoÄ‘enje evaluacije bez remećenja; 4.12 Predstavljanje posla na vrijeme. 5.0 Reflektivna praksa: 5.1 Svijest o sebi kao evaluatoru (znanje, vjeÅ¡tine, dispozicija); 5.2 Refleksija liÄ?ne evaluacione prakse (kompetencije i podruÄ?ja za rast); 5.3 ProvoÄ‘enje profesionalnog razvoja u evaluaciji; 5.4 ProvoÄ‘enje profesionalnog razvoja u relevantnim podruÄ?jima sadržaja; 5.5 Izgradnja profesionalnih odnosa za jaÄ?anje evaluacione prakse. 6.0 MeÄ‘uljudska kompetencija: 6.1 Upotreba komunikacionih vjeÅ¡tina pisanja; 6.2 Upotreba verbalnih/sluÅ¡nih komunikacionih vjeÅ¡tina; 6.3 Upotreba vjeÅ¡tina pregovaranja; 6.4 Upotreba vjeÅ¡tina rjeÅ¡avanja sukoba; 6.5 Omogućavanje konstruktivne meÄ‘uljudske interakcije (timski rad, medijatori u grupama,procesuiranje); 6.6 Demonstracija meÄ‘ukulturne kompetencije. Izvor: Stevahn i drugi 2005. Pogled u budućnost 525 Neki vjeruju da se na evaluacionom polju nikada neće moći usaglasiti skup kompetencija za evaluatora, nego će umjesto toga svaka organizacija ili drugi entitet razviti kompetencije za evaluatore koje su specifiÄ?ne za njihov posao, kulturu i tradiciju. PredviÄ‘amo da će se razviti skup globalnih osnovnih kompe- tencija za razvojnu evaluaciju. Organizacije će vjerovatno imati dodatne kompe- tencije za evaluatore, specifiÄ?ne za njihov posao, te će ih prilagoÄ‘avati, ali će oÄ?ekivati da se osnovne kompetencije ostvare. Drugi argument je da bi trebalo biti superÄ?ovjek da bi se ostvarile sve kompe- tencije potrebne za evaluaciju u svim situacijama. Sigurno da bi bilo dodatnih zahtjeva za one koje traže evaluacionu specijalnost, kao Å¡to je struÄ?nost u soci- jalnim i okolinskim evaluacijama ili sliÄ?nim. MeÄ‘utim, baÅ¡ kao Å¡to je hirurg za mozak obuÄ?en u općoj medicini, ali doktori opće prakse nisu obuÄ?eni u hirurgiji mozga, osnova je centralna. Certifikacija razvojnih evaluatora Je li potreban proces u kome će evaluatori moći dobiti certifikat za vjeÅ¡tine, koji je priznat u cijelom svijetu. Takva certifikacija je sigurno korisna za revizore, meÄ‘u kojima je biti certifikovan javni raÄ?unovoÄ‘a meÄ‘unarodno priznato i poÅ¡tovano. Nedavna studija koju je provela IDEAS meÄ‘u svojim Ä?lanovima ukazala je na jaku podrÅ¡ku povećanoj profesionalizaciji putem kompetencije i certifikacije (Morra Imas 2009). Certificiranje evaluatora bi osiguralo mehanizme zaÅ¡tite potroÅ¡aÄ?a od rada ispod standarda i prakse koja varljivo uljepÅ¡ava njihove akreditive. TakoÄ‘er je to mehanizam za razlikovanje evaluacije i onih koji je provode od revizorskih pregleda i revizora. Centralna zabrinutost tiÄ?e se straha da bi izrada mehanizama mogla stvoriti prepreku za ulazak, posebno u okruženju gdje je potražnja veća od ponude i na polju gdje je uÄ?enje na poslu bio tradicionalni metod za ulazak. Kada su kvalitet evaluacije i kompetentnost evaluatora u pitanju, posebno zbog visoke eksterne potražnje, vjerovatna je jaka potreba za osnovnim kompe- tencijama. NaÅ¡ stav je da ako su osnovne kompetencije postavljene za razvojne evaluatore, diskusija o certificiranju neće izostati. Na kraju, najveći izazovi za razvojnu evaluaciju može biti nauÄ?iti postaviti realna oÄ?ekivanja za intervencije, izgradnju javne potražnje za evaluacijama u zemljama bez demokratske tradicije, usklaÄ‘ivanje evaluacije zasnovane na rezu- ltatima sa participacijskom evaluacijom i promoviranje evaluativnog razmiÅ¡ljanja unutar organizacija. Mi se radujemo suoÄ?avanju sa tim izazovima. 526 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Poglavlje 15 aktivnosti Aplikacijska vježba 15.1: Izgradnja evaluacionog kapaciteta Od vas (ili vaÅ¡e grupe) vlada traži da izradite strateÅ¡ki plan za povećanje kapaciteta evaluacije u vaÅ¡oj državi. Koristite sljedeća pitanja da vas usmjere u razmiÅ¡ljanju za pripremu strateÅ¡kog plana koji ćete uradititi na jednoj do dvije stranice. 1. Koja su dva ili tri najteža razvojna pitanja koja treba rijeÅ¡iti u narednih neko- liko godina? 2. Prema vaÅ¡im saznanjima, koji evaluacioni kapaciteti već postoje (dostupnost evaluatora, vjeÅ¡tine, resursi, infrastruktura)? 3. Uz date trenutne i buduće razvojne potrebe i pitanja te vaÅ¡u procjenu trenutnih evaluacionih kapaciteta, navedite Å¡est najvažnijih poboljÅ¡anja koja bi unapri- jedila evaluacioni kapacitet u vaÅ¡oj državi. 4. Å ta upravlja potrebom za MiE sistemima u vaÅ¡oj državi? 5. Ko je u vaÅ¡oj vladi odgovoran za efektivno (i efikasno) ostvarenje programa? 6. Postoji li kodificirana (statutom ili mandatom) strategija ili organizacija u vladi za praćenje razvojnih ciljeva? 7. Gdje u vaÅ¡oj državi leže kapaciteti sa potrebnim vjeÅ¡tinama za dizajniranje i upotrebu MiE sistema? Kako ovi kapaciteti (ili njihov nedostatak) doprinose upotrebi MiE u vaÅ¡oj državi? 8. Odredite prioritete potreba za vaÅ¡u državu identificirajući ih kao kritiÄ?ne, veoma važne ili važne. Pogled u budućnost 527 Biobliografija i dodatna literatura AEA (American Evaluation Association). 2008. “Professional Designation for Evaluators in Canada: Where Are We Now?â€? Session at the annual conference of the American Evaluation Association, Denver, CO, November 5–8. Beywl, W., and K. Harich. 2008. “University-Based Continuing Education in Evaluation: The Baseline in Europe.â€? Evaluation 13 (1): 121–34. Boyle, Richard. 1999. “Professionalizing the Evaluation Function: Human Resource Development and the Building of Evaluation Capacity.â€? In Building Effective Evalu- ation Capacity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 135-51. New Brunswick, NJ: Transaction Publishers. Boyle, Richard, and Donald Lemaire, eds. 1999. Building Effective Evaluation Capacity: Lessons from Practice. New Brunswick, NJ: Transaction Publishers. Dewey, J. D., B. E. Montrosse, D. C. Schroter, C. D. Sullins, and J. R. Mattox II. 2008. “Evaluator Competencies: What’s Taught versus What’s Sought.â€? American Journal of Evaluation 29 (3): 268–87. Ghere, G., J. A. King, L. Stevahn, and J. Minnema. 2006. “A Professional Develop- ment Unit for Reflecting on Program Evaluator Competencies.â€? American Journal of Evaluation, 27 (1): 108–23. Kusek, Jody Zall, and Ray C. Rist. 2004. Ten Steps to a Results-Based Monitoring and Evaluation System. World Bank, Washington, DC. http://www.oecd.org/dataoecd/23/27/35281194.pdf. Mackay, Keith. 2007. How to Build M&E Systems to Support Better Government. World Bank, Independent Evaluation Group, Washington, DC. http://www.worldbank.org/ieg/ecd/docs/How_to_build_ME_gov.pdf. McDonald, K. E., and S. E. Myrick. 2008. “Principles, Promises, and a Personal Plea: What Is an Evaluator to Do?â€? American Journal of Evaluation 29 (3): 343–51. Morra Imas, Linda. 2009. “The Competencies and Credentials Debate in Evaluation: What Is It all About?â€? Presentation to the International Development Evaluation Association’s Global Assembly, Johannesburg, March. Porteous, Nancy L., Barbara J. Sheldrick, and Paula J. Stewart. 1999. “Enhancing Managers’ Evaluation Capacity: A Case Study for Ontario Public Heath.â€? Canadian Journal of Program Evaluation (Special Issue): 137–54. Rist, Ray C., and Nicoletta Stame, eds. 2006. From Studies to Streams: Managing Evalu- ative Systems. Piscataway, NJ: Transaction Publishers. Schaumberg-Müller, Henrik. 1996. Evaluation Capacity Building: Donor Support and Experiences. Copenhagen: Organisation for Economic Co-operation and Develop- ment. http://www.oecd.org/dataoecd/20/52/16546669.pdf. Sonnichsen, Richard C. 1999. “Building Evaluation Capacity within Organizations.â€? In Building Effective Evaluation Capacity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 53–73. New Brunswick, NJ: Transaction Publishers. Stevahn, Laurie, Jean A. King, Gail Ghere, and Jane Minnema. 2005. “Establishing Essential Competencies for Program Evaluators.â€? American Journal of Evaluation 26 (1): 43–59. 528 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Toulemonde, Jacques. 1999. “Incentives, Constraints, and Culture-Building as Instru- ments for Development of Evaluation Demand.â€? In Building Effective Evaluation Capacity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 153–68. New Brunswick, NJ: Transaction Publishers. Treasury of Board of Canada Secretariat. 2005. Improving the Professionalism of Evalu- ation. Final report. http://www.tbs-sct.gc.ca/eval/dev/Professionalism/profession_e.asp. World Bank. 1999. Evaluation Capacity Development: A Diagnostic Guide and Action Framework. ECD Working Paper 6, Operations Evaluation Department, Washington, DC. ———. 2006. Diagnostic Guides. Washington, DC. http://www.worldbank.org/ieg/ecd/diagnostic_guides.html. Web stranice Campbell, Patricia B., and Beatriz Chu Clewell. 2008. Building Evaluation Capacity: Designing a Cross-Project Evaluation. Guide I. Urban Institute, Washington, DC. http://www.uquebec.ca/observgo/fichiers/43799_GRA-1a.pdf. ———. 2008. Building Evaluation Capacity: Collecting and Using Data in Cross-Proj- ect Evaluations. Guide II. Urban Institute, Washington, DC. http://www.uquebec.ca/observgo/fichiers/42773_GRA-1b.pdf. Canadian Evaluation Society. www.evaluationcanada.ca. ———. Professional Designation Project. http://www.evaluationcanada.ca/site.cgi?s=5&ss=6&_lang=EN. UNEG (United Nations Evaluation Group).2004a. Evaluation Capacity Development: A Strategy Paper. http://cfapp1-docs-public.undp.org/eo/evaldocs1/uneg_2006/ eo_doc_350011048.doc. ———. 2004b. Evaluation Capacity Development Task Force: Highlights. http://cfapp1- docs-public.undp.org/eo/evaldocs1/uneg_2006/eo_doc_562044935.doc. Weiss, Carol. Evaluating Capacity Development: Experiences from Research and Devel- opment Organizations around the World. http://www.agricta.org/pubs/isnar2/ECDbood(H-ch7).pdf. Pogled u budućnost 529 DODACI OECD DAC Mreža za razvojnu evaluaciju - evaluiranje razvojne saradnje: sažetak kljuÄ?nih normi i standarda Sadržaj Uvod 534 Definiranje evaluacije 535 Razvoj normi i standarda za evaluaciju 535 Dio I: DAC principi za evaluaciju razvojne pomoći 536 Pregled DAC principa za evaluaciju razvojne pomoći 540 Dio II: Evaluacioni kriteriji 541 Dio III: Evaluacioni sistemi i upotreba: radni alat za struÄ?ne preglede i procjenu 543 Dio IV: DAC evaluacija standarda kvaliteta 546 Dio V: Dokumenti smjernice 551 533 DAC Mreža razvojne evaluacije je podružno tijelo Komiteta razvojne pomoći (DAC). Svrha mu je povećati efektivnost meÄ‘unarodnih razvojnih programa podržavajući robusnu, informiranu i nezavisnu evaluaciju. Mreža je jedi- nstveno tijelo, koje okuplja 30 bilateralnih donatora i multilateralnih razvojnih agencija: Australije, Austrije, Belgije, Kanade, Danske, Evropske Komisije, Finske, Francuske, NjemaÄ?ke, GrÄ?ke, Irske, Italije, Japana, Luksemburga, Holandije, Novog Zelanda, NorveÅ¡ke, Portugala, Å panije, Å vedske, Å vicarske, Ujedinjenog Kraljevstva, Sjedinjenih Država, Svjetske banke, Azijske razvo- jne banke, AfriÄ?ke razvojne banke, Inter-ameriÄ?ke razvojne banke, Evropske banke za obnovu i razvoj, UNDP i IMF. Uvod DAC Mreža razvojne evaluacije je jedinstven meÄ‘unarodni forum koji oku- plja evaluacione menadžere i specijaliste iz razvojnih agencija za saradnju u OECD zemljama Ä?lanicama i multilateralnim razvojnim institucijama. Cilj joj je povećati efektivnost meÄ‘unarodnih razvojnih programa podržavajući robusnu, informiranu i nezavisnu evaluaciju. Mreža je podružno tijelo OECD Komiteta za razvojnu pomoć (DAC). KljuÄ?na komponenta misije Mreže je razviti meÄ‘unarodno usaglaÅ¡ene norme i standarde za razvojnu evaluaciju. Tako se daju informacije za evaluacionu poli- tiku i praksu i doprinosi se harmoniziranom pristupu u skladu sa opredjeljenjem Pariske deklaracije o Efektivnosti pomoći. Tijelo normi i standarda je zasnovano na iskustvu, i vremenom evoluira da bi se uklopilo u promjenjivo okruženje pomoći. Norme i standardi služe kao meÄ‘unarodna referentna taÄ?ka, predvodeći napore za unapreÄ‘enje razvojnih rezultata putem visoko kvalitetne evaluacije. Norme i standarde sažete ovdje treba primijeniti razumno i prilagoditi pažljivo da odgovaraju svrsi, objektu i kontekstu svake evaluacije. PoÅ¡to ovaj sažeti doku- ment nije iscrpan evaluacioni priruÄ?nik Ä?itaocima se preporuÄ?uje da pogledaju kompletan tekst koji je dostupan na web stranici DAC Mreže razvojne evaluacije: www.oecd.org/dac/evaluationnetwork. 534 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Definiranje evaluacije Evaluacija je sistemska i objektivna procjena tekućih ili zavrÅ¡enih projekata, programa ili politike, njihovog dizajna, implementacije i rezultata. Cilj je odrediti relevantnost i ispunjavanje ciljeva, razvoj efikasnosti, efe- ktivnosti, utjecaja i održivosti. Evaluacija treba pružiti informacije koje su kredi- bilne i korisne, omogućavajući inkorporaciju nauÄ?enih lekcija u proces donoÅ¡enja odluka donatora i korisnika. Evaluacija se takoÄ‘er odnosi na proces odreÄ‘ivanja vrijednosti ili znaÄ?aja aktivnosti, politike ili programa. Ova i ostale kljuÄ?ne definicije se nalaze u Glosaru kljuÄ?nih termina u evaluaciji i menadžmentu zasnovanim na rezultatima. Glosar je koristan razvojni alat kapa- citeta koji pomaže izgradnju zajedniÄ?kog razumijevanja osnovnih evaluacionih koncepata. DAC glosar je dostupan na arapskom, kineskom, holandskom, engle- skom, francuskom, italijanskom japanskom, kisvahili, portugalskom, ruskom, Å¡panskom, Å¡vedskom i turskom. Razvoj normi i standarda za evaluaciju Set osnovnih principa za evaluaciju razvojne pomoći (sažet u Dijelu I) usvojila je OECD DAC 1991. godine i u srcu su pristupa evaluaciji Evaluacione mreže. Principi se fokusiraju na upravljanje i institucionalno ureÄ‘enje evaluacionog sistema unutar razvojnih agencija. Tokom pregleda evaluacionih principa 1998. godine, većina DAC Ä?lanova izvijestila je o postignutom napretku u implementaciji osnovnih principa i vidi ih kao korisne i relevantne. Ovi osnovni evaluacioni principi ne samo da ostaju kljuÄ?no mjerilo za razvojnu evaluaciju nego služe kao osnova za DAC preglede struÄ?njaka – jedini meÄ‘unarodno priznati mehanizam za procjenu uÄ?inka razvo- jnih programa saradnje OECD DAC Ä?lanica. MeÄ‘utim, pregled je takoÄ‘er oznaÄ?io podruÄ?je kojemu treba prilagoÄ‘avanje ili specifiÄ?nije smjernice, postavljajući scenu za daljnji razvoj. Sažetak kljuÄ?nih normi i standarda 535 DAC kriterij za evaluaciju razvojne pomoći (detaljno obraÄ‘en u Dijelu II) zasnovan je na evaluacionim naÄ?elima i služi kao opći vodiÄ? mjera koje se mogu primijeniti, i koristan je za procjenu razvojnog rada. Podrobna analiza evaluacione politike i prakse Ä?lanova obavljena 2006. godine, zasnovana na pregledu struÄ?njaka provedena u periodu od osam godina, dovela je do razvoja Evaluacionih sistema i upotrebe: radnih alata za pregled struÄ?njaka i procjenu (Dio III). Taj dokument osigurava kljuÄ?ne elemente jake evaluacione funkcije u razvojnim agencijama i koristi se za napredak impleme- ntacije naÄ?ela. Najskoriji korak u razvoju normativnog okvira je definiranje evaluacionih standarda kvaliteta (predstavljenih u formi nacrta u Dijelu IV). Ovi standardi pružaju smjernice za evaluacioni proces i proizvod. Bit će zavrÅ¡eni u 2009-2010, nakon test faze od tri godine. Pored ovih općih normi i standarda, OECD DAC Ä?lanovi prepoznaju potrebu za specifiÄ?nim smjernicama u odreÄ‘enim podruÄ?jima razvojne evaluacije. Izgra- dnjom evaluacionog iskustva i gore opisanih tekstova, razvijene su smjernice u brojnim podruÄ?jima. NajznaÄ?ajnije od ovih dokumenata smjernica su predsta- vljeni u Dijelu V. Dio I: DAC principi za evaluaciju razvojne pomoći Usvojeni na OECD DAC Sastanku na visokom nivou 1991. godine, evaluacioni principi objavljeni su 1992. godine kao dio DAC principa za efektivnu pomoć. Pregled kljuÄ?nih elemenata originalnog dokumenta dat je ispod: I. Centralne poruke Principi pružaju opće smjernice za ulogu evaluacije pomoći u procesu upravljanja pomoći, uz sljedeće centralne poruke: • Agencije za pomoć trebaju imati evaluacionu politiku sa jasno uspostavljenim smjernicama i metodima i sa jasno definiranom ulogom i odgovornostima i jasnim mjestom u institucionalnoj strukturi pomoći; • Evaluacioni proces treba biti nepristran i nezavisan o procesu vezanom za kreiranje politike, i pri obavljanju i upravljanju razvojnom pomoći; • Proces evaluacije mora biti Å¡to je viÅ¡e moguće otvoren sa Å¡iroko dostupnim rezultatima; • Da bi evaluacija bila korisna, mora se koristiti. Povratne informacije za kre- atore politike i operativno osoblje su suÅ¡tinske; • Partnerstvo sa korisnicima i saradnja donatora u evaluaciji pomoći su suÅ¡tinske stvari, važan su aspekt izgradnje institucije korisnika i koordinacije pomoći i može smanjiti administrativni teret na korisnike; 536 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • Evaluacija pomoći i njeni zahtjevi moraju biti integralni dio planiranja pomoći od poÄ?etka. Jasna identifikacija ciljeva, koju aktivnost pomoći treba ostvariti, suÅ¡tinski je preduvjet za evaluaciju ciljeva. (Paragraf 4) II. Svrha evaluacije Glavne svrhe evaluacije su: • unaprijediti buduću politiku, programe i projekte pružanja pomoći putem povratnih informacija iz nauÄ?enih lekcija; • osigurati osnovu za odgovornost, ukljuÄ?ujući pružanje informacija javnosti. Putem evaluacije neuspjeha i uspjeha, dobivaju se vrijedne informacije, koje ako se propisno obrade mogu poboljÅ¡ati buduće programe i projekte pomoći (Paragraf 6) III. Nepristrasnost i nezavisnost Proces evaluacije treba biti nepristrastan i nezavisan od procesa vezanih sa kreiranjem politike, i sa vrÅ¡enjem i upravljanjem razvojnom pomoći. (Para. 11) Nepristrasnost doprinosi kredibilitetu evaluacije i izbjegavanju pristrasnih nalaza, analiza i zakljuÄ?aka. Nezavisnost osigurava legitimitet evaluaciji i sma- njuje potencijal za sukob interesa koji se može pojaviti ako su kreatori politike i menadžeri sami odgovorni za evaluaciju vlastitih aktivnosti. (Paragraf 12) Nepristrasnost i nezavisnost će se najbolje ostvariti odvajanjem funkcije evaluacije od linije menadžmenta odgovorne za planiranje i upravljanje razvo- jnom pomoći. Ovo se može ostvariti tako Å¡to će se napraviti centralna jedinica odgovorna za izvjeÅ¡tavanje o evaluaciji direktno ministru ili Å¡efu agencije odgo- vornom za razvojnu pomoć, ili upravnom odboru ili direktorima institucija. U stepenu u kom su neke funkcije evaluacije dodijeljene liniji menadžmenta, tada menadžment treba biti odgovoran centralnoj jedinici ili dovoljno visokom nivou strukture menadžmenta ili upravnom odboru odgovornom za programske odluke. U ovom sluÄ?aju, treba uložiti sve napore da se izbjegne kompromitovanje procesa evaluacije i njegovih rezultata. Koji god pristup da odaberemo, organizaciono ureÄ‘enje i procedure trebaju omogućiti povezivanje nalaza evaluacije sa pro- gramiranjem i kreiranjem politike. (Paragraf 16) Sažetak kljuÄ?nih normi i standarda 537 IV. Kredibilitet Kredibilitet evaluacije zavisi od struÄ?nosti i nezavisnosti evaluatora i o stepenu transparentnosti evaluacionog procesa. Kredibilitet zahtijeva da evaluacija treba izvjestiti o uspjehu, ali i o neuspjehu. Države koje primaju pomoć trebaju, po pravilu, uzeti puno uÄ?ešće u evaluaciji kako bi se promovirao kredibilitet i pre- danost. (Paragraf 18) Transparentnost evaluacionog procesa je suÅ¡tinska za njegov kredibilitet i legitimnost. . . (Paragraf 20) V. Korisnost Da bi imali utjecaja na donoÅ¡enje odluka, nalazi evaluacije se prvo moraju doživjeti kao relevantni i korisni te ih treba predstaviti na jasan i koncizan naÄ?in. U potpunosti trebaju odražavati razliÄ?ite interese i potrebe mnogih strana ukljuÄ?enih u razvojnu saradnju. Lahka pristupnost je takoÄ‘er suÅ¡tinska za koris- nost . . . (Paragraf 21) Evaluacije moraju biti pravovremene u smislu da trebaju biti dostupne u vri- jeme koje je prikladno za proces donoÅ¡enja odluka. Ovo sugeriÅ¡e da evaluacija ima važnu ulogu u razliÄ?itim fazama tokom izvoÄ‘enja projekta ili programa i ne treba je provoditi samo ex post. Monitoring aktivnosti koje su u toku je odgovo- rnost operativnog osoblja. Odredbe za evaluaciju nezavisnog evaluacionog oso- blja u planu rada trebaju sadržavati važnu dopunu redovnom monitoringu. (Paragraf 22) VI. UÄ?ešće donatora i korisnika (...) kad god je moguće, i donatori i korisnici trebaju biti ukljuÄ?eni u evalu- acioni proces. PoÅ¡to su nalazi evaluacije relevantni objema stranama, evalu- acioni projektni zadatak treba sadržavati pitanja od važnosti za svakog partnera i evaluacija treba odražavati njihove stavove o efektivnosti i utjecaju aktivnosti. Princip nepristrasnosti i nezavisnosti tokom evaluacije treba jedna- ko primjenjivati na korisnike i donatore. UÄ?ešće i nepristrasnost pojaÄ?avaju kvalitet evaluacije, Å¡to zauzvrat ima znaÄ?ajne implikacije za dugoroÄ?nu održivost poÅ¡to korisnici ostaju jedini odgovorni kada donatori odu. (Paragraf 23) Kad god je prikladno, stavovi i struÄ?nost pogoÄ‘enih grupa treba saÄ?injavati integralni dio evaluacije. (Paragraf 24) 538 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije UkljuÄ?ivanje svih zainteresiranih strana daje priliku za uÄ?enje tokom rada i za jaÄ?anje vjeÅ¡tina i kapaciteta u zemljama korisnicama, važan je cilj koji takoÄ‘er treba promovirati putem treninga i kroz drugu podrÅ¡ku za institucionalni i razvoj menadžmenta. (Para. 25) VII. Saradnja donatora Saradnja meÄ‘u donatorima je suÅ¡tinski bitna kako bi nauÄ?ili jedni od drugih i izbjegli duplanje napora. Saradnju donatora treba ohrabriti kako bi se razvili evaluacioni metodi, razmijenili izvjeÅ¡taji i informacije te poboljÅ¡ao pristup nalazima evaluacije. Združene donatorske evaluacije treba promovirati kako bi uzajamno razumijevali procedure i pristupe te smanjili administrativni teret na korisnika. Kako bi se omogućilo planiranje združenih evaluacija, donatori trebaju razmijeniti evaluacione planove sistematski i dosta prije stvarne implementacije. (Paragraf 26) VIII. Evaluaciono programiranje Agencija za evaluaciju aktivnosti razvojne pomoći treba razviti sveobuhvatan plan. Pri elaboraciji takvog plana, razne aktivnosti koje će se evaluirati treba organizirati u prikladne kategorije. Zatim treba postaviti prioritete za evaluaciju kategorija i treba napraviti raspored. (Para. 27) Agencije za pomoć koje to do sada nisu uradile trebaju elaborirati smjernice i/ili standarde za proces evaluacije te tako usmjeriti i definirati minimalne zahtjeve za provoÄ‘enje evaluacije i za izvjeÅ¡tavanje. (Para. 31) IX. Dizajn i implementacija evaluacije Svaka evaluacija mora biti planirana a projektni zadatak uraÄ‘en kako bi se: • definirala svrha i djelokrug evaluacije, ukljuÄ?ujući identifikaciju korisnika nalaza; • opisali metodi koji će se koristiti tokom evaluacije; • identificirali standardi prema kojima će se procjenjivati uÄ?inak projekta ili pro- grama i • odredili resursi i vrijeme potrebno za zavrÅ¡etak evaluacije. (Para. 32) SuÅ¡tinski bitno je definirati pitanja koja će se obraditi u evaluaciji – ta pitanja se Ä?esto zovu „teme“ evaluacije. Pitanja će pružiti okvir, kojim se može upravljati, za proces evaluacije i osnovu za jasan set zakljuÄ?aka i preporuka... (Para. 35) Sažetak kljuÄ?nih normi i standarda 539 X. Diseminacija izvjeÅ¡taja i povratne informacije Evaluaciono izvjeÅ¡tavanje treba biti jasno, sa Å¡to manje tehniÄ?kog jezika i treba ukljuÄ?ivati sljedeće elemente: izvrÅ¡ni sažetak, profil evaluiranih aktivnosti, opis koriÅ¡tenih evaluacionih metoda, glavne nalaze, nauÄ?ene lekcije, zakljuÄ?ke i pre- poruke (koji mogu biti odvojeni od samog izvjeÅ¡taja). (Para. 39) Povratne informacije su suÅ¡tinski dio procesa evaluacije poÅ¡to omogućavaju vezu izmeÄ‘u proÅ¡lih i budućih aktivnosti. Da bi se osiguralo da se rezultati evaluacije koriste u budućem razvoju politike i programa, neophodno je uspostaviti mehanizme povratnih informacija koji ukljuÄ?uju sve zainteresirane strane. To bi ukljuÄ?ilo takve mjere kao Å¡to su evaluacioni odbori, seminari i radionice, automatizovani sistemi, izvjeÅ¡tavanje i prateće procedure. Neformalna sredstva kao Å¡to su umrežavanje i interna komunikacija bi takoÄ‘er omogućila diseminaciju ideja i informacija. Da bi bio efektivan proces povratnih informacija, on zahtijeva osoblje i budžetske resurse kao i podrÅ¡ku viÅ¡eg menadžmenta i drugih ukljuÄ?enih aktera. (Para. 42) Pregled DAC principa evaluacije razvojne pomoći ÄŒlanovi Radne grupe za evaluaciju pomoći 1998. godine (sada DAC mreže za razvojne evaluacije) uradili su pregled njihovog iskustva sa primjenom DAC pri- ncipa za evaluaciju razvojne pomoći. Cilj je bio ispitati implementaciju i upotrebu principa, kako bi se procijenio njihov utjecaj, korisnost i relevantnost te da bi se dale preporuke. Izvod koji se nalazi ispod prikazuje nastojanja koja su u toku da se implementiraju principi i pokaže put ka onom Å¡to je uraÄ‘eno kasnije i Å¡to je pre- dstavljeno u dijelovima II-V ovog dokumenta. Cjelokupan tekst ukljuÄ?uje detaljne nalaze i dodatne preporuke evaluatora i korisnika. Pregled pokazuje da evaluacija u razvojnoj saradnji evoluira i mijenja fokus. Većina Ä?lanova Mreže su reorganizirali svoje centralne urede za evalu- aciju da bi im dodijelili novu ulogu sa jakim fokusom na efektivnost pomoći. Pored toga, centralni uredi za evaluaciju su preÅ¡li sa tradicionalnih evaluacija projekata na programske, sektorske, tematske i evaluacije državne pomoći. U OECD državama, domaći interes za rezultatima razvojne pomoći je porastao. Zabilježen je takoÄ‘er veći interes za decentralizovanu evaluaciju, a postoji i dokaz koji ukazuje da se evaluacija u zemljama u razvoju ukorjenjuje. Većina Ä?lanova je prijavila da su dostigli dobar stepen saglasnosti sa suÅ¡tinskim DAC principima za evaluaciju razvojne pomoći. TakoÄ‘er tvrde da ih nalaze korisnim i relevantnim pri usmjeravanju posla, i u nekim sluÄ?ajevima, u reorganizaciji njihovih evaluacionih ureda. Na osnovu ovih rezultata zakljuÄ?uje se da su principi joÅ¡ uvijek validni i snažni. 540 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Ipak, prepoznato je da principe treba dopuniti i ojaÄ?ati smjernicama (npr. dobra ili najbolja praksa) u kljuÄ?nim podruÄ?jima. Ovo ukljuÄ?uje naÄ?ine za: efektivno voÄ‘enje razmjene izmeÄ‘u nezavisnosti i ukljuÄ?enja svega potre- bnog da se ostvari partnerstvo, unaprijede povratne informacije i praksa komunikacije, promovira evaluaciona kultura, implementira državni program i združene evaluacije, promovira partnerstvo i evaluira humanitarna pomoć. Dio II: Evaluacioni kriteriji Kada se evaluiraju razvojni programi i projekti razvojne saradnje korisno je razmotriti sljedeće kriterije, koji se nalaze u DAC principima za evaluaciju razvo- jne pomoći. Relevantnost Stepen u kom aktivnost pomoći odgovara prioritetima i politici ciljane grupe, korisnika i donatora. U evaluaciji relevantnosti programa ili projekta, korisno je razmotriti sljedeća pitanja: • U kom su stepenu ciljevi programa joÅ¡ uvijek validni? • Jesu li aktivnosti i izlazni rezultati programa konzistentni sa okvirnim ciljem i ostvarenjem ciljeva programa? • Jesu li aktivnosti i izlazni rezultati programa konzistentni sa namjeravanim utjecajima i efektima? Efektivnost Mjera stepena u kom aktivnost pomoći ostvaruje svoje ciljeve. U evaluaciji efektivnosti programa ili projekta, korisno je razmotriti sljedeća pitanja: • U kom stepenu su ciljevi ostvareni ili će vjerovatno biti ostvareni? • Koji su bili glavni faktori koji su utjecali na ostvarenje ili neostvarenje ciljeva? Sažetak kljuÄ?nih normi i standarda 541 Efikasnost Efikasnost mjeri izlazne rezultate – kvalitativne i kvantitativne – u odnosu na ulazne elemente. To je ekonomski termin koji se koristi za procjenu stepena u kom pomoć koristi najjeftinije moguće resurse kako bi se ostvarili željeni rezu- ltati. Generalno je potrebno uporediti alternativne pristupe u ostvarenju istih izlaznih elemenata, a da bi se vidjelo je li usvojen najefikasniji proces. Kada se evaluira efikasnost programa ili projekta, korisno je razmotriti sljedeća pitanja: • Jesu li aktivnosti bile isplative? • Jesu li ciljevi ostvareni na vrijeme? • Je li program ili projekt implementiran na najefikasniji naÄ?in u poreÄ‘enju sa alternativama? Utjecaj Utjecaj predstavlja pozitivne i negativne promjene nastale razvojnom interve- ncijom, direktno ili indirektno, namjerno ili nenamjerno. Ovo ukljuÄ?uje glavne utjecaje i efekte koji nastaju iz aktivnosti na lokalnom druÅ¡tvenom, ekonomskom, okolinskom i drugim razvojnim indikatorima. Ispitivanje treba razmotriti prema namjeravanim i nenamjeravanim rezultatima i takoÄ‘er mora ukljuÄ?iti pozitivan i negativan utjecaj eksternih faktora, kao Å¡to su promjene u vidu trgovine i fina- nsijskih uvjeta. Kada se evaluira utjecaj programa ili projekta, korisno je razmotriti sljedeća pitanja: • Å ta se desilo kao rezultat programa ili projekta? • Koje je stvarne razlike stvorila aktivnost korisnicima? • Koliko ljudi je pogoÄ‘eno? Održivost Održivost se razmatra mjerenjem vjerovatnosti nastavka koristi od aktivnosti nakon Å¡to donatori povuku svoja sredstva. Projekt treba biti okolinski i finansijski održiv. Kada se evaluira održivost programa ili projekta, korisno je razmotriti sljedeća pitanja: • U kom stepenu se nastavlja korist od programa ili projekta nakon Å¡to prestane finansiranje od donatora? 542 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • Koji su bili glavni faktori koji su utjecali na ostvarenje ili neostvarenje održivosti programa ili projekta? Dio III: Evaluacioni sistemi i upotreba radnog alata za struÄ?ne preglede i procjene Ovaj okvir je razvijen u martu 2006. godine na osnovu temeljite analize struÄ?nih pregleda koji su provedeni u periodu od osam godina. Dizajniran je da ojaÄ?a funkciju evaluacije i promovira transparentnost i odgovornost u razvojnim agenci- jama. Razvijen je sa struÄ?nim pregledima na umu i kao sprava menadžmenta za poboljÅ¡anje evaluacione prakse u agencijama za pomoć. To je „živući“ alat, zamiÅ¡ljen da se ažurira sa novim iskustvom: 1. Politika evaluacije: uloga, odgovornosti i ciljevi evaluacione jedinice • Ima li ministarstvo ili agencija za pomoć politiku evaluacije? • Opisuje li politika ulogu, upravnu strukturu i poziciju evaluacione jedinice unutar institucionalne strukture pomoći? • Osigurava li evaluaciona funkcija korisnu pokrivenost Ä?itavog razvojnog programa saradnje? • Kako prema toj politici evaluacija doprinosi institucionalnom uÄ?enju i odgovornosti? • Kako je konceptualiziran odnos izmeÄ‘u evaluacije i revizije unutar agencije? • Kako su definirane i koordinirane uloge evaluacionih jedinica u državama sa dvije ili viÅ¡e agencija? Je li evaluaciona politika adekvatno poznata i implementirana unutar agencije za pomoć? 2. Nepristrasnost, transparentnost i nezavisnost • U kom stepenu su evaluaciona jedinica i evaluacioni proces nezavisni od linije menadžmenta? • Koji su formalni i stvarni pokretaÄ?i koji osiguravaju ili ugrožavaju neza- visnost evaluacione jedinice? • Kakvo je iskustvo evaluacione jedinice u izlaganju uspjeha i neuspjeha programa pomoći i njegove implementacije? • Je li evaluacioni proces dovoljno transparentan da osigura kredibilitet i legitimnost? Objavljuju li se konzistentno nalazi evaluacije? • Kakav je balans izmeÄ‘u nezavisnosti i potrebe za interakcijom sa linijom menadžmenta koji upravlja sistemom? Sažetak kljuÄ?nih normi i standarda 543 Doživljavaju li neevaluacioni akteri unutar i izvan agencije evalu- acioni proces kao nepristrasan? 3. Resursi i osoblje • Je li evaluacija podržana prikladnim finansijskim resursima i osobljem? • Ima li evaluaciona jedinica posvećen budžet? Je li taj budžet godiÅ¡nji ili viÅ¡egodiÅ¡nji? Pokriva li budžet aktivnosti koje imaju za cilj promoviranje povratnih informacija i upotrebu znanja evaluacije i znanja upravaljanja evaluacijom? • Posjeduje li osoblje odreÄ‘enu struÄ?nost za evaluaciju, ako ne, jesu li dostupni programi obuke? • Postoji li politika angažiranja konsultanata, u smislu kvalifikacija, nepri- strasnosti i deontologije? 4. Evaluaciono partnerstvo i izgradnja kapaciteta • U kom stepenu su korisnici ukljuÄ?eni u proces evaluacije? • U kom stepenu se agencija oslanja na lokalne evaluatore ili, kada to nije moguće, na evaluatore treće strane iz partnerskih država? • UkljuÄ?uje li se agencija u evaluacije koje vode partneri? • Podržava li jedinica obuku i programe izgradnje kapaciteta u partnerskim državama? Kako partneri, korisnici, lokalne NVO doživljavaju proces evaluacije i proizvode koje promovira agencija ili država, u smislu kvaliteta, nezavisnosti, objektivnosti, korisnosti i partnerske orijentacije? 5. Kvalitet • Kako evaluaciona jedinica osigurava kvalitet evaluacije (ukljuÄ?ujući izvjeÅ¡taje i proces)? • Ima li agencija smjernice za provoÄ‘enje evaluacije, i koriste li ih rele- vantni dionici? • Je li agencija razvila, usvojila standarde, mjerila za procjenu i poboljÅ¡anje kvaliteta svojih evaluacionih izvjeÅ¡taja? Kako je doživljen kvalitet evaluacionih proizvoda ili procesa u agenciji? 6. Planiranje, koordinacija i harmonizacija • Ima li agencija viÅ¡egodiÅ¡nji evaluacioni plan, koji opisuje buduće eva- laucije prema definiranom rasporedu? • Kako je razvijen plan evaluacije? Ko, unutar agencije za pomoć, identi- ficira prioritete i kako? • Kako je organizirana funkcija evaluacije meÄ‘u DAC Ä?lanovima kada je ODA odgovornost podijeljena izmeÄ‘u dvije ili viÅ¡e agencija? • Koordinira li evaluaciona jedinica svoje evaluacione aktivnosti sa ostalim donatorima? 544 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije • Kako su koordinirane aktivnosti evaluacije na nivou terena? Je li autoritet za evaluaciju centralizovan ili decentralizovan? • UkljuÄ?uje li se evaluaciona jedinica u združene, viÅ¡edonatorske evaluacije? • Upotrebljava li evaluaciona jedinica, agencija za pomoć, evaluacione informacije koje dolaze iz drugih donatorskih organizacija? • Na koji naÄ?in agencija procjenjuje efektivnosti svog doprinosa multila- teralnim organizacijama? U kom stepenu se oslanja na evaluacioni sistem multilateralnih agencija? 7. Diseminacija, povratne informacije, upravljanje znanjem i uÄ?enje • Kako se evaluacioni nalazi diseminiraju? Koriste li se drugi alati za komunikaciju osim izvjeÅ¡taja? (ObavjeÅ¡tenja za javnost, konferencije za Å¡tampu, sažeci, godiÅ¡nji izvjeÅ¡taji u kojima se nalazi sinteza nalaza)? • Koji mehanizmi postoje za osiguranje povratnih informacija za rezultate evaluacije za kreatore politike, operativno osoblje i javnost? • Koji mehanizmi postoje da se osigura da je znanje iz evaluacije dostupno osoblju i relevantnim dionicima? Smatra li osoblje agencije evaluaciju „alatom za uÄ?enje“? 8. Upotreba evaluacije • Ko su glavni korisnici evaluacije unutar i izvan agencije za pomoć? • Reaguje li evaluacija na potrebe za informacijama koje su izrazili parla- ment, ured za reviziju, vlada i javnost? • Postoje li sistemi za osiguranje praćenja i implementacije evaluacionih nalaza i preporuka? • Na koji naÄ?in agencija za pomoć ili ministarstvo promoviraju praćenje nalaza od relevantnih dionika (putem npr. upravljaÄ?kih grupa, savjeto- davnih panela, i testnih odbora)? • Jesu li osigurane veze sa procesom donoÅ¡enja odluka da se promovira upotreba evaluacije za formuliranje politike? • Postoje li skoriji primjeri velikih operacija i promjena politike uzro- kovanih nalazima i preporukama evaluacije? • Postoje li primjeri kako evaluacija služi kao mehanizam odgovornosti? Kakve su percepcije neevaluacionih aktera (operativnih i odjela poli- tike, terenskih ureda, itd) u vezi sa korisnošću i utjecajem evaluacije? Sažetak kljuÄ?nih normi i standarda 545 Dio IV: DAC standardi kvaliteta evaluacije DAC standardi kvaliteta evaluacije odobreni su 2006. godine, za primjenu u testnoj fazi od tri godine. Iskustvo sa upotrebom standarda koje imaju Ä?lanovi i zaintere- sirani partneri pružit će informacije za konaÄ?nu potvrdu standarda u 2009. Standardi podržavaju evaluacije koje se drže DAC principa za evaluaciju razvojne pomoći, ukljuÄ?ujući nepristrasnost i nezavisnost, kredibilitet i korisnost, i treba ih Ä?itati skupa sa ovim principima. Principi se fokusiraju na upravljanje i institucionalno slaganje evaluacionih sistema unutar razvojnih agencija, za razliku od toga standardi pružaju smjernice za provoÄ‘enje evaluacija i izvjeÅ¡tavanje. Standardi identificiraju kljuÄ?ne stubove potrebne za evaluaciju kvaliteta procesa i proizvoda. Standardi sadrže vodiÄ? za dobru praksu i imaju za cilj unaprijediti kvalitet razvojne evaluacije. Iako se standardi ne vežu za svaku evaluaciju, treba ih primjenjivati Å¡to je moguće Å¡ire i treba pružiti kratko objaÅ¡njenje kada to nije moguće uraditi. 1. Obrazloženje, svrha i ciljevi evaluacije 1.1 Obrazloženje evaluacije Opisuje zaÅ¡to i za koga se evaluacija preduzima i zaÅ¡to se preduzima u to odreÄ‘eno vrijeme. 1.2 Svrha evaluacije Svrha evaluacije je u skladu sa funkcijom uÄ?enja i odgovornosti evaluacije. Na primjer, svrha evaluacije može biti: • Doprinos unapreÄ‘enju politike, procedura ili tehnika pomoći; • Da se razmotri nastavak ili prestanak projekta ili programa; • Da se obraÄ?unaju troÅ¡kovi pomoći za dionike i porezne obaveznike. 1.3 Ciljevi evaluacije Ciljevi evaluacije odreÄ‘uju ono Å¡ta se evaluacijom namjerava ostvariti. Na primjer: • Da se potvrde rezultati (izlazni rezultati, ishod, utjecaj) i procijeni efe- ktivnost, efikasnost i relevantnost odreÄ‘enih razvojnih intervencija; • Da se osiguraju nalazi, zakljuÄ?ci i preporuke u odnosu na odreÄ‘enu politiku, program itd. 2. Djelokrug evaluacije 2.1 Djelokrug evaluacije Djelokrug evaluacije je jasno definiran odreÄ‘ivanjem obraÄ‘enih pitanja, stvarno utroÅ¡enih sredstava, vremenskog perioda, vrste intervencije, 546 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije geografske pokrivenosti, ciljanih grupa, kao i drugih elemenata razvojne intervencije obraÄ‘enih u evaluaciji. 2.2 Logika i nalazi intervencije Evaluacioni izvjeÅ¡taj kratko opisuje i procjenjuje logiku intervencije i pravi razliku izmeÄ‘u nalaza na razliÄ?itim nivoima: ulazni elementi, aktivnosti, ishodi i utjecaji. 2.3 Kriterij evaluacije Evaluacioni izvjeÅ¡taj primjenjuje pet DAC kriterija za evaluaciju razvo- jne pomoći: relevantnost, efikasnost, efektivnost, utjecaj i održivost. Kriterij primijenjen na datu evaluaciju je definiran jasnim terminima. Ako odreÄ‘eni kriterij nije primjenjivan, to se objasni u evaluacionom izvjeÅ¡taju, kao i svi dodatni kriteriji koji su primijenjeni. 2.4 Evaluaciona pitanja Postavljena pitanja, kao i bilo kakve revizije originalnih pitanja, se doku- mentiraju u izvjeÅ¡taj da bi Ä?itaoci mogli procijeniti je li ih evaluacioni tim dovoljno procijenio. 3. Kontekst 3.1 Kontekst razvoja i politike Evaluacioni izvjeÅ¡taj pruža opis konteksta politike relevantnog razvo- jnoj intervenciji, dokumentima politike, ciljevima i strategijama razvojne agencije i partnera. Razvojni kontekst se može odnositi na: regionalnu i državnu ekonomiju i nivoe razvoja. Kontekst politike se može odnositi na: strategije smanjenja siromaÅ¡tva, jednakost spolova, zaÅ¡titu okoline i ljudska prava. 3.2 Institucionalni kontekst Evaluacioni izvjeÅ¡taj pruža opis institucionalnog okruženja i ukljuÄ?enja dionika u odnosu na razvojnu intervenciju, tako da njen utjecaj može biti identificiran i procijenjen. 3.3 DruÅ¡tveno politiÄ?ki kontekst Evaluacioni izvjeÅ¡taj opisuje druÅ¡tveno ekonomski kontekst unutar kojeg se dogaÄ‘a intervencija, te njeno djelovanje na ishod i utjecaj razvojne intervencije. 3.4 UreÄ‘enje implementacije Evaluacioni izvjeÅ¡taj opisuje organizaciono ureÄ‘enje uspostavljeno za implementaciju razvojne intervencije, ukljuÄ?ujući uloge donatora i partnera. 4. Metodologija evaluacije 4.1 ObjaÅ¡njenje koriÅ¡tene metodologije Evaluacioni izvjeÅ¡taj opisuje i objaÅ¡njava metod i proces evaluacije i razmatra validnost i pouzdanost. Prepoznaje sve nastale prepreke i njihov utjecaj na evaluaciju, ukljuÄ?ujući utjecaj na nezavisnost evaluacije. Daje Sažetak kljuÄ?nih normi i standarda 547 detalje metoda i tehnika koriÅ¡tenih za prikupljanje i obradu podataka i informacija. Izbori su opravdani, a ograniÄ?enja i nedostaci objaÅ¡njeni. 4.2 Procjena rezultata Metodi za procjenu rezultata su odreÄ‘eni. Atribucija faktora, koji su doprinijeli i faktora koji su unosili zabunu, treba biti obraÄ‘ena. Ako su se koristili indikatori kao osnov za procjenu rezultata ti indikatori tre- baju biti SMART (specifiÄ?ni, mjerljivi, ostvarivi, relevantni i vremenski vezani). 4.3 Konsultovani relevantni dionici Relevantni dionici su ukljuÄ?eni u proces evaluacije da identificiraju teme i pruže ulazne elemente za evaluaciju. Donatori i partneri se konsulti- raju. Evaluacioni izvjeÅ¡taj ukazuje na konsultovane dionike, na kriterij za odabir, i opisuje uÄ?ešće dionika. Ako je konsultirano manje od cjeloku- pnog niza dionika, opisuju se metodi i razlozi za odabir odreÄ‘enih dionika. 4.4 Uzorkovanje Evaluacioni izvjeÅ¡taj objaÅ¡njava odabir svakog uzorka. Identificirana su ograniÄ?enja u vezi sa predstavljanjima evaluacionog uzorka. 4.5 Evaluacioni tim Sastav evaluacionih timova treba imati mjeÅ¡avinu evaluacionih vjeÅ¡tina i tematsko znanje, treba biti spolno balansiran i treba ukljuÄ?ivati profesio- nalce iz zemalja ili iz regiona gdje se evaluacija izvodi. 5. Izvori informacija 5.1 Transparentnost izvora informacija Evaluacioni izvjeÅ¡taj opisuje koriÅ¡tene izvore informacija (dokume- ntacija, ispitanici, literatura itd.) uz dovoljno detalja tako da se adekva- tnost informacija može procijeniti. UkljuÄ?uje se kompletna lista ispitanika i konsultovane dokumentacije, u obimu u kom se ne ugrožava privatnost i povjerljivost uÄ?esnika. 5.2 Pouzdanost i taÄ?nost izvora informacija Evaluacija unakrsno-potvrÄ‘uje i kritiÄ?ki procjenjuje koriÅ¡tene izvore informacija i validnost podataka koristeći razne metode i izvore informacija. 6. Nezavisnost 6.1 Nezavisnost evaluatora u odnosu na dionike Evaluacioni izvjeÅ¡taj ukazuje na stepen nezavisnosti evaluatora o politici, operacijama i funkciji upravljanja, implementaciji i korisnicima. Mogući sukobi interesa su izneseni javno i poÅ¡teno. 548 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije 6.2 Slobodni i otvoreni proces evaluacije Evaluacioni tim je u mogućnosti raditi slobodno i bez uplitanja. Omogućeni su mu saradnja i pristup svim relevantnim informacijama. Evaluacioni izvjeÅ¡taj ukazuje na sve smetnje koje mogu utjecati na pro- ces evaluacije. 7. Evaluaciona etika 7.1 Evaluacija provedena na profesionalan i etiÄ?an naÄ?in Proces evaluacije pokazuje osjetljivost na spol, vjerovanja, manire i obiÄ?aje svih dionika i preduzima se sa integritetom i poÅ¡tenjem. Prava i dobrobit uÄ?esnika u evaluaciji su zaÅ¡tićena. Anonimnost i povjerenje pojedinih informatora treba zaÅ¡tititi kada se to traži ili je propisano zakonom. 7.2 Priznanje nesuglasica unutar evaluacionog tima ÄŒlanovi evaluacionog tima trebaju imati priliku ograditi se od odreÄ‘enih sudova i preporuka. Sve nerijeÅ¡ene razlike u miÅ¡ljenjima unutar tima treba objaviti u izvjeÅ¡taju. 8. Potvrda kvaliteta 8.1 Inkorporacija komentara dionika Dionicima je data prilika da komentiraju nalaze, zakljuÄ?ke, preporuke i nauÄ?ene lekcije. Evaluacioni izvjeÅ¡taj odražava komentare i priznanja svih neslaganja. Kod sporova o Ä?injenicama, koje se mogu verifici- rati, evaluatori trebaju istražiti i promijeniti nacrt kada je to potrebno. U sluÄ?aju miÅ¡ljenja ili interpretacije komentare dionika treba prenijeti doslovno, u vidu aneksa, u stepenu u kom se ne sukobljava sa pravima i dobrostanjem uÄ?esnika. 8.2 Kontrola kvaliteta Kontrola kvaliteta se vrÅ¡i putem procesa evalaucije. Ovisno o djelokrugu i kompleksnosti evaluacije, kontrola kvaliteta se vrÅ¡i interno ili putem eksternog tijela, struÄ?nim pregledom ili referentnom grupom. Kontrola kvaliteta se pridržava principa nezavisnosti evaluatora. 9. Relevantnost evaluacionih rezultata 9.1 Formulacija evaluacionih nalaza Evaluacija nalaza je relevantna objektu koji se evaluira i svrsi evalu- acije. Rezultati trebaju jasno proisteći iz evaluacionih pitanja i analize podataka, pokazujući jasnu liniju dokaza kojima se podržavaju zakljuÄ?ci. Sve razlike izmeÄ‘u planirane i stvarne implementacije na objektu koji se evaluira se objasne. Sažetak kljuÄ?nih normi i standarda 549 9.2 Evaluacija implementirana unutar dodijeljenog vremena i budžeta Evaluacija se provodi i rezultati se uÄ?ine dostupnim na vrijeme u odnosu na svrhu evaluacije. NepredviÄ‘ene promjene u vremenskom okviru i budžetu objasne se u izvjeÅ¡taju. Objasne se sve razlike izmeÄ‘u planirane i stvarne implementacije i proizvoda evaluacije. 9.3 Preporuke i nauÄ?ene lekcije Preporuke i nauÄ?ene lekcije su relevantne, usmjerene ka namjeravanim korisnicima i djelotvorne unutar odgovornosti korisnika. Preporuke su djelotvorni prijedlozi a nauÄ?ene lekcije su generalizacija zakljuÄ?aka primjenjivih za Å¡iru upotrebu. 9.4 Upotreba evaluacije Evaluacija zahtijeva eksplicitno priznanje i reakciju menadžmenta u vezi namjeravanog praćenja evaluacionih rezultata. Menadžment će osigu- rati sistemsku diseminaciju, pohranu i upravljanje izlaznim rezultatima evaluacije da se osigura lakÅ¡i pristup i da se uvećaju koristi od nalaza evaluacije. 10. Kompletnost 10.1 Evaluaciona pitanja na koja je odgovoreno zakljuÄ?cima Evaluacioni izvjeÅ¡taj odgovara na sva pitanja i informacije koje treba detaljno obraditi u djelokrugu evaluacije. Gdje to nije moguće, daju se razlozi i objaÅ¡njenja. 10.2 Jasnost analize Analiza je ustrojena logiÄ?kim tokom. Podaci i informacije se predsta- vljaju, analiziraju i interpretiraju sistematiÄ?no. Nalazi i zakljuÄ?ci su jasno definirani i logiÄ?ki teku iz analize podataka i informacija. Temeljne pretpostavke se prave eksplicitnim i uzimaju u obzir. 10.3 Razlika izmeÄ‘u zakljuÄ?aka, preporuka i nauÄ?enih lekcija Evaluacioni izvjeÅ¡taji moraju napraviti jasnu razliku izmeÄ‘u nalaza, zakljuÄ?aka i preporuka. Evaluacija predstavlja zakljuÄ?ke, preporuke i nauÄ?ene lekcije odvojeno i sa jasnom logiÄ?kom razlikom meÄ‘u njima. ZakljuÄ?ci se obrazlažu nalazima i analizom. Preporuke i nauÄ?ene lekcije logiÄ?ki nastaju iz zakljuÄ?aka. 10.4 Jasnost i reprezentativnost sažetka Evaluacioni izvjeÅ¡taj sadrži izvrÅ¡ni sažetak. Sažetak pruža pregled izvjeÅ¡taja, oznaÄ?avajući glavne zakljuÄ?ke, preporuke i nauÄ?ene lekcije. 550 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Dio V: Dokumenti smjernica Kao odgovor na potrebu za specifiÄ?nijim vodstvom u odreÄ‘enim podruÄ?jima razvo- jne evaluacije, i izgradnju evaluacionog iskustva i normi i standarda koji su gore opisani, razvijeni su brojni dokumenti za upravljanje politikom i praksom evalu- acije. Neke od tih smjernica su predstavljene ispod. Smjernice za Aktivnosti prevencije sukoba i izgradnju mira: Radni nacrt za period primjene (OECD, 2008) Ovaj dokument istiÄ?e izazove i najbolju praksu koja je u toku nastanka za evalu- aciju aktivnosti prevencije sukoba i izgradnju mira. Uz rastuću razmjenu resursa pomoći, vremena i energije posvećenih preve- nciji sukoba i izgradnji mira, postoji povećan interes da se sazna Å¡ta funkcionira kao i Å¡ta ne funkcionira i zaÅ¡to. Ove smjernice nastoje pomoći pri odgovoru na ova pitanja ukazujući na smjer onima koji preduzimaju evaluaciju projekata, pro- grama i politika prevencije sukoba i izgradnje mira. Treba omogućiti sistematsko uÄ?enje, ojaÄ?ati odgovornost i naposljetku poboljÅ¡ati efektivnost rada na izgradnji mira. Neke od kljuÄ?nih poruka smjernica koje se pojavljuju ukljuÄ?uju sljedeće: • Donatori trebaju promovirati sistematske, visoko kvalitetne evaluacije svih radova na prevenciji sukoba i izgradnji mira – ukljuÄ?ujući rad koji vrÅ¡e partneri u implementaciji kao Å¡to su NVO; • Evaluaciju treba omogućiti putem boljeg dizajna programa; • Koherentna i koordinirana intervencija i strategija politike su potrebne da se napravi napredak ka miru; • Koncepti i definicije prevencije sukoba i izgradnje mira zahtijevaju razjaÅ¡njenje. Smjernice za upravljanje združenim evaluacijama (OECD, 2006) Ova publikacija pruža praktiÄ?ne smjernice menadžerima združenih evaluacija razvojnih programa koje imaju cilj povećati efektivnost djelovanja združenih evaluacija. Zasniva se na glavnom pregledu iskustava predstavljenih u dokumentu „Združene evaluacije: Skorija iskustva, nauÄ?ene lekcije i opcije za budućnost“ i ranijih smjernica Efektivne prakse u provoÄ‘enju združenih multidonatorskih evaluacija (2000). Sažetak kljuÄ?nih normi i standarda 551 Fokus u ovoj publikaciji nije na participativnoj evaluaciji sa njenim tehnikama okupljanja zajednica dionika u proces, nego na evaluaciji koje zajedno preduzi- maju viÅ¡e od jedne razvojne agencije za saradnju. Takvi saradniÄ?ki principi, bilo da su izmeÄ‘u viÅ¡e donatora, viÅ¡e partnera ili neke kombinacije ovo dvoje, sve viÅ¡e su korisni u vremenu kad meÄ‘unarodna javnost stavlja prioritet na zajedniÄ?ku odgovornost za razvojne ishode i združene pristupe u upravljanju pomoći. Združene evaluacije imaju potencijal da donesu korist svim partnerima, kao Å¡to su: • zajedniÄ?ki razvoj kapaciteta i uÄ?enja meÄ‘u partnerima; • izgradnja uÄ?ešća i vlasniÅ¡tva; • razmjena tereta posla; • povećanje legitimnosti nalaza i • smanjenje ukupnog broja evaluacija i ukupnih troÅ¡kova transakcija za zemlje Ä?lanice. Ipak, združeni rad takoÄ‘er može generirati odreÄ‘ene troÅ¡kove i izazove koji mogu predstavljati znaÄ?ajan teret donatorskim agencijama. Na primjer, izgra- dnja konsenzusa izmeÄ‘u agencija i održanje procesa efektivne koordinacije može koÅ¡tati i zahtijevati puno vremena, odgaÄ‘anje zavrÅ¡etka kompleksne združene evaluacije može imati velik utjecaj na pravovremenost i relevantnost. Povratne evaluacione informacije za efektivno uÄ?enje i odgovornost (OECD, 2001) Ova publikacija oznaÄ?ava razliÄ?ite sisteme povratnih informacija, i ocrtava identifikovana podruÄ?ja kao najrelevantnija za poboljÅ¡anje evaluacionih povra- tnih informacija. TakoÄ‘er, ocrtava glavna pitanja i izazove s kojima se evaluatori suoÄ?avaju prilikom obrade povratnih informacija. Glavni izazov leži u prenoÅ¡enju evaluacionih rezultata viÅ¡estrukoj publici unutar i izvan razvojnih agencija. Stoga, povratne informacije i prenoÅ¡enje evalu- acionih rezultata su integralni dio evaluacionog ciklusa. Efektivne povratne info- rmacije doprinose poboljÅ¡anju razvojnih politika, programa i prakse pružajući kreatorima politike relevantne informacije za donoÅ¡enje odluka zasnovanih na tim informacijama. Razlika izmeÄ‘u agencija i njihove pozadine, strukture i prio- riteta ukazuje da to nije podruÄ?je gdje je pristup kopiranja prikladan. Pored toga, postoji potreba da se prilagode pristupi povratnim informacijama razliÄ?itoj 552 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije ciljanoj publici. MeÄ‘utim, brojna podruÄ?ja za djelovanje se mogu identificirati na raznim nivoima. Sugerirane radnje za poboljÅ¡anje evaluacionih povratnih informacija ukljuÄ?uju: • preduzimanje koraka za razumijevanje kako se deÅ¡ava uÄ?enje unutar i izvan organizacije, te identificirati gdje nastaju blokade; • procjena kako se relevantnost i pravovremenost evaluacionih povratnih info- rmacija mogu poboljÅ¡ati, te poduzimanje koraka da se to desi; • razvijanje strateÅ¡kog pogleda naÄ?ina na koji se pristupi povratnih informacija mogu prilagoditi potrebama razliÄ?ite publike; • ulaganje viÅ¡e napora u pronalaženje boljih naÄ?ina ukljuÄ?enja dionika partne- rske države u rad evaluacije, ukljuÄ?ujući povratne informacije o evaluacionim lekcijama; • preduzimanje koraka za povećanje prostora i podsticaja za uÄ?enje unutar orga- nizacije (iz evaluacije i drugih izvora). Smjernice za evaluaciju humanitarne pomoći u kompleksnim kriznim sluÄ?ajevima (OECD, 1999) Ova publikacija je namijenjena onima koji su ukljuÄ?eni u izvoÄ‘enje, dizajniranje i upravljanje evaluacijama programa humanitarne pomoći. Historijski, humanitarna pomoć je bila izložena manje rigoroznim procedurama evaluacije nego Å¡to je to razvojna pomoć. PoÅ¡to se udio koji ODA dodjeljuje humanitarnoj pomoći povećao, a svijest o kompleksnosti se podigla, potreba za razvojem prikladnih metodologija za evaluaciju humanitarnih programa je postala oÄ?iglednija. Ove smjernice dopunjuju DAC Principe za evaluaciju razvojne pomoći oznaÄ?avajući aspekte evaluacije koji zahtijevaju posebnu pažnju u polju humanitarne pomoći. Sažetak kljuÄ?nih normi i standarda 553 OECD DAC Mreža razvojne evaluacije EVALUACIJA RAZVOJNE SARADNJE Sažetak kljuÄ?nih normi i standarda KljuÄ?na komponenta misije DAC Mreže za razvojnu evaluaciju je razviti meÄ‘unarodno usaglaÅ¡ene norme i standarde za razvojnu evaluaciju. Ovim se dobivaju informacije za evaluacionu politiku i praksu i doprinosi se harmo- nizovanom pristupu u skladu sa opredjeljenjima Pariske deklaracije za efekti- vnost pomoći. Tijelo normi i standarda zasnovano je na iskustvu, i evoluira vremenom da bi se uklopilo u promjenjivo okruženje pomoći. Norme i sta- ndardi služe kao meÄ‘unarodna referentna taÄ?ka, usmjeravajući napore na unapreÄ‘enje razvojnih rezultata putem visoko kvalitetne evaluacije. Norme i standarde sažete ovdje treba mudro primijeniti i pažljivo prilago- diti da odgovaraju svojoj svrsi, objektu i kontekstu svake evaluacije. PoÅ¡to ovaj sažeti dokument nije iscrpan evaluacioni priruÄ?nik, Ä?itaocima se savje- tuje da potraže kompletan tekst koji je dostupan na web stranici DAC Mreže za razvojnu evaluaciju: www.oecd.org/dac/evaluationnetwork. 554 Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Matrica dizajna za program struÄ?nog obrazovanja u srednjoj Å¡koli u Outer Baldoniji 555 556 Matrica dizajna za program struÄ?ne obuke u srednjoj Å¡koli u Outer Baldoniji, strana 1 Glavno evaluaciono pitanje: treba li odobriti ovaj program? Opći pristup: Kvazieksperimentalna evaluacija utjecaja Vrsta Cilj ili standard (ako je Bazni Pitanja Potpitanja potpitanja Mjere ili indikatori normativan) podaci? 1. Koje usluge je program 1.A.1. Za koje podruÄ?je Opisna PodruÄ?ja struÄ?nih vjeÅ¡tina NA NA pružio i kome? struÄ?nih vjeÅ¡tina su uÄ?esnici ponuÄ‘ena polaznicima za obuÄ?avani? certifikaciju 1.A.2 Je li bilo promjena u Opisna Isto kao prethodno NA Da uÄ?ešću po podruÄ?ju vjeÅ¡tina prema broju uÄ?esnika tokom vremena? svake godine 1.B.1. Koje usluge podrÅ¡ke Opisna Službe podrÅ¡ke (npr. NA NA je program ponudio? pismenost, savjetovanje) koje nudi program 1.B.2. Koji omjer uÄ?esnika Opisna Broj i procenat polaznika NA NA je dobio usluge podrÅ¡ke? koji dobiva svaku vrstu podrÅ¡ke 1.C. Koja su podruÄ?ja Opisna Broj polaznika prema NA NA certifikacije bila podruÄ?ju certificiranja najpopularnija meÄ‘u polaznicima programa struÄ?ne obuke? 1.D. U kom obimu je Opisna Lista struÄ?nih podruÄ?ja za NA NA program pružio certifikaciju koja je predviÄ‘en najveći u podruÄ?jima za koja je interes u sljedećih 5-10 predviÄ‘en najveći interes u godina sljedećih 5-10 godina? 2.  U kom stepenu je 2.A.1. Je li jednak broj Normativna Broj i proporcija Dokumenti kojima se NA ostvarena jednakost muÅ¡karaca i žena muÅ¡karaca/žena na program odobrava spolova? uÄ?estvovao u programu? struÄ?noj obuci ukazuju na cilj od 50 % uÄ?ešća za žene 2.A.2 Odnosi li se primanje Normativna Proporcija prema spolu Dokumenti kojima se NA usluga podrÅ¡ke na spolove? onih koji primaju svaku odobrava program ponuÄ‘enu uslugu ukazuju na cilj jednakosti Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije podrÅ¡ke spolova Matrica dizajna, strana 1 nastavak Instrumenti Dizajn Izvori podataka Uzorak prikupljanja podataka Analiza podataka Komentari 1.A.1 Jedan Evidencija iz programa Za svaku od Preuzimanje zapisa Brojanje frekvencije Izvori podataka se trebaju snimak (MIS) proteklih 5 godina Dokument 1 Analiza sadržaja podudarati, primijetiti i Direktor programa ZvaniÄ?nici programa objasniti svaku razliku VoÄ‘enje intervjua 1.A.2 Vremenske Isto kao prethodno Isto kao prethodno Isto kao prethodno Isto kao prethodno po Grafika bi dobro doÅ¡la ovdje serije godinama 1.B.1.Jedan Evidencija iz programa Cenzus iz proteklih Preuzimanje zapisa Lista Provjeriti duplikate kao Å¡to snimak (MIS) 5 godina Dokument 2 su M.Smith i Mary Smith 1.B.2. Isto kao Isto kao prethodno Isto kao prethodno Isto kao prethodno Brojanje frekvencije Imati na umu da uÄ?esnici prethodno mogu primiti viÅ¡e od jedne usluge podrÅ¡ke 1.C. Jedan snimak Evidencija iz programa Cenzus iz proteklih Preuzimanje zapisa Brojanje frekvencije Grafika (MIS) 5 godina Dokument 2 1.D. Vremenske GodiÅ¡nji izvjeÅ¡taji IzvjeÅ¡taji za svih Preuzimanje zapisa Analiza trendova i UoÄ?iti promjene u serije Ministarstva rada za proteklih 5 godina Dokument 3 predviÄ‘anje za svako trendovima i reakciju kratkoroÄ?na, podruÄ?je certificiranja programa na njih srednjoroÄ?na i ponude u proteklih 5 UoÄ?iti postoji li potencijalni dugoroÄ?na predviÄ‘anja godina rast u podruÄ?jima u kojima potražnje za Matrica dizajna za program struÄ?nog obrazovanja u srednjoj Å¡koli u Outer Baldoniji program nije ponudio obuku zanimanjima 2.A.1. Vremenske Evidencija iz programa Za svaku od Preuzimanje zapisa Brojanje frekvencije po Pokazati standarde debelom serije (MIS) prethodnih 5 godina Dokument 1 spolovima, predstavljeno crnom linijom preko linijskog u linijskom grafikonu grafikona tako da je lahko tako da su trendovi u vidljiva proteklih 5 godina jasni Uporediti sa standardnim 2.A.2. . Isto kao Isto kao prethodno Isto kao prethodno Isto kao prethodno Isto kao prethodno UoÄ?iti je li bilo promjena prethodno tokom vremena 557 558 Matrica dizajna, strana 2 Vrsta Cilj ili standard (ako je Bazni Pitanja Potpitanja potpitanja Mjere ili indikatori normativan) podaci? 3. Je li program bio 3.A U kom stepenu su Normativna Stepen zapoÅ¡ljavanja po Da - 80 % onih koji su NA efektivan? zadovoljeni ili prebaÄ?eni godini zavrÅ¡ili program ciljevi godiÅ¡njeg pronalaska zaposlenja? 3.B. U kom stepenu su Normativna Zarade za svaku godinu Da - $ 2 po satu od 1 do NA zadovoljene prosjeÄ?ne 3 godine i $ 3 za 4 i 5 godiÅ¡nje zarade? godinu 3.C.U kojoj mjeri su Opisno PodruÄ?je certificiranja i Implicitni standard samo NA uÄ?esnici dobili poslove podruÄ?je zaposlenja tretiran kao opisno koji odgovaraju podruÄ?ju polaznika pitanje za koje su certificirani? 3.D Koliki je stepen Normativna Broj onih koji ulaze u Dokumenti programa NA napuÅ¡tanja programa? program svake godine i ukazuju da stepen ne bi broj onih koji zavrÅ¡avaju trebao prelaziti 10% svake godine 4. Je li program bio 4.A. Jesu li troÅ¡kovi Opisno TroÅ¡kovi po polazniku Implicitni standard samo NA troÅ¡kovno efkasan? programa po uÄ?esniku uporeÄ‘eni sa drugim tretiran kao opisno razumni u odnosu na sliÄ?nim programima pitanje sliÄ?ne programe? obuke 5. U kom stepenu je 5.A. Koja je stopa Opisno GodiÅ¡nja stopa promjene Nije postavljen. Implici- NA promjena instruktora bila promjene instruktora? i stopa za instruktore tan standard je da bi problem? trebao biti nizak 5.B. Koliko dugo su Opisno ProsjeÄ?no vrijeme Nije postavljen. Implici- NA pozicije instruktora bile trajanja upražnjenog tan standard je da bi prazne? mjesta trebao biti nizak 5.C. Jesu li pronaÄ‘eni Opisno Godine iskustva u Nije postavljen. NA jednako kvalifikovani poduÄ?avanju Implicitan standard je da instruktori kao zamjena? Godine iskustva u bi trebali biti uporedivi podruÄ?ju certifikacije Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Matrica dizajna, strana 2 nastavak Instrumenti Dizajn Izvori podataka Uzorak prikupljanja podataka Analiza podataka Komentari 3.A. Vremenske Evidencija polaznika za proteklu Cenzus Preuzimanje zapisa PoreÄ‘enje sa standardima za Potrebno potvrditi serije godinu (MIS) Evidencija zaposlenih po Obrazac 4 svaku godinu i kumulativno za informacije iz evidencije poslodavaca godinama 5 godina tako Å¡to će se potvrditi Jedan snimak VodiÄ? za intervju Podudaranje MIS informacija zaposlenje sa Evidencija polaznika po NasumiÄ?ni uzorak poslodavca sa informacijama poslodavca uposlenikom za uzorak godinama za svaku od 5 godina Evidencija poslodavca polaznika. Prisjećanje (MIS) Obrazac 1 može biti problem za protekle dvije godine 3.B. Vremenske Evidencija polaznika po Cenzus Preuzimanje zapisa PoreÄ‘enje sa standardima za Potrebno potvrditi serije godinama za svaku od 5 godina zaposlenih po Obrazac 4 svaku godinu i kumulativno za informacije iz evidencije godinama 5 godina tako Å¡to će se potvrditi Jedan snimak Evidencija polaznika za protekle VodiÄ? za intervju Podudaranje MIS informacija zaposlenje sa dvije godine (MIS) Evidencija NasumiÄ?ni uzorak poslodavca sa informacijama poslodavca uposlenikom za uzorak poslodavca Evidencija poslodavca polaznika. Obrazac 1 Prisjećanje može biti problem za protekle dvije godine 3.C. Jedan Evidencija polaznika za protekle Cenzus uposlenih Preuzimanje zapisa Brojanje frekvencije snimak 2 godine koja prikazuje podruÄ?je Obrazac 4 podudaranja po godinama i certificiranja kumulativno Poslodavci koji su uposlili VodiÄ? za intervju polaznike tokom protekle 2 poslodavca godine Evidencija poslodavca Obrazac 1 3.D. Vremenske Evidencija polaznika po Cenzus Preuzimanje zapisa PoreÄ‘enje sa standardom za Matrica dizajna za program struÄ?nog obrazovanja u srednjoj Å¡koli u Outer Baldoniji serije godinama za svaku od 5 godina Obrazac 4 svaku godinu i kumulativno (MIS 4. Jedan snimak Službenik programa za finansije Cenzus – za sve Intervjui TroÅ¡kovi po polazniku Nadati se da će biti Stopa zapoÅ¡ljavanja (vidjeti 3A) izvjeÅ¡taje u 5 TroÅ¡kovi po uposlenom moguće porediti troÅ¡kove Finansijski izvjeÅ¡taj programa godina polazniku po uposlenom polazniku Postojeće evaluacije sliÄ?nih Pregled literature sa drugim sliÄ?nim programa obuke Analiza sadržaja programima obuke 5.A. Vremenske Evidencija upoÅ¡ljavanja Svih 5 godina Preuzimanje zapisa IzraÄ?un frekvencija po serije programa Obrazac 5 godinama, raspona i prosjeka 5.B. Vremenske Finansijska evidencija programa Svih 5 godina Preuzimanje zapisa IzraÄ?un frekvencija, raspona i serije obrazac 5 prosjeka Evidencija upoÅ¡ljavanja Svih 5 godina Preuzimanje zapisa PoreÄ‘enje biografija osoblja 559 5.C. Vremenske serije programa – biografije Obrazac 5 tokom 5 godina Matrica dizajna, strana 3 560 Vrsta Cilj ili standard (ako Bazni Pitanja Potpitanja potpitanja Mjere ili indikatori je normativan) podaci? 6. Koji je stepen 6.A. Koji je broj i procenat Opisno Broj i proporcija muÅ¡karaca/žena Temeljni dokumenti NA napuÅ¡tanja muÅ¡karaca i žena napustio Proporcija po koji su zapoÄ?eli program i stopa pokazuju da je 10% polaznika? program svake godine? spolu napuÅ¡tanja po godinama prihvatljivo, Å¡to implicira da bi stopa trebala biti ista za oba spola 6.B. Iz kojih podruÄ?ja Opisno Kao i iznad po podruÄ?ju NA NA certifikacije je bilo certifikacije napuÅ¡tanje? 6.C. Koji su bili uobiÄ?ajeni Opisno NajÄ?ešći razlozi za napuÅ¡tanje NA NA razlozi napuÅ¡tanja programa? 6.D. Koliko su bili zabrinuti Opisno Svijest o stopi napuÅ¡tanja NiÅ¡ta odreÄ‘eno NA zvaniÄ?nici programa zbog MiÅ¡ljenja jesu li preduzete radnje stope napuÅ¡tanja? u vezi sa problemima 7. U kojoj mjeri 7.A. Kakvo je zadržavanje UzroÄ?no- Zadržavanje posla, poÄ?etna NiÅ¡ta odreÄ‘eno Da, o polaznici koji su posla, povećanje zarade, -posljediÄ?no zarada, povećanje zarade, te zaradama dobili posao napredovanje i koja je stopa stopa napredovanja i otpuÅ¡tanja uposlenih zaraÄ‘uju viÅ¡e nego otpuÅ¡tanja uposlenih tokom dvije godine u poreÄ‘enju bi zaraÄ‘ivali da nisu uÄ?esnika u poreÄ‘enju sa sa (i) drugima koje je firma pohaÄ‘ali program? drugim koji imaju sliÄ?ne angažovala tokom perioda karakteristike, a napustili su poreÄ‘enja, (ii) zaradom prije program obuke programa, (iii) zaradom onih koji su napustili program 7.B. Kakvi su stavovi UzroÄ?no- (i)Vjerovatnoća upoÅ¡ljavanja NiÅ¡ta odreÄ‘eno PoÄ?etne poslodavaca o uÄ?inku -posljediÄ?no polaznika obuke (ii) upoÅ¡ljavanje zarade uposlenika iz programa u viÅ¡e onih koji su zavrÅ¡ili obuku, uposlenih poreÄ‘enju sa onima sa (iii) stavovi o uÄ?inku na poslu u polaznika, sliÄ?nim karakteristikama koji poreÄ‘enju sa drugima zarada prije nisu proÅ¡li kroz program obuke ako obuke je bilo Put do rezultata: dizajniranje i provoÄ‘enje efektivne razvojne evaluacije Matrica dizajna, strana 3 nastavak Instrumenti Dizajn Izvori podataka Uzorak prikupljanja podataka Analiza podataka Komentari 6.A Vremenske serije Evidencija polaznika po Cenzus po godini Preuzimanje zapisa Distribucija frekvencije godinama za svaku od Obrazac 4 napuÅ¡tanja po godini, 5 godina procenat napuÅ¡tanja po godini, spolu i ukupno 6.B Vremenske serije Evidencija polaznika po Cenzus po godini Preuzimanje zapisa Unakrsno tabeliranje Može li se uraditi test godinama za svaku od Obrazac 4 podruÄ?ja certificiranja po znaÄ?aja – Hi kvadrat? 5 godina frekvenciji napuÅ¡tanja programa godiÅ¡nje i kumulativno 6.C.Jedan snimak Evidencija polaznika za Cenzus napuÅ¡tanja Anketiranje bivÅ¡ih Distribucija frekvencije Triangulacija protekle dvije godine program za period od uÄ?esnika razloga napuÅ¡tanja za dvije godine napuÅ¡tanje programa (i) iz ViÅ¡i zvaniÄ?nici perspektive uÄ?esnika i (ii) i ZvaniÄ?nici programa Intervju zvaniÄ?nika sa stajaliÅ¡ta zvaniÄ?nika obuke programa programa 6.D. Jedan snimak Evidencija polaznika za Cenzus napuÅ¡tanja Intervju zvaniÄ?nika Analiza sadržaja i brojanje protekle dvije godine program za period od programa frekvencije ZvaniÄ?nici programa dvije godine obuke 7.A Poslodavci i njihova Cenzus za period prije VodiÄ? za intervju Analiza sadržaja/frekve- Uporedne grupe nisu Kvazieksperimentalni evidencija dvije godine poslodavca ncija napravljene na poÄ?etku dizajn – Evidencija poslodavaca programa. Potrebno je Matrica dizajna za program struÄ?nog obrazovanja u srednjoj Å¡koli u Outer Baldoniji neekvivalentne grupe Obrazac 1 koristiti sliÄ?ne NapuÅ¡tanja programa Anketiranje bivÅ¡ih uÄ?esnika 7.B. Jedan snimak Poslodavci i njihova Cenzus za period prije VodiÄ? za intervju Analiza sadržaja/ UoÄ?iti uzroke i evidencija dvije godine poslodavca frekvencija posljedice ograniÄ?enja Anketa Evidencija Obrazac 1 dizajna, pouzdan, nema pristupa Izvor: Autori. 561 "Programi koji imaju cilj poboljÅ¡anja dobrostanja ljudi u vremenima previranja i tranzicije svijeta u razvoju suoÄ?avaju se sa nepredvidivim izazovima. Zbog toga je knjiga Ray Rista i Linde Morre tako važna i pravovremena. Njegovana osobitim znanjem i iskustvom, u praktiÄ?nom formatu bilježi suÅ¡tinu dobre evaluacione prakse u polju razvoja. Kada pogledamo njen autoritativan i savremen tretman evaluacionih problema iz stvarnog života nastalih u kompleksnom i nestalnom okruženju djelovanja za razvoj, možemo reći da joj je mjesto na policama zajedno sa knjigama svih evaluacionih i razvojnih profesionalaca.“ Robert Picciotto, bivÅ¡i generalni direktor, Grupe Svjetske banke za evaluaciju, gostujući profesor, na King's koledžu, London "Ova knjiga je primjer svega Å¡to tražim u evaluacionom tekstu: Dobro testiran materijal, pažljivo evaluiran, dokazan u praksi. Kredibilan zato Å¡to su ga radili ljudi koji znaju o Ä?emu priÄ?aju kroz iskustvo i struÄ?nost. Sadržaj koji poduÄ?ava i ilustrira profesionalne standarde, a tako je koristan, praktiÄ?an, etiÄ?an i taÄ?an. ÄŒini evaluaciju razumljivom, dostupnom i ostvarivom. Prenosi važnost i vrijednost monitoringa i evaluacije. Dobra mjeÅ¡avina teorije i prakse, metodoloÅ¡ki Ä?vrsta, ilustrira relevantnim i razumljivim primjerima. Materija koja je iz stvarnog svijeta i realistiÄ?na, zasnovana na politiÄ?koj, ekonomskoj, kulturnoj i upravnoj stvarnosti razvoja. Pripovijest koja poduÄ?ava i inspirira. To su stvari koje tražim u knjizi a ova knjiga to pruža po svakom kriteriju.“ Michael Q. Patton, bivÅ¡i predsjednik AmeriÄ?ke evaluacione asocijacije, autor Evaluacije fokusirane na upotrebu, i Evaluacionih metoda kvalitativnog istraživanja, nezavisni konsultant za evaluaciju i orga- nizacioni razvoj "Razvojna evalaucija ubrzano raste u zemljama u razvoju. Struktura knjige i njen pristup Ä?ine je vrijednom takvim korisnicima kao Å¡to su specijalisti u oblasti evaluacije i praktiÄ?ari, kreatori politike, parlamentarci, zvaniÄ?nici javnog sektora, kao i studentima razvojne evaluacije. Ova knjiga će dati znaÄ?ajan doprinos razvojnoj evaluaciji svijetu u razvoju.“ Kabir Hashim, Ä?lan parlamenta Å ri Lanke, bivÅ¡i ministar za visoko obrazovanje i obuku, konsultant za razvojnu evaluaciju "Potreba za ovom knjigom nikada nije bila veća, poÅ¡to evaluacija razvojne saradnje postaje sve važnija. ÄŒitaoci, kojima su predstavljene opsežne, ali koncizne teme i aktuelna pitanja, dobit će uvid u ovo sve viÅ¡e kompleksno podruÄ?je. SuÅ¡tinsko Å¡tivo za nove i iskusne razvojne evaluatore, jasno napisano i lahko razumljivo, sa asortimanom primjera iz stvarnog svijeta i vrijednih dragulja praktiÄ?ne mudrosti. Zasigurno će postati najneophodniji i veoma Ä?itan tekst za svakoga ko želi nauÄ?iti o savremenoj razvojnoj evaluaciji.“ Penny Hawkins, Å¡ef evaluacije Agencije za meÄ‘unarodni razvoj Novi Zeland, potpredsjednik DAC Mreže razvojne evaluacije NOT FOR SALE NIJE ZA PRODAJU