Introducere în politicile publice
Yüklə 1,31 Mb.
|
- Bu səhifədəki naviqasiya:
- Noţiuni cheie
- Principalele etape în proiectarea şi implementarea evaluărilor de acest tip sunt
- PROIECTAREA ŞI APLICAREA EVALUĂRILOR DE IMPACT
Evaluarea de impact. Deşi e tot o evaluare de tip sumativ, vom trata separat evaluarea de impact deoarece ea este, poate, forma cea mai frecventată de evaluare. Ea urmăreşte să stabilească dacă intervenţia produce sau nu efectele scontate. Estimările au un oarecare grad de plauzibilitate, cu atât mai mare cu cât designul este mai îngrijit. Dar, cu toate că exigenţele metodologice sunt înalte, presiunea unor consideraţii de ordin practic - timpul, banii, protejarea subiecţilor etc. - limitează opţiunile reale.Evaluarea de impact vizează aprecierea efectelor unei intervenţii publice prin realizarea sistematică a unor comparaţii semnificative – de exemplu, între situaţia de dinainte şi cea de după aplicarea politicii; compararea impactului intervenţiei asupra unui grup faţă de altul sau între un grup asupra căruia s-a intervenit şi un altul „de control”; compararea a ceea ce s-a întâmplat cu ceea ce s-ar fi putut întâmpla fără intervenţia respectivă; sau compararea impactului aceleiaşi politici în diferite zone ale ţării. La rigoare, o evaluare de impact trebuie să estimeze un contrafactual: adică ce s-ar fi întâmplat dacă proiectul nu s-ar fi derulat, faţă de ceea ce s-a întâmplat în realitate. Pentru a determina aceasta, este necesară evidenţierea efectelor intervenţiei, prin raportare la alţi factori, folosind grupuri de comparaţie şi grupuri de control. Grupul de comparaţie este un grup aleator care nu a beneficiat de programul investigat, în timp ce grupul de control este selecţionat din aceeaşi categorie de populaţie cu cei asupra cărora se intervine.
Evaluarea impactului este adânc înrădăcinată în valori, credinţe, ideologii sau diverse alte raţiuni politice; de aceea, a face dovada că o politică a avut un anume impact sau altul este o chestiune delicată. În privinţa „terminării” unei politici, ideea că procesul ar decurge conform unui calcul raţional al costurilor şi beneficiilor este departe de realitate. Într-un studiu de referinţă din 1983, Peter de Leon releva faptul că decizia de încheiere a unei politici publice rămâne - în esenţă - politică, chiar dacă i se poate ataşa eventual o evaluare sumativă. Unul dintre cele mai interesante modele de evaluare a impactului include dirijarea unui experiment social, tocmai pentru a cerceta situaţia de dinainte şi de după intervenţie. În acest scop se foloseşte un grup martor şi unul asupra căruia se intervine experimental. Datele rezultate în urma experimentului sunt de obicei foarte limpezi, dar interpretarea lor ridică probleme.
Întrebările tipice pentru evaluarea de impact sunt:
Uneori nu se poate delimita impactul net atribuibil intervenţiei publice, datorită insuficienţei datelor semnificative care să diagnosticheze situaţia iniţială (prin comparaţie cu care s-ar putea determina impactul). În situaţia absenţei datelor privind starea anterioară, „li se poate cere celor care participă la acest program să evoce statutul lor anterior”, chiar dacă comparaţia va fi afectată insuficienţa datelor existente (Hodwood, Gunn, 2000:247). Adesea, impactul major, inclusiv eventualele efecte neanticipate pot fi observate abia mai târziu. Pot exista (şi adesea există!) factori şi evenimente corelate cu efectele, dar care nu sunt cauzate de intervenţia publică respectivă. La rigoare, trebuie văzut ce s-ar fi întâmplat dacă respectiva politică nu s-ar fi derulat sau ce ar fi fost veridic în alte condiţii. Pentru a determina aceasta, este necesară delimitarea efectului propriu-zis de alţi factori, folosind grupuri de control şi de comparaţie. Grupurile de control sunt alcătuite din indivizi neincluşi în acea politică; ei nu beneficiază de aceasta şi sunt comparaţi cu un grup asupra căruia s-a intervenit. Persoanele din astfel de grupuri sunt selecţionate întâmplător (randomizat) din aceeaşi populaţie cu participanţii la respectiva politică, în timp ce grupul de comparaţie este un simplu grup care nu beneficiază de intervenţia politicii investigate (World Bank: 9). E deosebit de important ca grupul de control şi cel de comparaţie trebuie să fie asemănătoare din toate punctele de vedere cu grupul supus intervenţiei: deosebirile dintre ele să decurgă doar din participarea sau non-participarea la acea politică. Delimitarea strictă a impactului unei politici de situaţia de fapt este destul de delicată în absenţa intervenţiei, ea putând fi afectată de evoluţia istorică, erori de selecţie şi de contaminare. Pentru stabilirea impactului se pot folosi şi metodele calitative sau participative, care oferă adesea o incursiune critică la nivelul percepţiei şi valorizării programului de către beneficiari.
(după procedura Băncii Mondiale) Pe parcursul identificării politicii:
i. proiectează eşantionul şi selecţia ii. dezvoltă instrumentul de culegere a datelor iii. pregăteşte personalul în domeniu şi stabileşte-i conducerea iv. testează (pilot) v. culege datele vi. gestionează datele şi accesul Pe parcursul implementării politicii:
Determină dacă evaluezi sau nu Evaluarea de impact diferă de alte evaluări prin aceea că este concentrată asupra aprecierii cauzalităţii. Date fiind complexitatea şi costurile unei evaluări de impact, trebuie estimate costurile şi beneficiile şi, de asemenea, trebuie analizat dacă nu ar fi mai potrivită o altă abordare (ca de exemplu monitorizarea indicatorilor de performanţă sau o evaluare a procesului). Dar poate că factorul decisiv rămâne acela de a stabili dacă o astfel de evaluare are un sprijin politic solid şi un suport financiar. Mobilizarea resurselor şi efortul cerute de aplicarea unei evaluări de impact sunt indicate atunci când proiectul de evaluare a politicii este inovativ, replicabil, presupune alocarea unor resurse substanţiale şi intervenţii bine definite. Ele ar trebui să fie prioritare dacă proiectul în cauză lansează o nouă abordare, care este luat în consideraţie pentru o viitoare extindere pe baza rezultatelor respectivei evaluări. Important este de asemenea dacă politica evaluată este suficient de dezvoltată pentru a i se putea evalua impactul. Politicile pilot şi reformele in statu nascendi sunt adesea înclinate să-şi revadă conţinutul, precum şi maniera de implementare. Aceste schimbări pot submina coerenţa eforturilor evaluative, mai ales în cazul experimentelor care au nevoie de o determinare precisă a grupului de tratament şi a celui de control. Atunci când politicile de evaluat sunt încă în procesul de definire, este mai indicată evitarea cercetării impactului pentru a le permite să-şi păstreze flexibilitatea. Câştigarea sprijinului politic şi financiar se poate dovedi dificilă, dar este o condiţie prealabilă desfăşurării proiectului. Finanţatorii şi politicienii trebuie convinşi că evaluarea este un exerciţiu util în măsura în care ea ridică întrebări ce pot fi relevante în luarea unor decizii privind extinderea, restrângerea ori rafinarea politicii. În plus, ei trebuie convinşi de legitimitatea formulei de evaluare şi, prin urmare, a rezultatelor, mai ales atunci când rezultatele nu sunt atât de "pozitive" precum se aşteptaseră. Finanţarea unei evaluări de impact este o chestiune delicată şi pentru că datele cu privire la costurile acesteia sunt dificil de obţinut. Poate că cel mai neplăcut aspect derivă din valorificarea publică a evaluării: dacă rezultatele sale urmează a fi utilizate în politicile din alte ţări, cum este adesea cazul în programele Băncii Mondiale, de ce ar trebui ca o anumită ţară să plătească pentru o asemenea evaluare? Experienţa arată că statele sunt dispuse să suporte majoritatea costurilor evaluării, însă nu în întregime. Să clarifici obiectivele evaluării Odată hotărât faptul că evaluarea de impact este necesară şi posibilă, trebuie stabilite cu claritate obiectivele, iar acordul asupra chestiunilor cheie care constituie inima evaluării este esenţial. Cunoaşterea obiectivelor conduce la identificarea nevoilor de informaţie, la fixarea indicatorilor de impact şi a efectelor relevante, precum şi la construirea strategiei de evaluare pentru a oferi răspunsuri la întrebările dorite. Folosirea unui cadru logic reprezintă un instrument de neînlocuit pentru a identifica obiectivele programului şi necesarul de date concrete. Banca Mondială utilizează din ce în ce mai mult un astfel de cadru alcătuit de o matrice simplă de patru pe patru, în care se armonizează informaţiile privind obiectivele unei politici cu:
Cu alţi termeni, se prezumă că impactul scontat al politicii este dependent de ceea ce "intră", de resurse, ca şi de o serie de alţi factori. Trebuie identificate măsurile cantitative pentru fiecare pentru fiecare verigă din ciclul politicii. Această abordare nu conduce evaluatorul la decelarea impactului neaşteptat la politicii, dar îl ajută să păstreze obiectivele limpezi şi în centrul atenţiei. Tehnicile calitative sunt de asemenea utile în evidenţierea participării, în clarificarea obiectivelor şi a indicatorilor impactului. Intervenţiile fiind în genere destul de complexe, evaluarea trebuie să se adreseze obiectivelor detaliate pe categorii, concentrându-se nu numai asupra impactului, dar şi asupra unor aspecte operaţionale: acoperirea ţintelor şi respectarea graficului de formulare şi de implementare a politicii. Evaluarea de impact poate fi completată de analize cost - eficienţă şi evaluări ale procesului: raportul cost - eficienţă poate interesa în mod deosebit pentru cei care vor să decidă în privinţa extinderii, restrângerii sau reformării intervenţiei; evaluarea procesului poate fi relevantă în aprecierea procedurilor, normelor, dinamicii şi constrângerilor din furnizarea serviciului. Să explorezi datele disponibile Evaluările de impact utilizează multe categorii de date. Acestea pot include de la studii transversale şi cercetări panel (la mai multe momente în timp) până la date calitative cum ar fi cele din interviuri deschise etc. Ideal ar fi ca informaţia să fie disponibilă la nivel de individ pentru fi sigur că este apreciat adevăratul impact. Datele de la nivel de gospodărie pot ascunde diferenţe în alocarea de resurse în interiorul familiei, care afectează în principal femeile şi copiii, deoarece ei au adesea o contribuţie limitată la resursele productive. Cu ceva creativitate, este posibil să maximizezi resursele informaţionale deja existente. Datele caracteristice pentru populaţia de interes vor fi folosite drept fundament pentru a determina dimensiunile eşantionului, pentru construirea cadrului de eşantionare şi pentru selectarea acestuia. Alte tipuri de date ca pot fi disponibile într-o ţară dată şi se pot utiliza în evaluări de impact sunt:
Folosirea datelor de cercetare existente Pe parcursul proiectării pot fi întreprinse multe studii. Dacă este planificată măsurarea indicatorilor ceruţi, evaluarea este capabilă să extrapoleze eşantionul la populaţia de interes pe parcursul studiilor generale. Dimpotrivă, dacă este planificat un studiu care acoperă populaţia de interes, evaluarea poate introduce o întrebare ori serii de întrebări ca parte a studiului, sau poate adăuga studii calitative pentru a completa informaţiile cantitative. Identificarea resurselor de date pentru evaluarea de impact Principala condiţie care apare aici este aceea a bunei cunoaşteri a politicii. Este riscant să porneşti la o evaluare fără a şti multe despre detaliile administrative şi instituţionale ale politicii; aceste informaţii provin în mod obişnuit de la cei care o administrează.
Proiectarea evaluării Odată clarificate obiectivele şi resursele de date, poţi începe să proiectezi fazele evaluării de impact. Alegerea metodologiei va depinde de ceea ce vrei să evaluezi, de cât timp ai la dispoziţie, de constrângerile bugetare, precum şi de capacitatea de implementare. Argumentele pro şi contra în privinţa diferitelor tipuri de design trebuie cântărite pentru a determina care metodologie este mai potrivită şi ce tehnici cantitative şi calitative se pot folosi pentru a se completa reciproc. Chiar şi după ce a fost fixată formula de evaluare şi a fost construit proiectul, evaluatorii trebuie să rămână flexibili şi să modifice la nevoie designul, pe măsură ce este implementat. În definirea designului este de asemenea important cum se va armoniza evaluarea de impact cu strategia generală de monitorizare şi evaluare a politicii. Întregul efort de evaluare trebuie croit după cerinţele de informare specifice politicii. Problemele de evaluat Chestiunile ce trebuie evaluate sunt foarte legate de designul evaluării în termenii tipului de date colectate, unităţilor de analiză, metodologiilor folosite şi a programării diverselor stadii. De exemplu, în aprecierea impactului unor manuale asupra rezultatelor în învăţare, este necesară conceperea unei evaluări pentru a măsura impactul la nivelul studenţilor, grupelor şi profesorilor pe durata unui an şcolar. Un astfel de studiu, evident, va diferi de unul care îşi propune măsurarea impactului serviciilor oferite prin fondurile de investiţie socială, care ar necesita date despre facilităţile existente în comunitate şi în gospodării. În clarificarea problemelor de evaluat, este de asemenea importantă luarea în consideraţie a implicaţiilor acelei politici. Căci în implementarea politicii pot apărea efecte secundare, care nu pot fi surprinse prin culegerea de date şi eforturile de analiză specifice.
Dacă întreprinzi o evaluare ex-ante, problema critică ţine de estimarea impactul înainte de termenul de implementare al politicii. Oricum, rezultatele trebuie furnizate atunci când este nevoie de ele, la momentul anumit din ciclul de derulare al politicii. Ele pot fi cruciale în luarea unor decizii de continuare sau încheiere a unui politicii (de pildă în perioade electorale) etc. Anumite metode cer mai mult timp decât altele pentru aplicare. Atribuirea randomizată şi metodele de comparare a situaţiei de dinainte cu cea de după necesită mai mult timp decât abordările comparative puse la punct ex-post. Când foloseşti abordările comparative de apreciere a situaţiei înainte şi după implementarea unei politici, cu stabilirea unui demarcaj şi aprecierea situaţiei imediat următoare, timpul trebuie să-ţi permită ca cel din urmă membru al grupului de tratament să primească intervenţia, mai apoi o altă perioadă pentru ca efectele ulterioare implementării politicii să se materializeze şi să fie observabile. Grossman (1994) sugerează că perioada tipică ce trebuie să treacă pentru a se putea examina impactul este de douăsprezece până la optsprezece luni după înscrierea eşantionului în intervenţie. În programele Băncii Mondiale, când se aşteaptă atât ca intervenţia să aibă loc, cât şi materializarea efectelor, perioada considerată este uneori de ani. Cerinţele de timp ale evaluării nu pot conduce la modificări în politica evaluată: prin însăşi natura sa, evaluarea este un subiect încadrat temporal în restul politicii. De pildă intervenţiile care privesc infrastructura cer mult timp. Variabila timp este sensibilă şi din pricina indicatorilor selectaţi atunci când au nevoie de o durată mai mare pentru a se manifesta în beneficiul populaţiei, cum ar fi schimbările în rata fertilităţii sau la nivel educaţional. Capacitatea de implementare În ierarhizarea complexităţii proiectelor de evaluare cel din urmă considerent ţine de capacitatea de implementare a echipei de evaluare. Aplicarea poate fi foarte dificilă, mai ales în ţările în care lipseşte expertiza în privinţa cercetării evaluative a politicilor. Compoziţia echipei de evaluare este importantă, ca şi experienţa acesteia în a aplica diversele metode. Acest fapt este relevant mai ales când se lucrează cu agenţii din sectorul public care au multiple responsabilităţi şi un personal disponibil limitat. Cunoştinţele echipei sunt importante nu numai pentru calitatea evaluării, dar şi pentru oportunitatea costurilor, ţinând cont de toate eforturile pe care trebuie să le facă echipa. Există situaţii în care conducerea agenţiei responsabile de acea politică este angajată şi în alte politici, nemaifiind în stare să opereze conform orarului stabilit. Aceste situaţii pot fi evitate dacă se constituie o unitate responsabilă exclusiv cu evaluarea respectivă: să se asigure că se respectă timpii programaţi pentru fiecare activitate, ca şi distribuirea personalului şi a resurselor pe parcursul tuturor activităţilor. Formarea echipei de evaluare Cei care sunt implicaţi în munca de evaluare trebuie să posede anumite carcteristici. Calitatea şi eventual utilitatea unei evaluări de impact pot creşte considerabil datorită unei coordonării externe între membrii echipei şi cei care fac politica publică respectivă. Membrii echipei trebuie identificaţi cât mai repede cu putinţă, după care trebuie stabilit un acord asupra rolurilor şi responsabilităţilor şi mecanismul de comunicare pe parcursul punctelor cheie ale evaluării. În esenţă, o echipă cuprinde managerul evaluării, analiştii economici şi în ştiinţele sociale, cei care proiectează evaluarea, expertul în eşantionare, echipa de teren şi conducătorul ei, cei care structurează şi procesează datele. În funcţie de mărimea, scopul şi designul studiului, unele responsabilităţi vor fi împărţite sau, adaptat nevoilor, alte persoane se vor adăuga nucleului echipei. Când lipseşte experienţa în integrarea abordărilor cantitative şi calitative, poate fi nevoie de un timp suplimentar în vederea întăririi echipei şi construirii unei colaborări depline. În general posturile cu responsabilităţi într-o echipă includ:
Managerul echipei trebuie să aibă capacitatea de a face aranjamentele instituţionale la nivel local, care să asigure calitatea şi imparţialitatea rezultatelor evaluării. În plus, el trebuie desemnat aşa încât să fie capabil să lucreze efectiv cu cei care produc datele, cu cei care la analizează, ca şi cu politicienii care folosesc rezultatele evaluării. Dacă persoana nu este din zonă, se recomandă desemnarea uneia care are conexiunile locale necesare, cu care să se colaboreze îndeaproape. O problemă delicată este găsirea gradului optim de separare instituţională între cei care efectuează evaluarea şi cei care îi folosesc rezultatele. Desigur, se câştigă la nivelul obiectivităţii când instituţia responsabilă de evaluarea politicii este independentă; totuşi, evaluările pot viza inclusiv creşterea capacităţii de evaluare prin agenţiile guvernamentale şi atunci este mai important ca acestea să dobândească expertiză în domeniu. Yüklə 1,31 Mb. Dostları ilə paylaş:
|