Introducere în politicile publice



Yüklə 1,31 Mb.
səhifə29/34
tarix22.01.2018
ölçüsü1,31 Mb.
#39513
1   ...   26   27   28   29   30   31   32   33   34

Evaluarea de impact. Deşi e tot o evaluare de tip sumativ, vom trata separat evaluarea de impact deoarece ea este, poate, forma cea mai frecventată de evaluare. Ea urmăreşte să stabilească dacă intervenţia produce sau nu efectele scontate. Estimările au un oarecare grad de plauzibilitate, cu atât mai mare cu cât designul este mai îngrijit. Dar, cu toate că exigenţele metodologice sunt înalte, presiunea unor consideraţii de ordin practic - timpul, banii, protejarea subiecţilor etc. - limitează opţiunile reale.


Evaluarea de impact vizează aprecierea efectelor unei intervenţii publice prin realizarea sistematică a unor comparaţii semnificative – de exemplu, între situaţia de dinainte şi cea de după aplicarea politicii; compararea impactului intervenţiei asupra unui grup faţă de altul sau între un grup asupra căruia s-a intervenit şi un altul „de control”; compararea a ceea ce s-a întâmplat cu ceea ce s-ar fi putut întâmpla fără intervenţia respectivă; sau compararea impactului aceleiaşi politici în diferite zone ale ţării.

La rigoare, o evaluare de impact trebuie să estimeze un contrafactual: adică ce s-ar fi întâmplat dacă proiectul nu s-ar fi derulat, faţă de ceea ce s-a întâmplat în realitate. Pentru a determina aceasta, este necesară evidenţierea efectelor intervenţiei, prin raportare la alţi factori, folosind grupuri de comparaţie şi grupuri de control. Grupul de comparaţie este un grup aleator care nu a beneficiat de programul investigat, în timp ce grupul de control este selecţionat din aceeaşi categorie de populaţie cu cei asupra cărora se intervine.




Noţiuni cheie:

  • Factori de deformare: variabile exterioare care rezultă deodată cu efectele şi care ascund ori exagerează "adevăratele" efecte ale unei intervenţii.

  • Studii transversale: o formă de cercetare de impact în care sunt identificate ţinte neexpuse tratamentului şi sunt comparate cu ţinte care au fost expuse.

  • Efecte de design: impactul asupra constatărilor derivate din metodele şi procedurile folosite pentru a estima efectele nete ale politicii.

  • Generalizabilitate: extensia în care rezultatele unei evaluări de impact pot fi extrapolate la politici similare sau de la politicile abia supuse testelor la cele deja implementate.

  • Efectele rezultatelor brute: rezultatul total măsurat printr-o evaluare, cu referire doar la partea care poate fi cauzată de intervenţie.

  • Impact: efectele nete ale politicii.

  • Meta-analiză: analiza sistematică a unei serii de evaluări de impact a unei politici sau a unui grup de politici, pentru a oferi o estimare serioasă şi generalizabilă a efectelor nete.

  • Efecte nete: rezultatul unei intervenţii, după ce factorii deformatori au fost înlăturaţi.

  • Măsură prin procură: o varibilă folosită "prin asociere" pentru una care este dificil de măsurat direct.

  • Cvasi - experiment: un design de cercetare de impact în care grupul "de control" şi cel "experimental" nu au fost formate randomizat (la întâmplare).

  • Experiment randomizat: un design de cercetare de impact în care grupul "de control" şi cel "experimental" sunt selectate randomizat.

  • Încredere: măsura în care rezultatele obţinute sunt repetabile în condiţii asemănătoare.

  • Reproductibilitate: măsura în descoperirile unui studiu pot fi reproduse de alţi cercetători în condiţii comparabile.

  • Efect stochastic: fluctuaţii de măsurare atribuibile întâmplării, şanselor.

  • Serii în timp: un design de cercetare a impactului în care efectele sunt estimate de-a lungul unei serii de măsurători de dinainte şi de după intervenţie.

  • Măsură validă: o măsură care reflectă sau se presupune că ar putea să reflecte conceptul care se intenţionează a fi măsurat.

(după P. Rossi şi H. Freeman, 1991: 226-227)

Evaluarea impactului este adânc înrădăcinată în valori, credinţe, ideologii sau diverse alte raţiuni politice; de aceea, a face dovada că o politică a avut un anume impact sau altul este o chestiune delicată. În privinţa „terminării” unei politici, ideea că procesul ar decurge conform unui calcul raţional al costurilor şi beneficiilor este departe de realitate. Într-un studiu de referinţă din 1983, Peter de Leon releva faptul că decizia de încheiere a unei politici publice rămâne - în esenţă - politică, chiar dacă i se poate ataşa eventual o evaluare sumativă.

Unul dintre cele mai interesante modele de evaluare a impactului include dirijarea unui experiment social, tocmai pentru a cerceta situaţia de dinainte şi de după intervenţie. În acest scop se foloseşte un grup martor şi unul asupra căruia se intervine experimental. Datele rezultate în urma experimentului sunt de obicei foarte limpezi, dar interpretarea lor ridică probleme.


Principalele etape în proiectarea şi implementarea evaluărilor de acest tip sunt:

  1. descrierea succintă a politicii pentru a vedea dacă este necesară sau nu o evaluare a impactului, precum şi dacă o astfel de evaluare este posibilă sau nu;

  2. clarificarea obiectivelor evaluării (întrebările esenţiale, pistele, direcţiile de evaluare), precum şi estimarea posibilelor erori;

  3. aprecierea resurselor informaţionale (cercetarea relevanţei datelor avute la dispoziţie);

  4. proiectarea evaluării (stabilirea metodelor, selectarea grupurilor de comparaţie etc.);

  5. formarea echipei de evaluatori;

  6. culegerea datelor;

  7. analiza datelor, alcătuirea raportului şi diseminarea rezultatelor.


Întrebările tipice pentru evaluarea de impact sunt:


  • Cum sunt afectaţi beneficiarii de politica derulată?

  • Au existat îmbunătăţiri ca rezultat direct al politicii respective sau ele s-ar fi produs oricum?

  • Poate fi modificată acea politică astfel încât să aibă un impact mai mare?

  • Costurile sunt justificate?

Uneori nu se poate delimita impactul net atribuibil intervenţiei publice, datorită insuficienţei datelor semnificative care să diagnosticheze situaţia iniţială (prin comparaţie cu care s-ar putea determina impactul). În situaţia absenţei datelor privind starea anterioară, „li se poate cere celor care participă la acest program să evoce statutul lor anterior”, chiar dacă comparaţia va fi afectată insuficienţa datelor existente (Hodwood, Gunn, 2000:247). Adesea, impactul major, inclusiv eventualele efecte neanticipate pot fi observate abia mai târziu.

Pot exista (şi adesea există!) factori şi evenimente corelate cu efectele, dar care nu sunt cauzate de intervenţia publică respectivă. La rigoare, trebuie văzut ce s-ar fi întâmplat dacă respectiva politică nu s-ar fi derulat sau ce ar fi fost veridic în alte condiţii. Pentru a determina aceasta, este necesară delimitarea efectului propriu-zis de alţi factori, folosind grupuri de control şi de comparaţie.

Grupurile de control sunt alcătuite din indivizi neincluşi în acea politică; ei nu beneficiază de aceasta şi sunt comparaţi cu un grup asupra căruia s-a intervenit. Persoanele din astfel de grupuri sunt selecţionate întâmplător (randomizat) din aceeaşi populaţie cu participanţii la respectiva politică, în timp ce grupul de comparaţie este un simplu grup care nu beneficiază de intervenţia politicii investigate (World Bank: 9). E deosebit de important ca grupul de control şi cel de comparaţie trebuie să fie asemănătoare din toate punctele de vedere cu grupul supus intervenţiei: deosebirile dintre ele să decurgă doar din participarea sau non-participarea la acea politică. Delimitarea strictă a impactului unei politici de situaţia de fapt este destul de delicată în absenţa intervenţiei, ea putând fi afectată de evoluţia istorică, erori de selecţie şi de contaminare. Pentru stabilirea impactului se pot folosi şi metodele calitative sau participative, care oferă adesea o incursiune critică la nivelul percepţiei şi valorizării programului de către beneficiari.

PROIECTAREA ŞI APLICAREA EVALUĂRILOR DE IMPACT

(după procedura Băncii Mondiale)


Pe parcursul identificării politicii:

  1. Determină dacă pui la punct o evaluare sau nu

  2. Clarifică obiectivele evaluării

  3. Explorează disponibilitatea datelor

  4. Proiectează evaluarea

  5. Formează echipa de evaluare

  6. Dacă vor fi colectate date:

i. proiectează eşantionul şi selecţia

ii. dezvoltă instrumentul de culegere a datelor

iii. pregăteşte personalul în domeniu şi stabileşte-i conducerea

iv. testează (pilot)

v. culege datele

vi. gestionează datele şi accesul



Pe parcursul implementării politicii:

  1. Continuă culegerea de date

  2. Analizează datele

  3. Scrie rezultatele şi discută-le cu cei care fac politica, precum şi cu celelalte persoane implicate

  4. Încorporează rezultatele în proiectul de derulare a politicii


Determină dacă evaluezi sau nu

Evaluarea de impact diferă de alte evaluări prin aceea că este concentrată asupra aprecierii cauzalităţii. Date fiind complexitatea şi costurile unei evaluări de impact, trebuie estimate costurile şi beneficiile şi, de asemenea, trebuie analizat dacă nu ar fi mai potrivită o altă abordare (ca de exemplu monitorizarea indicatorilor de performanţă sau o evaluare a procesului). Dar poate că factorul decisiv rămâne acela de a stabili dacă o astfel de evaluare are un sprijin politic solid şi un suport financiar.

Mobilizarea resurselor şi efortul cerute de aplicarea unei evaluări de impact sunt indicate atunci când proiectul de evaluare a politicii este inovativ, replicabil, presupune alocarea unor resurse substanţiale şi intervenţii bine definite. Ele ar trebui să fie prioritare dacă proiectul în cauză lansează o nouă abordare, care este luat în consideraţie pentru o viitoare extindere pe baza rezultatelor respectivei evaluări.

Important este de asemenea dacă politica evaluată este suficient de dezvoltată pentru a i se putea evalua impactul. Politicile pilot şi reformele in statu nascendi sunt adesea înclinate să-şi revadă conţinutul, precum şi maniera de implementare. Aceste schimbări pot submina coerenţa eforturilor evaluative, mai ales în cazul experimentelor care au nevoie de o determinare precisă a grupului de tratament şi a celui de control. Atunci când politicile de evaluat sunt încă în procesul de definire, este mai indicată evitarea cercetării impactului pentru a le permite să-şi păstreze flexibilitatea.

Câştigarea sprijinului politic şi financiar se poate dovedi dificilă, dar este o condiţie prealabilă desfăşurării proiectului. Finanţatorii şi politicienii trebuie convinşi că evaluarea este un exerciţiu util în măsura în care ea ridică întrebări ce pot fi relevante în luarea unor decizii privind extinderea, restrângerea ori rafinarea politicii. În plus, ei trebuie convinşi de legitimitatea formulei de evaluare şi, prin urmare, a rezultatelor, mai ales atunci când rezultatele nu sunt atât de "pozitive" precum se aşteptaseră.

Finanţarea unei evaluări de impact este o chestiune delicată şi pentru că datele cu privire la costurile acesteia sunt dificil de obţinut. Poate că cel mai neplăcut aspect derivă din valorificarea publică a evaluării: dacă rezultatele sale urmează a fi utilizate în politicile din alte ţări, cum este adesea cazul în programele Băncii Mondiale, de ce ar trebui ca o anumită ţară să plătească pentru o asemenea evaluare? Experienţa arată că statele sunt dispuse să suporte majoritatea costurilor evaluării, însă nu în întregime.


Să clarifici obiectivele evaluării

Odată hotărât faptul că evaluarea de impact este necesară şi posibilă, trebuie stabilite cu claritate obiectivele, iar acordul asupra chestiunilor cheie care constituie inima evaluării este esenţial. Cunoaşterea obiectivelor conduce la identificarea nevoilor de informaţie, la fixarea indicatorilor de impact şi a efectelor relevante, precum şi la construirea strategiei de evaluare pentru a oferi răspunsuri la întrebările dorite. Folosirea unui cadru logic reprezintă un instrument de neînlocuit pentru a identifica obiectivele programului şi necesarul de date concrete.

Banca Mondială utilizează din ce în ce mai mult un astfel de cadru alcătuit de o matrice simplă de patru pe patru, în care se armonizează informaţiile privind obiectivele unei politici cu:


  • modul în care performanţele vor fi urmărite, folosind jaloane şi orare de lucru;

  • ce impact vor avea rezultatele politicii asupra instituţiei sau sistemului care beneficiază;

  • cum va fi măsurat;

  • ce input-uri sunt folosite pentru a conduce la acele rezultate.

Cu alţi termeni, se prezumă că impactul scontat al politicii este dependent de ceea ce "intră", de resurse, ca şi de o serie de alţi factori. Trebuie identificate măsurile cantitative pentru fiecare pentru fiecare verigă din ciclul politicii. Această abordare nu conduce evaluatorul la decelarea impactului neaşteptat la politicii, dar îl ajută să păstreze obiectivele limpezi şi în centrul atenţiei. Tehnicile calitative sunt de asemenea utile în evidenţierea participării, în clarificarea obiectivelor şi a indicatorilor impactului.

Intervenţiile fiind în genere destul de complexe, evaluarea trebuie să se adreseze obiectivelor detaliate pe categorii, concentrându-se nu numai asupra impactului, dar şi asupra unor aspecte operaţionale: acoperirea ţintelor şi respectarea graficului de formulare şi de implementare a politicii. Evaluarea de impact poate fi completată de analize cost - eficienţă şi evaluări ale procesului: raportul cost - eficienţă poate interesa în mod deosebit pentru cei care vor să decidă în privinţa extinderii, restrângerii sau reformării intervenţiei; evaluarea procesului poate fi relevantă în aprecierea procedurilor, normelor, dinamicii şi constrângerilor din furnizarea serviciului.


Să explorezi datele disponibile

Evaluările de impact utilizează multe categorii de date. Acestea pot include de la studii transversale şi cercetări panel (la mai multe momente în timp) până la date calitative cum ar fi cele din interviuri deschise etc. Ideal ar fi ca informaţia să fie disponibilă la nivel de individ pentru fi sigur că este apreciat adevăratul impact. Datele de la nivel de gospodărie pot ascunde diferenţe în alocarea de resurse în interiorul familiei, care afectează în principal femeile şi copiii, deoarece ei au adesea o contribuţie limitată la resursele productive. Cu ceva creativitate, este posibil să maximizezi resursele informaţionale deja existente.

Datele caracteristice pentru populaţia de interes vor fi folosite drept fundament pentru a determina dimensiunile eşantionului, pentru construirea cadrului de eşantionare şi pentru selectarea acestuia. Alte tipuri de date ca pot fi disponibile într-o ţară dată şi se pot utiliza în evaluări de impact sunt:


  • studiile privind veniturile şi cheltuielile la nivel de gospodărie;

  • studiile de măsurare a standardului de viaţă (LSMS);

  • studiile privind piaţa locurilor de muncă;

  • înregistrarea cooperativelor, uniunilor de credit şi a altor instituţii financiare;

  • datele privind sănătatea publică, mortalitatea infantilă, incidenţa diferitelor boli infecţioase, numărul femeilor care se folosesc metode contraceptive sau consumul de prezervative;

  • studii specializate sub conducerea universităţilor, organizaţiilor non-guvernamentale, grupurilor de consulting;

  • date de monitorizare de la administratorii politicii;

  • studii de caz.


Folosirea datelor de cercetare existente

Pe parcursul proiectării pot fi întreprinse multe studii. Dacă este planificată măsurarea indicatorilor ceruţi, evaluarea este capabilă să extrapoleze eşantionul la populaţia de interes pe parcursul studiilor generale. Dimpotrivă, dacă este planificat un studiu care acoperă populaţia de interes, evaluarea poate introduce o întrebare ori serii de întrebări ca parte a studiului, sau poate adăuga studii calitative pentru a completa informaţiile cantitative.


Identificarea resurselor de date pentru evaluarea de impact

Principala condiţie care apare aici este aceea a bunei cunoaşteri a politicii. Este riscant să porneşti la o evaluare fără a şti multe despre detaliile administrative şi instituţionale ale politicii; aceste informaţii provin în mod obişnuit de la cei care o administrează.



  • Culegerea de informaţii despre "faptele stilizate" relevante pentru aşezare. Ele pot include modul în care funcţionează piaţa de muncă, diviziunile etnice majore, modul de reprezentare al sărăciei, alte politici publice relevante în context.

  • Eclectism în privinţa datelor. Sursele pot fi atât informale (de pildă, interviuri nestructurate cu participanţi la acea politică), cât şi date cantitative despre eşantioane reprezentative. Totuşi, este dificil să detectezi contrafactuali prin interviuri sau focus-grupuri; încearcă mai degrabă să întrebi pe cineva care a participat curent la politica respectivă "ce-ai fi făcut acum dacă această politică n-ar fi existat?" Să vorbeşti cu participanţi la politică poate fi folositor, dar nu poţi oferi o evaluare credibilă bazându-te numai pe acestea.

  • Garanţia că există date privind indicatorii efectelor şi variabilele explicative relevante. Ai nevoie să te descurci mai târziu cu eterogenitatea efectelor în funcţie de condiţiile de participare la politică. Efectele pot fi diferite dacă, de pildă, un participant are un nivel superior de educaţie. Se poate să nu fie posibil să distingi impactul politicii dacă nu controlezi această eterogenitate.

  • În funcţie de metodele utilizate, pot fi necesare date în ceea ce priveşte variabilele care influenţează participarea dar nu influenţează efectele ale participării date. Aceste variabile instrumentale pot fi valorificate în clasificarea efectelor cauzale ale politicilor.

  • Datele despre efecte şi despre variabilele explicative relevante pot fi cantitative ori calitative, dar trebuie să fie posibilă organizarea informaţiilor într-o structură sistematică de date.

  • Sursele specifice de date privind efectele şi ceea ce le determină, inclusiv participarea la politică, derivă în mod obişnuit din anumite date de cercetare. Unităţi de observare pot fi gospodăria, firma, zona geografică, în funcţie de politică studiată.

  • Datele de cercetare pot adesea să fie suplimentate cu alte date despre acea politică (ca cele din baza de date a monitorizării politicii) sau despre localizarea ei (precum bazele de date geografice).


Proiectarea evaluării

Odată clarificate obiectivele şi resursele de date, poţi începe să proiectezi fazele evaluării de impact. Alegerea metodologiei va depinde de ceea ce vrei să evaluezi, de cât timp ai la dispoziţie, de constrângerile bugetare, precum şi de capacitatea de implementare. Argumentele pro şi contra în privinţa diferitelor tipuri de design trebuie cântărite pentru a determina care metodologie este mai potrivită şi ce tehnici cantitative şi calitative se pot folosi pentru a se completa reciproc.

Chiar şi după ce a fost fixată formula de evaluare şi a fost construit proiectul, evaluatorii trebuie să rămână flexibili şi să modifice la nevoie designul, pe măsură ce este implementat.

În definirea designului este de asemenea important cum se va armoniza evaluarea de impact cu strategia generală de monitorizare şi evaluare a politicii. Întregul efort de evaluare trebuie croit după cerinţele de informare specifice politicii.


Problemele de evaluat

Chestiunile ce trebuie evaluate sunt foarte legate de designul evaluării în termenii tipului de date colectate, unităţilor de analiză, metodologiilor folosite şi a programării diverselor stadii. De exemplu, în aprecierea impactului unor manuale asupra rezultatelor în învăţare, este necesară conceperea unei evaluări pentru a măsura impactul la nivelul studenţilor, grupelor şi profesorilor pe durata unui an şcolar. Un astfel de studiu, evident, va diferi de unul care îşi propune măsurarea impactului serviciilor oferite prin fondurile de investiţie socială, care ar necesita date despre facilităţile existente în comunitate şi în gospodării.

În clarificarea problemelor de evaluat, este de asemenea importantă luarea în consideraţie a implicaţiilor acelei politici. Căci în implementarea politicii pot apărea efecte secundare, care nu pot fi surprinse prin culegerea de date şi eforturile de analiză specifice.
Programarea în timp şi chestiunile bugetare

Dacă întreprinzi o evaluare ex-ante, problema critică ţine de estimarea impactul înainte de termenul de implementare al politicii. Oricum, rezultatele trebuie furnizate atunci când este nevoie de ele, la momentul anumit din ciclul de derulare al politicii. Ele pot fi cruciale în luarea unor decizii de continuare sau încheiere a unui politicii (de pildă în perioade electorale) etc.

Anumite metode cer mai mult timp decât altele pentru aplicare. Atribuirea randomizată şi metodele de comparare a situaţiei de dinainte cu cea de după necesită mai mult timp decât abordările comparative puse la punct ex-post. Când foloseşti abordările comparative de apreciere a situaţiei înainte şi după implementarea unei politici, cu stabilirea unui demarcaj şi aprecierea situaţiei imediat următoare, timpul trebuie să-ţi permită ca cel din urmă membru al grupului de tratament să primească intervenţia, mai apoi o altă perioadă pentru ca efectele ulterioare implementării politicii să se materializeze şi să fie observabile. Grossman (1994) sugerează că perioada tipică ce trebuie să treacă pentru a se putea examina impactul este de douăsprezece până la optsprezece luni după înscrierea eşantionului în intervenţie. În programele Băncii Mondiale, când se aşteaptă atât ca intervenţia să aibă loc, cât şi materializarea efectelor, perioada considerată este uneori de ani.

Cerinţele de timp ale evaluării nu pot conduce la modificări în politica evaluată: prin însăşi natura sa, evaluarea este un subiect încadrat temporal în restul politicii. De pildă intervenţiile care privesc infrastructura cer mult timp. Variabila timp este sensibilă şi din pricina indicatorilor selectaţi atunci când au nevoie de o durată mai mare pentru a se manifesta în beneficiul populaţiei, cum ar fi schimbările în rata fertilităţii sau la nivel educaţional.


Capacitatea de implementare

În ierarhizarea complexităţii proiectelor de evaluare cel din urmă considerent ţine de capacitatea de implementare a echipei de evaluare. Aplicarea poate fi foarte dificilă, mai ales în ţările în care lipseşte expertiza în privinţa cercetării evaluative a politicilor. Compoziţia echipei de evaluare este importantă, ca şi experienţa acesteia în a aplica diversele metode. Acest fapt este relevant mai ales când se lucrează cu agenţii din sectorul public care au multiple responsabilităţi şi un personal disponibil limitat. Cunoştinţele echipei sunt importante nu numai pentru calitatea evaluării, dar şi pentru oportunitatea costurilor, ţinând cont de toate eforturile pe care trebuie să le facă echipa. Există situaţii în care conducerea agenţiei responsabile de acea politică este angajată şi în alte politici, nemaifiind în stare să opereze conform orarului stabilit. Aceste situaţii pot fi evitate dacă se constituie o unitate responsabilă exclusiv cu evaluarea respectivă: să se asigure că se respectă timpii programaţi pentru fiecare activitate, ca şi distribuirea personalului şi a resurselor pe parcursul tuturor activităţilor.


Formarea echipei de evaluare

Cei care sunt implicaţi în munca de evaluare trebuie să posede anumite carcteristici. Calitatea şi eventual utilitatea unei evaluări de impact pot creşte considerabil datorită unei coordonării externe între membrii echipei şi cei care fac politica publică respectivă. Membrii echipei trebuie identificaţi cât mai repede cu putinţă, după care trebuie stabilit un acord asupra rolurilor şi responsabilităţilor şi mecanismul de comunicare pe parcursul punctelor cheie ale evaluării.



În esenţă, o echipă cuprinde managerul evaluării, analiştii economici şi în ştiinţele sociale, cei care proiectează evaluarea, expertul în eşantionare, echipa de teren şi conducătorul ei, cei care structurează şi procesează datele. În funcţie de mărimea, scopul şi designul studiului, unele responsabilităţi vor fi împărţite sau, adaptat nevoilor, alte persoane se vor adăuga nucleului echipei. Când lipseşte experienţa în integrarea abordărilor cantitative şi calitative, poate fi nevoie de un timp suplimentar în vederea întăririi echipei şi construirii unei colaborări depline. În general posturile cu responsabilităţi într-o echipă includ:

  • Managerul evaluării – responsabil de stabilirea nevoilor de informaţie şi a indicatorilor evaluării, trasarea termenilor de referinţă, selectarea metodologiei de evaluare, precum şi alcătuirea echipei. În multe din cazuri, tot el se ocupă de analiza politicii publice.

  • Analiştii politicii – pentru datele cantitative este nevoie de un economist, iar pentru a analiza participarea şi datele calitative este nevoie de un sociolog sau un antropolog. Dimpreună, ei trebuie implicaţi în scrierea raportului privind evaluarea.

  • Expertul în eşantionare poate ghida procesul de selecţie al eşantionului. În privinţa datelor cantitative, el trebuie să poată calcula dimensiunile adecvate ale eşantioanelor pentru indicatorii stabiliţi, să selecteze eşantionul, să revadă rezultatele actualului eşantion faţă de cel prestabilit şi să încorporeze totul analizei. În ceea ce priveşte datele calitative, el trebuie să se asigure că procedurile stabilite garantează o selecţie corectă. De asemenea, el trebuie să selecteze locurile şi grupurile pentru testările pilot.

  • Designer-ul cercetării (poate fi şi o echipă) are responsabilitatea de a proiecta instrumentele pentru culegerea de date, “manualele” şi broşurile cu coduri şi să se asigure împreună cu managerul echipei că instrumentele dedicate culegerii de date vor produce într-adevăr acele date de care este nevoie. Persoana sau echipa trebuie să fie implicate şi în testările pilot, dar şi în rafinarea chestionarelor.

  • Managerul sau echipa de teren trebuie să fie responsabili cu supravegherea şi derularea întregului efort de culegere a datelor, cu planificarea culegerii datelor, cu formarea echipei de teren (alcătuită în genere din supervizori, operatori de interviu şi şoferi). În anumite culturi este necesar să se ţină cont dacă cel care administrează interviul este bărbat sau femeie şi dacă interviurile sunt administrate separat.

  • Cei care gestionează şi procesează datele proiectează programele pentru introducerea datelor, le înmagazinează, le verifică validitatea, produce rezultatele primare şi oferă documentaţia necesară în materie de date.

Managerul echipei trebuie să aibă capacitatea de a face aranjamentele instituţionale la nivel local, care să asigure calitatea şi imparţialitatea rezultatelor evaluării. În plus, el trebuie desemnat aşa încât să fie capabil să lucreze efectiv cu cei care produc datele, cu cei care la analizează, ca şi cu politicienii care folosesc rezultatele evaluării. Dacă persoana nu este din zonă, se recomandă desemnarea uneia care are conexiunile locale necesare, cu care să se colaboreze îndeaproape.

O problemă delicată este găsirea gradului optim de separare instituţională între cei care efectuează evaluarea şi cei care îi folosesc rezultatele. Desigur, se câştigă la nivelul obiectivităţii când instituţia responsabilă de evaluarea politicii este independentă; totuşi, evaluările pot viza inclusiv creşterea capacităţii de evaluare prin agenţiile guvernamentale şi atunci este mai important ca acestea să dobândească expertiză în domeniu.




Yüklə 1,31 Mb.

Dostları ilə paylaş:
1   ...   26   27   28   29   30   31   32   33   34




Verilənlər bazası müəlliflik hüququ ilə müdafiə olunur ©muhaz.org 2024
rəhbərliyinə müraciət

gir | qeydiyyatdan keç
    Ana səhifə


yükləyin