Introducere în politicile publice

Selectarea evaluatorilor

3. 
   Familiaritatea evaluatorilor cu activitatea respectivă şi cu contextul în care aceasta se desfăşoară
   
4. 
   Familiaritatea evaluatorilor cu abordările, configurarea şi procedurile specifice unei evaluări
   
5. 
   Pregătirea şi experienţa lor anterioară relevantă pentru această activitate
   
6. 
   Imparţialitatea evaluatorilor
   
7. 
   Capacitatea de a realiza evaluarea potrivit graficului
   

Planificarea şi implementarea procesului de evaluare

8. 
   Planificarea şi implementarea procesului de evaluare conform standardelor formulate de agenţia sau instituţia care o solicită
   
9. 
   Înţelegerea priorităţilor şi a măsurilor cercetate
   
10. 
    Definirea domeniului evaluării
    
11. 
    Acces la informaţia disponibilă şi calitatea acesteia
    
12. 
    Definirea problemelor importante, a criteriilor de evaluare şi a procedurilor pentru colectarea şi analiza datelor
    
13. 
    Stabilirea schemei de evaluare (grafic, structură organizaţională, buget)
    
14. 
    Stabilirea planului privind structura raportului
    

Calitatea rapoartelor de evaluare

15. 
    Recunoaşterea şi modul în care se răspunde nevoilor de evaluare
    
16. 
    Viabilitatea configuraţiei evaluării şi a materialului folosit
    
17. 
    Consistenţa şi gradul de încredere în analiza realizată
    
18. 
    Imparţialitatea şi credibilitatea concluziilor şi recomandărilor făcute
    
19. 
    Claritatea textului raportului
    
20. 
    Modul în care concluziile şi recomandările sunt prezentate şi dezvoltarea ulterioară a evaluării
    

Contactele şi colaborarea dintre diferiţii parteneri în procesul de evaluare

21. 
    Funcţionarea şi regularitatea contactelor dintre evaluatori şi agenţia sau instituţia care a solicitat evaluarea
    
22. 
    Funcţionarea şi regularitatea contactelor dintre evaluatori
    
23. 
    Funcţionarea şi regularitatea contactelor dintre evaluatori şi politicile care sunt evaluate
    

Experienţa globală a agenţiei şi evaluatorilor cu privire la procesul de evaluare

Aprecierea globală asupra succesului procesului de evaluare

Poate că cea mai mare provocare pentru cel care studiază politicile sociale şi cea mai clară limită a cercetării evaluative este că aceasta trebuie să se aplice unui mediu a cărui schimbare derivă din continua luare a deciziilor. Politicile publice se caracterizează prin înaltă volatilitate (Rossi P., Freeman H., 1991:38). Tocmai datorită acesteia, evaluării intervenţiilor sociale îi sunt asociate constant un număr de dificultăţi.

Mai întâi: resursele, priorităţile şi influenţa relativă a decidenţilor se schimbă adesea. Unele dintre schimbări însoţesc modificări ale scenei politice. Pesemne că ele vor avea impact asupra oricărei evaluări asupra efectelor, care urmează să fie întreprinsă. În al doilea rând, interesele şi influenţa celor implicaţi în derularea unei politici publice se pot schimba. Drept urmare, aceste politici pot beneficia sau pot fi afectate de cooperarea cu anumite organizaţii ori indivizi. În al treilea rând, priorităţile şi responsabilităţile agenţiilor şi organizaţiilor care implementează politicile publice se pot schimba într-o măsură semnificativă. De asemenea, pot apărea probleme neanticipate relative la livrarea intervenţiei sau intervenţia însăşi poate modifica politica respectivă şi, în consecinţă, maniera de evaluare. În al cincilea rând, deşi rezultatele parţiale ale unei evaluări produc cunoştinţe suficient de sigure, intervenţia poate eşua în obiectivul de a determina efectele dorite. Probleme neprevăzute survin şi la nivelul punerii în practică a planului de evaluare.

O consecinţă a acestui fapt este că metodele împrumutate de la diverse ştiinţe (sociologie, psihologie, psihologie socială, economie, drept etc.), pentru a se adapta specificului politicilor publice abandonează adesea canonul ştiinţific consacrat în favoarea aplicării inovative. Lee Cronbach argumenta (1982) un punct de vedere pragmatic în acest sens, arătând că, deşi demersul strict ştiinţific şi cel evaluativ urmează aceeaşi logică şi pot folosi aceleaşi proceduri de cercetare, ele diferă ca intenţie şi scop.

“Evaluarea este o artă, iar fiecare evaluare reprezintă, sau ar trebui să reprezinte, un efort idiosincrazic pentru a împăca nevoile tuturor celor implicaţi în program” (ibidem: 40). În timp ce studiile ştiinţifice se raportează la un set de standarde fixate de comunitatea de investigatori, evaluările trebuie proiectate şi implementate aşa încât să se găsească la intersecţia dintre interesele celor care finanţează şi ale ale celor implicaţi, dar şi să ofere maximum de informaţii utile celor care decid, date fiind resursele limitate, circumstanţele politice şi constrângerile respectivei politici. Uneori evaluările pot fi “destul de bune”, în sensul că răspund la chestiunile relevante pentru acea politică, chiar dacă sub aspect ştiinţific nu sunt cel mai strălucit proiectate.

Proiectarea unei investigaţii evaluative este o artă Opţiunile sunt aproape nenumărate: fiecare variantă implică avantaje, dar şi sacrificii specifice. Este necesară o teorie a validităţii şi utilităţii, care să ofere o bază atât pentru a aprecia planurile de cercetare, cât şi pentru a gândi altele noi, mai potrivite. Design-ul evaluării presupune alocarea resurselor investigative. Obiectivul celui care pune la punct evaluarea – ca şi în ştiinţa fundamentală – este de a obţine cele mai folositoare rezultate, având la dispoziţie un anume buget, un număr dat de persoane din cei angajaţi în evaluare, un număr de ore pe care să le presteze alţi colaboratori şi alte astfel de constrângeri. “Cel mai folositoare” reprezintă cerinţa cheie. Multe lucrări dedicate cercetării evaluative sugerează că investigaţia ar trebui apreciată în funcţie de respectarea formei, iar anumite canoane sunt privite ca idealuri universal valabile. Dimpotrivă, alţii susţin că investigaţiile evaluative îndeplinesc mai multe funcţii, diferite între ele. Prin urmare, ceea ce este dezirabil în configurarea uneia nu mai este potrivit alteia. Aceasta ar fi o perspectivă funcţională asupra proiectării evaluărilor. Obiectivele unei evaluări diferă de cele ale unui studiu de cercetare socială fundamentală; căci evaluarea trebuie să se plieze diverselor contexte instituţionale şi politice. Strategia cercetării de evaluare are nevoie de consideraţii speciale. Logica este necesară în orice domeniu, dar translaţia logicii demersului în proceduri concrete ar trebui să depindă de context, de scop şi de aşteptările finanţatorului. Multe din recomandările potrivite programelor de cercetare ştiinţifică pe termen lung nu sunt binevenite în evaluare. Din acest motiv, scrierile dedicate planificării şi metodelor ştiinţifice nu reuşesc să-l ghideze pe evaluator. De asemenea, recomandările generale asupra evaluării pot să-l îndrume greşit; evaluările n-ar trebui croite după un singur tipar. Pentru orice evaluare se pot propune multe proiecte bune, însă nici unul perfect. (adaptat după Lee J. Cronbach, vezi Rossi şi Freeman, 1991: 41)