Evaluarea programelor de prevenire hiv/sida

Monitorizare, evaluare şi indicatori: când ridică probleme?

Atunci când…

• 
  activităţile M&E nu sunt planificate, când se fac la întâmplare
  
• 
  activităţile de M&E nu au alocate resurse corespunzătoare (ex.: personal nepregătit pentru efectuarea unei anchete sociologice, resurse financiare insuficiente pentru efectuarea vizitelor de monitorizare)
  
• 
  indicatorii nu sunt definiţi corect
  
• 
  indicatorii nu au la bază un instrument bun pentru măsurarea valorii lor (ex.: rapoartele privind distribuţia unor materiale informative într-o campanie de vara, la mare, indică „număr de broşuri distribuite” sau „număr de contacte cu persoane care au primit broşuri” si nu „număr de persoane care au primit broşuri”, întrucât unele persoane au luat mai mult de o broşură).
  
• 
  sunt utilizaţi prea mulţi indicatori
  
• 
  se stabileşte utilizarea unor indicatori ale căror surse de date nu sunt accesibile (ex.: date confidenţiale, secrete).
  

Sistemul de M&E al programelor HIV/SIDA şi TB finanţate prin Runda 6 a GFATMATM

Sistemul de M&E al celor două programe este constituit din ciclul activităţilor de M&E (ilustrat în Figura 1) şi circuitul datelor de M&E (ilustrat în Figura 2).

Ciclul activităţilor M&E descrie modul în care sunt organizate activităţile de monitorizare şi evaluare, indică responsabilii proceselor de M&E, precizează care sunt tipurile de date culese în diverse etape M&E, din ce surse sunt culese, cine le utilizează şi în ce scop.

Figura 1

Circuitul datelor de M&E prezintă sursele datelor de M&E pentru programele HIV şi TB, ce loc ocupa PR şi implementatorii în acest circuit, sub ce forma sunt culese datele şi în ce scop sunt diseminate de PR şi de implementatori.

Figura 2

Proceduri privind implementarea activităţilor de M&E

I. Colectarea datelor M&E pentru programele HIV/SIDA şi TB ale Rundei 6 GFATM

Colectarea datelor M&E este un proces care implică PR, implementatori şi alte instituţii a căror activitate poate fi legată de programele HIV şi TB, fără a fi însă finanţată prin Runda 6 GFATM (ex.: autorităţi de sănătate publică, Departamentul Central al Programului Naţional de Control al Tuberculozei, institute de cercetare, agenţii internaţionale etc.).

Planurile de M&E ale implementatorilor – anexate contractelor de sub-finanţare dintre PR şi implementatori – conţin specificaţii cu privire la: frecvenţa cu care PR va colecta date despre cele 2 programe de la implementatori, sursele identificate pentru colectarea datelor, responsabilii pentru colectarea datelor la nivel de proiect.

Mai jos sunt prezentate principalele surse de date ce vor fi utilizate în programele HIV şi TB:

1. 
   Documentele de lucru ale proiectului: de exemplu - tabele de distribuţie a broşurilor sau altor produse distribuite în cadrul activităţilor (Anexa 5), fişă de înregistrare a clientului (Anexa 2b), evidenţe ale participanţilor la sesiuni de instruire (Anexa 6), chestionare de evaluare a cursului (Anexa 4), rapoarte de curs (Anexa 3), fişe de tratament ale bolnavilor cu TB (Anexele 12a si 12b), etc.
   

Documentele de lucru sunt întocmite de fiecare dintre implementatori şi sunt sursă pentru redactarea rapoartelor trimestriale şi anuale privind progresul proiectelor. Administrarea acestor documente (ex.: eliminarea erorilor conţinute, introducerea lor în baze de date, arhivarea lor) cade tot în sarcina implementatorilor pe toată durata proiectului.
Documentele de lucru trebuie să fie disponibile pentru orice activitate de audit sau M&E intern sau extern (ex.: realizată de PR, de LFA, de evaluatori independenţi din partea GFATM) menită să evalueaze progresul programelor GFATM. Documentele de lucru constituie dovada faptului că proiectul se derulează şi reflectă volumul şi tipul activităţilor desfăşurate.

Câteva exemple de documente de lucru găsiţi în Anexa 2a, Anexa 2b, Anexa 3, Anexa 4, Anexa 5, Anexa 6.

2. 
   Fişa de monitorizare a programului va fi întocmită regulat de personalul M&E al PR, în urma vizitelor de teren efectuate în locaţiile în care implementatorii desfăşoară proiecte. Ea va conţine în esenţă: a) observaţii ale personalului M&E asupra situaţiei proiectului monitorizat (ex.: starea clădirii şi a dotărilor, situaţia bazelor de date, metoda de livrare a serviciului etc.) b) informaţii culese de personalul M&E în urma discuţiilor cu responsabilii proiectului sau cu clienţii proiectului; c) recomandări ale personalului M&E pentru îmbunătăţirea performanţelor proiectului.
   

Fişa de monitorizare a proiectului va fi întocmită regulat de personalul M&E/coordonatorul de proiect al implementatorului în urma vizitelor de teren efectuate în locaţiile în care se desfăşoară proiectul. Ea poate conţine în esenţă: a) observaţii ale coordonatorului asupra situaţiei proiectului monitorizat (ex.: starea clădirii şi a dotărilor, situaţia bazelor de date, metoda de livrare a serviciului etc.) b) informaţii culese de coordonator în urma discuţiilor cu personalul proiectului sau cu clienţii proiectului; c) recomandări ale coordonatorului pentru îmbunătăţirea performanţelor proiectului.
Datele culese cu ajutorul fişelor de monitorizare:

• 
  Arată dacă proiectele progresează conform planificărilor
  
• 
  Ajută la identificarea eventualelor probleme de implementare sau a elementelor de succes ale proiectelor
  

Un exemplu de fişă de monitorizare se găseşte în Anexa 7.

3. 
   Raportul trimestrial/anual privind progresul proiectelor este întocmit de către implementator şi agregă informaţii din documentele de lucru, din fişele de monitorizare. Raportul are o componentă narativă (conţinând descrierea detaliată a activităţilor şi rezultatelor trimestriale) şi o componentă tehnică (conţinând date numerice, de cele mai multe ori, despre nivelul de îndeplinire a indicatorilor şi activităţilor planificate). Raportul trimestrial şi cel anual vor fi trimise către PR respectând datele limită indicate în acordul de sub-grant încheiat între implementator şi PR.
   

Un exemplu de componentă narativă a raportului trimestrial găsiţi în Anexa 8.

4. 
   Raport de evaluare rapidă a proiectului este rezultatul colectării rapide de date despre activităţile unui proiect, de către implementatori (ca evaluare internă) sau PR (ca evaluare externă). Metodele şi instrumentele de colectare folosite frecvent în acest caz sunt: fişe de observaţie, discuţii focus grup cu beneficiarii proiectului, mini-anchete pe bază de chestionar sau interviu la ieşirea clientului din locaţia în care se oferă serviciului medical etc.
   

Exemple de instrumente ce pot fi utilizate pentru evaluarea rapidă găsiţi în Anexa 9, Anexa 10.

Pentru detalii despre această metodă şi instrumentele ei, puteţi consulta următoarele resurse:

• 
  WHO (2003), Rapid Assessment Report Tehnical Guide, disponibil pe http://www.who.int/docstore/hiv/Core/Index.html
  
• 
  WHO (2004), Rapid Assessment and Response Adaptation Guide on HIV and Men who Have Sex with Men, disponibil pe http://www.who.int/hiv/pub/prev_care/en/msmrar.pdf
  
• 
  Institute for Clinical Evaluative Sciences (1999), Focus group in Health Services Research at the Institute for Clinical Evaluative Sciences, disponibil pe http://www.ices.on.ca/file/Focus%20groups%20in%20health%20services%20research%20at%20the%20Institue%20for%20Clinical%20Evaluative%20Sciences.pdf
  

5. 
   Raport de anchetă „client fals” ca metodă de monitorizare a calităţii serviciilor. „Clientul fals” este o persoana special instruită care accesează un serviciu, prefăcându-se a fi client. La final, raportează experienţa de „client” completând un chestionar sau o fişă de observaţie. Datele culese astfel sunt utilizate de evaluatorul serviciului pentru a descoperi ce aspecte ale serviciului trebuie îmbunătăţite (ex.: atitudinea personalului faţă de clienţii aparţinând anumitor grupuri vulnerabile).
   

Pentru detalii despre această metodă puteţi consulta următoarele resurse:

• 
  Pathfinder International (2006), Using Mistery Clients: A Guide to Using Mistery Clients for Evaluation Input, disponibil pe http://www.pathfind.org/site/DocServer/m_e_tool_series_mystery_clients.pdf?docID=6303
  
• 
  Pathfinder International (2005), Youth-Friendly Services: Uganda - End of Program Evaluation Report, disponibil pe http://www.ayaonline.org/CDWebDocs/AYAResources/Toolbox/EoP_Reports/YFS/UG-FinalYFSreport.pdf
  

6. 
   Raport privind rezultatele anchetei tip KAP (Knowledge, Attitudes and Practices). Ancheta de tip KAP este un tip de cercetare cantitativă ce urmăreşte să descrie cunoştinţele, atitudinile şi practicile unei populaţii cu privire la diverse aspecte ale vieţii, inclusiv sănătate. Colectarea datelor prin studiul KAP se face aplicând un chestionar pe un eşantion de persoane extras din populaţia studiată. Studiul KAP este de obicei efectuat de persoane cu expertiză în designul metodologiei unei cercetări cantitative, al colectării şi analizei datelor de anchetă, al redactării rapoartelor de cercetare.
   

Pentru detalii despre această metodă puteţi consulta următoarea resursă:

• 
  ORG Centre for Social Research (2003), Knowledge, Attitude, Behaviour and Practices (KABP) Survey of Male Reproductive and Sexual Health Among Truckers and Cleaners in Threee Cities of Jharkhand, disponibil pe www.cedpa.org/files/718_file_india_truckerscleaners.pdf
  

7. 
   Raport privind rezultatele anchetei de supraveghere comportamentală (BSS), efectuată în special în rândul grupurilor vulnerabile dificil de atins prin anchete clasice (ex.: ancheta în gospodării, anchetă telefonică etc.). Rezultatele BSS pun în evidenţă schimbările survenite pe termen mediu şi lung la nivelul comportamentelor cu risc de infectare HIV întâlnite într-o populaţie (ex.: consumatori de droguri injectabile, copiii străzii etc.). Cercetările de tip BSS sunt de obicei integrate în sisteme complexe (naţionale, locale) ce monitorizează evoluţia epidemiei (ex.: datele privind schimbările comportamentale sunt corelate cu informaţii epidemiologice despre subiecţii cercetării). BSS este efectuat de obicei de persoane cu expertiză în designul metodologiei unei cercetări cantitative, al colectării şi analizei datelor de anchetă, al redactării rapoartelor de cercetare.
   

Pentru detalii despre această metodă puteţi consulta următoarea resursă:

• 
  Family Health International (2007), Behavioral Surveillance Surveys: Guidelines for Repeated Behavioral Surveys in Populations at Risk of HIV, disponibil pe http://www.fhi.org/en/HIVAIDS/pub/guide/bssguidelines.htm
  

8. 
   Raport de supraveghere epidemiologică în rândul grupurilor vulnerabile rezultă din aplicarea unor metodologii specifice, dezvoltate de persoane cu expertiză (ex.: specialişti epidemiologi), pentru a studia situaţia şi tendinţa unei epidemii (cine este afectat? în ce măsură? în ce regiune geografică etc.).
   

9. 
   Rapoartele serviciilor publice de sănătate conţin date medicale (ex.: număr de teste HIV efectuate, număr de gravide luate în evidenţă, incidenţa infecţiilor cu transmitere sexuala în rândul anumitor grupuri, incidenţă TB la nivel de judeţ etc.) culese din registre medicale, baze de date ale pacienţilor, baze de date epidemiologice etc. În măsura în care sunt disponibile, ele pot fi furnizate implementatorilor sau PR la cerere.
   

Pe lângă sursele de date prezentate mai sus, în cadrul programelor Rundei 6 vor mai fi utilizate şi altele care vor fi identificate în funcţie de nevoile de M&E (ex.: rapoarte ale unor cercetări operaţionale nefinanţate prin program).

Implementatorii îşi vor dezvolta propriile documente de lucru şi fişe de monitorizare, dar vor putea solicita PR asistenţă tehnică în acest sens (pentru tipurile de asistenţă tehnică acordate de PR, vezi subcapitolul VI).
Consultarea implementatorilor cu PR este în schimb obligatorie în ceea ce priveşte elaborarea metodologiilor pentru cercetările planificate în Runda 6. Implementatorii (sau consultanţii/agenţiile de cercetare contractate) se vor consulta cu PR înainte de a începe elaborarea metodologiei. PR şi implementatorii vor cădea de acord asupra variantei finale a metodologiei de cercetare (incluzând instrumentul de colectare a datelor). Consultările vor ajuta la elaborarea unor metodologii de cercetare care să răspundă nevoilor reale de date, nu doar de la nivelul programului Rundei a 6-a, ci şi de la nivel naţional (ex.: măsurarea unor indicatori incluşi în Strategia Naţională HIV/SIDA) sau internaţional (ex.: date pentru măsurarea indicatorilor UNGASS) atunci când este posibil.