Evaluarea Strategiei Naționale Antidrog 2005-2012

Metodologia evaluării

Justificare și obiective

Derulată în perioada august – octombrie 2012, evaluarea a fost inițiată de reprezentanța UNICEF în România, în colaborare cu Agenția Națională Antidrog (ANA) și a fost realizată de echipa de consultanți (evaluatori) ai Fundației Romanian Angel Appeal (RAA). Demersul a urmărit să identifice și să măsoare efectele implementării Strategiei Naționale Antidrog la finalul perioadei de planificare 2005-2012. În baza analizei datelor colectate, consultanții au formulat recomandări ce au fost comunicate ANA pentru a servi la elaborarea Strategiei Naționale Antidrog și a planurilor de acțiune aferente perioadei de programare 2013-2020. Formulate pentru un termen scurt sau lung, recomandările propun soluții pentru eficientizarea măsurilor antidrog implementate în perioada 2005-2012, dar fac și referire la acțiuni cu totul noi ce ar trebui implementate de ANA și de alți actori naționali.

Obiectivele misiunii de evaluare (așa cum au fost menționate în Termenii de referință) ai au fost:

3. 
   Evaluarea acțiunilor/măsurilor propuse și implementate prin Strategia Națională Antidrog 2005-2012 și planurile de acțiune (2005-2008 și 2010-2012) în toate ariile: reducerea cererii și ofertei de droguri, cooperare internațională, coordonare interinstituțională, informare, cercetare și evaluare.
   
4. 
   Identificarea realizărilor și a lecțiilor învățate în urma implementării SNA 2005-2012.
   

Cadrul evaluării

Evaluarea acțiunilor SNA s-a realizat prin raportare la criteriile de evaluare OECD/DAC - relevanță, eficiență, eficacitate, sustenabilitate și impact - precum și la criteriile privind respectarea drepturilor omului și utilizarea managementului bazat pe rezultate. În Caseta 1 este prezentat modul de operaționalizare al acestor criterii.

Caseta 1. Întrebări orientative pentru evaluarea în raport cu criteriile stabilite

Relevanța măsurilor SNA 2005-2012

* Acțiunile (măsurile) SNA și rezultatele acestora sunt în acord cu obiectivele specifice și generale formulate de Strategie?

Eficacitatea măsurilor SNA 2005-2012

*În ce măsură au fost atinse obiectivele specifice/generale ale SNA?

*Ce factori au facilitat atingerea/neatingerea obiectivelor?

Eficiența măsurilor SNA 2005-2012

*Obiectivele SNA au fost atinse la timp?

*Rezultatele obținute în urma implementării acțiunilor/măsurilor prevăzute de SNA au fost pe măsura resurselor alocate? (resurse umane, financiare, timp etc.)

Sustenabilitatea măsurilor SNA 2005-2012

*Ce factori au influențat sustenabilitatea acțiunilor/măsurilor implementate în linie cu obiectivele SNA?

*În ce măsură s-au dovedit sustenabile acțiunile/măsurile finanțate din fonduri internaționale?

Impactul măsurilor SNA 2005-2012

*Ce s-a întâmplat ca urmare a implementării acțiunilor/măsurilor SNA?

Respectarea drepturilor omului și a echității

*Acțiunile/măsurile implementate au generat încălcări ale drepturilor omului și ale principiului echității? Ce tip de încălcări?

Management bazat pe rezultate

*Principiul managementului bazat pe rezultate a fost utilizat în proiectarea și implementarea acțiunilor/măsurilor SNA? În ce fel?

Consultanții au recurs la perspectiva actorilor (instituții și organizații) implicați în acțiunile românești antidrog și la perspectiva beneficiarilor de servicii de reducere a cererii de droguri. Cu alte cuvinte, concluziile privind efectele implementării SNA nu sunt măsurări obiective, cuantificabile ale progresului, eficacității, impactului și sustenabilității măsurilor antidrog din perioada 2005-2012. De exemplu, perspectiva asupra eficienței acțiunilor antidrog derulate în România în perioada de referință nu este un calcul al parametrilor de cost-eficiență, ci un răspuns subiectiv la întrebările “Obiectivele SNA au fost atinse la timp?” și “Rezultatele obținute în urma implementării acțiunilor/măsurilor prevăzute de SNA au fost pe măsura resurselor alocate? (resurse umane, financiare, timp etc.)”. Lipsa unor indicatori și a unor ținte măsurabile în planurile deacțiuneale SNA nu a făcut posibilă cuantificarea gradului de atingere al obiectivelor strategiei, al impactului acțiunilor și a cost-eficienței acestora.
Evaluarea nu și-a propus o inventariere a acțiunilor de reducere a cererii și a ofertei de droguri întreprinse pe întreg teritoriul țării în perioada 2005-2012; cu siguranță am identifica sute de acțiuni, derulate de unul sau mai mulți parteneri, cu acoperire redusă sau națională, finanțate din surse puțin cunoscute sau de către donori notorii. Din acest motiv, nu am menționat sau analizat:

• 
  serviciile oferite de organizații care nu au ca domeniu principal de activitate reducerea cererii de droguri;
  
• 
  intervențiile implementate la scară redusă (de exemplu campanii de prevenire la nivel local, la nivel de școală, activități de training);
  
• 
  mesajele de informare/prevenire care nu fac parte dintr-o campanie articulată etc.
  
• 
  intervenții ale căror rezultate nu erau documentate prin/în rapoarte publice
  

Întrucât perspectiva dominantă în acest demers este analiza de ansamblu (macro) a progresului implementării SNA 2005-2012, în raport s-a făcut referire doar la acțiunile menționate cel mai frecvent de către respondenți, la cele evaluate de aceștia ca fiind importante, la cele cu acoperire geografică sau demografică mare.

Colectarea și analiza datelor

Evaluarea s-a bazat pe două abordări de colectare a datelor:

• 
  Analiza (engl. desk research) documentelor disponibile în statistici oficiale, în rapoarte de activitate și de cercetare (furnizate de ANA sau de alte organizații românești), în documente legislative, comunicate oficiale, pagini de Internet etc. Datele astfel colectate au fost utilizate la descrierea contextului socio-legislativ al implementării SNA 2005-2012, precum și la completarea/confirmarea informațiilor colectate de la diverși actori (instituții, persoane fizice) care au participat la procesul de evaluare.
  
• 
  Colectarea și analiza datelor calitative prin interviuri individuale (față-în față sau prin e-mail) și interviuri de grup, pe baza ghidurilor de interviu/de focus grup prezentate în Anexa 2 a acestui raport.
  

Sumarul metodelor și instrumentelor de colectare a datelor, precum și procedurile de selecție a participanților la interviurile de grup și individuale este cuprins în tabelul de mai jos.

Tabel 1. Sumar al metodelor, instrumentelor și procedurilor de selecție utilizate în colectarea datelor

Metode/Instrumente	Nr. participanți	Selecția participanților
Analiza documentelor (rapoarte de activitate, statistici, rapoarte de cercetare, legislație)	-	-
Focus grup cu adolescenți (Ghid de focus grup)	4 participanți (2 fete, 2 băieți)	Invitațiile transmise către 10 adolescenți - 5 băieți, 5 fete, cu vârste între 14 și 18 ani, elevi în licee publice și private din București. Fiind perioada vacanței de vară, adolescenții au fost identificați prin intermediul relațiilor personale ale angajaților/colaboratorilor RAA.
Discuție de grup cu adolescenți (voluntari în de Asociația Tineri pentru Tineri - TnT) (Ghid de discuție)	20 participanți	Discuția cu evaluatorii RAA a avut loc în cadrul unei întâlniri tehnice cu adolescenți, voluntari în programe de educație pentru sănătate implementate în București de Asociația Tineri pentru Tineri (TnT).
Focus grup cu părinți (Ghid de focus grup)	4 participanți (femei)	Invitații transmise către 10 părinți (6 femei, 4 bărbați) cu copii adolescenți, elevi în licee publice și private din București. Fiind perioada vacanței de vară, părinții au fost identificați prin intermediul relațiilor personale ale angajaților/colaboratorilor RAA.
Focus grup cu deținuți (Ghid de focus grup)	4 participanți (bărbați, vârsta >18 ani – program substitutiv) 9 participanți (bărbați, vârsta >18 ani - grup)	Selecția participanților s-a realizat prin intermediul echipei medicale din Penitenciarul Jilava, după următoarele criterii: * 6-8 deținuți (bărbați, 18+ ani) care au beneficiat în detenție (în penitenciare românești) de programe de schimb de seringi și/sau tratament substitutiv cu metadonă * 6-8 deținuți (bărbați, 18+ ani) care sunt beneficiari ai Comunității Terapeutice Jilava
Focus grup cu tineri și adolescenți fără adăpost care consumă droguri injectabile (Ghid de focus grup)	10 participanți	Selecția participanților s-a realizat prin intermediul echipei de teren a Fundației Parada, după următoarele criterii: 10 adolescenți și tineri fără adăpost care își injectează droguri, clienți ai serviciilor Parada, vârste între 15 și 24 de ani, minim participante 2 femei.
Focus grup cu femei înscrise în tratament substitutiv cu metadonă (Ghid de focus grup)	6 participanți	Selecția participantelor s-a realizat prin intermediul echipei centrului de tratament substitutiv „TITAN” al Asociației Române Anti SIDA (ARAS) după următoarele criterii: 6-8 femei cu vârsta > 18 ani (minim 2 participante în grupa de vârsta 18-24 ani).
Interviuri individuale cu profesori (Ghid de interviu)	10 interviuri (3 electronice, 7 față în față)	Respondenții au fost profesori diriginți la clasele V-VIII din Școală Nr. 71 din București. În această unitate școlară s-au derulat programe antidrog în perioada 2005-2012. Școala a fost identificată prin intermediul colaboratorilor RAA.
Focus grup cu furnizori publici de servicii de reducere a cererii de droguri (Ghid de focus grup)	4 participanți	Selecția furnizorilor de servicii s-a realizat după următoarele criterii: numărul de clienți (cât mai ridicat), tipul de servicii (astfel încât să fie reprezentate toate tipurile), experiența (cât mai îndelungată).
Focus grup cu furnizori privați de servicii de reducere a cererii de droguri (Ghid de focus grup)	10 participanți	Invitație transmisă de echipa de evaluare principalilor furnizori de servicii private (non-profit și for-profit) din zona București/Ilfov
Interviuri individuale cu reprezentanți ai unor organizații publice și private implicate în implementarea SNA sau colaboratoare ale ANA^19 (Ghid de interviu)	55 interviuri (electronice și față în față)	Invitații de a contribui la evaluare a fost transmise către cca 70 de instituții și organizații românești și internaționale implicate în reducerea cererii și ofertei de droguri. Au fost transmise invitații către: *Toate instituțiile publice naționale menționate în planurile de acțiune ale SNA ca fiind responsabile cu implementarea strategiei *ONG-uri românești din aria reducerii cererii de droguri care nu au participa la focus-grupul destinat furnizorilor privați de servicii. Criteriile de selecție ale acestora au fost identice cu cele de la focus grupuri. *Principalele instituții internaționale care au finanțat/susținut semnificativ programele antidrog românești în perioada 2005-2012. Lista acestor instituții a fost solicitată Agenției Naționale Antidrog.

Reprezentanța UNICEF România și Agenția Națională Antidrog au susținut echipa de consultanță în procesul de identificare și contactare a instituțiilor publice implicate în implementarea SNA 2005-2012.²⁰

Pe lângă descrierea obiectului evaluării și a metodologiei studiului, raportul mai cuprinde: cinci capitole, prezentând rezultate, concluzii și recomandări aferente măsurilor implementate sub ariile SNA; un capitol final ce prezintă sumarul concluziilor și recomandărilor formulate; lista instituțiilor și organizațiilor care au contribuit la evaluare (Anexa 1); ghidurile de focus grup și de interviu individual utilizate pentru colectarea datelor calitative (Anexa 2); bibliografia consultată.