Ioan PÂnzaru

Vizita de evaluare

În general vizita are ca scop să se clarifice o serie de detalii din raportul de evaluare, să se explice punctele de vedere, să se împărtăşească dubiile şi reflecţiile, să se facă sugestii de ameliorare, eventual să se compare situaţia din teren cu imaginea dată de raportul de autoevaluare.

Echipa de experţi discută cu conducerea instituţiei, cu profesorii şi studenţii programului sau instituţiei evaluate. În Polonia poate asista şi la ore, poate cere să constate valoarea memoriilor de licenţă şi a disertaţiilor de masterat. Echipa olandeză solicită să vadă lucrări de examen, disertaţii de licenţă, şi să aibă întîlniri cu conducerea, personalul, studenţii, alumni şi angajatorii.

Vizita comisiei de evaluare numită de institutul danez EVA durează o zi şi se bazează pe o listă de control (checklist) cu probleme care trebuie clarificate. Obiectivul vizitei este să se obţină informaţii suplimentare faţă de raportul de autoevaluare. La sfîrşit se redactează o minută, care nu va fi dată publicităţii, şi nici comunicată instituţiei vizitate. Şi în Suedia vizita durează tot o singură zi.

Vizita echipei numite de HEQEC din Letonia durează 2 zile, ca şi aceea a NVAO din Olanda. În Scoţia, vizita Agenţiei de Asigurare a Calităţii se compune din două părţi: partea întîi, care durează două zile, şi partea a doua a vizitei, între 3 şi 5 zile. În cursul celei de a doua părţi a vizitei, echipa se întîlneşte cu studenţii, cadrele didactice şi eventual şi cu reprezentanţi ai angajatorilor. În Anglia, QAA recomandă ca vizita echipei de audit instituţional să dureze 5 zile, de luni pînă vineri. Masteranzii şi doctoranzii sunt invitaţi în mod deosebit la discuţii. Reprezentanţii studenţilor sunt rugaţi să prezinte un document scris. În acest document li se cere să prezinte punctele lor de vedere despre următoarele chestiuni:

• 
  Cît de exacte sunt informaţiile publicate de universitate despre instituţie şi programele de studii?
  
• 
  În ce măsură ştiu studenţii ce se aşteaptă de la ei pentru a avea succes?
  
• 
  Cît de satisfăcătoare este experienţa studenţilor în instituţie, în ce priveşte oportunităţile de studiu, sprijinul primit şi accesul la echipamente şi facilităţi?
  
• 
  Vocea studenţilor se exprimă în universitate? Este ascultată?
  

Echipa de audit are şi sarcina de a verifica în ce măsură sunt împărtăşite de majoritatea studenţilor opiniile exprimate în materialul scris de către reprenzentanţi.

Raportul echipei de experţi

Acesta se concentrează pe punctele tari şi slabe ale programului de studii evaluat. În general, agenţiile naţionale dau un format tip acestui raport.

În Danemarca, raportul descrie obiectivul evaluării, felul în care s-a desfăşurat, analiza raportului de autoevaluare. Echipa poate să-şi prezinte şi propriile puncte de vedere.

Raportul poate fi condiţional, adică permite continuarea programului de studii numai cu preţul introducerii unor ameliorări cerute de echipa de evaluatori. În Polonia, Comitetul de Stat pentru Acreditare conferă calificative care sunt legate de determinarea perioadei pînă la următoarea evaluare şi de cerinţele care trebuie îndeplinite.

Spre deosebire de Statele Unite, în Europa se consideră necesară publicarea integrală a raportului de evaluare.

Raportul este mai întîi comunicat instituţiilor evaluate pentru a se corecta eventuale neînţelegeri sau erori factuale. Fiecare instituţie va primi un exemplar al versiunii finale a raportului de evaluare. Scoţia prevede că părţile relevante din raport (şi nu textul integral al acestuia) vor fi distribuite diferitelor publicuri interesate, în timp ce versiunea integrală, dimpreună cu un rezumat, vor fi făcute publice. Raportul nu va conţine judecăţi sumative, ci se vor comenta dovezile oferite de instituţie asupra propriilor activităţi, precum şi strategiile de îmbunătăţire. Singura concluzie sumativă va fi aceea privind capacitatea instituţiei de a menţine standardele la un nivel acceptabil, şi ea va fi formulată ca „încredere deplină”, „încredere limitată” şi „nici o încredere”.

Efectele evaluării

Raportul echipei de experţi este prezentat consiliului director al agenţiei de acreditare. Aceasta îl dezbate şi ia o decizie finală, dacă este împuternicită s-o facă.

În cazul sistemelor de învăţămînt superior care au o componentă de acreditare, efectele evaluării se exprimă prin autorizarea sau, la limită, interzicerea funcţionării programului de studii sau instituţiei vizitate. Acest tip de efecte a fost tratat în capitolul anterior, în legătură cu misiunile agenţiilor de acreditare şi asigurarea a calităţii. De aceea nu le vom relua aici. Vom vorbi în schimb despre acele efecte care se situează în contextul îmbunătăţirii calităţii.

În general, bunele practici prevăd că după evaluare, echipa de experţi se întîlneşte cu conducerea universităţii pentru a discuta concluziile vizitei. Conducerea (sau în unele cazuri chiar experţii agenţiei) stabileşte măsurile care trebuie luate pentru aplicarea recomandărilor din raport.

Criteriile ENQA recomandă publicarea raportului şi urmărirea aplicării recomandărilor conţinute în acesta.

În Danemarca, instituţia trebuie chiar să pregătească un Plan de urmărire a recomandărilor formulate în raport, care nu se limitează însă doar la acestea, ci poate lansa şi iniţiative noi inspirate de reflecţia asupra procesului derulat. Planul de urmărire va fi publicat electronic pe situl instituţiei nu mai tîrziu de şase luni după difuzarea raportului de evaluare. În Scoţia, instituţia este obligată să pregătească un răspuns la raportul de evaluare, şi acesta va constitui baza discuţiei din anul următor cu agenţia. Dacă instituţia nu inspiră „încredere deplină” (formulă din raport) în ce priveşte asigurarea standardelor, ea trebuie să explice amănunţit în scrisoarea de răspuns ce măsuri a luat pentru a redresa situaţia. În Suedia, comisia poate recomanda ca programului de slabă calitate să i se revoce dreptul de a acorda diplome⁹⁹.

În Austria, în ce priveşte evaluarea Fachhochschulen, echipa de experţi îşi prezintă mai întîi rezultatele în faţa comitetului pentru calitate al Consiliului Fachhochschulen, care stabileşte măsurile de luat pentru ameliorare. Aceste măsuri sunt discutate şi aprobate de Consiliu în şedinţă plenară, după care sunt comunicate instituţiei ce oferă programul de studii sub forma unui plan de îmbunătăţire. Aceasta aplică recomandările, iar programul de studiu primeşte o autorizaţie de funcţionare (acreditare) valabilă 5 ani. După 4 ani se porneşte procedura de reevaluare internă. Cu 6 luni înainte de expirarea termenului, instituţia trebuie să prezinte o nouă cerere sub forma unui raport de autoevaluare complet, în care figurează obligatoriu raportul de autoevaluare al comitetului intern şi o dare de seamă asupra modului cum au fost aplicate recomandările ultimei vizite.

Publicarea rezultatelor evaluării poate fi considerată obligatorie. În Austria, Consiliul Fachhochschulen s-a abţinut de la publicarea rapoartelor de evaluare timp de zece ani, pornind de la considerentul că în publicul austriac cultura evaluării nu este suficient de matură. Oricum, începînd din 2004 rapoartele se dau publicităţii.

Acreditarea este obligatorie în toate ţările europene la nivel de licenţă şi masterat (în Germania numai pentru programele noi, iar în Elveţia e facultativă). În Austria, Flandra, Olanda şi Norvegia, acreditarea este categorică (da/nu), iar în Germania, Irlanda, Spania şi Elveţia poate fi şi condiţională¹⁰⁰. În unele ţări, ca Austria, legea precizează că acreditarea de către o agenţie străină nu poate suplini acreditarea de către agenţia naţională de resort. Perioada de validitate a acreditării variază de la 5 la 8 ani.

Consecinţele financiare ale recunoaşterii unui program de studii (cu sau fără acreditare) pot fi legate de:

• 
  Dreptul de a solicita acreditarea (acolo unde evaluarea calităţii este o precondiţie);
  
• 
  Finanţarea instituţiei de la buget;
  
• 
  Finanţarea studenţilor prin credite de studii;
  
• 
  Accesul la fonduri de cercetare;
  
• 
  Recunoaşterea de către stat a diplomelor.
  

Recomandările Comisiei Europene, ale Asociaţiei Europene pentru Asigurarea Calităţii în Învăţămîntul Superior (ENQA) şi acelea ale Consorţiului European pentru Acreditare (ECA) prevăd un drept de apel în faţa deciziilor agenţiei de evaluare sau acreditare. În Norvegia şi Elveţia există un comitet independent de arbitraj pentru a judeca asemenea litigii. În Irlanda, instituţia care se consideră nedreptăţită se adresează unei agenţii a ministerului. În Germania, apelul se poate face către Akkreditierungsrat. În alte ţări, plîngerea se adresează agenţiei înseşi, şi mai departe rămîne posibilitatea de a o acţiona pe aceasta în judecată.

Efectele acreditării pot fi urmărite şi în alt plan decît cel juridic, şi anume pentru a se vedea dacă evaluarea a avut o influenţă pozitivă asupra programului sau instituţiei evaluate. Un studiu al agenţiei daneze¹⁰¹ urmăreşte să îmbunătăţească metodologia de evaluare prin studierea efectelor acesteia. Participanţii la studiu au fost de părere că efectul cel mai important al evaluării a fost acela de a stimula dialogul şi reflecţia în instituţii asupra propriilor activităţi, acţiunea directă fiind destul de limitată. Chiar conceptul de efect folosit în studiu limita dezbaterea la aceste două criterii: dialogul şi acţiunea directă. Problema efectelor mai poate fi structurată prin distincţia dintre efecte brute (schimbările care au loc cu prilejul evaluării) şi efecte nete (cele care pot fi atribuite exclusiv acesteia). Mediul educaţional fiind foarte complex, nu se pot identifica grupuri de control, deoarece instituţiile sunt foarte diferite între ele şi nu pot fi considerate echivalente. De aceea este necesar să se stabilească ţinte precise pentru evaluare, iar instituţiile să-şi definească obiective de ameliorare, în termeni cît mai neechivoci, astfel încît să fie limpede cum vor fi obţinute datele relative la schimbare. La Universitatea Roskilde, 88% dintre respondenţi au considerat că într-o măsură mai mare sau mai mică, recomandările evaluării au fost aplicate. Pe de altă parte, la Universitatea Aalborg numai 39% au făcut o apreciere analogă.

Evaluarea furnizează date care folosesc la legitimarea deciziilor (în special atunci cînd este vorba de strategii şi de dezvoltare), şi deşi se poate spune că deciziile ar fi trebuit probabil să fie luate oricum, şi fără evaluare, ea oferă transparenţă şi un temei raţional pentru discuţie.