A methodology for Benchmarking the tvet in Romania

Tipuri de analiză comparativă

Pot fi distinse două tipuri de indicatori de referinţă - pe bază de criterii şi cantitative.

Abordarea bazată de criterii defineşte atributele bunelor practici într-un domeniu funcţional. Un furnizor EFP care doreşte să îşi compare succesul în acel domeniu va evalua dacă a îndeplinit criteriile. Indicatorii de referinţă pot consta într-o listă de verificare a atributelor esenţiale care constituie bune practici. Un număr considerabil de instituţii ÎPT pot atinge nivelul de bune practici conform acestui tip de indicatori de referinţă. Însă pot fi distinse şi nivelurile care nu se încadrează în bunele practici, de exemplu atribute care lipsesc sau care nu se ridică la înălţimea standardelor, semnalând nevoia unor îmbunătăţiri. La nivel european, un exemplu de set de criterii pentru sistemele EFP îl reprezintă lista celor 10 indicatori stabiliţi prin Cadrul Comun de Asigurare a Calităţii, publicată pe website-ul ENQA VET.⁴

Indicatorii cantitativi, pe de altă parte, fac distincţia între nivelurile normative şi competitive de realizare. Aceştia indică situaţiile în care practica este cuantificabil diferită în anumite instituţii. Adesea, diferenţele semnalează bune practici; uneori diferenţele, precum rata elevilor/studenţilor dezavantajaţi din numărul total de elevi/studenţi înmatriculaţi, constituie în egală măsură o chestiune de alegere şi politică, dar şi de bună practică. Ambele abordări în formularea indicatorilor de referinţă sunt valide.

Elaborarea şi selectarea indicatorilor analizei comparative

Care este scopul indicatorilor de benchmarking şi cum se încadrează aceştia în sistemul general de evaluare a calităţii?

Un element esenţial al oricărui sistem util şi funcţional de benchmarking este faptul că, în general, este un sistem care evoluează. Asigurarea calităţii şi evaluarea calităţii constituie un fenomen relativ nou. Există un număr limitat de exemple recunoscute de bune practici în acest domeniu. Instituţiile de învăţământ care participă la procese de benchmarking sunt puţine la număr şi au niveluri de dezvoltare diferite.⁵ Tehnologiile şi abordările pedagogice folosite evoluează, la rândul lor, rapid; prin urmare, deciziile privind abordarea care funcţionează cel mai bine, pentru cine şi în ce condiţii – încă trebuie convenite.

Pentru a folosi indicatori de performanţă pentru comparaţiile efectuate în procesul de benchmarking, ar trebui să se aplice următoarele principii:

• 
  Indicatorii de performanţă trebuie să vizeze schimbările. Pentru reuşita procesului de benchmarking, indicatorii trebuie să surprindă modul în care evoluează în timp structura organizaţională şi practicile de lucru;
  
• 
  Indicatorii sunt specifici contextului; alegerea indicatorilor adecvaţi va depinde de tipul instituţiei şi de practicile de lucru ale acesteia;
  
• 
  Indicatorii de performanţă trebuie aplicaţi împreună cu alte activităţi de evaluare, de exemplu evaluarea colegială externă şi internă; setul de indicatori aplicaţi ar trebui să permită combinarea evaluării ‘interne’ şi ‘externe’. Indicatorii de benchmarking trebuie să ofere o bază comună pentru a permite evaluarea poziţiei şi performanţei instituţionale în relaţie cu alte instituţii. Aceasta înseamnă că, în practică, sunt necesare instrumente de măsură ‘obiective’ şi ‘subiective’, precum şi cantitative şi calitative.
  

Pentru a reuşi definirea unităţilor de măsură comune care reprezintă aspectele importante ale activităţilor de educaţie şi formare profesională ale instituţiilor ÎPT, trebuie concepute şi implementate procese comune pentru definirea şi utilizarea acestora. Astfel de procese comune ar permite fiecărei instituţii să îşi cartografieze procesele interne pentru a genera informaţiile necesare – de exemplu, cine este implicat în procesele de colectare a datelor, ce structuri sunt stabilite, cu ce responsabilităţi, ce fel de resurse sunt incluse etc. Acest tip de informaţii va permite instituţiilor să urmărească etapele în metodologia lor internă, în conformitate cu procesele standard din colectarea datelor pentru benchmarking. Este probabil că fiecare dintre procese va fi divizat în sub-procese, care vor avea nevoie, la rândul lor, de o definire şi înţelegere comună.

În acest context, indicatorii de benchmarking pentru instituţiile ÎPT ar trebui utilizaţi pentru:

• 
  a furniza bazele pentru colectarea datelor privind performanţa educaţională a instituţiei şi a programului;
  
• 
  a monitoriza şi urmări cum evoluează sistemele de asigurare a calităţii ale instituţiilor ÎPT şi care sunt implicaţiile;
  
• 
  a stabili norme procedurale şi operaţionale – indicatori de referinţă – ca urmare a colectării şi analizării acestor date;
  
• 
  oferi fiecărei instituţii baze obiective pentru a-şi evalua punctele forte şi punctele slabe şi a planifica mai bine pentru îmbunătăţire.
  

În vederea sprijinirii procesului de colectare a datelor, Anexa A la prezentul document cuprinde un set de indicatori de performanţă, într-un context de dezvoltare în care fiecare indicator este însoţit de o descriere şi de informaţii privind nivelul de aplicare (sistem, instituţie, departament, program), temeiul comparaţiei, aria de aplicare, scopul, valoarea şi utilitatea, împreună cu posibile limitări în implementare.

Procesul analizei comparative ⁶

1. Context: profil instituţional şi benchmarking

Calitatea ofertei educaţionale nu poate fi întotdeauna stabilită prin măsurile de bază care se aplică firmelor comerciale, sau chiar prin criteriile de evaluare a performanţelor care se aplică în marile organizaţii guvernamentale. Prin ce diferă? Sunt instituţii educaţionale non-profit; toate predau şi oferă servicii comunităţii. În ciuda acestor elemente comune largi, constrânse de istoricul şi de sursele lor de finanţare, au adoptat misiuni foarte diferite. Prin urmare, elevii/studenţii se înscriu la instituţiile ÎPT, iar personalul acestora doreşte să se angajeze acolo din motive foarte variate, incluzând curiozitatea intelectuală şi competenţele pentru învăţarea pe tot parcursul vieţii. Majoritatea elevilor/studenţilor, însă cu siguranţă nu toţi, urmăresc o anumită calificare profesională, ca obiectiv primordial.

Astfel, în majoritatea aspectelor instituţiile ÎPT trebuie măsurate după alte criterii decât profitul sau valorificarea activelor. Cu toate acestea, benchmarking-ul este la fel de important în instituţiile de învăţământ precum este şi în alte domenii. Acestea au nevoie de puncte de referinţă pentru bune practici şi de modalităţi de a-şi îmbunătăţi funcţionarea.

Aceste aspecte contextuale sugerează că, pentru fiecare instituţie, există un punct de pornire diferit. Profilul acesteia, capacitatea instituţională, climatul organizaţional, preocuparea pentru îmbunătăţirea calităţii, dorinţa de schimbare, resursele şi datele disponibile şi nivelul de autonomie – toate acestea au impact asupra naturii şi dimensiunii exerciţiului de benchmarking. Instituţiile care demonstrează încredere în sine şi care şi-au stabilit obiective înalte, de exemplu, vor căuta imediat să se compare cu alte instituţii cu realizări mai bune; alte instituţii pot dori să efectueze acest exerciţiu întâi la nivel intern, apoi cu instituţii similare, axându-se mai mult pe aspectele funcţionale decât pe cele strategice.

Diversitatea instituţională trebuie luată în considerare atent în faza de planificare a procesului. Instituţiile sunt foarte diferite în termeni de profil al elevilor/studenţilor şi al personalului, resurse utilizate, mediul familial şi comunitar, nivel de sprijin etc. Aceste diferenţe pot afecta performanţa instituţiei, deci trebuie analizate atent atunci când se aplică standardele de benchmarking pentru evaluarea lor. Prin urmare, este deosebit de important ca, în această etapă a procesului de benchmarking, să se convină asupra criteriilor de selectare şi grupare a instituţiilor ÎPT/furnizorilor de EFP care au caracteristici contextuale similare, pentru a participa la exerciţiul de benchmarking ţi pentru a stabili un grup de potenţiale instituţii de referinţă. Pentru a sprijini acest proces de selecţie şi grupare, Anexa B la prezenta lucrare cuprinde un chestionar pentru stabilirea profilului furnizorului EFP.

B. Scop, obiective şi perspective

Scopul unui exerciţiu de benchmarking trebuie să fie clar definit de la bun început: ce doriţi să aflaţi, de ce, şi ce intenţionaţi să faceţi cu rezultatele? În această fază a procesului de benchmarking trebuie să se ia decizii privind scopul şi rezultatele preconizate şi trebuie identificate domeniile sau aspectele legate de activităţile instituţiei care vor fi supuse procesului de benchmarking.

Alegerea proceselor ar trebui să fie în concordanţă cu profilul instituţiei, precum şi cu misiunea şi dezvoltarea organizaţională a acesteia. Întotdeauna este esenţial să existe o înţelegere clară a problemelor şi, pe baza nevoilor, acestea trebuie prioritizate, astfel încât să poată fi lansat un exerciţiu de benchmarking realist, dispunând de resurse adecvate.

C. Definirea modelului de benchmarking

Însă cum se poate măsura cel mai bine dinamica instituţională? Dacă este adevărat că o instituţie nu poate fi sigură că se schimbă într-o anume privinţă decât dacă poate măsura schimbarea respectivă, identificarea unor instrumente adecvate de măsurare a performanţei capătă o importanţă crucială. În această etapă trebuie dezvoltat un set convenit de elemente de măsură sau de indicatori cheie de performanţă, împreună cu definiţiile acestora. Este recomandabil să elaboraţi un document-model, care să fie utilizat în cadrul vizitelor şi întâlnirilor cu eşantionul de instituţii selectate pentru respectivul exerciţiu, în etape ulterioare ale procesului de benchmarking. Anexa C la prezentul document include un astfel de exemplu.

În ceea ce priveşte nivelul de implicare în procesul de benchmarking, atât abordarea unu-la-unu cât şi cea colaborativă sunt considerate valoroase în colectarea sistematică şi comparativă a datelor şi în etapele ulterioare ale procesului. În ambele cazuri, aspectele ce ţin de încredere, confidenţialitate şi schimb de informaţii trebuie tratate cu multă atenţie. Benchmarking-ul de tip unu-la-unu poate fi iniţiat prin activităţi de studiu/cercetare la nivel instituţional, analizând datele disponibile public referitoare la una sau mai multe alte instituţii, ca exerciţiu comparativ pentru redactarea unor rapoarte privind îmbunătăţirea. Abordările colaborative au avantajul de a oferi posibilităţi de extindere a reţelelor de cooperare şi de dezvoltare profesională între colegii din diferite instituţii, consolidând astfel dimensiunea de învăţare a exerciţiului de benchmarking în vederea îmbunătăţirii şi obţinerii unor performanţe mai înalte. Exemple de benchmarking colaborativ se pot regăsi în multe reţele europene de universităţi.⁷ Un exerciţiu de benchmarking implică interacţiuni în ambele sensuri ale scării ierarhice, între factori decizionali şi membrii personalului la diferite niveluri. Aceasta va asigura atât implicarea în proces, cât şi consensul în privinţa implementării.

In 2006, Aarhus University initiated a benchmarking exercise (www.au.dk/benchmarking), inviting the four universities of Kiel, Bergen, Gothenburg and Turku to join. All are multi-faculty higher education institutions, with a broad range of science and teaching, and all are located in the second largest town in their country.

The benchmarking exercise was launched for an initial three-year period focusing on research management, management of international Master’s programmes and PhD studies. Aarhus coordinates the initiative.

Annually, the universities’ Rectors meet. In addition, the partners organise two to three face-to-face meetings every year and engage in intermediate communication by email and by telephone.

D. Planificarea şi managementul exerciţiului de benchmarking

Înainte de a începe exerciţiul de benchmarking mai trebuie parcurse câteva etape pentru a asigura că toate eforturile se îndreaptă în direcţia cea bună. Pregătirile încep prin a stabili ce trebuie realizat prin benchmarking şi ce tip de benchmarking se va folosi. Principalele etape în faza de planificare includ:

• 
  decizia privind utilizarea (sau nu) a unor pre-standarde/indicatori de referinţă deja existenţi, ca punct de pornire
  
• 
  întocmirea unui plan de acţiune pentru colectarea datelor, analizarea acestuia împreună cu furnizorii EFP/instituţiile care fac parte din parteneriat
  
• 
  stabilirea unei reţele de contacte
  
• 
  desemnarea echipei de benchmarking, a personalului participant şi a instituţiei moderatoare
  
• 
  întocmirea unui plan de acţiune cu ţinte pentru îmbunătăţire
  
• 
  implementarea planului de acţiune şi stabilirea unor noi domenii pentru benchmarking
  
• 
  decizia în privinţa unui plan de acţiune clar şi a alocării sarcinilor (cine prelucrează datele, cine pregăteşte rapoartele etc.), a unui calendar cu etape esenţiale, a numărului de întâlniri (intern şi cu partenerii). Toate acestea vor determina volumul de timp pe care trebuie să îl aloce personalul, precum şi bugetul.
  
• 
  pentru un exerciţiu de benchmarking colaborativ care implică mai mulţi parteneri, va fi necesar ori să desemnaţi o şcoală care să acţioneze în calitate de coordonator pentru întregul exerciţiu ori să angajaţi un consultant (sau un alt tip de organizaţie) pentru a acţiona în calitate de moderator extern al partenerilor.
  
• 
  În cadrul fiecărei instituţii, ar fi util să desemnaţi să care să acţioneze ca manager de proiect pentru a coordona contribuţiile diferitelor persoane, a conduce echipa implicată în exerciţiul de benchmarking şi a menţine legătura cu conducerea instituţiei.
  

După finalizarea procesului de planificare şi stabilirea de comun acord a eşantionului de instituţii care vor fi implicate în exerciţiul de benchmarking, pot demara aranjamentele pentru vizitele la instituţii. Toate aceste faze se vor desfăşura pe baza informaţiilor colectate prin intermediul chestionarului inclus în Anexa B şi a criteriilor de selecţie convenite între instituţiile partenere. Activităţile de management din această etapă includ de obicei:

• 
  convenirea datelor şi a programului pentru o vizită de benchmarking şi obţinerea confirmărilor de la participanţii la vizită; pregătirea vizitatorilor pentru vizită şi asigurarea spaţiului de lucru pentru participanţi; pregătirea pentru vizită a organizaţiilor partenere în exerciţiul de benchmarking şi trimiterea documentelor în avans.
  
• 
  efectuarea vizitelor – vizitarea organizaţiilor partenere în exerciţiul de benchmarking utilizând documentul-model ca bază a întâlnirilor
  
• 
  analizarea datelor colectate (intern şi extern) – prin chestionare, vizite pe teren, evaluări colegiale.
  

Pregătirea rapoartelor sinoptice pentru fiecare organizaţie, utilizând modelul furnizat, identificarea lacunelor şi formularea recomandărilor de schimbări vor constitui etapa următoare în managementul exerciţiului de benchmarking. Înaintarea unui raport privind constatările către fiecare organizaţie participantă şi recunoaşterea implicării acestora în exerciţiul de benchmarking constituie, de asemenea, o responsabilitate a echipei de management.

Exerciţiile de benchmarking necesită timp şi implicare din partea directorilor instituţiilor ÎPT. Timpul alocat depinde de natura şi dimensiunea exerciţiului de benchmarking. Unele exerciţii de benchmarking sunt stabilite ca o activitate unică, vizând analizarea unui anumit aspect, pentru un timp foarte scurt. În unele cazuri, acestea sunt apoi extinse pentru a analiza şi alte aspecte. Însă, în general, ca instrument de management benchmarking-ul este cel mai eficace atunci când este aplicat în mod continuu.

E. Colectarea datelor

Procesul de colectare a datelor joacă un rol esenţial în exerciţiul de benchmarking, deoarece calitatea şi validitatea datelor determină în mare măsură succesul întregului exerciţiu. Pentru a asigura colectarea cu succes a datelor, trebuie luate în considerare trei aspecte principale: alegerea metodei de colectare a datelor; colectarea datelor şi raportarea rezultatelor.

Alegerea unei metodologii pentru exerciţiul de colectare a datelor

• 
  Tipul şi volumul datelor care vor fi colectate vor depinde foarte mult de aspectele pe care se axează exerciţiul de benchmarking. În orice caz, volumul datelor colectate ar trebui să fie realist, pentru rezultate optime.
  
• 
  Măsuraţi numai ce este necesar (nu ce este măsurabil) şi selectaţi sau elaboraţi indicatorii cei mai buni cu putinţă, care vă vor da posibilitatea să definiţi ţintele pe termen scurt şi lung şi standardele de referinţă.
  
• 
  Odată ce temele pe care se axează exerciţiul de benchmarking sunt clare, este util să alocaţi un timp studierii indicatorilor bazaţi pe performanţă existenţi, pentru domeniul în care doriţi să aplicaţi exerciţiul.
  
• 
  Pentru colectarea datelor, metoda va depinde în mare măsură de aspectele pe care se axează exerciţiul de benchmarking şi de rezultatele preconizate ale acestuia. Datele cantitative, informaţiile calitative, concentrarea asupra proceselor de management sau o combinaţie a acestora constituie toate opţiuni viabile.⁸
  

Colectarea datelor

Autoevaluarea reprezintă prima etapă pentru un exerciţiu eficace de benchmarking al instituţiilor, iar un instrument excelent in acest sens poate fi analizarea instituţiei, întocmirea unui inventar de indicatori şi stabilirea ţintelor de îmbunătăţire.

Alegerea metodelor de colectare a datelor depinde de numeroşi factori; manualele care prezintă metode de cercetare pot oferi toate informaţiile necesare. Cu toate acestea, o abordare întâlnită adesea este următoarea:

• 
  În primul rând, concepeţi un document-model pentru colectarea informaţiilor. O întâlnire preliminară cu toţi partenerii ar constitui o valoare adăugată, sporind nivelul de implicare şi înţelegere.
  
• 
  O opţiune pentru pasul următor este trimiterea documentului-model/chestionarelor la toţi partenerii, indicând data limită până la care trebuie să le completeze şi returneze. Instituţia coordonatoare trebuie să dispună de personalul necesar pentru asigurarea clarificărilor. Puteţi dori să adăugaţi interviuri telefonice sau vizite pe teren, pentru aspectele calitative ale exerciţiului de colectare a datelor.
  
• 
  Alternativ, puteţi dori să colectaţi datele calitative numai prin vizite pe teren, efectuate de doi/trei experţi care vor utiliza un chestionar şi liste de verificare. Validarea informaţiilor de către parteneri, pentru a asigura acurateţea acestora, este esenţială.
  
• 
  Colectarea tuturor datelor într-un format standardizat / într-o bază de date este extrem de importantă pentru utilizarea acestora în exerciţiul de benchmarking, precum şi în alte scopuri.
  
• 
  Pentru evaluarea performanţei instituţiilor de învăţământ superior în conformitate cu un set de indicatori de referinţă, se utilizează adesea fişe de punctaj.
  

Raportarea rezultatelor

• 
  Următoarea etapă va consta în prelucrarea datelor şi întocmirea unor rapoarte comparative structurate şi transparente privind rezultatele, care pot fi clar înţelese de toţi cei implicaţi.
  
• 
  Rezultatele raportării ar trebui:
  
  • 
    să fie duse la îndeplinire de o manieră eficace (intern/extern)
    
  • 
    să producă informaţii (calitative/cantitative) bine structurate, transparente şi comparabile, în vederea identificării bunelor practici şi a lacunelor în performanţă, care pot conduce la stabilirea altor ţinte în viitor
    
• 
  să aplice măsuri în vederea sporirii credibilităţii şi vizibilităţii exerciţiului de benchmarking
  
• 
  Diseminarea publică a rezultatelor va consolida atât reputaţia instituţiilor de învăţământ superior, cât şi pe cea a exerciţiului de benchmarking însuşi în rândul factorilor interesaţi. Aspectul comunicării către exterior a rezultatelor trebuie analizat atent. Rezultatele exerciţiului de benchmarking vor crea noi indicatori de referinţă pentru sectorul respectiv, astfel încât publicarea rezultatelor este importantă, însă, evident, o atenţie specială trebuie acordată aspectelor confidenţiale. Unele exerciţii de benchmarking au compilat anonim rezultatele pentru anumite aspecte ale exerciţiului care implicau date sensibile.
  

In the context of quality assurance in Australia, Benchmarking: A manual for Australian universities, McKinnon (1999) identified important aspects for university life and ways to benchmark them, providing 67 benchmarks in 9 areas of university activity, i.e. governance, planning and management, external relationships, financial and physical infrastructure, learning and teaching, student support, research, library and information services, internationalisation and staffing. The manual identified good practices and how to assess achievements in terms of outcome, i.e. lagging, drivers and learning.  See http://www.dest.gov.au/archive/highered/otherpub/bench.pdf

F. Convertirea procesului de benchmarking în noi abordări şi modalităţi de operare

Odată cu implementarea noilor abordări şi modalităţi de operare începe un nou ciclu: noile modalităţi de lucru vor trebui evaluate, după ce a trecut suficient timp pentru a produce impact, şi comparate cu impactul obţinut de noile abordări ale altor instituţii. Cu alte cuvinte, va evolua în mod natural o nouă rundă de benchmarking.