Listă de abrevieri

12. Sistem de măsurare a gradului de implementare STI pe baza definirii indicatorilor de performanță (KPIs)

Sistemul de indicatori ai planului de monitorizare ROR-ITS-SAP include un număr extins de indicatori, pentru fiecare dintre aceștia fiind completate informații conform unei structuri ce include următoarele secțiuni:

Identificarea indicatorului: titlu și ID indicator (cod de identificare), cât și denumirea și descrierea indicatorulu, surse de date și unitatea de măsură;

Cadrul de performanță: valoarea de bază a indicatorului, cât și ținta intermediară prevăzută (pentru anul 2020) și ținta finală prevăzută (pentru anul 2023).

În cadrul Anexei 1 – Strategia STI au fost propuse, printre altele, și măsuri generale de modificare a structurii organizatorice în cadrul CNAIR în vederea creării condițiilor organizaționale eficiente pentru implementarea Strategiei și a Planului de Acțiune STI. Astfel, a fost propusă o structură dedicată pentru implementarea proiectelor STI – Unitatea de Implementare STI. În cadrul acestei structuri, a fost propusă o sub-unitate – Biroul de Management al Portofoliului STI. Personalul acestui birou va fi responsabil de monitorizarea și managementul performanței implementării Strategiei și Planului de Acțiune STI, precum și de raportarea implementării. Există, de asemenea, numeroase proiecte și recomandări soft pentru implementarea cărora este necesară cooperarea între acest birou și alte departamente din cadrul CNAIR și / sau alte entități relevante implicate. În plus, există anumite proiecte și recomandări soft a căror performanță în implementare trebuie gestionată de alte departamente din cadrul CNAIR, Biroul de Management al Portofoliului STI având în aceste cazuri un rol consultativ și de monitorizare. Aceste cazuri sunt evidențiate în descrierea fiecărui indicator care intră în această categorie.

12.1.Metodologia de definire a indicatorilor de performanță (KPI)

Procesul de elaborare a indicatorilor de performanță și valorile țintă pentru monitorizarea implementării Strategiei STI și a performanței în implementare a vizat elaborarea a două tipuri de indicatori:

Indicatori de rezultat – acești indicatori corespund portofoliului de proiecte STI propuse în cadrul ROR-ITS-SAP și sunt astfel indicatori fizici, specifici proiectului vizat.

Indicatori de efect – acești indicatori corespund problemelor / obiectivelor strategice identificate în cadrul ROR-ITS-SAP, și sunt necesari pentru a demonstra că pe lângă îndeplinirea indictorilor fizici aferenți fiecărui proiect STI propus, sunt făcute progrese și în rezolvarea problemelor și în atingerea obiectivelor strategice aferente implementării sistemelor de transport inteligente.

Următoarele sub-capitole descriu modul de completare a fiecărei secțiuni din tabelul indicatorilor ce va fi prezentat la finalul capitolului și alte elemente componente ale planului de monitorizare a îndeplinirii indicatorilor.

12.1.1.Identificarea indicatorilor

Secțiunea referitoare la ”identificarea indicatorului” furnizează informații generale pentru indicatorii de rezultat și de efect, precum:

Indicatorii de rezultat:

”ID” – codul de identificare pentru indicatorii de rezultat este dezvoltat pe baza următoarelor informații:

1. 
   Numărul Programului STI în cadrul căruia este inclus proiectul evaluat (definit de prima cifră din ID);
   
2. 
   Numărul Proiectului STI a cărei implementare este evaluată de indicatorul respectiv (definit de cel de-al doilea număr din ID);
   
3. 
   Numărul indicatorului de rezultat aferent fiecărui proiect STI evaluat (definit de cel de-al trilea număr din ID, exprimat în formatul roman – e.g. i, ii, iii).
   

”Indicator cheie de performanță” – titlul indicatorului cheie de performanță;

”Descriere” – descrierea extinsă a indicatorului cheie de performanță și a valorilor de bază și a țintelor intermediare și finale;

”Unitatea de măsură” – în general, indicatorii sunt cantitativi și exprimați numeric, dar există și indicatori cu ținte calitative. Fiecare indicator propus, inclusiv cei cu ținte definite calitativ, este de tipul SMART – Specific, Measurable, Achievable, Relevant, Time-bound (Specific, Măsurabil, Realizabil, Relevant, încadrabil în Timp).

În ceea ce privește sursa informațiilor de colectat pentru monitorizarea evoluției indicatorilor de rezultat, se propune verificarea respectării și / sau a îndeplinirii indicatorilor de performanță în diferite etape ale ciclului de viață a proiectelor (pregătire, licitație, execuție / instalare), cu luarea in considerare a diferitelor surse de date aferente fiecărei etape. Verificarea respectării indicatorilor încă din primele etape ale ciclului de viață a proiectelor va permite identificarea timpurie a potențialelor situații de neconformitate. În acest scop se propun următoarele surse de date pentru verificarea respectării / îndeplinirii indicatorilor de performanță:

►   Studii de fezabilitate / Proiecte tehnice (pentru verificarea respectării indicatorilor în etapa de pregătire);

►   Caiete de sarcini și documentații de atribuire (pentru verificarea respectării indicatorilor în etapa de licitație);

►   Rapoarte de monitorizare a lucrărilor (pentru verificarea respectării indicatorilor în etapa de execuție / instalare);

►   Protocoale de acceptanță a lucrărilor / furnizării sistemelor / prestării serviciilor (pentru verificarea îndeplinirii indicatorilor).

Indicatorii de efect:

”Arii de impact” – ariile strategice pentru care este măsurat impactul STI prin respectivii indicatori de efect;

”Indicator de efect” – titlul indicatorului de efect;

”Sursa de date” – sursa informațiilor / datelor de colectat pentru monitorizarea evoluției indicatorilor cheie de performanță;

”Unitatea de măsură” – unitatea de măsură a indicatorilor (ce poate fi cantitativă, calitativă, sau ce va trebui definite în faza de stabilire a acestor indicatori).

12.1.2.Cadrul de performanță

Cadrul de performanță cuprinde următoarele informații legate de indicatorii cheie definiți în cadrul sub-secțiunii anterioare:

”Valoare de bază” – reprezintă valoarea indicatorului determinată în momentul evaluării / inventarierii inițiale, realizate la începutul perioadei de implementare a Strategiei și a Planului de Acțiune STI;

”Valoarea intermediară (2020)” – reprezintă valoarea indicatorului determinată în momentul inventarierii / evaluării intermediare, realizate la mijlocul perioadei de implementare a Strategiei și a Planului de Acțiune STI;

”Valoare finală (2023)” – reprezintă valoarea indicatorului determinată în momentul inventarierii / evaluării finale, realizate la finalul perioadei de implementare a Strategiei și a Planului de Acțiune STI.

12.1.3.Raportare

1. Raportarea îndeplinirii indicatorilor de rezultat

Raportarea indicatorilor de rezultat, definiți în cadrul acestui capitol, va fi realizată de către Biroul de Management al Portofoliului STI, care va monitoriza implementerea proiectelor STI propuse în cadrul ROR-ITS-SAP. Pe baza monitorizării, biroul va oferi rapoarte periodice către conducerea companiei, Ministerului Transporturilor și eventual, în anumite cazuri, principalelor instituții implicate. Instituțiile implicate pot propune măsuri preventive sau măsuri de corecție în cazul în care se observă o nerespectare a țintelor stabilite sau un posibil risc în acest sens.

Monitorizarea indicatorilor de rezultat prezintă o bază solidă pentru evaluarea implementarii Directivei STI în Romania, proiectele măsurate de aceștia fiind propuse pe baza domeniilor prioritare definite în Directivă.

Tabel – Instituții și frecvența raportării

Nr.	Instituție	Frecvența raportării
1	CNAIR	O dată pe lună
2	Ministerul Transporturilor	Ministerul Transporturilor va fi informat de către CNAIR în urma raportărilor lunare
3	Autoritățile de Management (ale Programelor Operaționale din care sunt finanțate proiectele)	Frecvența raportării va respecta prevederile relevante din contractele de finanțare ale fiecărui proiect
3	Agenții executive ale Comisiei Europene responsabile de implementarea unor programe de finanțare gestionate direct de CE (precum programul Connecting Europe Facility), prin care se pot finanța proiectele STI definite	Frecvența raportării va respecta prevederile relevante din contractele de finanțare ale fiecărui proiect
4	CC STI	O dată la 3 luni
5	Comisia Europeană	Conform Art. 17 al Directivei 2010/40/UE, ulterior raportului inițial, se va prezenta un raport la fiecare trei ani privind progresele înregistrate în ceea ce privește implementarea acțiunilor prevăzute de Directivă

Mai mult decât atât, se propune folosirea listei de indicatori de către autoritățile relevante în elaborarea caietelor de sarcini pentru a dezvolta cerințele de servicii și aplicații STI. Totodată, se propune introducerea indicatorilor de rezultat relevanți în caietele de sarcini aferente lucrărilor de infrastructură cu component STI în vederea asigurării conformității furnizorului de servicii cu Strategia și Planul de Acțiune STI.

De asemenea, trebuie menționat faptul că modul de implementare al fiecărui proiect STI individual va fi dat de Arhitectura Națională STI, care va stabili relațiile funcționale între toate serviciile / aplicațiile STI prevăzute a fi implementate pe rețeaua națională de drumuri. Astfel, vor putea fi observate posibile sinergii sau complementarități între proiecte, lucru care va trebui luat în considerare în monitorizarea și raportarea indicatorilor de rezultat (de exemplu, dacă va fi posibilă implementarea tuturor portalurilor STI propuse în proiectele 3.2, 3.3, 3.4 și 3.5 în cadrul unei singure platforme - indicatorii vor trebui să monitorizeze dacă funcțiile / serviciile prevăzute în cadrul fiecărui proiect propus sunt respectate, nu portalurile în sine).

2. Raportarea îndeplinirii indicatorilor de efect

În vederea definirii, colectării și evaluării datelor legate de indicatorii de efect propuși în cadrul prezentului raport de monitorizare, se propune efectuarea unui exercițiu de evaluare ex-ante înainte de implementarea ROR-ITS-SAP, un exercițiu de evaluare intermediară la mijlocul perioadei de implementare (2020), și a unui exercițiu de evaluare ex-post la finalul perioadei de implementare (conform bunelor practici, după minim 2 ani de la finalizarea perioadei de implementare a ROR-ITS-SAP).

Aceste evaluări vor juca un rol important în raportarea progresului în implementarea Strategiei și a Planului de Acțiune STI, fiecare îndeplinind roluri specifice în evaluarea și măsurarea impactului măsurilor propuse, precum și în stabilirea valorilor de bază și a țintelor intermediare și finale. În figura de mai jos este prezentată secvențierea evaluărilor propuse, cât și principalele obiective ale fiecărui tip de evaluare.

Figure – Secvențierea evaluărilor ROR-ITS-SAP și principalele obiective

Astfel, evaluarea ex-ante trebuie efectuată înainte de începerea implementării ROR-ITS-SAP, ca proces pregătitor acesteia. Principalul rol al acestei evaluări este de a defini principalii indicatori de efect, cât și de a strânge informații relevante în vederea definirii țintelor intermediare și finale. Mai mult decât atât, evaluarea intermediară trebuie efectuată la mijlocul perioadei de implementare a ROR-ITS-SAP, în scopul evaluării progresului intermediar în raport cu indicatorii definiți în faza ex-ante, în vederea propunerii unor recomandări sau măsuri de corecție. În final, evaluarea ex-post are rolul de a evalua progresul final în raport cu indicatorii definiți în faza ex-ante și a recomandărilor din faza intermediară, și de a efectua analiza de impact a implementării ROR-ITS-SAP. Evaluările intermediare și ex-post vor trebui să răspundă unei serii de întrebări menite să aducă cunoștințe noi autorităților care gestionează implementarea ROR-ITS-SAP, dar și să analizeze progresul în raport cu indicatorii de efect stabiliți, contribuind astfel la îmbunătățirea implementării Strategiei și a Planului de Acțiune prin actualizări ulterioare. Se propune ca toate aceste evaluări să fie derulate de către Biroul de Management al Portofoliului STI, cu asistența expertizei externe după caz și nevoi, conform principiilor și metodologiilor propuse în ghidurile EasyWay pentru evaluarea programelor și proiectelor STI.

Evaluarea finală de impact, sintetizată într-un raport final de implementare, se propune a analiza, printre altele, următoarele dimesiuni legate de implementarea ROR-ITS-SAP:

Figure – Dimensiuni de evaluare a impactului

Pe baza acestor dimensiuni, pot fi puse o serie de întrebări de evaluare care să conducă autoritățile de implementare la răspunsuri concludente ce vor ajuta în actualizarea intermediară a Strategiei și a Planului de Acțiune STI (în măsura în care acest lucru va fi necesar), cât și în definirea unor obiective strategice îmbunătățite.

Eficiență

A fost mobilizată expertiza necesară pentru implementarea Strategiei și a Planului de Acțiune?

Au fost obiectivele programelor / proiectelor implementate aliniate logicii intervenției Strategiei și a Planului de Acțiune și direcțiilor generale ale țării în domeniul transportului?

Eficacitate

Care este progresul în relație cu obiectivele propuse? Dar progresul în relație cu problemele identificate inițial?

Au profitat toți beneficiarii țintă de impacturile / beneficiile realizate?

În ce măsură a îmbunătățit implementarea Strategiei și a Planului de Acțiune STI experiența utilizatorilor infrastructurii rutiere?

Impact

În ce măsură este progresul realizat datorat Strategiei și a Planului de Acțiune STI?

Sunt și alte efecte, pozitive sau negative, rezultate din implementarea Strategiei și a Planului de Acțiune STI?

Au existat variații / inconsistențe în implementare? În ce măsură pot fi atribuite diferențele de impact acestor variații în implementare?

Sustenabilitate

În ce măsură este progresul realizat sustenabil pe termen lung?

Ce alte mecanisme au fost implementate, sau este necesar a fi implementate pentru a facilita efectele dorite și sustenabilitatea lor?
Totodată, evaluarea efectelor implementării Strategiei și a Planului de Acțiune STI va trebui să răspundă unei serii de întrebări specifice legate de impacturile aplicațiilor / serviciilor STI instalate pe rețeaua națională de drumuri ca urmare a ROR-ITS-SAP, conform indicațiilor din ghidurile de evaluare EasyWay:

Tabel – Întrebări pentru evaluarea impactului serviciilor STI

Nr.	Întrebări pentru evaluarea efectelor
1	Cum afectează serviciile / aplicațiile STI implementate numărul, timpul, modul călătoriei și costurile sale?
2	Cum afectează serviciile / aplicațiile STI implementate alegerea rutelor, timpul de călătorie, fluxul de trafic și congestia?
3	Cum afectează serviciile / aplicațiile STI implementate apariția incidentelor, impactul acestora și posibilitatea gestionării incidentelor?
4	Cum afectează serviciile / aplicațiile STI implementate experiența unor grupuri specifice de utilizatori, precum persoanele în vârstă și persoanele cu dizabilități?
5	Cum afectează serviciile / aplicațiile STI implementate oportunitățile de afaceri și bunăstarea diferitelor organizații?
6	Cum afectează serviciile / aplicațiile STI implementate siguranța și securitatea traficului, mediul, peisajul și structura comunității?
7	Cum afectează serviciile / aplicațiile STI implementate, de exemplu, nevoia de a construi și a recondiționa infrastructura de transport?
8	Cum afectează serviciile / aplicațiile STI implementate mentenanța infrastructurii și costurile operaționale?
9	Cum afectează serviciile / aplicațiile STI implementate costurile operaționale ale transportului public?
10	A fost estimată cantitatea și calitatea altor impacturi relevante?

În vederea raportării asupra progreselor în îndeplinirea indicatorilor de efect aferenți Strategiei și Planului de Acțiune STI, rezultatele evaluărilor intermediare și ex-post descrise anterior vor fi diseminate instituțiilor relevante, în vederea validării rezultatelor dar și în vederea colectării de propuneri și măsuri corective ce pot îmbunătăți documentele strategice și aplicarea lor pentru restul perioadei.

Derulând aceste evaluări intermediare și ex-post, Biroul de Management al Portofoliului STI va avea acces direct la rezultatele evaluărilor și la recomandările aferente, aplicând măsurile de corecție necesare.

Prin procesul de raportare a Strategiei și Planului de Acțiune STI se prevede de asemenea intervenția actorilor relevanți (în special Ministerul Transporturilor, conducerea CNAIR, CC STI) pentru care se va asigura un circuit de diseminare a rezultatelor exercițiilor de evaluare. Acest circuit de feedback va oferi posibilitatea tuturor actorilor relevanți implicați să propună măsuri de corecție asupra implementării ROR-ITS-SAP. Mai mult decât atât, circuitul de feedback va implica activ Ministerul Transporturilor și CC STI în propunerea măsurilor de corecție, permițând acestora să intervină la nivel strategic și / sau legislativ pentru a asigura buna implementare a Strategiei și a Planului de Acțiune STI. Acest circuit este prezentat schematic, simplificat în diagrama de mai jos.

Figure – Circuit de feedback pentru implementarea Strategiei și Planului de Acțiune STI