Programme Régional d’Actions Innovatrices à

2.2Pilotage et évaluation :

Merci de décrire le fonctionnement du système de pilotage

• 
  A-t-il fonctionné comme prévu ?
  
• 
  Quels types de rapports ont été produits : internes ? Externes ?
  
• 
  Quelles techniques de gestion ont été utilisées : un système informatique de suivi ? De nouvelles solutions technologiques ?
  

Merci de décrire le processus d’évaluation

• 
  Y a-t-il eu des changements par rapport au plan original ?
  
• 
  Avez-vous eu recours à des évaluateurs indépendants ?
  

Merci de joindre tous les rapports disponibles sur le programme.

2.2.1Le pilotage

Le pilotage du PRAI est assuré par un comité de pilotage présidé par le Président de la Région Midi-Pyrénées et qui a été représenté par le Vice-Président en charge de la recherche, de l’enseignement supérieur, du transfert de technologies et des TIC. Il est composé d’élus et d’experts représentant les 2 volets du programme :

• 
  3 vices-présidents du Conseil Régional Midi-Pyrénées
  
• 
  des représentants de l’Etat (SGAR, DRIRE, DRRT)
  
• 
  la DG Regio de la Commission Européenne
  
• 
  la Paierie régionale, organisme de Paiement du PRAI
  
• 
  le CCRRDT (Comité Consultatif Régional pour la Recherche et le Développement Technologique)
  
• 
  les organismes de recherche (INRA, CNRS, INSERM)
  
• 
  des représentants des acteurs économiques : l’Incubateur Midi-Pyrénées, et l’association Midibiotech)
  
• 
  2 agences régionales : Midi-Pyrénées Innovation, et l’Agence Régionale pour le Développement de la Société d’Information
  
• 
  les 8 associations départementales des maires
  

Il s’est réuni 2 fois par an (soit 8 réunions) entre 2006 et 2009 pour assurer un suivi global du programme et se prononcer sur les étapes suivantes et les conclusions. Deux comités techniques (Recherche / TIC), émanant du Comité de Pilotage, étaient chargés de se prononcer sur le cadre des appels à projets et la sélection des projets avant le vote de la Commission permanente et d’assurer un suivi spécifique de chaque axe.

La Direction des Affaires Européennes et de la Coopération décentralisée (DAEC) de la Région, dans sa mission de coordination du programme assure le secrétariat de ce Comité de Pilotage (préparation des ordres du jour, logistique, rédaction des comptes-rendu,…).

Un compte rendu est systématiquement rédigé après chaque Comité de Pilotage et diffusé à ses Membres.

2.2.2Suivi et évaluation en continue

Le suivi thématique est assuré par les services gestionnaires instructeurs pour chacun des 2 volets du PRAI :

• 
  le service recherche de la Direction de l’Action Economique et de la Recherche (DAER), pour l’axe I - volet recherche « Mutualisation des plateformes de recherche au bénéfice des entreprises régionales »
  
• 
  le service TIC de la Direction des Politiques Territoriales, du Tourisme et du Cadre de Vie(DPTC) pour l’axe II – volet Société de l’Information « plan internet public et citoyen »
  

Le suivi global du programme, piloté par le service coordinateur (service Animation et Aide au Montage de Projets Européens (SAMPE) de la Direction des Affaires européennes et de la Coopération décentralisée – DAEC), est assuré au travers de tableaux de bord de réalisation physique et financière (calendriers, suivi global de la programmation et des paiements, suivi extra-comptable de l’ensemble des dépenses : subvention et dépenses directes…).

Les modalités de suivi de projets sont par ailleurs répercutées auprès des bénéficiaires de subventions FEDER ou des prestataires des marchés publics. Le renseignement des indicateurs, et la remise de rapports intermédiaires et finaux de ces projets sont ainsi cadrés par une clause spécifique de la convention FEDER-PRAI et/ou de ses annexes techniques. Ces rapports ont ainsi permis aux services gestionnaires du PRAI de recueillir en continu les éléments physiques et financierfinanciers (et notamment les indicateurs) qui ont servi de base aux présentations à destination du Comité de Pilotage et aux rapports intermédiaires et finalfinaux du PRAI.
La gestion du PRAI a reflété une volonté constante de mettre en place des outils d’évaluation et d’obtenir régulièrement des données. Une évaluation spécifique est menée au cas par cas sur certaines actions du programme. Ces éléments sont venuvenus enrichir l'évaluation finale conduite par un organisme indépendant.
Concernant le volet Internet Public et citoyen, des évaluations ont été menées au cas par cas selon les modalités suivantes (A noter : les prestataires sur les actions « formation » et « aide au conseil » ont été mis à contribution pour apporter une analyse globale des actions menées) :

• 
  Action 7-2-sensibilisation : Vérification du nombre d’acteurs sensibilisés  grâce aux feuilles de présence et agrégés dans un tableau de bord synthétique ; base de données des contacts collectivités,…
  
• 
  Action 7-2 atelier des élus : Suivi effectué grâce à de nombreux supports regroupés sur une plate-forme collaborative ; Fiches de contact présentant les informations clés du projet établies à la suite des entretiens téléphoniques du centre d’appels (DRML soula : on laisse ainsi, ces fiches contacts existent ?) ; questionnaires de satisfaction,… Ces derniers ont été distribués lors de chaque buffet et chaque atelier, et remplis sur la base du volontariat. Ces questionnaires portaient sur l’organisation, les interventions, l’intérêt du programme PRAI, l’intérêt pour une aide au conseil, l’intérêt pour un atelier. Les éléments recueillis dans ces questionnaires ont permis d’alimenter le tableau de suivi sur les indicateurs de satisfaction (note générale, note d’intervention …). (Cf. §2.8 « action 7.2.2 » pour les résultats de cette évaluation) et annexe xxx (bilan final action 7.2.2 atelier des élus : « Bilan final des formations e-administration en Midi-Pyrénées »)
  
• 
  Action 7-3 aide au conseil: Processus qualité formalisé dans un kit de conduite de projet, regroupant des documents tels que les supports d’ordre du jour et de compte-rendu de réunion, le planning des tâches, le tableau de bord générique de suivi (intégrant le descriptif synthétique des missions, l’état d’avancement des missions et les fiches d’évaluation des missions), une base d’indicateurs de suivi et d’évaluation, un annuaire des acteurs.
  Sur chaque projet, une demi-journée en fin d’intervention a été entièrement dédiée à l’évaluation au sein de la collectivité.
  Une fiche d’évaluation a été envoyée par la Région à chaque porteur de projet environ 2 mois après la fin de l’aide au conseil, laissant ainsi le temps de répondre à ce questionnaire avec un peu de recul sur le projet et éventuellement ses suites. Cette fiche portait sur l’apport de l’aide au conseil et l’intérêt pour les projets innovants. Les éléments de ces questionnaires sont analysés dans le rapport final d’aide au conseil et permettent notamment de constater : une satisfaction générale, des difficultés de mobiliser en interne…
  
• 
  Action 7-4 projets innovants : L’évaluation (in itinere) a été gérée par le service NTIC selon les critères spécifiés dans le dossier de candidatures (Nombre de projets retenus, nombre et qualité des services numériques mis en œuvre, taux d'utilisation des services). Un tableau de bord de déploiement des projets, dans le respect de leur planning et des conventions FEDER a été tenu à jour et partagé entre la Région et ARDESI lors de réunions régulières.
  

La gestion globale de l’axe est effectuée par le service NTIC de manière quantitative avec les items suivants : nombre de plaquettes envoyées, nombre de dossiers de candidatures envoyés, nombre de dossiers de candidatures déposés (pour l’aide au conseil et les projets innovants) mois par mois.

Concernant le volet "Mutualisation des plate-formes de recherche au service des entreprises innovantes", un suivi régulier a été mené par les chargés de mission de la Région vis à vis des plateformes dont ils étaient référents. Plusieurs contacts par mois (courriel, téléphone ou visites sur le terrain) permettaient de connaître l’avancement des projets.
Cependant, les informations demandées quant à la réalisation des indicateurs de suivi étaient parfois difficilement accessibles, des courriers rappelant aux plateformes et aux tutelles leurs obligations étaient alors systématiquement émis.
En outre, la remise de rapports intermédiaires et finaux a été demandée à chaque plate-forme afin d'assurer un suivi de la réalisation physique des projets (éventuels partenariats mis en place dans le cadre des opérations, partenaires et retombées des projets, impact attendu sur le public-cible des opérations). De la même manière, il est demandé à chaque plate-forme de renseigner dans les rapports intermédiaires et finaux, les indicateurs de suivi, afin de mesurer l’impact de la stratégie adoptée vis-à-vis des objectifs que sont l’ouverture de la plate-forme aux entreprises, et le transfert de technologie vers les PME-PMI innovantes de Midi-Pyrénées.
Il s’avère que les difficultés récurrentes à obtenir des porteurs de projets les informations ou les documents attendus sont imputables au suivi partiel au sein de la plateforme.

2.2.3L’évaluation finale

Comme prévu initialement l’évaluation finale du PRAI a été confiée a à des consultants externes. Le cahier des charge a été soumis par courrier électronique aux comités techniques (émanant du comité de pilotage). La mission a fait l’objet d’une consultation publique en mai-juin 2008 qui a permis de sélectionner le cabinet TECHNOPOLIS parmi les 5 offres reçues. La mission s’est déroulée à l’automne 2008, alors que les actions du PRAI se terminaient. L’évaluation a été réalisée alors que la prolongation du PRAI n’était pas encore envisagée.

La méthode d’évaluation proposée par les consultants repose sur plusieurs outils d’investigation : analyse documentaire, entretiens téléphoniques sur le contexte et la gouvernance du programme, pour l’axe 1 entretien avec les plateformes bénéficiaires et les entreprises utilisatrices ou utilisatrices potentielles, pour l’axe 2 enquête en ligne auprès des bénéficiaires (questionnaire auprès des personnes ayant participé à un atelier des élus, questionnaires auprès des collectivités), étude de cas, benchmarking.

L’ensemble des informations ainsi recueillies onta permis une analyse des résultats action par action, ainsi qu’une analyse selon les critères d’évaluation standard couramment utilisés dans la méthodologie des consultants : pertinence, efficience, efficacité, durabilité, utilité/impact, cohérence. Cette analyse a été complétée par des questions évaluatives spécifiques au PRAI recensées dans le cahier des charges, ainsi que par des recommandations formulées par les évaluateurs.

Les conclusions sont consultables dans le rapport d’évaluation finale ci-joint (annexe xxx) ainsi que dans la présentation faite lors du 7^ième comité de pilotage du 13 mai 2009.
Le PRAI ayant été prolongé après la fin de l’évaluation, les résultats de l’axe recherche ont évolué comme le montre la partie 2.8 du présent rapport.

Les recommandations de l’évaluateur et la prise en compte de la Région Midi-Pyrénées

Recommandation de l’évaluateur	Commentaire Région
1. Le soutien aux plateformes de recherche doit être poursuivi dans le futur	Soutien poursuivi dans le cadre du CPER et un article spécifique sur l’ouverture des plateformes aux PME-PMI régionales et à la présence de la Région dans les structures de gouvernance a été ajouté.
2. Les plateformes doivent être soutenues dans leurs efforts pour se mettre en relation avec d’autres plateformes régionales, nationales voire européennes opérant dans le même domaine	Pour SAP, une gouvernance multi-sites a été mise en place permettant ainsi une communication mutualisée. CALMIP et GRID-MIP se sont dotés d’une gouvernance commune. Les plateformes en sciences du vivant sont regroupées dans le GIS Genotoul ce qui permet également des actions de communications communes.
3. Avant toute nouvelle programmation d’actions de soutien aux plateformes de recherche, des études préalables devront être réalisées afin d’établir plus précisément les besoins des PME dans les domaines d’activités des plateformes et la capacité des plateformes à y répondre	Dans le cadre du CPER le projet de plateforme de galénique avancée a bénéficié d’une étude de marché préalable aux frais du porteur.
4. Le soutien aux plateformes de recherche doit être conditionné à l’ouverture des plateformes aux entreprises au travers de la mise en place d’objectifs quantifiés et individualisés4.	Les objectifs quantifiés d’ouvertures aux PME ne sont pas repris dans les appels à projets en cours. En revanche s’ils l’étaient, ils devraient impérativement être individualisés en fonction de la maturité de la plateforme en terme de service aux PME.
5. Le soutien aux plateformes de recherche doit être conditionné à l’ouverture des plateformes aux entreprises au travers de la mise en place d’objectifs quantifiés et individualisés	Idem recommandation 4 Plus suivi par des indicateurs (SRI ?)
65. L’effort d’accompagnement de l’appropriation des objectifs du programme par les plateformes doit être renforcé à l’instar de la démarche engagée pour le volet « Internet public et citoyen »	Si le même type d’appel à projets était relancé, il faudrait en effet décomposer le processus en étape (analyse du marché, mise en place d’un dispositif assurant l’accueil des PME, mise à niveau des équipements,…)
76. Les plateformes de recherche doivent se doter d’une culture marketing	La Stratégie Régionale de l’Innovation (présentée en assemblée plénière du Conseil Régional Midi-Pyrénées le 25 juin 2009 et lors d’une manifestation le 16 juillet 2009) place au cœur de ses objectifs le soutien à la dynamique d’innovation des PME. Elle a bénéficié des enseignements du PRAI, et en particulier elle prévoit, dans son axe 1 « renforcer la dynamique partenariale et miser sur la complémentarité des compétences entre les acteurs du système régional d’innovation », une mesure complémentaire visant à « proposer un nouveau business model en direction des plateformes technologiques ».
87. Les acteurs du programme doivent s’assurer de l’implication de relais locaux pour relayer l’information (axe TIC)	Pour la généralisation du soutien à l’e-administration, la Région veillera au renforcement de ces relais locaux. Les actions décrites par le Livre blanc s’appuient fortement sur ces relais locaux. Leur mise ne en œuvre effective nécessitera l’implication de ces acteurs, que le PRAI a déjà permis pour la plupart de mobiliser.
98. Le soutien au développement de l’administration électronique sur le territoire midi-pyrénéen doit être poursuivi	Voir perspectives §4 – avenir des actions / du programme
9. La durée de programmation doit être mieux prise en compte lors de l’élaboration de nouvelles actions	Les actions futures tendant à être des dispositifs plus mutualisesmutualisés, la question de la durée de la programmation se pose dans des termes différents : chaque commune ou intercommunalité pourra en disposer sur une période beaucoup moins contrainte.