1.1          Objectifs de la mission

1.1.1         Raison d’être et objectifs de l’évaluation et de la capitalisation

Conformément à la Description de l'Action (DoA) et aux recommandations du plan SERA adopté pour le projet, le projet Savoirs éco est soumis à des évaluations à mi-parcours et finales pour garantir sa transparence, son efficacité et son impact. L'évaluation intermédiaire, prévue pour l’automne 2024, sera réalisée par des experts externes conformément aux politiques et procédures de Suivi et d’Évaluation (S&E) d'Expertise France. Elle revêt une importance cruciale, car elle permet d’analyser les progrès accomplis, de tirer parti des leçons apprises et de formuler des recommandations pour orienter les décisions futures.

Cette évaluation est également un jalon essentiel pour assurer la redevabilité du projet envers le bailleur de fonds (UE), l’agence de mise en œuvre (Expertise France), et les bénéficiaires, notamment les Structures Productrices de Savoirs Économiques (SPSE) en Tunisie. Parallèlement, la capitalisation des expériences et savoir-faire est un élément clé de ce processus. Elle vise à recueillir, documenter et diffuser les bonnes pratiques et les enseignements tirés des activités du projet, afin de renforcer les capacités des équipes d’EF et ses partenaires et de guider le développement et la mise en œuvre des futurs projets. L'évaluation et la capitalisation doivent ainsi contribuer non seulement à l'amélioration du projet Savoirs éco, mais aussi à l'optimisation des stratégies de mise en œuvre d'Expertise France.

1.1.2         Objectifs et attentes générales de la mission

L'objectif principal de cette mission est de fournir aux partenaires nationaux (notamment le Ministère de l’Économie et de la Planification et le Ministère de l’Enseignement Supérieur et de la Recherche Scientifique), aux partenaires de mise en œuvre (FERDI, France Stratégie, INSEE et GDN), à  Expertise France (équipes terrain et siège), ainsi qu’à l'Union Européenne :

·                Une analyse globale et indépendante : Une évaluation complète et objective de la performance du projet Savoirs éco, en mettant l’accent sur les résultats intermédiaires obtenus jusqu’à présent par rapport aux objectifs fixés. Cette analyse visera à déterminer dans quelle mesure le projet atteint ses objectifs, identifie les écarts éventuels, et évalue l’efficacité des interventions mises en place.

·                Des leçons apprises et bonnes pratiques : Des enseignements tirés des expériences du projet, accompagnés de recommandations concrètes pour améliorer les actions actuelles et futures. Cette partie de la prestation (évaluation & capitalisation) fournira des bonnes pratiques sur la manière de renforcer les interventions existantes, de corriger les faiblesses identifiées, et d’optimiser les résultats dans la phase restante du projet.

En particulier, cette évaluation-capitalisation servira à orienter les décisions concernant l'ajustement ou la poursuite des activités du projet, en fournissant des preuves concrètes sur sa performance. Elle renforcera la transparence et la redevabilité en fournissant des données fiables et en facilitant l'apprentissage organisationnel. De plus, elle permettra d'identifier les facteurs ayant contribué au succès ou aux obstacles rencontrés, en détaillant les relations de cause à effet et les éléments clés influençant la réalisation des objectifs.

Les exigences spécifiques des bailleurs de fonds, notamment les lignes directrices de l'Union Européenne, seront scrupuleusement respectées pour garantir une évaluation conforme aux standards de qualité, de transparence et de rigueur attendus.

1.2          Périmètre de l’évaluation et de la capitalisation

La mission d’évaluation et de capitalisation portera sur les éléments suivants :

Période : Février 2023 – Septembre 2024 (20 mois);

Composantes : Toutes les composantes du projet Savoirs éco;

Pays : Tunisie;

Contributeurs principaux : L’Union Européenne (UE), Expertise France (EF), Ministère de l’Économie et de la Planification (MEP), Ministère de l’Enseignement Supérieur et de la Recherche Scientifique (MESRS).

Bénéficiaires finaux : Partenaires de mise en œuvre, Structures Productrices de Savoir à vocation Economique (SPSE) en Tunisie.

2           Critères et questions évaluatives et de capitalisation

2.1          Critères et questions évaluatives

L’évaluation utilisera les critères définis par le Comité d’Assistance au Développement (CAD) de l’Organisation de Coopération et de Développement Économiques (OCDE) : pertinence, cohérence, efficacité et durabilité

Les questions d’évaluation détaillées ci-dessous ont été développées de manière participative au sein de l’équipe projet. Elles seront revues par le prestataire au moment de la phase de démarrage de la mission, afin de proposer une version finale dans le rapport de démarrage validé par le comité de pilotage.

Le prestataire devra impérativement fournir des éléments objectifs pour chacune des questions d’évaluation soulevées par l’examen des critères. Dans cette analyse, le prestataire s’assurera que les évaluations concernant chacun des quatre critères couvrent l’ensemble des étapes significatives du cycle du projet. En outre, il devra vérifier si les questions transversales telles que l’égalité des genres et la justice sociale ont été prises en compte lors de l’identification et de la formulation des documents, et évaluer à quel degré elles ont été intégrées dans la mise en œuvre et la supervision de l’action.

2.2          Axes et questions de capitalisation

En plus de l’évaluation, la mission inclura une composante de capitalisation visant à identifier et documenter les savoir-faire, les bonnes pratiques et les leçons apprises au cours de la mise en œuvre du projet Savoirs éco.

Les axes de capitalisation suivants ont été définis et les questions correspondantes ont été élaborées pour guider cette analyse :

3           Description de la mission

3.1          Déroulement de la mission

Le processus d'évaluation et de capitalisation sera mis en œuvre en suivant les étapes ci-dessous :

3.1.1         Phase de cadrage

Au cours de cette phase préparatoire le.s consultant.e.s doivent :

- Rassembler et consulter toutes les informations et tous les documents relatifs au projet à évaluer (instruction, exécution, suivi) et à la compréhension de son contexte.

- Identifier toutes les parties prenantes du projet ;

- Établir un cadre détaillé pour l'évaluation et la capitalisation, en se basant sur les termes de référence, les documents collectés et la logique d'intervention du projet. Cette étape comprendra : (i) la sélection des questions clés sur lesquelles l'évaluation et la capitalisation se concentreront ; (ii) la définition des critères de jugement pour répondre à ces questions ; et (iii) l'identification des indicateurs pertinents et des sources d'information nécessaires (telles que documents, entretiens, groupes de discussion, et enquêtes) pour une analyse approfondie.

A partir de ce travail méthodologique le prestataire proposera une note de cadrage (qui ne devra pas faire plus de 15 pages – Livrable attendu #1) après le démarrage de ses travaux, comprenant les éléments suivants :

- Une description détaillée des objectifs et enjeux de l’évaluation et de la capitalisation ;

- Une description détaillée du périmètre de l’évaluation : temporel, géographique, actions constitutives du projet évalué ;

- Une analyse des parties prenantes ;

- Une reformulation du questionnement évaluatif proposé dans ce document (Voir « Critères et questions évaluatives ») associée à des critères de réussite, des indices et indicateurs et aux outils de collecte que l’équipe d’évaluation prévoit de déployer pour apporter des éléments de réponse sous la forme d’une matrice d’évaluation ;

- Une description détaillée de l’approche méthodologique retenue et des outils de collecte à son service pour la phase d’évaluation ;

- Une reformulation des axes et questions de capitalisation sur la base des informations collectées lors de l’exercice de ligne de temps (identification des moments d’inflexion, de moments clefs) ;

- La stratégie de diffusion de la capitalisation ;

- Un calendrier de réalisation de la mission d’évaluation actualisé.

Ce cadrage fera l’objet d’un échange entre le comité de pilotage[1] et le prestataire et permettra de discuter avec le prestataire de la manière dont il entend structurer la démarche d’évaluation et de capitalisation et d’en vérifier la faisabilité.

Cette phase préparatoire est une phase clé de la mission d’évaluation et de capitalisation, elle permettra de valider la méthodologie proposée par le prestataire.

Durant cette phase, le prestataire organisera des rencontres avec les membres du comité de pilotage, l'équipe du projet, et autres parties prenantes. Des réunions supplémentaires pourront être planifiées à la demande du prestataire.

De plus, un atelier « ligne de temps » sera organisé pour retracer les étapes clés du projet et identifier les moments d'inflexion significatifs. Cet atelier vise à approfondir l'évaluation et la capitalisation, en se concentrant sur l'identification des leçons apprises et la formulation de bonnes pratiques et savoir-faire. Cet exercice sera réalisé entre la phase de réunion de cadrage et la collecte de données. Il servira à créer une vue d'ensemble des moments critiques du projet, permettant ainsi d'orienter l'analyse vers des aspects particulièrement pertinents pour l'évaluation et la capitalisation. Ce processus participatif est essentiel pour s'assurer que les recommandations soient bien ancrées dans la réalité du projet et tiennent compte des expériences et perspectives des différents acteurs impliqués.

3.1.2         Phase documentaire et de collecte

Une revue documentaire approfondie sera réalisée en septembre/octobre 2024. L'analyse des documents pertinents devra être systématique et refléter la méthodologie conçue et approuvée lors de la phase de démarrage. Les activités menées au cours de cette phase devront permettre de fournir des réponses préliminaires à chaque question d'évaluation, en communiquant les informations déjà recueillies ainsi que leurs limites. Ces activités devront également mettre en lumière les questions restant à aborder, les informations manquantes et les hypothèses préliminaires à tester. Les données secondaires suivantes seront partagées avec les évaluateurs :

·       Documents de projet ;

·       Études et évaluations ;

·       Rapports des bailleurs de fonds ;

·       Données de suivi du projet ;

·       Politiques nationales ;

·       Analyses contextuelles ;

·       Autres documents pertinents.

La chargée de suivi évaluation redevabilité et apprentissage (SERA) du projet Savoirs éco, qui servira de point focal, mettra à disposition du prestataire une boîte à outils contenant les documents ressources du projet, tels que le rapport de démarrage et d'autres documents essentiels.

La collecte de données primaires est prévue pour octobre 2024, lors d'une visite sur le terrain des évaluateurs sur le lieu d'intervention. Cette collecte se fera en Tunisie, principalement à Tunis, mais aussi dans les gouvernorats d’activité du projet. Cela inclura, mais sans s'y limiter :

-          L'utilisation de méthodes de collecte qualitatives et quantitatives définies par les évaluateurs avec l'ensemble des parties prenantes du projet, en fonction d'un échantillon suggéré par les évaluateurs ;

-          Visites sur le terrain ;

-          Enquêtes ;

-          Des focus groupes ;

-          Entretiens;

-          Participation à tout atelier/formation durant la période de mise en œuvre de l'évaluation à mi-parcours pour recueillir des informations pertinentes pour la mission, tel que requis par le projet et pertinent pour la mission.

Toutes les étapes de la collecte de données doivent être réalisées de manière éthique et respectueuse. Ainsi, lors de la mission terrain, les consultants.es veilleront à garantir la participation équilibrée des femmes et des hommes dans toutes les activités de collecte de données. De plus, ils accorderont une attention particulière à la confidentialité et à la sécurité des données sensibles, en mettant en place des protocoles de protection des informations collectées. Ces protocoles incluront des mesures telles que le stockage sécurisé des données et la limitation de l'accès aux informations aux seules personnes autorisées. En outre, lors des enquêtes et des entretiens, les consultants.es veilleront à créer un environnement sûr et respectueux, où les participants se sentiront à l'aise pour partager leurs expériences et leurs opinions en toute confidentialité.

Une fois cette phase de collecte achevée, le prestataire devra fournir une base de données brute globale anonymisée (livrable attendu #2). Ce document est crucial, car il permettra au projet Savoirs éco de disposer de l'ensemble des données collectées par les évaluateurs, ce qui pourra être utile non seulement pour l'analyse actuelle, mais aussi pour des utilisations futures, telles que le suivi et l'amélioration continue des activités du projet. La base de données devra être organisée de manière à permettre une exploration facile et une extraction efficace des informations pertinentes, tout en respectant les normes éthiques et de confidentialité.

Une réunion de restitution à chaud par l’évaluateur des résultats préliminaires suite à la phase de collecte devra être réalisée auprès des partenaires sur le terrain.

Phase de co-construction des recommandations et des bonnes pratiques

Pour garantir des recommandations utiles, pertinentes et opérationnelles, le prestataire devra impliquer activement le comité de pilotage de l'évaluation. Cela se fera par l'organisation d'ateliers de co-construction des recommandations, basés sur les résultats préliminaires établis par le prestataire et l'analyse des données collectées au cours de la mission. Ces ateliers permettront de valider les constats, de discuter des options de recommandations et de s'assurer qu'elles soient pragmatiques et adaptées aux besoins des parties prenantes.

3.1.3         Phase de reporting

1)      Un rapport intermédiaire (première version du rapport – Livrable attendu #3)

A l’issue de la phase de collecte, le ou les consultant.e.s produiront une première version du rapport qui restituera les éléments collectés pour chacun des outils de collecte déployé par l’équipe d’évaluation. 

Ce document, qui pourra prendre la forme plus légère d’un diaporama, doit permettre de partager les premiers éléments de collecte et d’assurer la traçabilité des constats et conclusions de l’évaluation depuis les données collectées. 

Il sert de support à une réunion intermédiaire qui réunit l’équipe d’évaluation sélectionnée, EF, l’UE, le MEP et le MESRS. Celle-ci permettra principalement :

-          De partager un niveau de connaissances commun des éléments collectés ;

-          D’esquisser collectivement les grandes lignes de l’analyse croisée ;

-          Et d’identifier d’éventuelles lacunes de la collecte qui nécessite un complément de collecte.

2)      Un rapport final provisoire (Livrable attendu #4)

Un rapport final provisoire qui ne devra pas dépasser les 60 pages hors annexes (cf. plan proposé en annexe 2) sera produit à l’issue des travaux complémentaires d’analyse et de contrôle qualité du ou des consultant.e.s ainsi qu’un support de présentation sous format Power Point.

Ce rapport final provisoire sert de support à une réunion  entre l’équipe d’évaluation sélectionnée et EF, l’UE, le MEP et le MESRS. Celle-ci permettra principalement :

-          De partager et discuter les conclusions provisoires relatives aux questions d’évaluation mais aussi aux leçons apprises et bonnes pratiques relatives à la capitalisation ;

-          De s’assurer que ces conclusions soient suffisamment étayées et d’identifier d’éventuelles lacunes d’analyse qui nécessiteraient un complément d’analyse ;

-          De co-construire les recommandations issues de l’évaluation et de la capitalisation.

-          D’ajuster leur formulation pour aboutir à une production collective de recommandations définitives.

3)      Rapport final définitif et synthèse (Livrable attendu #5)

Un rapport définitif, intégrant les observations d’EF, de l’UE, du MEP et du MESRS, les recommandations identifiées ainsi qu’une synthèse de 5 pages, sera par la suite produit par le prestataire. Une réunion finale entre l’équipe projet Savoirs éco et le prestataire permettra de valider officiellement la dernière version du rapport d’évaluation et de capitalisation.

Si les observations faites expriment des différences d’appréciation non partagées par les consultants, celles-ci peuvent être annexées au rapport définitif et commentées par les consultants.

Après avoir, de manière progressive, exposé ses observations, puis formulé ses constats et porté des jugements sur le projet à l’aune des questions évaluatives, le prestataire devra livrer ses conclusions générales de façon à porter une appréciation d’ensemble sur l’intervention évaluée. Ces conclusions doivent être hiérarchisées par ordre d’importance et classées par ordre de fiabilité.

Le prestataire identifiera des leçons et/ou des recommandations stratégiques et/ou opérationnelles. Ces dernières doivent être liées aux conclusions, regroupées et classées par ordre de priorité. Pour garantir leur opérationnalité et leur adéquation aux activités et résultats du projet, elles seront co-construites avec le comité de pilotage de l’évaluation. Le prestataire devra également formuler des conclusions et des recommandations spécifiques sur l’intégration du genre dans les opérations.

4)      Etude(s) de cas (Livrable attendu #6)

Le prestataire réalisera une ou plusieurs études de cas détaillées, documentant les expériences et les pratiques exemplaires du projet Savoirs éco. Ces études de cas seront basées sur les axes et les questionnements de capitalisation développés, et doivent être rédigées de manière claire et accessible, permettant une utilisation concrète par le projet Savoirs éco et par d'autres acteurs souhaitant s'inspirer des expériences du projet. Ces études de cas serviront également comme outil de décision stratégique, offrant des insights précieux et des bonnes pratiques pour orienter les futures actions et améliorer l'efficacité du projet.

3.1.4         Phase de restitution et de diffusion

Une fois le rapport validé, le.s consultant.e.s animeront un atelier de restitution pour présenter les résultats principaux de leur mission et diffuser les leçons apprises et bonnes pratiques identifiées et documentées lors de l’évaluation/capitalisation. Cet atelier sera principalement destiné à EF, l’UE, le MEP, le MESRS et certains partenaires du projet à identifier en temps voulu et sera organisé à Tunis.

3.2          Livrables attendus

Les livrables devront être soumis par email sous format Word aux destinataires qui seront indiqués à l’évaluateur ou à l’équipe d’évaluation lors de la phase de démarrage. Ils devront être rédigés en français.

En outre, un support de présentation type diaporama devra être produit pour chaque réunion de pilotage.

4           Organisation des travaux

4.1          Pilotage de l’évaluation et gouvernance du projet

La mission d’évaluation et de capitalisation est gérée par la chargée suivi-évaluation redevabilité apprentissage (SERA) du projet Savoirs éco, avec l’aide d’un comité de pilotage composé du chef de projet, le point focal au sein du MEP et du MESRS, un.e représentant.e de l’UE.

Les fonctions principales des membres du groupe de pilotage de l’évaluation sont de :

·         Conseiller et orienter les choix relatifs à la mission d’évaluation et de capitalisation ;

·         Proposer des décisions sur les ajustements à opérer dans la conduite de la mission ;

·         Valider les livrables remis par les évaluateurs ;

·         Assister le processus de rétroaction (feedback) à partir des résultats, des conclusions, des recommandations et des leçons tirées de l’évaluation et de la capitalisation;

·         Assurer un bon suivi du plan d’action une fois la mission terminée.

Des réunions du comité sont prévues au cours de cette mission :

-          En phase de démarrage, pour valider la méthodologie générale de mise en œuvre, le plan de collecte des données et la présentation espérée des livrables attendus, et valider la note de cadrage ;

-          Lors d’un ou des point/s intermédiaire/s pour réagir aux premières analyses et constats, une fois la phase de collecte de données terminée (validation du rapport intermédiaire) ;

-          En phase de finalisation, pour participer à la formulation des conclusions et à la co-construction des recommandations ;

-          Pour valider le rapport final en fonction de l’étendue des points restant à arbitrer.

4.2          Modalités de coordination

Il est demandé au.x consultant.e.s d’associer étroitement les membres du comité de pilotage de l’évaluation (Expertise France, Ministère de l’Economie et de la Planification, Ministère de l’Enseignement Supérieur et de la Recherche Scientifique, l’UE) à la construction de son raisonnement, par des liens réguliers tout au long de la mission, de la note de cadrage jusqu’à la réunion de présentation du rapport final provisoire. En particulier, un partage des constats et des premiers éléments d’analyse doit se faire dès la fin de la mission, avant la rédaction du rapport final provisoire de la mission.

Le lieu d’exécution de la mission d’évaluation et de capitalisation sont définis à Tunis. Tout outil permettant de faciliter les échanges entre l’équipe du projet et l’équipe d’évaluation sera accepté à titre complémentaire et non principal.

4.3          Calendrier

La mission se déroulera entre septembre 2024 et janvier 2025 telle que détaillée ci-dessous à titre indicatif : 

L’équipe d’évaluation sélectionnée devra proposer dans son offre un plan de travail détaillé incluant les jours travaillés par activité et par membre de l’équipe d’évaluation, ainsi que les dates et lieux indicatifs. Ce plan de travail sera discuté et validé lors de la réunion de démarrage.