OBJECTIFS DE LA MISSION

Au regard de l’enjeu du projet, de la durée de la phase pilote (4 ans 2021-2024), de la dimension multi-acteurs, de l’approche multi-secteurs, de l’approche particulièrement innovante, et de la sensibilité des questions de genre dans les contextes actuels des pays du Sahel et selon les préconisations du plan de suivi-évaluation adopté pour le projet, l’équipe projet souhaite mener une évaluation externe finale, conformément au disposition interne de redevabilité de EF.

Cette évaluation finale est un jalon du projet pour assurer sa redevabilité envers le bailleur de fonds l’Agence Française de Développement (AFD), l’agence de mise en œuvre (Expertise France), et les bénéficiaires du projet, soit les OSC porteuses des initiatives soutenues par le FGS. Cet exercice d’évaluation finale est d’autant plus important qu’il intervient suite à une mission d’évaluation à mi-parcours de la phase pilote du projet, à un exercice de capitalisation de la phase pilote, à une mission d’instruction pour la formulation de phase 2 et à des nouvelles orientations souhaitées par le bailleur. En effet, cette phase pilote prend fin au 31 décembre 2024 et le bailleur (AFD) au regard des résultats de l’exercice d’évaluation à mi-parcours, a octroyé le 12 décembre 2024, une phase 2 du Fonds Genre EDIFIS pour 3,5 millions d’euros. La phase 2 du projet est actuellement en cours de formulation et s’inscrira dans la continuité du présent projet, toujours en appui aux OSC féministes locales dans les pays suivants : Côte d’Ivoire, Guinée, Mauritanie, Sénégal et Tchad. Ainsi, cette évaluation finale permettra d’affiner le dispositif et la stratégie d’intervention déjà amorcés au regard des résultats de terrain.

Objectifs et attentes générales de la mission

Cette évaluation finale a pour principal objectif de fournir aux partenaires financiers (AFD), aux partenaires institutionnels impliquées, aux bénéficiaires directs des interventions du FGS, à Expertise France (équipes terrain et siège) et ses autres projets similaires :

•       Une analyse globale et indépendante de la performance du projet FGS, en prêtant une attention particulière à ses résultats, en comparaison avec les objectifs fixés ;

•       Des leçons et des recommandations, de manière à améliorer, le cas échéant, les actions présentes et futures.

En particulier, cette évaluation finale servira à :

•       Fournir des éléments d’appréciation au regard du contexte régional et des pays sur (i) la pertinence de la conception globale du Projet, (ii) la pertinence des orientations et des approches retenues, (iii) la pertinence des choix des OSC et des initiatives retenues.

•       Apprécier la qualité du dispositif d’accompagnement en place : le rôle d’appui - accompagnement et conseils par l’équipe opérationnelle terrain, y compris des Expert.e.s pays mobilisé.e.s , les mécanismes, méthodes et outils d’accompagnement proposés.

•       Apprécier la performance d’ensemble de la mise en œuvre des initiatives des OSC

•       Apprécier les résultats (activités et indicateurs), les effets émergents, les enseignements (bonnes pratiques et les leçons apprises) et/ou points d’attention-clés pour la phase 2 du FGS,

•       Evaluer le niveau de renforcement des capacités organisationnelles des OSC au cours des 2 années de mise en œuvre des initiatives (développement organisationnelle, capacité opérationnelle, etc.)

•       Analyser la collaboration actuelle entre les acteurs/ parties prenantes du partenariat EDIFIS, en mettant en exergue les opportunités du contexte au plan politique, économique, institutionnel pour le projet et les partenariats développés.

•       Analyser la coordination avec le volet AT EDIFIS, en mettant en exergue les opportunités d’actions conjointes entre OSC et partenaires institutionnels.

•       Formuler un ensemble de recommandations stratégiques et concrètes pour la future phase.

•       Analyser la mise en place du dispositif de suivi-évaluation dans la phase 1 et formuler un ensemble de recommandations sur le dispositif de suivi-évaluation pour la phase 2.

L’évaluateur devra fournir les éléments de preuves expliquant les analyses, les liens de cause à effet et identifier les facteurs générant ou entravant le progrès. Le travail devra encourager la responsabilisation, la prise de décisions, et l’apprentissage de cette phase pilote.

Enfin, cette évaluation finale devra permettre de documenter l’apprentissage envers le bailleur de fonds qui est l’Agence française de développement (AFD), l’agence de mise en œuvre (Expertise France), et les organisations de la société civile bénéficiaires des appuis de la phase pilote du projet. Elle doit également permettre d’identifier des enseignements et des bonnes pratiques qui serviront à améliorer les performances d’autres projets menés par Expertise France.

PERIMETRE DE L'EVALUATION

L’évaluation finale portera sur les éléments suivants : 

• Période d’évaluation : Janvier 2021 – avril 2025 (une NCE étant en exécution à partir de janvier à juin 2025)
• Composantes concernées : les trois composantes du projet FGS ;
• Pays : Burkina Faso – Mauritanie – Niger – Sénégal – Tchad ;
• Bénéficiaires : OSC bénéficiaires directs des appuis du FGS, les partenaires institutionnels étatiques/autres parties prenantes au niveau local (collectivités territoriales, structure techniques déconcentrées), AT EDIFIS, AFD.
• Durée : l’évaluation finale aura lieu entre Janvier et mai 2025. Le livrable final est attendu au plus tard le 10 mai 2025. La version provisoire du livrable et les premiers résultats intermédiaires devront être disponibles pour être présentés à l’atelier de clôture d’avril 2025.

CRITERES ET QUESTIONS EVALUATIVES (à compléter / affiner) 

L’évaluation utilisera les critères définis par le Comité d’Assistance au Développement (CAD) de l’Organisation de Coopération et de Développement Économiques (OCDE) : cohérence, pertinence, efficacité, efficience, impact, viabilité, en fonction des objectifs attendus de cette évaluation. Les questions évaluatives présentées ci-dessous ont été développées de manière participative au sein du groupe de pilotage (cf. Point 4) et devront être revues par l’équipe d’évaluation au moment de la phase de démarrage afin de proposer une version finale dans la note de cadrage qui sera validée par le groupe de pilotage.

Tableau 1 : Proposition des critères d’évaluation

L’équipe d’évaluation devra impérativement fournir une appréciation « objective » sur chacune des questions d’évaluation soulevées par l’examen des critères.  Dans le cadre de cette analyse, le(s) consultant.e.s s’assureront que les jugements formulés pour chacun des critères d’évaluation permettent de recouvrer l’ensemble des étapes marquantes du cycle du projet.

Le projet pilote FGS étant classé CAD 2, l’évaluation finale portera une attention particulière sur la prise en compte du genre dans ce projet et sur les effets émergeants transformatifs en cours. Des exemples de questions spécifiques au genre sont donnés dans les boîtes à outil sectorielles « genre » que l’on peut trouver sur le site Internet de l’AFD. Enfin il est aussi attendu de l’évaluateur une analyse et une formulation de recommandations vis-à-vis du dispositif de suivi-évaluation ayant été établi dans la phase 1 (pertinence des données recueillies, adaptation des outils, manques identifiés et bonnes pratiques…) pour nourrir celui qui sera établi dans la phase 2.

DESCRIPTION DE LA MISSION ET METHODOLOGIE

Le FGS s’appuie sur la politique de Suivi-évaluation- capitalisation d’Expertise France et dispose d’un Plan de suivi évaluation ayant servis à l’élaboration de ces termes de références. Il est attendu que l’équipe d’évaluation associe étroitement Expertise France (la cheffe de projet, la chargée de projet ainsi que la coordonnatrice SERA), ainsi que les membres du groupe de pilotage de l’évaluation à la construction tout au long de la mission, de son raisonnement par des liens réguliers, notamment pour la validation de la note de cadrage et la présentation des rapports intermédiaires et finaux. Sans être exhaustive, les grandes étapes de l’évaluation finale devraient comprendre les phases suivantes :

A. Phase de démarrage

Au cours de cette phase préparatoire, l’équipe d’évaluation devra :

·     Consulter toutes les informations et tous les documents relatifs au projet à évaluer (instruction, exécution, suivi) qui permette la compréhension de son contexte. Les documents à consulter seront mis à la disposition des consultants par le réfèrent désigné par le FGS.

·     Identifier toutes les parties prenantes du projet ;

·     Reconstruire la logique d’intervention du projet en étudiant le cadre logique du projet afin : (i) de clarifier les objectifs de l’intervention et de les traduire en changements attendus et (ii) d’aider à juger la cohérence interne de l’intervention et (iii) à identifier les hypothèses de départ (ou postulats, souvent implicites) qui ont guidé a priori le montage du projet, et d’en évaluer a posteriori le bien-fondé ;

·     Approfondir le cadre de l’évaluation sur la base des termes de référence, des documents collectés et de la logique d’intervention reconstruite. Plus particulièrement, il s’agira : (i) de préciser les principales questions qui serviront à focaliser le travail d’évaluation sur un nombre restreint de points clés ; (ii) d’établir les étapes du raisonnement qui permettront de répondre aux questions (critères de jugement) ; (iii) de préciser les indicateurs à utiliser pour répondre aux questions et les sources d’informations correspondantes (documentation, entretiens, focus group, enquêtes, …).

À partir de ce travail méthodologique l’équipe d’évaluation proposera une note de cadrage incluant :

·     Une description détaillée des objectifs et enjeux de l’évaluation.

·     Une description détaillée du périmètre de l’évaluation : temporel, géographique, actions constitutives du projet évalué.

·     Une analyse des parties prenantes.

·     Une reprise de la théorie du changement du projet.

·     Une reformulation du questionnement évaluatif.

·     Y associer des critères de réussite, des indices et indicateurs et aux outils de collecte que l’équipe d’évaluation prévoit de déployer pour apporter des éléments de réponse sous la forme d’une matrice d’évaluation[1].

·     Une description détaillée de l’approche méthodologique retenue et des outils de collecte retenus pour cet exercice.

·     Un calendrier de réalisation de la mission d’évaluation actualisé.

Ce cadrage fera l’objet d’un échange entre l’équipe projet, les membres du groupe de pilotage et l’équipe d’évaluation et permettra de discuter avec eux ou elles de la manière dont l’équipe d’évaluation entend structurer la démarche évaluative et d’en vérifier la faisabilité. Cette phase préparatoire est clé et permettra de valider la méthodologie proposée par les consultants.

Les acteurs ou informateurs clés incontournables à rencontrer sont :

·     Le partenaire financier AFD à travers la Cellule Lien Social (CLS) et la responsable équipe projet (REP) actuelle du projet (de la division Gouvernance de l’AFD au siège à Paris) et la REP qui a travaillé sur la phase de démarrage du projet,

·     La chargée de suivi du Partenariat EDIFIS pour la Direction régionale grand Sahel basée à Ouagadougou (DRGS),

·     Les référent.e.s genre des agence AFD dans les pays,

·     La Chargée de projet Expertise France basée à Paris,

·     La cheffe de Département Migration, genre et droits humains (MGDH) et la responsable de l’Unité genre de EF basées à Paris,

·     La coordonnatrice SERA d’Expertise France basée à Paris,

·     La Cheffe de Projet AT- EDIFIS et /ou son équipe basée à Dakar,

·     Des partenaires institutionnels ayant participé à des activités du FGS dans les pays,

·     Les Experts pays d’appui aux OSC des 5 pays (Burkina Faso, Mauritanie, Niger, Sénégal, Tchad)

·     Les responsables des équipes projets des OSC bénéficiaires directs des interventions du FGS (subvention – renforcement des capacités – réseautage et partage des bonnes pratiques) qui mettent en œuvre les 18 initiatives subventionnées par le FGS (le point focal genre, le point focal suivi capitalisation, le responsable financier, le/la coordonnatrice de l’initiative),

·     Un échantillon des bénéficiaires finaux par OSC et par pays,

·     L’équipe projet terrain basée à Ouagadougou (cheffe de projet, experte renforcement des capacités et capitalisation, Experts suivi évaluation, RAF, Assistant de projet, des prestataires mobilisés dans le cadre du FGS…)

NB : dans la note de cadrage, l’équipe d’évaluation pourra proposer une liste d’informateurs clés plus exhaustive à la lecture de la documentation fournie.

B. Phase de collecte

La collecte de données inclura l’utilisation de plusieurs méthodes de collecte qualitatives et quantitatives pour pouvoir trianguler l’information^[2]. Lors de cette étape, l’équipe d’évaluation s’appuiera sur les données déjà recueillies (indicateurs de suivi, analyse documentaires) et procédera à la collecte de données secondaires si nécessaire.

Cette collecte se fera essentiellement via une mission terrain (si possible) des consultant.e.s sur les lieux d’intervention d’une durée estimative de 3 jours par pays retenu (Mauritanie, Sénégal, Tchad). Le déroulé de cette mission devra être décrit dans un programme partagé avec Expertise France. Expertise France appuiera et facilitera l’organisation de ses visites. L’équipe d’évaluation pourra également procéder à la collecte d’information à distance dans les pays non visités (Burkina Faso et Niger) . L’approche méthodologique adéquate sera proposée par l’équipe d’évaluation qui pourra retenir différentes méthodes pour tenir dans les temps et les délais :  des visites terrain sur les différents sites de mise en œuvre incluant par exemple des observations de pratiques ; des enquêtes par questionnaires ; des focus groupes, des entretiens individuels ; les études de cas sur les thématiques phares du FGS. Une revue documentaire incluant les données de suivi / études menées dans le cadre du projet /RETEX, évaluations intermédiaires, etc.

A la suite des visites terrain, l’équipe d’évaluation devra restituer les résultats préliminaires de la collecte de données.

NB : Pour cet exercice, l’équipe projet au regard de la limite du temps et des défis pour disposer des éléments pertinents et utiles pour la fin de sa phase souhaite que l’accent soit mis sur deux principaux volets :

·     Une revue documentaire/de données : documents de projet, données de suivi de projet, conclusions et recommandations d’évaluations, études menées sur le projet ou sur la thématique du projet, capitalisations menées dans des projets similaires antérieurs, rapport de capitalisation, etc.

·     Un atelier de réflexion collaboratif et participatif en ligne.

Selon la méthodologie qui sera proposée et retenue, un travail en amont pourrait être demandé si besoin de consultation des OSC bénéficiaires du FGS via des entretiens individuels semi-dirigés ou des enquêtes.

C. Phase de formulation des livrables

Un rapport intermédiaire

A l’issue de la phase de collecte, l’équipe d’évaluation produira un rapport intermédiaire qui restituera les éléments collectés pour chacun des outils de collecte déployé par l’équipe d’évaluation. Ce document doit permettre de partager les premiers éléments de collecte et d’assurer la traçabilité des constats et conclusions de l’évaluation depuis les données collectées.  Il servira de support à une réunion intermédiaire qui réunira l’équipe d’évaluation, Expertise France et les membres du groupe de pilotage de l’évaluation, y compris l’AFD. Celle-ci permet principalement de(i) partager un niveau de connaissances commun des éléments collectés ; (ii) d’esquisser collectivement les grandes lignes de l’analyse croisée ; (iii) et d’identifier d’éventuelles lacunes de la collecte qui nécessite un complément de collecte à distance.

Un rapport final provisoire

Un rapport final provisoire de maximum 40 pages hors annexes (cf. plan proposé en annexe 4 et grille de contrôle qualité en annexe 3) sera produit à l’issue des travaux complémentaires d’analyse et de contrôle qualité de l’équipe d’évaluation, ainsi qu’un support de présentation sous format Power Point. Ce rapport final provisoire sert de support à une réunion  entre l’équipe d’évaluation, Expertise France et le groupe de pilotage de l’évaluation, y compris l’AFD. Celle-ci permet principalement de (i) partager et discuter les conclusions provisoires relatives aux questions d’évaluation ; (ii) s’assurer que ces conclusions soient suffisamment étayées et d’identifier d’éventuelles lacunes d’analyse qui nécessiteraient un complément d’analyse. (iii) ajuster leur formulation pour aboutir à une production collective des conclusions définitives et (iv) co-construire les recommandations issues de l’évaluation. Le rapport devra intégrer un résumé des principaux résultats.

Un Rapport final définitif et synthèse

Un rapport définitif, intégrant les observations d’Expertise France et des membres du groupe de pilotage et recommandations identifiées ainsi qu’une synthèse de 2 pages, qui sera par la suite produit par les consultant.e.s. Une réunion finale du comité de pilotage pourra permettre de valider officiellement le rapport. Si les observations faites expriment des différences d’appréciation non partagées par les consultants, celles-ci peuvent être annexées au rapport définitif et commentées par les consultants.

D. Phase de restitution et de diffusion

Après validation des livrables, l’équipe d’évaluation animera un atelier de restitution pour présenter les principaux résultats de l’évaluation finale et diffuser les leçons identifiées. Cet atelier sera principalement destiné à un public interne à l’agence/aux parties prenantes du projet/ à un public externe incluant des porteurs de projets similaires et des partenaires aux parties prenantes du projet et à l’AFD. Il sera organisé à distance/dans les locaux d’Expertise France et/ou dans un des pays d’intervention. 

Livrables attendus

Les livrables devront être soumis par email sous format Word aux destinataires qui seront indiqués à l’équipe d’évaluation lors de la phase de démarrage. Ils devront être rédigés en français. Les principaux livrables attendus et leur date de livraison sont indiqués dans le tableau ci-dessous : 

En outre, un support de présentation type diaporama devra être produit pour chaque réunion de pilotage.

Les livrables devront être pédagogiques et agréables à lire, contenant des éléments graphiques et visuels accrocheurs et avec un design soigné.

NB : le FGS dispose d’une plateforme et d’un site web dédiés à la visibilité du Partenariat EDIFIS. Cet outil pourra contribuer à la visibilité et à la diffusion du format qui sera retenu.