NOTA BENE

L'évaluation finale portera à la fois sur la phase d’instruction du projet et l'ensemble de la période exécutée du projet ; la collecte de données se déroulera en deux temps :

• Un premier temps à la fin de la composante 1 (fin juin 2023) => LOT n. 1
• Un second temps à la fin de la composante 2 (fin juin 2024) => LOT n. 2

Elle prendra en compte les préconisations apportées par l'évaluation intermédiaire (mai 2023) et les résultats du dispositif de suivi - évaluation à la fin de chaque composante.

1. OBJECTIFS

1.1. Objectif général

L'objectif de cette évaluation est d'évaluer les stratégies mises en œuvre par EF, le Ministère de la Santé mauritanien et les autres partenaires dans le cadre du projet Temeyouz. Elle permettra aussi de fournir les éléments nécessaires pour montrer la contribution du projet dans l’amélioration de la qualité de vie des bénéficiaires d’une part, et d’autre part de formuler des recommandations stratégiques et pratiques issues des leçons apprises utiles à partager avec toutes les parties prenantes incluant les bailleurs et les bénéficiaires cibles en vue de définir des interventions nécessaires pour une éventuelle seconde phase.

1.2. Objectifs spécifiques de l’évaluation

• Evaluer la qualité de la collaboration avec les ACTEURS du projet (ONG, Institutions etc.) ;
• Evaluer les dispositifs de gouvernance et de pilotage (coordination inter-acteurs, etc.) du projet et la qualité du MANAGEMENT du projet et au niveau coordination/transversal ;
• Evaluer la qualité des CHANGEMENTS apportés par le projet ;
• Examiner les progrès atteints dans la réalisation des résultats escomptés en faisant ressortir les forces et les faiblesses ;
• Analyser les facteurs qui ont affecté de façon positive ou négative l’atteinte des résultats ;
• Apprécier la DURABILITE des résultats escomptés (renforcement institutionnel et technique, prise en  charge  des  bénéficiaires,  appropriation  du  changement par les bénéficiaires, etc.);
• Formuler des recommandations stratégiques et pratiques issues des leçons apprises utiles à partager avec toutes les parties prenantes.

2. OBJETS DE L’ÉVALUATION

2.1. Champs de l’évaluation

L’évaluation devra porter sur :

• Le montage (incluant la phase d’instruction) et les modalités d’intervention du projet ainsi que l’impact de l’arrêt de la composante 1 avant la composante 2 sur l’atteinte des objectifs du projet Temeyouz ;
• La complémentarité entre les composantes et sous-composantes ;
• L’intégration des objectifs du fonds Minka dans la mise en œuvre de la composante 1 (les fonds Minka implique des attentes spécifiques – se référer à l’encadré bleu p. 6 des TDR téléchargeables ci-dessous) ;
• Le dispositif de gouvernance et pilotage, la qualité de la collaboration avec les acteurs du projet et la qualité du management ;
• L’analyse des changements atteints par le projet et le degré de réalisation des activités et résultats atteints ;
• La promotion de l’égalité homme/femme dans le cadre du projet et plus largement de la prise en compte de la dimension genre dans la stratégie d’intervention alors que le projet est classé en CAD2.

2.1.1. Elements couverts par l'évaluation

LOT n. 1 :

• Période : pour la période exécutée, depuis le démarrage du projet au 1^er juillet 2020 à la fin de la composante 1 du projet au 31 mai 2023 ; pour la phase d’instruction, la période à couvrir sera antérieure au 1^er juillet 2020.
• Composante 1: Réponse au déficit d’offre de soins dans l’Est du pays, à travers le renforcement du Continuum des soins de santé sexuelle, reproductive et infantile et la lutte contre toutes formes de violences basées sur le genre ;
• Pays : Mauritanie ;
• Régions : Nouakchott, Guidimakha, Assaba et Hodh El Gharbi.

LOT n. 2 :

• Période : pour la période exécutée, depuis le 1^er juillet 2020 à la fin du projet au 30 juin 2024 ; pour la phase d’instruction, la période à couvrir sera antérieure au 1^er juillet 2020.
• Composante 2 : Renforcement des capacités de l’École Nationale Supérieure des Sciences de la Santé (ENSSS) et du Centre national de transfusion sanguine (CNTS) incluant le volet infrastructure ;
• Pays : Mauritanie ;
• Régions : Nouakchott, Assaba (Kiffa)

2.1.2. Principes transverses de l'évaluation

L’évaluation devra prendre en compte plusieurs principes transverses :

• Genre et des droits humains : le projet priorise la lutte contre les inégalités femmes-hommes en conformité avec la Stratégie Genre d’EF[1] et en positionnant le genre comme un axe transversal tout au long de l’évaluation. L’intégration d’une approche genre consolidée et de mesures répondant aux besoins spécifiques des victimes orientera l’ensemble des étapes du processus d’évaluation : approche méthodologique (échantillonnage, questions d’évaluation), collecte de données (toujours désagrégée par sexe et âge dès que possible), analyse des données (toujours désagrégée par sexe et âge dès que possible, intégration des dynamiques liées au genre dans les analyses contextuelles), recommandations tenant compte des expériences liées au genre, etc.
• Participation : l’évaluateur veillera à procéder selon une approche participative afin que toutes les parties prenantes puissent participer à l’évaluation.
• Ethique : l’évaluation devra se conformer aux principes et engagements d’EF dans sa Charte Ethique[2].

[1]https://www.expertisefrance.fr/documents/20182/426622/Expertise+France+-+Genre+et+d%C3%A9veloppement+durable/d1d37b1c-30f2-4224-91a3-05be9bb7d6a0

[2]https://www.expertisefrance.fr/documents/20182/426622/Charte+%C3%A9thique+d%27Expertise+France.pdf/f3a8bbf4-f363-4637-a16e-6a1e7c638dc2

3. METHODOLOGIE ET APPROCHE DU TRAVAIL D’EVALUATION

Pour chaque lot, le travail d’évaluation s’appuiera sur une démarche en trois étapes : 1) Structurer la démarche évaluative ; 2) Conduire l’analyse évaluative et 3) Présenter les résultats des travaux évaluatifs et les recommandations.

Il est demandé à l’évaluateur d’associer étroitement EF à la construction de son raisonnement, par des liens réguliers tout au long de la mission, de la note de cadrage jusqu’à la réunion de présentation du rapport provisoire. En particulier, un partage des constats et des premiers éléments d’analyse doit se faire dès la fin de la mission, avant la rédaction du rapport provisoire.

3.1. Structurer la démarche évaluative

Au cours de cette phase préparatoire, de problématisation du contexte et des enjeux, l’évaluateur devra : 

• Rassembler et analyser les informations et documents relatifs au projet à évaluer (instruction, exécution, suivi) et à la compréhension de son contexte. Les documents à consulter puis recenser seront disponibles auprès de l’équipe projet Temeyouz à Paris et à Nouakchott ;
• Identifier toutes les parties prenantes du projet et les personnes ressources à rencontrer ou interroger : quelques entretiens pourront déjà être menés à cette étape afin de préciser les questions évaluatives ;
• Reconstruire la logique d’intervention du projet en étudiant le cadre logique du projet afin de :

1. a) clarifier les objectifs de l’intervention et de les traduire en une hiérarchie de changements attendus ;
2. b) aider à juger la cohérence interne de l’intervention et
3. c) identifier les hypothèses de départ qui ont guidé a priori le montage du projet, et d’en évaluer a posteriori le bien-fondé ;

• Approfondir le cadre de l’évaluation sur la base des termes de référence, des documents collectés et de la logique d’intervention reconstruite. Plus particulièrement, il s’agira de :

1. a) préciser les principales questions évaluatives qui serviront à focaliser le travail d’évaluation sur un nombre restreint de points clés (grilles d’entretiens et d’analyse);
2. b) établir les étapes du raisonnement qui permettront de répondre aux questions (critères de jugement) ;
3. c) préciser les indicateurs à utiliser pour répondre aux questions et les sources d’informations correspondantes (documentation, entretiens, focus group, enquêtes, …) ;
4. d) identifier précisément les informateurs clé à consulter ou à interroger dans le cadre de cette évaluation.

A partir de ce travail méthodologique préparatoire, l’évaluateur proposera pour chaque lot une note de cadrage 3 semaines après le démarrage de ses travaux (25 pages maximum par note de cadrage). Cette note de cadrage fera l’objet d’un échange avec le comité technique de suivi-évaluation afin de valider/définir la stratégie évaluative et d’en vérifier la faisabilité. 

Une attention particulière sera portée sur la capacité de l’évaluateur à mobiliser des sources diverses, à les trianguler et à porter un regard critique sur leurs fiabilités.

3.2. Conduire l’analyse évaluative  

A partir des constats et des informations disponibles, l’évaluateur devra, dans un second temps, évaluer la performance du projet à partir des critères préconisés par le Comité d'Aide au Développement (CAD) de l’OCDE, à savoir : pertinence, cohérence, efficacité, efficience, impact et viabilité/durabilité.

L’évaluateur devra impérativement fournir un jugement de valeur sur chacune des questions d’évaluation soulevées par l’examen des critères. Dans le cadre de cette analyse qualitative et quantitative, l’évaluateur s’assurera que les jugements formulés pour chacun des six critères d’évaluation permettent de recouvrer l’ensemble des étapes marquantes du cycle du projet (instruction, mise en œuvre, période post-projet) mais aussi répondent aux objectifs de l'évaluation présentés précédemment.

Les questions d’évaluation sont détaillées au Pp 8-9 des TDR téléchargeables ci-dessous. Elles seront revues par l’évaluateur au moment de la phase de démarrage de l’évaluation.

L’évaluateur devra impérativement fournir un jugement de valeur sur chacune des questions d’évaluation soulevées par l’examen des critères.  Dans le cadre de cette analyse, l’évaluateur assurera que les jugements formulés pour chacun des six critères d’évaluation permettent de recouvrer l’ensemble des étapes marquantes du cycle du projet.

3.3. Conclusions et recommandations

Après avoir, de manière progressive, exposé ses observations, puis formulé ses constats et porté des jugements sur le projet à l’aune de chaque critère d’évaluation, l’évaluateur devra livrer ses conclusions générales de façon à porter une appréciation d’ensemble sur l’intervention évaluée. Ces conclusions devront être hiérarchisées par ordre d’importance et classées par ordre de fiabilité. 

L’évaluateur identifiera des leçons et/ou des recommandations stratégiques et/ou opérationnelles. Pour chaque lot, ces dernières devront être liées aux conclusions, regroupées et classées par ordre de priorité.                                                                                                                         

L’évaluateur devra préparer une restitution finale portant sur le lot n. 1 et lot n. 2 et sera tenu de la présenter deux fois : d’une part au département santé « DEPSAN » d’Expertise France et d’autre part pour le commanditaire et ses partenaires de mise en œuvre, le bailleur et le Ministère de la Santé.

4. ORGANISATION DE L'EVALUATION

4.1. Gouvernance de l’évaluation

Le rôle de l’évaluation est d’aider les acteurs les plus impliqués à porter une appréciation commune et objective sur l’action, sa conception, son déroulement, ses résultats, etc.  Prendre en compte les points de vue des acteurs du projet, et en particulier ceux des partenaires et bénéficiaires des actions, sera une exigence à la fois éthique et opérationnelle pour la réalisation de cette évaluation finale. Les analyses et recommandations d’une évaluation sont en effet d’autant mieux appropriées par les acteurs – et donc utiles pour la suite des actions – qu’ils s’y reconnaissent et ont contribué à l’élaborer. 

Un comité technique sera ainsi mis en place en amont de l’évaluation finale afin de garantir une gouvernance participative tout au long du processus. Le comité technique composé de représentants de l’équipe terrain et siège d’EF  veillera au respect de la méthode et de l’organisation du travail et sera l’instance de validation des livrables. Il permettra l’expression de la variété des points de vue, discutera et commentera les notes et rapports produits par l’équipe d’évaluation sachant que cette dernière restera seule responsable du contenu et de la qualité du rapport final. Il sera consulté aux étapes clé du processus, du développement des termes de références à la restitution des constats et recommandations, en passant par la révision du protocole et des outils d’évaluation.   

La consultation, le dialogue et la communication avec les acteurs locaux et les populations impliquées dans le projet seront également favorisées pendant la phase de collecte de données à travers l’observation participante au sein des communautés ciblées, des entretiens individuels semi-structurés avec des représentants des acteurs locaux (services techniques déconcentrés, collectivités territoriales, organisations locales) ou des leaders communautaires, l’organisation de focus-groups impliquant des personnes aux profils socio-démographiques similaires ou des participants du projet ayant des expériences communes à partager. La triangulation des informations recueillies permettra de produire des appréciations sur une réalité complexe, aux multiples facettes tenant compte de perceptions, positions, intérêts et références différentes, y compris en adoptant une perspective sensible au genre.

4.2. Modalités de collecte de données

Pour chaque lot, l’évaluateur pourra recourir à toute la panoplie d’outils disponibles pour collecter et analyser les informations pertinentes pour l’évaluation. Il effectuera des visites terrain sur les différents sites de mise en œuvre et utilisera les méthodes de collecte de données suivantes :

• La revue documentaire et recensement bibliographique des données du projet (documents de projet, comptes rendus des comités opérationnels et pilotage, plans de travail, base de données de suivi-évaluation, rapports techniques, rapports de mission, rapports des études réalisées, rapports de formation, etc.) ;
• Des enquêtes ;
• Des focus groupes ;
• Des entretiens ;
• Consultations des parties prenantes du projet (groupes de bénéficiaires et partenaires opérationnels).

Il effectuera une réunion de restitution à chaud des résultats préliminaires pour chaque lot, suite à la première phase de collecte (juin 2023 pour le lot n. 1) comme à la seconde (juin 2024 pour le lot n. 2).

4.3. Durée, calendrier et contenu de la prestation

La durée totale pour la réalisation de cette évaluation est estimée à 60 jours-hommes de travail, soit une vingtaine de jours pour chaque lot, à affiner en fonction des propositions. L’évaluateur ou le bureau d’étude sélectionné devra proposer un plan de travail détaillé dans sa note de cadrage, faisant apparaître clairement les différentes phases de l’évaluation, en particulier les différentes étapes de compte-rendu provisoire et final. Il reviendra donc à l’évaluateur de proposer dans son offre son propre calendrier reprenant les phases listées ci-dessous.

La prestation débutera après signature du contrat entre l’évaluateur/bureau d’étude et Expertise France.

LOT n. 1

La date de démarrage du premier lot de la prestation est prévue pour le 29 mai 2023 avec une remise du rapport provisoire au plus tard le 25 août 2023 et du rapport final le 11 septembre 2023.

Phase 1 | Cadrage méthodologique > 25 mai au 12 juin 2023

Phase 2 | Finalisation de la note de cadrage lot n. 1 > 12 au 23 juin 2023

Phase 3 | Enquête terrain > Fin juin 2023

Phase 4 | Analyse et rédaction du rapport provisoire > 25 août 2023

Phase 5 | Finalisation du rapport final du lot n. 1 > 11 septembre 2023

La prestation inclura :

1. i) une réunion de lancement,
2. ii) une réunion de validation de la note de cadrage du lot n. 1,

iii) une mission de terrain pour recueillir les données du lot n. 1,

1. iv) une réunion de debriefing de la mission de terrain,
2. v) une réunion de restitution des conclusions aux équipes siège et terrain d’EF (voire à certaines parties prenantes selon le besoin),
3. vi) un rapport provisoire d’évaluation du lot n. 1,

vii) un rapport final de l’évaluation du lot n. 1.

Ces réunions se tiendront à Nouakchott, au siège d’Expertise France à Paris, en visioconférence ou dans d’autres espaces qui seront indiqués par le commanditaire.

LOT n. 2

La date de démarrage du second lot de la prestation est prévue pour mars-avril 2024 avec une remise du rapport final qui agrégera l’analyse du lot n. 1 et du lot n. 2 en septembre 2024 : merci de noter que le calendrier indicatif concernant le LOT n.2 sera précisé en janvier 2024.

Phase 1 | Cadrage méthodologique Mars-avril 2024

Phase 2 | Finalisation de la note de cadrage lot n. 2 Mai 2024

Phase 3 | Enquête terrain Juin 2024

Phase 4 | Analyse et rédaction du rapport provisoire Juillet 2024

 Phase 5 | Finalisation du rapport final Août-septembre 2024

Phase 6 | Deux restitutions finales Septembre 2024

La prestation inclura :

viii) une réunion de lancement,

1. ix) une réunion de validation de la note de cadrage du lot n. 2,
2. x) une mission de terrain pour recueillir les données du lot n. 2,
3. xi) une réunion de debriefing de la mission de terrain,

xii) une réunion de restitution des conclusions aux équipes siège et terrain d’EF (voire à certaines parties prenantes selon le besoin),

xiii) un rapport provisoire de l’évaluation finale du projet, qui agrégera l’analyse du lot n. 1 et du lot n. 2.

xiv) un rapport définitif de l’évaluation finale du projet,

1. xv) deux restitutions finales (portant sur le lot n. 1 et lot n. 2) : la première destinée au DEPSAN d’Expertise France et la deuxième pour le commanditaire et ses partenaires de mise en œuvre, le bailleur et le Ministère de la Santé.

4.4. Livrables

4.4.1. Deux notes de cadrage

A l’issue de la phase de structuration de la démarche évaluative (cf. 3.1), l’évaluateur produira une note de cadrage pour chaque lot (au total, 2 notes de cadrage sont donc attendues). Pour chaque lot, cette note, axée sur la composante analysée à savoir la composante 1 pour le lot n. 1 et la composante 2 pour le lot n. 2 (cf. 2.2.2) :

• présentera la logique d’intervention du projet ;
• précisera les principales questions qui serviront à focaliser le travail d’évaluation sur un nombre restreint de points clés ;
• précisera les indicateurs à utiliser pour répondre aux questions et les sources d’informations correspondantes ;
• confirmera avec précision les étapes ainsi que les principales méthodes et outils qui seront mobilisés au cours de l’évaluation et la façon dont ces méthodes seront mis en œuvre concrètement ;
• identifiera précisément les parties prenantes et informateurs clés qui seront consultés ou interrogés au cours de l’évaluation ;
• Intègrera une note de récit analytique du projet : cette note retracera l’historique du projet afin d’en restituer le déroulement à ses différentes étapes. Elle comprendra une présentation générale du contexte et de son évolution au cours de la période de mise en œuvre, une description du projet (objectifs, contenu, montant, produit financier, intervenants, mode opératoire) et un résumé du déroulement du projet depuis son démarrage. Dans ce cadre, l’évaluateur veillera à distinguer la phase d’instruction du projet, sa phase d’exécution, et enfin les faits marquants intervenus entre la date d’achèvement du projet et la date de l’évaluation. Cette note, qui ne devrait pas excéder 8 pages, devra impérativement être partagée avec Expertise France avant le démarrage du travail de terrain ;
• détaillera le plan de travail qui guidera la mise en œuvre de l’évaluation incluant le nombre de jours-homme affectés à chacune des étapes définies dans la proposition.

Chacune des deux notes de cadrage devra être validée par EF avant la poursuite des travaux. 

4.4.2. Un rapport final du lot n. 1

Un rapport provisoire de l’évaluation du lot n. 1 est attendu (cf. 4.3) à l’issue de l’analyse évaluative de la composante 1. Un rapport final du lot n. 1 sera donc produit en intégrant les remarques du commanditaire sur le rapport provisoire du même lot ; ce rapport de moins de 35 pages hors annexes devra être validé par EF avant d’être considéré comme final

4.4.3. Un rapport provisoire de l’évaluation finale portant sur les lots n. 1 et n. 2

Un rapport final provisoire, qui agrégera l’analyse du lot n. 1 et du lot n. 2, sera produit à l’issue des travaux du consultant. EF formulera ses remarques et observations suite à la relecture du rapport provisoire, qui ne devra pas dépasser 60 pages hors annexes.

Le rapport devra à minima comporter les rubriques suivantes : introduction, table des illustrations, résumé, récit analytique, méthodologie, constats et résultats, recommandations et annexes incluant la liste des personnes interrogées et les outils d’enquête utilisés. 

4.4.4. Un rapport définitif de l’évaluation finale portant sur les lots n. 1 et n. 2

Le rapport définitif, intégrant ces observations, devra être disponible dans les 15 jours suivant la réception des commentaires. Si ces observations expriment des différences d’appréciation non partagées par les consultants, celles-ci pourront être annexées au rapport définitif et commentées par les consultants. 

Le rapport sera établi selon la structuration proposée à minima pour le rapport provisoire. Les rapports provisoire et définitif devront être remis sous format électronique aux adresses mails suivantes :  

sara.pizzocaro@expertisefrance.fr , elena.fogli@expertisefrance.fr, karini.lefort@expertisefrance.fr 

Le rapport d’évaluation ne devra pas excéder 60 pages, hors annexes ; il sera accompagné d’une synthèse de 5 pages dont la structuration est précisée dans le point suivant.

4.4.5. Une note de synthèse sur l’intervention

La note de synthèse comprendra une présentation du projet (contexte, parties prenantes, modalités, objectifs, contenu) et reprendra les principales conclusions, leçons et recommandations du rapport. Elle ne devra pas excéder 5 pages.

4.4.6. Deux restitutions finales portant sur les lots n. 1 et n. 2

Un support de présentation sous format PowerPoint devra être produit par l’évaluateur et validé par le commanditaire en vue des deux restitutions finales – et donc portant sur le lot n. 1 et lot n. 2 – pour le DEPSAN d’Expertise France puis pour le commanditaire et ses partenaires de mise en œuvre, le bailleur et le Ministère de la Santé de la Mauritanie.