1. Objectifs de l’évaluation

 1.1  Objectif général de l’évaluation

Le projet a permis de renforcer le partenariat entre Expertise France et l’OOAS tout en répondant à une demande des États Membres dans un contexte sanitaire difficile. Les actions développées, dans l’urgence de répondre à la crise Covid-19, ont été menées selon la planification initiale. La collaboration étroite entre Expertise France et l’OOAS via le dispositif d’assistance technique mis en place, a permis d’atteindre les résultats attendus du projet et de faire émerger d’autres besoins de renforcement de capacités au sein de l’OOAS.

En outre, à la fin du projet, l’OOAS a communiqué à Expertise France en avril 2021 une demande pour un éventuel nouvel accompagnement de la France pour des actions de communication dans le cadre de la riposte à la COVID-19 en Afrique de l'Ouest.

Afin d’examiner au mieux cette demande, au vu du contexte sanitaire et politique qui a évolué depuis, et tenant compte de son intention de renforcer ses liens avec les organisations régionales africaines de santé, Expertise France souhaite commanditer une évaluation finale de ce projet d’appui à l’OOAS qui se donne deux objectifs principaux :

• Apprécier la performance du projet vis-à-vis des 6 critères définis par l’OCDE/CAD (pertinence, cohérence, efficacité, efficience, impact et durabilité). Ces critères sont également recommandés par l’AFD avec la prise en compte de la dimension genre, et retenus par Expertise France (c.f grille d’évaluation d’Expertise France dont une copie sera transmise aux expert.e.s en charge de l’évaluation), et en particulier:
  • Documenter les succès observés mais aussi les défis à relever;
  • Documenter et valoriser les savoirs acquis;
  • Mettre en commun les réalisations (outils, méthodologies);
  • Tirer des enseignements sur la pertinence du mode opératoire développé dans le cadre de la démarche d’appui opérationnel et stratégique et sur la logique d’intervention - y compris le rôle de chacun des acteurs - et d’apprécier les effets de l’assistance technique, dans le but d’une appropriation, utilisation, adaptation, enseignement et capitalisation pour EF et les autres partenaires concernés et institutions qui seraient intéressées.
• D’évaluer les perspectives futures pour EF pour la continuation du soutien à cette thématique dans le cadre des intérêts stratégiques de l’OOAS afin de proposer des recommandations opérationnelles et stratégiques dans une perspective de coopération future.
  • Ceci comprendra également l’examen des liens de coopération entre les parties prenantes du projet (en particulier la façon dont le projet a été monté, la distribution des rôles et mandats entre les partenaires, les périmètres d’intervention respectifs, etc.).

Pour ce faire,  Expertise France propose de mobiliser un-e  expert-e en évaluation indépendant qui procédera au bilan du projet avec les 3 objectifs spécifiques décrits ci-dessous.

1.2   Objectifs spécifiques de l’évaluation

La mission aura 3 objectifs spécifiques :

1 -  Evaluer le projet selon les critères d’évaluation OCDE/CAD : évaluer/capitaliser sur les résultats du projet, dans le domaine de la communication grand public en situation de crise sanitaire. Il s’agira de valoriser les changements et les effets observés suite à l’intervention du projet  et de montrer de quelle façon le projet a contribué pour l’OOAS à structurer une réponse. En résultat, cet axe devrait permettre de mieux saisir si le projet a contribué plus globalement à l’objectif de déploiement par l’OOAS d’une stratégie de communication en situation de crise sanitaire et déterminer des axes d’amélioration et des recommandations à ce niveau.

2 - Evaluer la modalité d’investissement de l’organisation par la France (quelle efficacité de la modalité assistance technique ?) et le renforcement du partenariat établi entre Expertise France et l’OOAS. Il s’agira de caractériser et d’apprécier l’assistance technique portée à l’organisation dans le cadre du projet en documentant les bonnes pratiques et les leçons apprises et en dressant un bilan opérationnel des activités déployées. Le consultant s’intéressera à la méthodologie et approche utilisées, aux outils produits, aux résultats des activités (enquêtes, formations, etc.), à l’atteinte des indicateurs et cibles préalablement définis, etc. En résultat, ce travail devrait permettre d’apprécier de quelle façon les besoins opérationnels initiaux ont été effectivement couverts.

3 - Formuler des recommandations concernant les pistes de futures relations/coopération avec l’OOAS. En résultat, cet axe devrait permettre de mieux saisir les capacités de collaborations et d’opportunités de travail avec l’OOAS. 

1.3   Résultats attendus

• Les bénéfices et les manquements du projet au niveau opérationnel et stratégique sont évalués :
  • Le renforcement de capacités des Etats membres et de l’OOAS en matière de communication de la santé est évalué.
  • L’impact des outils de communication développés et des formations déployées auprès des Etats Membres est évalué.
• L’apport stratégique d’investissement du niveau régional et sous-régional pour l’élaboration d’une stratégie de communication en situation de crise sanitaire est évalué et des recommandations pour renforcer le partenariat entre Expertise France et l’OOAS sont élaborées.
• L’intérêt de poursuivre la collaboration entre l’OOAS et Expertise France sur ces mêmes thématiques ou d’autres thématiques est évalué (coût, personnes ressources, temps, objectifs).

Les questions évaluatives à formuler par le/la consultant.e dans sa proposition technique et financière devront permettre de répondre à ces trois objectifs en prenant en compte le cadre logique du projet. 

1.4   Les utilisateurs ciblés par cette évaluation

Plusieurs personnes internes et externes à Expertise France seront associées au processus d’évaluation et seront consultées pour contribuer et alimenter le processus :

• Les équipes terrain et siège d’Expertise France (DEPSAN);
• Les partenaires de mise en œuvre du projet (OOAS, pays de la CEDEAO ciblés) ;
  • En particulier les acteurs de la communication au sein de l’OOAS ;
• Les participants aux formations des EM mobilisés et autres bénéficiaires;
• Le consultant contractualisé dans le cadre des missions d’expertise technique ;
• Les Ministères de la Santé Publique des EM concernés et en particulier les acteurs de la communication du Ministère de la santé dans les pays où ont eu lieu les activités du projet ;
• Les acteurs du groupe régional CREC (Communication des Risques et Engagement Communautaire) de l’Afrique de l’Ouest, animé par l’Unicef ;
• Les autres acteurs institutionnels ayant participé au projet (OMS, Unicef, etc.);
• Le MEAE;
• L’Ambassade de France au Burkina Faso.

2. Méthodologie

Le/La consultant.e travaillera en collaboration avec l’équipe d’Expertise France chargée de la mise en œuvre du projet d’« appui à l’OOAS », et avec l’OOAS.

Un comité de pilotage de l’étude, composé de membres de l’équipe projet d’Expertise France et de l’OOAS, préalablement identifiés, se réunira aux « moments clés » de l’évaluation pour approuver les termes de référence (avec le planning de la mission) en amont du démarrage de la mission, examiner les différents livrables, formuler des observations, arbitrer les propositions formulées, etc.

Une méthodologie basée sur une approche participative et inclusive guidera les réflexions. Elle sera axée sur :

• Les revues documentaires (exploitation du document projet, de la grille d’évaluation Expertise France, des TDR et rapports d’activités et de missions, des revues de projets, et des outils développés par les partenaires, etc.).
• Les entretiens semi-structurés et la tenue de focus groupe avec les parties prenantes (partenaires opérationnels, bénéficiaires, etc.).
• Le recueil des témoignages auprès des bénéficiaires du projet (recueil de bonnes pratiques) sur les succès et les points d’amélioration des thématiques retenues.

PHASE DE CADRAGE

• Après la notification du contrat, une réunion de cadrage se tiendra avec le comité de pilotage du projet afin de préciser les attentes, vérifier la bonne compréhension des termes de référence, ajuster les objectifs de la mission, affiner la méthodologie, sélectionner les diverses entités à rencontrer lors de la mission sur le terrain, définir les modalités de suivi et d’échange ;
• Revue documentaire ;
• Basée sur des entretiens préliminaires et sur une première analyse de la documentation disponible, une version provisoire d’une note de cadrage sera produite.
• Version finale de la note de cadrage après révision par le comité de pilotage.

PHASE DE COLLECTE ET ANALYSE DOCUMENTAIRE

• Analyse approfondie de la documentation ;
• Entretiens avec les acteurs/partenaires du projet, en visio ou sur place (dont certains devront se tenir en anglais). Le/la consultant.e construira la liste des entretiens à mener en coopération avec le comité de pilotage de l’étude.
• Mission terrain pour compléter et enrichir les informations recueillies dans la documentation existante ; confirmer/infirmer les hypothèses testées : entretiens d’acteurs, observations des pratiques, focus groups avec les bénéficiaires^[1], etc.
• Réunion de cadrage : compte-rendu de mission, restitution « à chaud ». A l’issue de la mission, un débriefing « à chaud » sera réalisé auprès du comité de pilotage afin de présenter les résultats préliminaires de diagnostic et hypothèses / pistes de travail.

PHASE D’ANALYSE ET DE REDACTION/FINALISATION DES RAPPORTS

• Exploitation, analyse et croisement des informations collectées;
• Production des rapports jusqu'à validation par le comité de pilotage et de suivi;
• Atelier de restitution pour présenter les résultats et les outils finaux formalisés : au terme de l’évaluation, un atelier de restitution sera organisé auprès du Comité de pilotage et de suivi. L’expert préparera les supports visuels pour engager les discussions (présentation PPT), en lien avec l’équipe d’EF.

3. Pilotage et animation

 Consultance externe

L’évaluation finale sera confiée à une consultance externe dont le profil, rôle et responsabilité seront détaillés dans la proposition technique soumise lors de l’appel d’offre.

En charge d’orienter le processus de l’évaluation finale, ses rôles et responsabilités seront de:

• Proposer une note de cadrage et une méthodologie;
• D’effectuer l’évaluation conformément au cahier des charges en tenant compte des retours du comité de pilotage;
• De produire les livrables demandés.

Pour ce faire, le/la consultant.e travaillera étroitement avec les membres du comité de pilotage et de suivi (voir ci-dessous). L’accompagnement par le/la consultant.e se fera sur l’ensemble de la période, tant à Paris que sur le terrain.

Comité de pilotage et de suivi

Les membres du comité de pilotage et de suivi seront en charge d’animer le processus de l’évaluation finale et de valoriser les résultats et les productions. Ce comité sera composé de:

Au siège:

• La Chargée de projets siège
• La Chargée de suivi-évaluation

Sur le terrain:                                                                                                                                 

• Un représentant de l’OOAS
• Un coordinateur Régional Grand Sahel, basé au Burkina Faso

Leurs rôles et responsabilités seront de:

• Insuffler une dynamique interne autour du projet de l’évaluation finale;
• Identifier et proposer les questions évaluatives de l’évaluation finale;
• Planifier la mise en œuvre des activités;
• Organiser le processus « au quotidien »:
• Coordonner les différents acteurs et parties prenantes ;
• Coordonner la conduite des activités qui pourront être réalisés en interne, etc.
• Assurer la valorisation et la diffusion des résultats et des productions, aussi bien en interne, dans une logique de conduite du changement, qu’en externe vers les partenaires d’EF.

4. Livrables attendus

• Une note de cadrage sera commentée et validée par les parties prenantes au projet. Elle servira de guide méthodologique tout au long de la mission. Elle comprendra notamment :
  • La méthodologie proposée par le/la consultant.e (modalités de recueil et d’exploitation des informations, etc.) ;
  • La liste des personnes ressources à rencontrer/ consulter ;
  • Un calendrier prévisionnel détaillé ;
  • Les supports envisagés pour une présentation visuelle synthétique des analyses et recommandations, etc.
• Un rapport provisoire et un rapport final d’évaluation qui pourra s’articuler autour du plan indicatif suivant :
  • Un rappel des objectifs et résultats attendus de la mission ;
  • Une présentation du contexte de la mission ;
  • Les modalités générales de déroulement de la mission et les difficultés éventuelles rencontrées;
  • Une présentation de la méthodologie adoptée (collecte et analyse des données) et de ses limites;
  • Principaux résultats ;
  • Les analyses et leçons apprises ;
  • Conclusions et recommandations ;
  • Les annexes : termes de référence, calendrier de la mission, liste et contacts des personnes rencontrées/ consultées, liste de la documentation exploitée et des outils utilisés pour la collecte de données (questionnaires, guides d’entretiens, guides d’observation, etc.), compte-rendu des entretiens et ateliers réalisés avec les parties-prenantes, etc. ainsi que tout autre document participant à la compréhension du rapport.
• Un document de communication

Une synthèse qui reprend les principales parties du rapport et un Power Point de restitution seront produits. Ces deux documents devront obéir aux indications de la charte éditoriale d’Expertise France dont une copie sera transmise au/à la consultant.e.

Principes généraux :

• Les livrables doivent être rendus en langue française, en version numérique (sous format word), et devront inclure un résumé analytique et des figures de synthèse des éléments d’analyse principaux et recommandations (sous forme de tableaux, graphiques, autres figures…).
• Les livrables sont la propriété de Expertise France.

Des échanges auront lieu tout au long de la mission afin de préciser la structure, le contenu et le format des livrables.

5. Chronogramme

La mission de l’évaluation finale pourra être étalée entre août et septembre 2023. Après la phase d’appropriation et de préparation, une mission sur le terrain sera organisée.

Le volume effectif des prestations de l’expert est estimé à 25 jours (y compris une mission terrain au Burkina Faso), répartis comme ci-dessous (à titre indicatif):

• Préparations/revue documentaire/collecte: 5 jours
• Collecte/analyse : 15 jours
• Analyse/rédaction/restitution : 5 jours.

Expertise France aura 10 jours ouvrés pour proposer ses retours sur le rapport provisoire. Une version révisée/ finale du rapport devra être envoyée au plus tard 5 jours ouvrés après la réception des retours.

6. Organisation de la mission

 Lieu : Ouagadougou et/ou Bobo Dioulasso, Burkina Faso.

Equipement

La personne recrutée devra être équipée des moyens nécessaires à la réalisation des prestations. Une salle de réunion pourra être mise à disposition au besoin afin d’assurer les différentes rencontres avec les partenaires et le comité de pilotage et de suivi (avec réservation préalable nécessaire).

Moyens de communication

La personne recrutée devra être autonome en matière de communication (téléphone et internet). L’expert.e intègre les charges de communication (téléphone et internet) afférentes à l’étude dans sa proposition financière.

Déplacements

Les déplacements sur le terrain peuvent être assurés par un véhicule d’Expertise France de manière ponctuelle et le bureau d’Expertise France à Ouagadougou peut appuyer le consultant dans l’identification d’un prestataire pour ses déplacements.

Des entretiens par visioconférence pourront être organisés par l’expert.e en fonction des besoins (par exemple si nécessité de rencontrer des interlocuteurs dans plusieurs pays membres).

Formalités administratives

L’expert.e devra s’acquitter des formalités administratives en matière de visas, de vaccins et d’assurances.

Sécurité

L’expert.e est tenu de respecter l’ensemble des consignes de sécurité d’Expertise France. Un briefing sécurité sera organisé par le Référent Sécurité en début de mission. Les visites sur le terrain se feront sous la responsabilité du Chef des projets santé, la personne recrutée sera dans la mesure du possible accompagnée par un membre du staff Expertise France pendant toute la durée de sa mission.

[1] La méthodologie d’approche et les questions à poser seront à la charge de l’expert qui devra les présenter en amont à Expertise France pour validation. Ces focus group permettront de collecter des informations sur les effets des interventions.