OBJECTIFS ET RESULTATS POURSUIVIS

           Objectifs de la mission

Raison d’être et objectifs de l’évaluation

Dans le cadre des exigences de redevabilité du projet Mahakama Ya Wusawa et de la politique interne d’Expertise France d’amélioration des interventions présentes et futures, les différentes parties prenantes du projet ont convenu lors de la conception de ce dernier de réaliser une évaluation externe finale.

Celle-ci doit permettre d’améliorer les performances de projets futurs comparables ciblant le secteur de la Justice.

Objectifs et attentes générales de la mission

Cette évaluation a pour principal objectif de fournir au Ministère de la Justice et à l’Université des Comores, à l’agence Expertise France (équipes terrain et siège) et à l’AFD :

• Une analyse globale et indépendante de la performance du projet, en prêtant une attention particulière à ses résultats, en comparaison avec les objectifs fixés ;
• Des leçons et des recommandations, de manière à améliorer, le cas échéant, des actions futures.

De façon spécifique, cette évaluation fournira des éléments d’appréciation sur les effets du projet et sa viabilité dans le domaine du renforcement du secteur de la Justice aux Comores.

Le.s évaluateur.rice.s. devra.ont fournir les éléments de preuves expliquant les analyses, les liens de cause à effet et tenter d’identifier les facteurs ayant généré ou entravé la mise en œuvre du projet. Leur travail doit encourager la responsabilisation, la prise de décisions, et l’apprentissage.

           Périmètre de l’évaluation

L’évaluation portera sur les éléments suivants :

Période : ensemble de la période de mise en œuvre du projet Mahakama Ya Wusawa ;

Composantes : toutes les composantes ;

Pays : Union des Comores ;

Bénéficiaires : Ministère de la Justice des Comores, Université des Comores, AFD et Expertise France.

Critères et questions évaluatives

L’évaluation utilisera les critères définis par le Comité d’Assistance au Développement (CAD) de l’Organisation de Coopération et de Développement Économiques (OCDE) : pertinence, cohérence, efficacité, efficience, impact et viabilité[1].

Le.s consultant.e.s devront en outre vérifier si les thématiques transversales suivantes (promotion des droits humain, égalité des genres et bonne gouvernance) ont été prises en compte lors de l’identification/la formulation des documents et à quel degré celles-ci se sont retrouvées dans la mise en œuvre et la supervision de l’action.

Les questions évaluatives détaillées ci-dessous ont été développées de manière participative au sein du groupe de pilotage. Elles seront revues par l’évaluateur au moment de la phase de démarrage de l’évaluation, afin de proposer une version finale dans la note de cadrage validée par le groupe de pilotage.

Les consultant.e.s devront impérativement fournir un jugement de valeur sur chacune des questions d’évaluation soulevées par l’examen des critères. Dans le cadre de cette analyse, le(s) consultant.e.s s’assureront que les jugements formulés pour chacun des critères d’évaluation permettent de recouvrer l’ensemble des étapes marquantes du cycle du projet.

Description de la mission

            Méthodologie de l’évaluation

L’évaluation sera réalisée entre les mois de janvier et de mars 2025 et devra être menée dans le strict respect des considérations « ne pas nuire », être sensible au genre et avoir une attention spécifique à la production de recommandations opérationnalisables.

Durant l’ensemble du processus, il est demandé au.x consultant.e.s d’associer étroitement Expertise France (le chef de projet, le.a chargé.e de projet, le référent SERA ainsi que le coordonnateur SERA) à la construction de son raisonnement, par des liens réguliers tout au long de la mission, de la note de cadrage jusqu’à la réunion de présentation du rapport final. En particulier, un partage des constats et des premiers éléments d’analyse doit se faire dès la fin de la mission, avec la rédaction d’un rapport intermédiaire.

Dans les échanges réguliers avec le.s consultant.e.s, Expertise France représentera le groupe de pilotage.

Phase de démarrage

Au cours de cette phase préparatoire, le.s consultant.e.s doivent :

• Rassembler et consulter toutes les informations et tous les documents relatifs au projet à évaluer (instruction, exécution, suivi) et à la compréhension de son contexte ;
• Identifier toutes les parties prenantes du projet ;
• Reconstruire la logique d’intervention du projet en étudiant le cadre logique du projet afin de : (i) de clarifier les objectifs de l’intervention et de les traduire en une hiérarchie de changements attendus et (ii) d’aider à juger la cohérence interne de l’intervention et III) à identifier les hypothèses de départ (ou postulats, souvent implicites) qui ont guidé a priori le montage du projet, et d’en évaluer a posteriori le bien-fondé ;
• Approfondir le cadre de l’évaluation sur la base des termes de référence, des documents collectés et de la logique d’intervention reconstruite.

En lien avec ce dernier attendu, il s’agira plus spécifiquement : (i) de préciser les principales questions qui serviront à focaliser le travail d’évaluation sur un nombre restreint de points clés; (ii) d’établir les étapes du raisonnement qui permettront de répondre aux questions (critères de jugement) ; (iii) de préciser les indicateurs à utiliser pour répondre aux questions et les sources d’informations correspondantes (documentation, entretiens, focus group, enquêtes, …).

À partir de ce travail méthodologique le consultant proposera une note de cadrage incluant :

• Une description détaillée des objectifs et enjeux de l’évaluation ;
• Une description détaillée du périmètre de l’évaluation (temporel, géographique, actions constitutives du projet évalué) ;
• Une analyse des parties prenantes ;
• Une reprise de la théorie du changement du projet ;
• Une reformulation du questionnement évaluatif associée à des critères de réussite, des indices et indicateurs et aux outils de collecte que l’équipe d’évaluation prévoit de déployer pour apporter des éléments de réponse sous la forme d’une matrice d’évaluation ;
• Une description détaillée de l’approche méthodologique retenue et des outils de collecte à son service ;
• Un calendrier actualisé de réalisation de la mission d’évaluation ;
• En annexe : une matrice d’évaluation (voir trame en annexe 1), une première version des protocoles de collecte (guides d’entretien, grille d’observation, guide d’animation des ateliers, etc.) incluant les méthodes d’échantillonnage.

Ce cadrage fera l’objet d’un échange préalable entre le groupe de pilotage et le.s consultant.e.s et permettra de discuter avec le.s consultant.e.s de la manière dont il.s ou elle.s entendent structurer la démarche évaluative et d’en vérifier la faisabilité. La note de cadrage fera également l’objet d’une restitution au groupe de pilotage.

En cas de reconstitution de la logique d’intervention, il convient de s’assurer que les objectifs redéfinis par l’évaluateur sont bien partagés par le groupe de pilotage.

Cette phase préparatoire est clé et la note de cadrage devra être formellement validée avant le début de la phase de collecte.

Les ressources à exploiter pour cette phase sont (liste non-exhaustive) :

• « Contrat pour services de consultants » signé le 23 juin 2022 entre le Ministère de la Justice, des Affaires Islamiques et de la Fonction Publique de l’Union des Comores et Expertise France ;
• Avenant au « Contrat pour services de consultants » signé le 18 juin 2024 entre le Ministère de la Justice, des Affaires Islamiques et de la Fonction Publique de l’Union des Comores et Expertise France.
• Rapport final du projet de soutien à la justice mis en œuvre entre 2019 et 2022 ;
• Rapport de démarrage de l’assistance technique ;
• Rapports d’activité semestriels de l’assistance technique ;
• Programme de la formation initiale des auditeur.rice.s ;
• -Programme de la formation initiale des greffier.e.s ;
• Programme de la formation continue ;
• Rapport GPEEC ;
• Etude détaillée sur les besoins, modes de gestion et de formation initiale et continue des professionnels de la justice aux Comores ;
• Rapport sur les besoins et sur l’élaboration d’un catalogue de formations continues des magistrats en Union de Comores en droit OHADA ;
• Cadre logique du projet ;
• Plan SERA de l’assistance technique ;
• Tableau de bord du suivi-évaluation de l’assistance technique incluant le cadre logique ;
• Rapport de capitalisation (promotion 1).

Phase de collecte

Lors de cette étape, le ou les consultant.e.s poursuivront l’analyse des données secondaires via les suites de l’analyse documentaire. Il.s ou elle.s procéderont à la collecte de données primaires.

Cette collecte se fera essentiellement via une mission terrain à Moroni d’une durée de 6 jours, prévue avant la fin du mois de février 2025. Le déroulé de cette mission devra être décrit dans un programme partagé avec le groupe de pilotage pour validation. Le groupe de pilotage appuiera et facilitera l’organisation de cette mission (mise en contact, présentation de l’évaluation, fourniture de coordonnées, etc.).

La collecte de données inclura l’utilisation de méthodes de collecte qualitatives et quantitatives dont, par exemple (au moins trois méthodes différentes et complémentaires doivent être mentionnées dans l’offre technique) :

• Une mission terrain sur un ou plusieurs sites de mise en œuvre ;
• Une ou plusieurs enquêtes par questionnaires ;
• Un ou plusieurs focus groupes ;
• Des entretiens individuels ;
• Une revue des documents du projet et, lorsque pertinent, de documents externes ;
• Si le calendrier le projet le permet, une observation de pratiques ;
• Etc.

À la fin de mission terrain, une réunion de restitution à chaud des résultats préliminaires suite à la phase de collecte devra être réalisée auprès du groupe de pilotage. Un diaporama sera utilisé comme support.

Cette restitution à chaud permettra principalement :

• De partager un niveau de connaissances commun des éléments collectés et des enjeux associés ;
• D’esquisser les grandes lignes préliminaires de l’analyse croisée ;
• Et d’identifier d’éventuelles lacunes de la collecte qui nécessiteraient un complément de collecte à distance.

Phase d’analyse et de reporting

   1)      Un rapport final provisoire

Un rapport final provisoire qui ne devra pas dépasser 40 pages hors annexes sera produit à l’issue des travaux complémentaires d’analyse et de contrôle qualité du ou des consultant.e.s.

Ce rapport final provisoire servira de support à une réunion entre l’équipe d’évaluation sélectionnée et le groupe de pilotage. Celle-ci permettra principalement :

• De partager et discuter les conclusions provisoires relatives aux questions d’évaluation ;
• De s’assurer que ces conclusions soient suffisamment étayées et d’identifier d’éventuelles lacunes d’analyse qui nécessiteraient un complément d’analyse ;
• D’ajuster leur formulation pour aboutir à une production collective des conclusions définitives ;
• De co-construire les recommandations issues de l’évaluation.

Le rapport final provisoire devra être communiqué au groupe de pilotage au moins une semaine avant la réunion.

   2)      Un rapport final définitif accompagné d’une synthèse

Un rapport définitif, intégrant les observations du groupe de pilotage et recommandations identifiées ainsi qu’une synthèse, sera par la suite produit par le.s consultant.e.s.

Si les observations faites expriment des différences d’appréciation non partagées par les consultants, celles-ci pourront être annexées au rapport définitif et commentées par les consultants. 

            Livrables attendus

Les livrables devront être soumis par email sous format Word aux destinataires qui seront indiqués à l’équipe d’évaluation lors de la phase de démarrage. Ils devront être rédigés en français.

En outre, un support de présentation type diaporama devra être produit pour chaque réunion de pilotage.

Organisation des travaux

           Pilotage de l’évaluation et gouvernance du projet

L’évaluation est gérée par Expertise France avec l’aide d’un groupe de pilotage (voir l’annexe 4).

Les fonctions principales des membres du groupe de pilotage de l’évaluation sont de:

• Conseiller et orienter les choix relatifs à l’évaluation ;
• Proposer des décisions sur les ajustements à opérer dans la conduite de l’évaluation ;
• Valider les livrables remis par les évaluateurs.

Des réunions du comité sont prévues dans le cours de cette évaluation :

1. En phase de démarrage, pour valider la méthodologie générale de mise en œuvre, le plan de collecte des données et la présentation espérée des livrables attendus, et valider la note de cadrage ;
2. Lors d’un point intermédiaire pour réagir aux premières analyses et constats, une fois la phase de collecte de données terminée (validation du rapport intermédiaire) ;
3. En phase de finalisation, pour participer à la formulation des conclusions et à la co-construction des recommandations ;
4. Pour valider le rapport final en fonction de l’étendue des points restant à arbitrer, sinon par courriels. 

           Modalités de coordination

Il est demandé au.x consultant.e.s d’associer étroitement le groupe de pilotage à la construction de son raisonnement, par des liens réguliers tout au long de la mission, de la note de cadrage jusqu’à la réunion de présentation du rapport provisoire. En particulier, un partage des constats et des premiers éléments d’analyse doit se faire dès la fin de la mission.

La prestation inclura une mission terrain. Les outils collaboratifs utilisés seront agréés par le projet sur proposition éventuelle du.es consultant.e.s.

           Calendrier

La durée totale de la mission est estimée à 25 personnes/jours, entre les mois de janvier et d’avril 2025 telle que détaillée ci-dessous à titre indicatif : 

L’équipe d’évaluation sélectionnée devra proposer dans son offre un plan de travail détaillé incluant les jours travaillés par activité et par membre de l’équipe d’évaluation, ainsi que les dates et lieux indicatifs. Ce plan de travail sera discuté et validé lors de la réunion de démarrage.