......... Objetivos de la misión

Justificación y objetivos de la evaluación

En razón del alcance del proyecto (EUR 18.8 millones y 48 meses de ejecución), de su cobertura nacional, de su carácter multicomponente y multiactor, tres agencias de cooperación, dos instituciones públicas nacionales beneficiarias y conforme a lo previsto en el DoA y en el Plan SERA, Expertise France, en su calidad de agencia de coordinación de la Acción, desea realizar una evaluación externa intermedia.

Esta evaluación se planifica en el momento en que la Acción alcanza la mitad de su período de ejecución y pasa de una fase de instalación a una fase de ejecución intensiva. Varias decisiones estructurantes están en juego para 2027 y 2028: el ritmo de ampliación de la cobertura necesario para alcanzar las metas finales, la transición hacia una ejecución mediante operadores especializados, la integración de los Centros de Acogimiento Institucional de CONAPINA y la modificación al convenio correspondiente, así como la adaptación de la Acción a las orientaciones sectoriales vigentes desde 2025. La evaluación debe aportar a la Mesa Estratégica y a los socios una apreciación compartida e independiente para tomar esas decisiones.

La evaluación es un hito de rendición de cuentas ante la Unión Europea, ante las agencias de ejecución (Expertise France, UNESCO y UNICEF) y ante las instituciones beneficiarias (MINEDUCYT y CONAPINA). También debe permitir identificar enseñanzas útiles para otros proyectos financiados por la UE, Expertise France, UNESCO y UNICEF , en los ámbitos de la educación, la inserción socioprofesional y la prevención de la violencia, así como para futuras acciones ejecutadas bajo la modalidad de contribución multisocios.

Objetivos y expectativas generales de la misión

Esta evaluación tiene como objetivo principal proporcionar al MINEDUCYT y a CONAPINA, a Expertise France (equipos de terreno y sede), a UNESCO, a UNICEF y a la Delegación de la Unión Europea en El Salvador:

·       un análisis global e independiente del desempeño de la Acción AGUSTINE, con especial atención a sus resultados intermedios, en comparación con los objetivos fijados;

·       enseñanzas y recomendaciones que permitan mejorar la ejecución durante la segunda mitad de la Acción y orientar intervenciones futuras.

En particular, la evaluación servirá para:

1.       ajustar la estrategia y la planificación operativa de 2027 y 2028, incluida, si procede, la revisión de metas, la priorización de líneas de acción y la reasignación de recursos dentro de cada componente o entre componentes, conforme a las disposiciones del convenio;

2.       documentar los resultados alcanzados hasta la fecha y los primeros cambios observados en las instituciones beneficiarias (MINEDUCYT y CONAPINA) y en las comunidades educativas (por ejemplo, en la convivencia escolar y la reducción de conflictos, la asistencia y la permanencia escolar o el rendimiento académico), así como las metodologías que los han hecho posibles;

3.       valorar la viabilidad del ritmo de ampliación previsto y el equilibrio entre cobertura, calidad y concentración de las intervenciones en los centros educativos;

4.       apreciar el funcionamiento del modelo de ejecución conjunta EF–UNESCO–UNICEF, de la gobernanza de la Acción y del rol de coordinación de Expertise France;

5.       fortalecer el sistema SERA y asegurar la evaluabilidad de la Acción de cara a la evaluación final (líneas de base, indicadores aún por definir, fuentes de datos);

6.       identificar las condiciones de apropiación institucional y los elementos de una estrategia de salida, considerando los cambios institucionales registrados durante el primer año de ejecución de la Acción.

Se trata de una evaluación de carácter formativo, orientada al aprendizaje y a la mejora de la ejecución, que conserva una dimensión de rendición de cuentas. El cuadro siguiente resume los usos esperados:

El equipo evaluador deberá aportar los elementos de prueba que sustenten sus análisis, explicitar las relaciones de causa y efecto e identificar los factores que favorecen o limitan los avances. Su trabajo debe favorecer la rendición de cuentas, la toma de decisiones y el aprendizaje.

......... Alcance de la evaluación

La evaluación abarcará los siguientes elementos:

Período: Del 1 de noviembre de 2024 (inicio de la Acción) al 31 de diciembre de 2026, tomando en cuenta los hechos relevantes ocurridos hasta el final de la fase de recolección

Componentes: Los cuatro componentes y las actividades transversales (gobernanza y coordinación, SERA, comunicación y visibilidad), incluida la línea de trabajo con los CIS y, en la medida en que se haya iniciado, la ampliación a los CAI

Territorio: El Salvador: nivel central (San Salvador) y una muestra de departamentos, distritos y centros educativos representativa de la diversidad de la intervención

Actores:

·       Financiador: Delegación de la UE

·       Agencias de ejecución: Expertise France (terreno y sede), UNESCO y UNICEF

·       Instituciones: MINEDUCYT (nivel central y direcciones departamentales), CONAPINA, ESCO (observador)

·       Operadores y proveedores contratados por las agencias y socios implementadores.

·       Comunidades educativas: directivos, Consejos Directivos Escolares, docentes, estudiantes, Consejos de Estudiantes, familias

·       Adolescentes y jóvenes de los CIS, CAIs y equipos multidisciplinarios de CONAPINA

·       Sector productivo e instituciones de formación vinculados al componente 3

Fuera del alcance: Auditoría financiera (la Acción ya cuenta con este tipo de auditorías), evaluación del desempeño individual del personal y medición del impacto con método contrafactual

Criterios y preguntas de evaluación

La evaluación utilizará los criterios del Comité de Ayuda al Desarrollo (CAD) de la OCDE: pertinencia, coherencia, eficacia, eficiencia, impacto y sostenibilidad. Por tratarse de una evaluación intermedia, y de acuerdo con la guía de evaluación de Expertise France, el análisis se centrará prioritariamente en la pertinencia, la coherencia, la eficacia y la eficiencia. La sostenibilidad se abordará de manera prospectiva, a partir de las condiciones que la Acción está creando. El impacto se limitará a la identificación de primeros efectos y al análisis de la evaluabilidad de cara a la evaluación final.

El equipo SERA de EF elaboró las preguntas que siguen a partir del DoA, del marco lógico y del informe anual 2025; el grupo de pilotaje^[1] las validará. El equipo evaluador las revisará en la fase de inicio y propondrá su versión final, eventualmente priorizada o reagrupada, en la nota de encuadre.

El equipo evaluador deberá emitir una valoración fundamentada sobre cada una de las preguntas y asegurarse de que sus apreciaciones cubran las etapas relevantes del ciclo de la Acción (formulación, arranque y ejecución). Para sustentar estas valoraciones y hacerlas comparables, propondrá en la nota de encuadre una escala de valoración por criterio (por ejemplo, de cuatro niveles: muy satisfactorio, satisfactorio, poco satisfactorio e insatisfactorio), con descriptores para cada nivel, que se aplicará en la matriz de evaluación y en el informe final. También deberá identificar enseñanzas y prácticas prometedoras que puedan consolidarse o replicarse durante la segunda mitad de la Acción.

Además, verificará en qué medida se tomaron en cuenta en la formulación, la ejecución y el seguimiento las siguientes cuestiones transversales: enfoque de derechos humanos y de derechos de la niñez y la adolescencia, igualdad de condiciones, buena gobernanza y participación, inclusión de personas con discapacidad y de los grupos más vulnerables, y sostenibilidad ambiental cuando resulte pertinente (por ejemplo, en los equipamientos del componente 3).

Dado que la Acción cuenta con un objetivo específico y un componente dedicados a la igualdad de condiciones, la evaluación prestará una atención particular a esta dimensión. El equipo evaluador formulará conclusiones y recomendaciones específicas sobre la integración del género en las operaciones y en el conjunto de los componentes, y señalará cualquier efecto negativo sobre la igualdad entre mujeres y hombres.

Descripción de la misión

......... Metodología adoptada

Expertise France como órgano de contratación, espera una evaluación basada en la teoría del cambio, que utilice métodos mixtos (cualitativos y cuantitativos) y un enfoque participativo y orientado al uso. El equipo evaluador propondrá en su oferta, y precisará en la nota de encuadre, un dispositivo metodológico que responda a las siguientes orientaciones:

·       Reconstrucción de la lógica de intervención por componente y para el conjunto de la Acción, con identificación de las hipótesis críticas y de los supuestos del marco lógico, y análisis de contribución para apreciar la parte plausible de la Acción en los cambios observados.

·       Análisis de evaluabilidad temprano: calidad de los indicadores, disponibilidad de líneas de base y metas, coherencia entre DoA, marco lógico e informes, y fiabilidad de los datos de SERA.

·       Aprovechamiento de los datos existentes antes de toda recolección primaria (tableros SERA, línea de base de 2025, encuestas de percepción, datos del SIGES y del MINEDUCYT), para limitar la carga sobre las comunidades educativas. El equipo evaluador tomará en cuenta los estudios apoyados por la propia Acción para evitar duplicaciones.

·       Muestreo razonado de centros educativos que refleje la diversidad de la intervención: departamentos y zonas (urbana y rural), componentes presentes (centros con uno o con varios componentes), cohortes (año 1 y año 2), niveles educativos y tipo de centro (incluidos institutos técnicos equipados), así como los CIS y, si procede, los CAI.

·       Análisis comparativo entre componentes, entre agencias y entre modalidades de ejecución, que incluya un análisis por tipo de intervención cuando los datos lo permitan, así como la presentación de datos desagregados, espacios de expresión separados cuando sea necesario, análisis de efectos diferenciados.

·       Triangulación sistemática de fuentes, actores y métodos, y explicitación de los límites de cada hallazgo.

Dado que la evaluación final deberá apreciar el impacto de la Acción, la evaluación intermedia servirá también para preparar esa etapa: los instrumentos y las bases de datos producidos se entregarán de modo que puedan reutilizarse en 2028.

Consideraciones éticas y protección de la niñez

La evaluación se regirá por los principios de independencia, imparcialidad, rigor, pluralismo y ética que establece la guía de evaluación de Expertise France, así como por las normas éticas del Grupo de Evaluación de las Naciones Unidas (UNEG). Buena parte de las personas consultadas serán niñas, niños y adolescentes, y los temas abordados (violencia, salud mental, violencia sexual, responsabilidad penal) son sensibles. En consecuencia, el equipo evaluador deberá:

·       presentar en la nota de encuadre un protocolo ético que incluya consentimiento informado de personas adultas, asentimiento de niñas, niños y adolescentes y consentimiento de sus madres, padres o responsables, conforme a la Ley Crecer Juntos y a los procedimientos del MINEDUCYT y de CONAPINA;

·       prever un protocolo de referencia en caso de revelación de situaciones de violencia o de riesgo, articulado con las instancias de protección competentes;

·       garantizar la confidencialidad y el anonimato, y cumplir las normas de protección de datos personales (incluido el Reglamento General de Protección de Datos de la UE); no se tomarán imágenes de personas menores de edad sin autorización expresa;

·       firmar y respetar el código de conducta y las políticas de Expertise France en materia de prevención de la explotación, el abuso y el acoso sexual, y asegurar que todo el personal de campo esté formado en protección de la niñez;

·       aplicar el principio de “no hacer daño” y respetar las orientaciones de seguridad que indique Expertise France.

......... Desarrollo

La misión se estructura de manera simplificada en cuatro fases fundamentales, que se describen a continuación: 1) fase de inicio (encuadre); 2) fase de recolección de datos; 3) fase de elaboración de informes, y 4) fase de devolución y difusión. A lo largo de todo el proceso, desde la nota de encuadre hasta la presentación del informe final. Los hallazgos y primeros elementos de análisis se compartirán al término de la fase de recolección, a través del informe intermedio.

Fase de inicio (encuadre)

Tras una reunión de lanzamiento con el equipo de la Acción, el equipo evaluador deberá:

-          reunir y analizar la documentación relativa a la formulación, ejecución y seguimiento de la Acción y a su contexto (véase el anexo 8). La documentación estará disponible en un espacio compartido administrado por el equipo SERA del proyecto;

-          realizar entrevistas exploratorias con los equipos de EF, UNESCO, UNICEF, la DUE, el MINEDUCYT y CONAPINA;

-          identificar y analizar a las partes interesadas (véase el anexo 7);

-          reconstruir la lógica de intervención a partir del DoA, la teoría del cambio y el marco lógico, con el fin de (i) aclarar los objetivos y traducirlos en una jerarquía de cambios esperados, (ii) apreciar la coherencia interna de la Acción y (iii) identificar las hipótesis de partida, a menudo implícitas, y valorar su fundamento;

-          profundizar el marco de la evaluación: (i) precisar las preguntas que concentrarán el trabajo en un número limitado de puntos clave, (ii) establecer los criterios de juicio y (iii) definir los indicadores, las fuentes de información y las herramientas de recolección.

A partir de este trabajo, el equipo evaluador presentará una nota de encuadre (véase la trama del anexo 1) que incluirá:

·        la descripción detallada de los objetivos, del alcance (temporal, geográfico y programático) y de los usos esperados de la evaluación;

·        el análisis de las partes interesadas y la teoría del cambio reconstruida;

·        la reformulación de las preguntas de evaluación, asociadas a criterios de juicio, indicadores y herramientas de recolección en una matriz de evaluación, junto con la escala de valoración por criterio (véase la trama del anexo 2);

·        el enfoque metodológico, el plan de muestreo, el protocolo ético y el análisis de riesgos;

·        el calendario actualizado y la distribución de tareas en el equipo;

·        en anexo, la primera versión de los protocolos de recolección (guías de entrevista y de grupos focales, cuestionarios, guías de observación y de talleres).

La nota de encuadre será objeto de una reunión con el grupo de pilotaje, que permitirá discutir la manera en que el equipo evaluador piensa estructurar su trabajo y verificar su factibilidad. En caso de reconstrucción de la lógica de intervención, el equipo evaluador se asegurará de que los objetivos redefinidos sean compartidos por el equipo de la Acción. La fase de inicio es clave: con ella se valida la metodología.

Actores ineludibles en esta fase: equipo AGUSTINE de EF (dirección, coordinadores de componente, SERA), UNESCO, UNICEF, DUE, referentes MINEDUCYT y CONAPINA.

Fase de recolección de datos

En esta etapa, el equipo evaluador completará el análisis de fuentes secundarias y recolectará datos primarios. La recolección se realizará principalmente mediante una misión de campo de cuatro semanas en El Salvador, entre finales de enero y febrero de 2027, una vez iniciado el año lectivo 2027. Las entrevistas con actores institucionales podrán comenzar desde diciembre de 2026. El programa detallado se compartirá con Expertise France, que apoyará y facilitará su organización junto a UNESCO y UNICEF.

La recolección combinará métodos cualitativos y cuantitativos, entre otros:

-          visitas a una muestra de centros educativos en al menos seis departamentos, con observación de prácticas y del uso de equipamientos (laboratorios, talleres, espacios amigables);

-          entrevistas semiestructuradas con actores institucionales, agencias, operadores, directivos y docentes;

-          grupos focales con estudiantes que no integran Consejos de Estudiantes y con integrantes de estos consejos (por edad y, cuando sea pertinente, por sexo), así como con docentes y familias;

-          una encuesta a docentes y directivos de los centros apoyados (en línea o telefónica), a criterio del equipo evaluador;

-          visitas a los CIS y, si procede, a los CAI, con la autorización y el acompañamiento de CONAPINA;

-          estudios de caso (por ejemplo, centros con varios componentes frente a centros con un solo componente; un instituto técnico equipado; un CIS);

-          análisis de los datos de seguimiento, de los informes de los operadores y de los datos financieros;

-          un taller con las partes interesadas al cierre de la recolección.

Al final de la misión de campo, el equipo evaluador realizará una sesión de devolución de los resultados preliminares ante el equipo de la Acción y los socios en San Salvador.

Fase de elaboración de informes

1)      Informe intermedio

Al término de la recolección, el equipo evaluador elaborará un informe intermedio que presente los datos recolectados con cada herramienta. Este documento, que podrá adoptar la forma de una presentación de diapositivas, debe permitir compartir los hallazgos preliminares y asegurar su trazabilidad. Incluirá, como mínimo: (i) un recordatorio de la metodología aplicada y de la muestra efectivamente cubierta; (ii) los hallazgos preliminares organizados por criterio y pregunta de evaluación, con indicación de las fuentes e instrumentos que los sustentan; (iii) las primeras pistas de conclusiones, y (iv) los vacíos de información y límites identificados, con una propuesta de recolección complementaria si fuera necesaria. Servirá de base a una reunión del grupo de pilotaje destinada a compartir un nivel común de conocimiento, esbozar colectivamente las grandes líneas del análisis cruzado e identificar eventuales vacíos que requieran una recolección complementaria a distancia.

2)      Informe final provisional

El informe final provisional no excederá 40 páginas sin anexos (véanse el plan del anexo 4 y la grilla de calidad del anexo 3) e incluirá un resumen ejecutivo de 4 a 6 páginas. Servirá de base a un taller de co-construcción de conclusiones y recomendaciones con el grupo de pilotaje (herramientas EF 8 y 8b), cuyo propósito es discutir las conclusiones provisionales, verificar que estén suficientemente fundamentadas, ajustar su formulación y construir colectivamente las recomendaciones.

Las recomendaciones deberán derivarse de las conclusiones, estar jerarquizadas y dirigidas a actores identificados (EF, UNESCO, UNICEF, MINEDUCYT, CONAPINA, DUE). Por tratarse de una evaluación intermedia, se distinguirá entre las recomendaciones aplicables antes del cierre de la Acción (octubre de 2028), con su horizonte temporal, y las de alcance estratégico para intervenciones futuras, así como entre recomendaciones operativas y estratégicas.

3)      Informe final definitivo y síntesis

El informe definitivo integrará las observaciones del grupo de pilotaje y las recomendaciones co-construidas, junto con una síntesis de 2 a 4 páginas según el modelo de Expertise France (anexo 5), en español y en francés. Si alguna observación expresa diferencias de apreciación que el equipo evaluador no comparte, podrá anexarse al informe con los comentarios del equipo. El contenido del informe final es de exclusiva responsabilidad del equipo evaluador.

Fase de devolución y difusión

Una vez validado el informe, el equipo evaluador animará un taller de devolución de resultados en San Salvador para presentar los principales resultados y enseñanzas a las partes interesadas de la Acción (miembros de la Gobernanza del proyecto, direcciones del MINEDUCYT, CONAPINA, operadores). Podrá solicitarse además una presentación en la sesión ordinaria de 2027 de la Mesa Estratégica. Expertise France elaborará el plan de difusión (herramienta EF 10) y el plan de seguimiento de las recomendaciones (herramienta EF 11).

......... Entregables esperados

Los productos se remitirán por correo electrónico en formato Word (y PowerPoint para las presentaciones) a las personas destinatarias que se indicarán en la fase de inicio. Se redactarán en español; la síntesis final se entregará también en idioma inglés y francés.

T0: fecha de la reunión de lanzamiento, prevista para la semana del 16 de noviembre de 2026.

Se preparará además una presentación de diapositivas para cada reunión del grupo de pilotaje. Expertise France consolidará y remitirá las observaciones del grupo de pilotaje en un plazo de 10 días hábiles a partir de la recepción de cada producto; el equipo evaluador dispondrá de 10 días hábiles para integrarlas. La calidad de la nota de encuadre y del informe final se apreciará con las grillas del anexo 3.

......... Limitaciones y riesgos previsibles

Organización de los trabajos

......... Dirección de la evaluación y gobernanza del proyecto

Expertise France gestiona la evaluación en su calidad de agencia de coordinación de la Acción. La jefatura del proyecto AGUSTINE pilota el proceso, con el apoyo de la coordinación SERA para el proyecto, que será el punto focal cotidiano del equipo evaluador. Conforme a la guía de evaluación de EF, el pilotaje técnico recae en un triángulo formado por la jefatura del proyecto, la persona encargada del proyecto en la sede y la Gerencia SERA del departamento técnico de EF, que aprueban técnicamente los productos, una vez consideradas las observaciones del grupo de pilotaje.

Se conformará un grupo de pilotaje de la evaluación pluralista, integrado por representantes de:

·       Expertise France (triángulo de pilotaje).

·       UNESCO y UNICEF (Un representante por institución)

UNESCO y UNICEF, como integrantes del grupo de pilotaje, revisarán y formularán observaciones sobre todos los productos de la evaluación y, en su calidad de corresponsables del componente 1, validarán los aspectos de la evaluación relativos a este componente y facilitarán el acceso a sus datos y a sus socios. El grupo de pilotaje tiene las siguientes funciones:

·       aconsejar y orientar las decisiones relativas a la evaluación;

·       proponer decisiones sobre los ajustes que convenga introducir en su conducción;

Se prevén las siguientes reuniones del grupo de pilotaje:

1.       en la fase de inicio, para validar la nota de encuadre, la metodología, el plan de recolección y la presentación esperada de los productos;

2.       al final de la recolección, para reaccionar a los primeros análisis y hallazgos (informe intermedio);

3.       en la fase de finalización, para participar en la formulación de las conclusiones y en la co-construcción de las recomendaciones;

4.       para validar el informe final, según la cantidad de puntos pendientes de arbitraje; de lo contrario, por correo electrónico.

Conforme al principio de independencia, el equipo evaluador es el único responsable del contenido y de la calidad del informe final.

......... Modalidades de coordinación

El equipo evaluador mantendrá contactos regulares con el punto focal de EF durante toda la misión, con un punto de avance semanal durante las fases de inicio y de recolección. Los intercambios se harán por videoconferencia y en persona en San Salvador. EF habilitará un espacio documental compartido desde la firma del contrato. La lengua de trabajo es el español.

......... Organización de las misiones de campo

Expertise France, UNESCO y UNICEF facilitarán el acceso a la documentación, las listas de contactos y las cartas de presentación; gestionará las autorizaciones del MINEDUCYT y de CONAPINA para las visitas a centros educativos, CIS y CAI; y pondrá a disposición, según disponibilidad, salas de reunión en sus oficinas de San Salvador para entrevistas y talleres.

El equipo evaluador coordinará directamente la agenda de reuniones con los actores, informando previamente al punto focal de EF; organizará de manera autónoma la sesión de devolución de resultados preliminares y el taller de devolución de resultados; y asumirá la logística de sus desplazamientos (transporte nacional e internacional, alojamiento, viáticos), de la recolección de datos (personal de campo, refrigerios de grupos focales, materiales). Estos costos deberán incluirse en la oferta financiera.

......... Cronograma

La misión se desarrollará entre noviembre de 2026 y mayo de 2027, según el calendario indicativo siguiente:

La oferta deberá incluir un plan de trabajo detallado, con los días trabajados por actividad y por integrante del equipo, así como las fechas indicativas. Este plan se discutirá y validará en la reunión de lanzamiento.