Peru Second Phase of Health Reform Program Implementation Completion and Results Report

Annex 5. Beneficiary Survey Results

Not applicable

Annex 6. Stakeholder Workshop Report and Results

Not applicable

Annex 7. Summary of Borrower's ICR and/or Comments on Draft ICR

1. 
   The evaluation of the PARSALUD II program was conducted in 2015 by the Peruvian University of Cayetano Heredia and the National Institute of Mexican Public Health. An English summary of the main findings of the evaluation is reported below and the original Executive Summary of the evaluation report follows (in Spanish)
   

2. 
   PARSALUD II was established as a program to support the modernization process and reform of the health system, while seeking to improve the health and lower the mortality and morbidity of the maternal and infant population in the 9 poorest regions of Peru. Project design included various components targeting health service demand and supply, health sector regulations and national and regional management aspects.
   

3. 
   The objectives of the evaluations were the following:
   

• 
  Determine program design relevance in terms of PDO achievement.
  
• 
  Determine target achievement in relation to program activities/components and achievement of objectives and targets in relation to the baseline and the intermediate evaluation
  
• 
  Identify the Project’s main limitations, successes and lessons learned in order to provide recommendations.
  

4. 
   Results and Conclusions:
   

• 
  PARSALUD II targets were aligned with Peru’s national health strategy.
  
• 
  Interventions prioritized rural and areas with greater poverty levels where maternal and infant mortality rates were greater than in the rest of the country.
  
• 
  Program design was relevant, appropriate, and had a logical structure.
  
• 
  Indicators were partially in line with the Program’s strategic actions and components.
  
• 
  Project expenditure was 100% efficiency in 6 of the 14 analyzed activities.
  
• 
  Some of the most notable program successes include: (a) a reduction in the prevalence of malnutrition in children under 3 (from 37 to 21%), (b) the institutionalization of the care of women’s health during pregnancy, birth and during the postpartum period, and (c) the promotion of good health practices related to children.
  
• 
  When comparing Project implementation and non-Project implementation regions, the evaluation found that the project regions presented better health conditions regarding indicators measuring prenatal care attention and quality of attention and institutional births. However, women in these regions also presented greater complications during the postpartum period.
  
• 
  In terms of the health of infants 3 years and younger the greatest advances were related to nutritional indicators. The reduction in chronic malnutrition was almost 12 percentage points in both groups between 2009 and 2014.
  
• 
  Though the results reveal changes that favor the improvement of health in population groups exposed to PARSALUD2 it is difficult to directly attribute the positive impacts to the Project.
  

“ESTUDIO DE EVALUACIÓN FINAL DE LA SEGUNDA FASE DEL PROGRAMA DE APOYO A LA REFORMA DEL SECTOR SALUD - PARSALUD II” (Resumen Ejecutivo)
INTRODUCCIÓN

5. 
   PARSALUD II se crea como programa para apoyar el proceso de modernización y reforma del sistema de salud, buscando mejorar el estado de salud de la población materno – infantil, mediante el incremento del uso de servicios de salud materno infantiles y la reducción de la morbilidad de los niños y niñas menores de 3 años de familias de la zona rural de 09 regiones más pobres del Perú (Amazonas, Apurímac, Ayacucho, Cajamarca, Cusco, Huancavelica, Huánuco, Puno y Ucayali).
   

6. 
   PARSALUD II combina varios componentes que se relacionan y actúan tanto en la oferta como en la demanda de servicios de salud, así como a nivel normativo y de gestión a nivel nacional y regional. Para cumplir con los objetivos, el Programa se ha organizado sobre la base de tres componentes que han sido considerados como fundamentales: Fortalecimiento de la demanda, fortalecimiento de la oferta y gobierno, y financiamiento y adicionalmente un componente transversal de gestión que incluye administración, evaluación, monitoreo y auditoría.
   

7. 
   La Universidad Peruana Cayetano Heredia con el Instituto Nacional de Salud Pública de México realizaron la evaluación final de PARSALUD II en el 2015, desde una perspectiva integral de todo el ciclo de la acción: Planificación, implementación resultados e impactos, utilizando la teoría del cambio.
   

8. 
   Los objetivos específicos de la evaluación son los siguientes:
   

1. 
   Determinar la pertinencia, relevancia y suficiencia del diseño del Programa en relación al logro de los objetivos.
   
2. 
   Determinar el grado de cumplimiento de las metas previstas con relación a las actividades y componentes del Programa.
   
3. 
   Evaluar el nivel de cumplimiento de los objetivos y metas a nivel de resultado y evaluar su tendencia contrastándolos con los de la línea de base y evaluación intermedia.
   
4. 
   Identificar las principales limitaciones y los factores de éxito y lecciones aprendidas del Programa y formular recomendaciones para la mejora del cumplimiento de sus objetivos.
   

METODOLOGÍA

9. 
   En la evaluación del diseño para la evaluación de la pertinencia se revisaron documentos proporcionados por PARSALUD II; estos son: Resumen Ejecutivo, Módulo I: Aspectos generales, Módulo II Identificación: Definición del problema, Módulo II Identificación: Diagnóstico del contexto, definición del problema, Módulo III Formulación: Análisis de la demanda- Análisis de la oferta-Descripción de la alternativa. Se revisaron adicionalmente las ENDES 2000, 2004, 2005, 2006, informes de la Organización Mundial de la Salud, Organización Panamericana de la Salud, Informes del Instituto Nacional de Estadística e Informática de Perú. Así como lineamientos de política nacional, normas y documentos técnicos en el campo de la salud materna infantil. Con base en la revisión de documentos, se elaboraron informes por categorías de análisis vinculadas a la pertinencia.
   

10. 
    Para la evaluación de coherencia del diseño de PARSALUD II, se utilizó el análisis de teoría causal y teoría de cambio del Programa, para lo cual se retomó el árbol de problemas²⁸ y el árbol de objetivos propuestos por PARSALUD II.²⁹ Se organizaron diagramas de causalidad con la finalidad de dar un ordenamiento lógico a la teoría causal.
    

11. 
    Para identificar la relevancia de las intervenciones de PARSALUD II para atender el problema de salud materno infantil en zonas rurales se realizó una búsqueda intencionada de propuestas para abordar la problemática en la literatura utilizada para construir la teoría causal y la teoría de cambio del Programa que fuera publicada entre 2000 a 2006. Se elaboró una matriz con el resumen de cada uno de los artículos a partir de la cual se elaboró el informe.
    

12. 
    Para evaluar la suficiencia en el diseño de PARSALUD II, se evaluó la lógica vertical y la lógica horizontal del marco lógico del Programa. En la lógica vertical del Programa se realizó una evaluación de la suficiencia de las actividades (cantidad, oportunidad y concentración en función a la población beneficiaria) para generar un determinado producto y en qué medida los productos producidos por las actividades permiten alcanzar el componente del Programa. Este tipo de evaluación se realizó para cada uno de los componentes considerados en el Programa, igualmente se realizó una evaluación de la suficiencia de los componentes para producir el propósito del Programa y de éste como contribuye al fin. El análisis de la lógica vertical respondió a las siguientes preguntas:
    

• 
  ¿Las metas a nivel de acciones son adecuadas para alcanzar las actividades principales?
  
• 
  ¿Las actividades especificadas para cada componente son las necesarias para producir el componente?
  
• 
  ¿Los componentes son necesarios para lograr el Propósito del Programa?
  
• 
  ¿El Propósito del Programa contribuye al fin?
  

13. 
    Con respecto a la evaluación de desempeño y eficiencia, se realizó un análisis comparativo de la programación y la ejecución de los productos relacionados a los componentes del Programa en tres dimensiones: cantidades producidas, tiempos de producción y monto gastado; buscando identificar los factores relacionados a la eficiencia. Las fuentes de información utilizadas fueron las siguientes: los estudios de factibilidad del Programa (nacional y regionales), Planes Operativos Anuales (POA), Matrices del Progress Monitoring Report para el BID, Reportes del SIAF (MEF) y SIMAF (PARSALUD) II, Informes de Evaluación, Convenios con Regiones, Actas de Sesiones del Comité Directivo de PARSALUD II, entre otros. La estrategia de análisis tomó en cuenta los lineamientos del Ministerio de Economía y Finanzas para la evaluación Ex - post de proyectos de inversión (general y en salud) y constó de tres etapas. La primera fue dirigida a la recopilación y procesamiento de información, que incluyó trabajo de campo en Perú, así como la definición de los productos por componente a trabajar. La segunda etapa constó de un análisis cuantitativo de los datos de producción, tiempo de ejecución y gasto; generándose medidas de eficiencia a partir de razones entre lo planeado y lo realmente obtenido. Finalmente, la tercera etapa estuvo encaminada a identificar los factores relacionados a la eficiencia del Programa, a partir de revisión documental y compilación de información brindada en reuniones con el grupo de tarea. Para sistematizar esta información se consideraron cuatro categorías: factores políticos, económicos, sociales y tecnológicos (PEST).
    

14. 
    En relación al análisis del logro de los resultados, se ha aplicado el análisis siguiendo el enfoque del marco lógico. Hasta donde ha sido posible, se han vuelto a estimar los indicadores a partir de información primaria. En la interpretación de los resultados se consideró no solamente la diferencia aritmética entre el valor proyectado y el valor observado, sino el significado de la diferencia considerando dos criterios: la naturaleza dinámica interna de los procesos que requiere una adecuación periódica de las metas y el ambiente externo cambiante que implica también una adecuación periódica de las metas. Se recurrió en lo posible a fuentes de información y, en su defecto, a fuentes secundarias.
    

15. 
    PARSALUD II,  midió en ¿qué medida las intervenciones de PARSALUD II han contribuido en el mejoramiento de los indicadores intermedios de salud materna e infantil en las regiones establecidas como prioritarias por el propio Programa? e identificó si el efecto sobre los indicadores intermedios de salud depende del grado de exposición que tiene la población de interés al Programa, entendiendo como exposición al número de intervenciones realizadas en un distrito o provincia en un tiempo determinado.
    

16. 
    El análisis de efectos se basó en un diseño observacional pre-post con grupo de comparación. Se llevó a cabo un análisis intención al tratamiento de diferencias en diferencias tomando como línea base la información disponible en 2009 y como información post-intervención la disponible en 2014. A partir de la utilización de pruebas estadísticas de diferencias de medias se decidió que el grupo control esté conformado por los distritos no expuestos al programa de las nueve regiones donde interviene PARSALUD. Los indicadores de resultados planteados en la presente evaluación se encuentran relacionados a los indicadores de propósito y componente del PARSALUD II.
    

17. 
    Con el fin de explorar diferencias de efecto según intensidad del tratamiento, se conformaron los siguientes grupos de comparación: P1: Hogares residentes de distritos con una acción PARSALUD II entre 2009 y 2014, P2: Hogares residentes de distritos con más de una acción PARSALUD II entre 2009 y 2014 y C: Hogares residentes de distritos en las regiones PARSALUD II pero sin acciones del Programa entre 2009 y 2014.
    
18. 
    En el análisis se utilizó un modelo de regresión multivariada, ajustándose por la edad de la madre, si tuvo algún aborto, nivel de escolaridad, condición laboral, edad del jefe del hogar, estado conyugal, edad de la mujer en el primer nacimiento, lengua indígena, total de niños que alguna vez nacieron, nivel de riqueza³⁰, conformación del hogar, urbano/rural, y si tiene la cultura de lavado de manos. En el caso de los indicadores de salud de niños menores de tres años, adicionalmente se ajustó por las siguientes variables: si al momento del nacimiento hubo contacto piel a piel con la madre, lugar del parto, y tamaño del niño al nacer. En el caso del análisis de los indicadores de gasto en salud, en el análisis de se controló por: sexo, edad y educación del jefe del hogar, algunas características demográficas del hogar como la presencia de niños pequeños, adultos mayores o mujeres en edad fértil, también se controló por el nivel de pobreza del hogar y otras condiciones sociales y de saneamiento en la vivienda. Con excepción de la variable que identifica a los hogares con gasto catastrófico en salud, las variables de gasto fueron transformadas en logaritmos.
    

19. 
    La aproximación cualitativa buscó caracterizar la implementación de PARSALUD II, describir los resultados de este Programa, las lecciones aprendidas, los principales retos y los factores de éxito de éste, desde la perspectiva de los actores del MINSA, PARSALUD II, las agencias financiadoras y la población beneficiaria. La metodología de esta aproximación consistió en entrevistas a decisores de política a nivel nacional, regional y local, a operadores de EESS y a gestantes, puérperas y madres de niños menores de 3 años de las regiones Amazonas, Apurímac y Cajamarca, las cuales fueron seleccionadas en razón de que cuentan con un gran número de estrategias implementadas y en base a que presentan diversos niveles de eficiencia (alto, medio y bajo). Asimismo, se realizó un grupo focal con los nueve coordinadores zonales de PARSALUD II. La información recolectada y grabada fue transcrita y analizada.
    

20. 
    Entre las limitaciones identificadas resalta el corto tiempo programado para realizar la presente evaluación, asimismo, el periodo de corte establecido (2009 hasta agosto 2015), no hizo posible una evaluación que incluya las actividades desarrollas hasta el cierre del Programa en diciembre del 2015.
    

21. 
    Finalmente, el que el Programa no contemplara en el documento de factibilidad el diseño de una evaluación de efecto dificulta establecer categóricamente en qué medida los resultados identificados en la mejora de la salud materno infantil se deben al Programa.
    

RESULTADOS

22. 
    En cuanto la pertinencia del diseño, El PARSALUD II propuso como problema central para la intervención del Programa el “Bajo acceso a servicios de salud materna, alta morbilidad infantil y deficiente ingesta de micronutrientes de los niños y las niñas menores de 3 años de familias de zona rural de 09 regiones. Como se puede observar existen tres problemas; el bajo acceso es un problema relacionado con la atención de servicios de salud, la morbilidad infantil relacionada con el estado de salud y la deficiente ingesta de micronutrientes es la ausencia de una solución que debe integrarse como parte de la atención integral del niño. En consecuencia, los otros dos problemas requieren de un análisis de causa efecto y de un marco lógico específico que permita definir con claridad el propósito del sector salud en el caso de las IRA y EDA en niños menores de tres años ya que la mayoría de factores explicativos para este problema están fuera del sector salud. Consideramos que el problema más importante a resolver en la población rural en 2006 se expresa en el “Bajo acceso a servicios de salud maternos y en niños y las niñas menores de 3 años de familias de zona rural de 9 regiones.
    

23. 
    Según los documentos revisados en torno a las metas a alcanzar en salud materno infantil, se aprecia que PARSALUD II se alinea perfectamente a las metas estratégicas nacionales propuestas por el gobierno peruano. Por otro lado también se priorizó la intervención de ámbitos rurales, dispersos y con la mayor pobreza. Se seleccionó las regiones para su intervención en base a indicadores con mayores desventajas sociales y sanitarias. Es evidente que intervinieron en regiones con mayor pobreza y ruralidad en las cuales la razón de mortalidad materna e infantil fue superior al resto de regiones del país. Para la formulación del PARSALUD II convocaron a diversas instituciones, lo que hace inferir que su formulación se realizó desde una perspectiva intersectorial. Para la implementación del Programa se consideraron instancias vinculadas al MINSA, las regiones y sus organismos públicos descentralizados.
    

24. 
    En relación a la evaluación de la coherencia, existen actividades que se contemplaron en el diseño del Programa, pero que no se incluyeron en los planes. Así como actividades que son parte de los planes, pero que no se contemplaron en el diseño de la alternativa seleccionada. Las actividades de diseño se contemplaron acertadamente en los tres primeros años del Programa; no obstante algunas actividades de evaluación se programaron antes de haber terminado las acciones de ejecución.
    

25. 
    El análisis de la teoría causal fue elaborado utilizándose la evidencia científica antes que el MEF contará con los programas basados en la lógica de los presupuestos por resultados. Por lo que el 31% de ellas fueron publicadas antes de 1996 y 54% antes del 2000. En cuanto a la documentación de evidencia para la causalidad del problema central relacionado con el bajo acceso de servicios de salud de la población rural sólo utilizaron un documento del año 1991, lo que podría calificarse como una revisión insuficiente para el contexto actual. La mayoría de documentos revisados dan cuenta de las IRA, EDA y desnutrición.
    

26. 
    En cuanto la evaluación de la relevancia, en el diseño se incluyó aspectos claves para mejorar el acceso de la población rural a los servicios de salud materno infantiles reportados en la literatura. Abordó aspectos como: fortalecimiento de las competencias del personal de salud para la atención integral de la gestante, del niño menor de 3 años así como para la atención de la emergencia. Incluyó acciones para dotación de equipos, materiales e insumos a los establecimientos de salud así como la construcción de establecimientos de salud para garantizar mayor accesibilidad de la población a un paquete de servicios de salud. Contempló el fortalecimiento de las acciones que realiza el SIS en cuanto al aseguramiento en salud, otras instancias del MINSA, SUSALUD (Ex SUNASA), y finalmente desarrolló estrategias para la adecuación cultural de los servicios de salud
    

27. 
    Con respecto a la evaluación de suficiencia, se observó que a nivel de la lógica vertical del programa los componentes se alinearon perfectamente con el propósito y éste con el fin. No obstante, las acciones estratégicas (propósitos) y actividades (acciones) requirieron revisarse para alinearse totalmente, al igual que la unidad de medida y la cantidad a producir de las metas de las acciones estratégicas. En cuanto a los componentes los resultados a alcanzar fueron los adecuados.
    

28. 
    Los indicadores se alinearon parcialmente a la medición de las acciones estratégicas y componentes del Programa.
    

29. 
    En términos del desempeño del Programa en cuanto al cumplimiento de actividades y logro de productos, y el gasto ejercido por producto, se observó que el Programa fue eficiente en niveles de 100% o más en 6 de los 14 productos analizados. El componente con mayor eficiencia fue el Componente III de Gobierno, destacando la generación de propuestas de normas y disposiciones legales, y el diseño de sistemas de seguimiento. Otro componente con producción eficiente fue el Componente I de Demanda, donde destaca la producción de personal capacitado en el Programa de Comunicación y Educación para la Salud. Se debe mencionar también que la producción de capacitación de personal en gestión de recursos humanos (PREG, Parto Vertical, Emergencias obstétricas y neonatales, Quechua) y en atención materno neonatal, del Componente II de Oferta, presentaron procesos eficientes. No obstante, entre los productos generados con menos eficiencia se encuentran: los relacionados a infraestructura, debido al retraso en el desarrollo de las obras y el equipamiento en Telesalud, en este último caso por el punto de corte de la evaluación.
    

30. 
    Entre los hallazgos relacionados al cumplimiento de objetivos y metas a nivel de los resultados destaca el logro en cuanto a la reducción de la prevalencia de la desnutrición en menores de 3 años (37 a 21%); destacan también los logros en la institucionalización del cuidado de la salud de la madre durante el embarazo, el parto y el puerperio, así como en la promoción de las prácticas del cuidado de la salud del niño; pero se advierte aún una diferencia rural urbana importante.
    

31. 
    Con relación a la evaluación del efecto, cuando se realiza una comparación simple de los indicadores intermedios de salud materna e infantil en regiones atendidas por PARSALUD II y regiones sin atención, entre 2009 y 2014, se encuentra que el grupo de comparación presentó mejores condiciones de salud en los indicadores de atención prenatal, atención prenatal ajustada por calidad y parto institucional. No obstante, se observó que las mujeres del grupo de comparación presentaron mayor porcentaje de complicaciones durante el puerperio. Al analizar los indicadores con la información de 2014, se observó que en algunos de los indicadores las brechas entre los grupos de exposición y de comparación se redujeron, sin embargo en la mayoría, las diferencias entre los grupos se mantiene. Los indicadores de salud relacionados con la atención prenatal, lugar del parto y situación de salud durante el puerperio mejoraron entre 2009 y 2014 en toda la región PARSALUD II, tanto en el grupo de expuestos como en los no expuestos a las acciones del Programa.
    

32. 
    Con relación a la salud de los niños de 3 años y menores, los mayores avances se dieron en los indicadores nutricionales, sobre todo en el indicador de desnutrición crónica y anemia. La reducción de la prevalencia de la desnutrición crónica, entre 2009 y 2014, fue de casi 12 puntos porcentuales en ambos grupos. Con relación a las variables de gasto en salud de los hogares, se encontraron cambios en los niveles observados en 2009 y 2014.
    

33. 
    Si bien los resultados anteriores muestran algunos cambios que parecen favorecer las condiciones de salud en el grupo de hogares expuestos a PARSALUD II, no es posible argumentar si los cambios observados responden a las acciones implementadas por el Programa o a otros factores. Por ello se realiza un análisis para la estimación de efectos, controlando por otros factores que inciden en los resultados de salud analizados, de tal manera que podamos aproximarnos al verdadero efecto del PARSALUD II sobre los indicadores de interés. Los resultados de este ejercicio muestran que, con excepción del indicador de parto institucional donde se encontró un ligero efecto del programa, en las demás variables analizadas no se halló evidencia de que el Programa tuviera un efecto significativo en mejorar la atención prenatal, en reducir las complicaciones durante el puerperio, en mejorar algunas de las condiciones nutricionales de los niños menores de 3 años, o en reducir el gasto que realizan los hogares en salud.
    

34. 
    Finalmente, hubo consenso en señalar que el PARSALUD II cumplió con su objetivo de apoyar la reforma del sistema de salud de Perú, favoreciendo el aseguramiento público, el desarrollo de infraestructura, así como la capacitación del personal y el equipamiento de establecimientos de salud. Se destacó su diseño organizacional y administrativo como una de sus fortalezas más importantes. Para las Regiones el PARSALUD II es considerado que, más allá de su acción financiadora, es un valioso apoyo técnico estratégico. Se reconocieron problemas de retraso de obras y la necesidad de mejorar la coordinación entre el Programa y el MINSA. La transparencia y el diseño organizacional han sido factores de éxito. En la relación intercultural si bien gestantes y puérperas valoran el “aliento”, la “importancia” y el “encariñamiento” en la atención a sus procesos de parto y puerperio, aún es débil el reconocimiento de su derecho a comprender todos los procedimientos (resultados de análisis, revisión de su gestación, asistencia a casas maternas, cesárea y lactancia) a los que están sujetas para tranquilizarlas y no infundirles temor.
    

35. 
    La posibilidad del rol municipal en la Promoción de la salud es más bien una perspectiva a desarrollar. Lo avanzado con gobiernos municipales ha demostrado ser valioso, requiere persistir en restablecer vínculos que aseguren la aún débil articulación con este actor público.
    

CONCLUSIONES

1. 
   Respecto a la pertinencia del Programa, la formulación tiene un alto valor que recoge la problemática y plantea la solución de manera adecuada
   
2. 
   Respecto a la coherencia responde parcialmente a una teoría causal
   
3. 
   El Programa es relevante porque incluyó la formulación las acciones de intervención relacionadas en la literatura científica consideradas relevantes para problemas similares.
   
4. 
   Respecto a la suficiencia, la lógica vertical del programa se alinean perfectamente los componentes, con el propósito y este con el fin y que las acciones estratégicas (actividades) y actividades( acciones) requieren revisarse para alinearse adecuadamente necesita mejorar el sentido de la lógica horizontal más que la lógica vertical
   
5. 
   PARSALUD II se planteó generar 14 productos relacionados a actividades dentro de sus componentes, para así lograr los objetivos del Programa. En su logro fue eficiente para los componentes de Gobierno y Demanda; y parcialmente eficiente para el componente de Oferta, principalmente por el retraso en el inicio de obras así como problemas con las empresas contratistas. A pesar que el desarrollo del Programa se dio en un periodo con constantes cambios políticos y ante la carencia de postores competentes para llevar a cabo las acciones encomendadas; el PARSALUD II logró coordinación con los gobiernos regionales para llevar a cabo su labor, desarrolló sistemas de monitoreo e información que facilitaron la detección de problemas de ejecución, así como procesos administrativos para agilizar la gestión financiera.
   
6. 
   Los resultados de los indicadores en términos de la diferencia entre lo proyectado y lo observado, en números absolutos y resultados, muestran que el Programa ha alcanzado los logros que se había propuesto.
   
7. 
   El Programa coadyuvó a objetivos de la reforma del sistema de salud en la atención del embarazo, parto y la salud infantil, a la vez que favoreció el desarrollo de innovaciones gerenciales en la gestión gubernamental, lo que hace necesario conservar lo aprendido en futuras intervenciones del MINSA.
   
8. 
   En las regiones hay un reconocimiento del importante apoyo de la asistencia técnica para producir ordenamientos organizacionales y capacitar al personal de salud que debe acompañar la inversión en infraestructura.
   
9. 
   Se reconoce un avance significativo en todas las regiones acerca del reconocimiento del derecho de las mujeres gestantes, puérperas y madres a ser tratadas con igualdad, quedan aún desafíos para el MINSA para avanzar en una relación cívica de reconocimiento a sus derechos y que no experimenten que se el servicio “les está haciendo un favor” como señalaba una decisora del nivel nacional.
   

RECOMENDACIONES

1. 
   Las propuestas de implementación de programas de salud deben responder a necesidades de salud de la población a quien se pretende beneficiar, las mismas que deben estar respaldadas en fuentes de información locales y los lineamientos de política de salud nacional. PARSALUD II en este sentido puede constituirse en un referente nacional para formular intervenciones de salud en poblaciones rurales.
   
2. 
   El análisis de teoría causal para la elaboración del marco lógico de PARSALUD II, utilizó artículos científicos, no obstante algunos de ellos con una temporalidad de publicación de más de diez años previos a la implementación del programa, dado el retraso en su inicio. Por lo cual se sugiere que en estos procesos las evidencias utilizadas deben ser el más actuales y procedente de países con el mismo nivel de ingresos.
   
3. 
   La coherencia interna de los niveles de causalidad en la formulación de programas de salud deben revisarse con la finalidad de proponer estrategias y acciones altamente vinculadas con los componentes del programa y así alcanzar el propósito del mismo.
   
4. 
   Los indicadores deben seleccionarse en base a su especificidad para medir los componentes del Programa y debe contemplarse la mejor fuente de información, ya sea esta primaria o secundaria para su medición desde el inicio del Programa. Por lo cual como parte del diseño los programas deben contemplar presupuesto para la evaluación integral del mismo.
   
5. 
   Los indicadores de las actividades deben ser definidos como una cantidad a ejecutar y los indicadores de componentes y propósito como resultados a alcanzar.
   
6. 
   Rescatar y replicar formas de gestión, como el Monitoreo de la Gestión Financiera, que permite un mejor desempeño del Programa y una identificación temprana de problemas de ejecución.
   
7. 
   Establecer mecanismos que limiten la vulnerabilidad de la operación del Programa ante factores externos como la inestabilidad política y de personal. Es importante desarrollar una masa crítica y de técnicos que aseguren la continuidad a las acciones del Programa.
   
8. 
   En términos del diseño para la evaluación del impacto de futuros programas, se recomienda planear un diseño de evaluación de impacto con asignación aleatoria de los grupos de exposición o intervención y de control, que permita estimar el efecto del programa en la población que realmente recibe los beneficios de éste, y que permita, además, controlar por aspectos como la calidad de la atención.
   
9. 
   Retomar la experiencia gerencial desarrollada en materia de buenas prácticas y gestión por resultados.
   
10. 
    Fortalecer el vínculo con los Municipios en planes concertados para la vigilancia y disminuir la desnutrición infantil.
    
11. 
    Reforzar la relación social de cuidado y encuentro cultural con gestantes y madres que solicitan explicaciones para comprender cómo los procedimientos que susciten confianza y no temor.
    
12. 
    
    

COMENTARIOS SOBRE EL REPORTE DE IMPLEMENTACION, FINALIZACION Y RESULTADOS (BIRF-76430)

SEGUNDA FASE DEL PROGRAMA DE APOYO A LA REFORMA DEL SECTOR SALUD

AVANCE DE INFORMACION 1

17 junio del 2016

UNIDAD EJECUTORA 123

PROGRAMA NACIONAL DE INVERSION EN SALUD - PRONIS
Equipo de Gestión PRONIS

1. 
   Rocío Espino Goycochea, Coordinadora General (e) del PRONIS.
   
2. 
   Francisco Solís Coronado, Coordinador (e) de la Unidad de Planeamiento, Calidad y Desarrollo.
   
3. 
   Ana Cano Bobadilla, Coordinadora de la Unidad de Pre Inversión.
   
4. 
   Juan Manuel Pizarro Garcés, Coordinador (e) de la Unidad de Estudios Definitivos.
   
5. 
   Carlos López Chamorro, Coordinador (e) de la Unidad de Obras.
   
6. 
   Bárbara Lem Conde, Coordinadora de la Unidad de Administración y Finanzas.
   
7. 
   Elizabeth Martínez Galván, Coordinadora de la Unidad Asesoría Legal.
   
8. 
   Paola Tamayo Medina, Coordinadora de la Unidad de Relaciones Institucionales y de Comunicación.
   

UNIDAD EJECUTORA 123

Av. Javier Prado Oeste 2108 - San Isidro Lima – Perú

www.pronis.gob.pe

Teléfono: 611-8181
Lima - Perú

2.2 Implementation (page 7)

19. Implementation of the project did not suffer from any major complications. The project had a slow start. While activities related to Components 1 and 3 started immediately, delays in disbursement and execution related mainly with the infrastructure investments under Component 2. Once construction works began and medical equipment started being purchased in 2011, project disbursement picked up towards the end of 2012.

Comentario:


Respecto al contrato de obras debemos indicar que el primer contrato se suscribió el 12 de mayo de 2010 correspondiente a la ejecución de obras de la región Apurímac; y que respecto a los contratos de equipamiento debemos indicar que el primer contrato se suscribió en diciembre del 2010.
Asimismo, se registra pagos en obras con recursos de endeudamiento externo de aproximadamente 5 millones de nuevos soles y es importante destacar que el MEF no autorizo el reembolso de US$ 731,22.7 de gastos efectuados con Recursos Ordinarios del Tesoro Público y que inicialmente estaban programados a financiarse con Recursos de Endeudamiento Externo.

21. 
    While the program was successful in achieving its broader goals of reducing maternal and infant mortality and chronic malnutrition in children under 5, progress on the indicators in the RF was mixed during the life of the project. Some of the targets were achieved even before the MTR in February 2013, while others had a more fluctuating trajectory. To some extent, this was related to the delays in construction works, which shortened the time horizon available to see the impact of the infrastructure investments on the selected health outcomes and outputs. In other cases, the trend of some indicators reflected those at the national level, such as in the case of the prevalence of anemia among pregnant women. The delays in progress on some indicators motivated the downgrade of the Overall Project Implementation (IP) rating from satisfactory to moderately satisfactory in 2013, rating which was then kept in consideration of the disbursement delays ― eventually, the project disbursed 80% of the planned amount.
    

Comentario:

En el PARSALUD II, los indicadores no fueron evaluados relacionando el retraso en las obras de construcción ni con los retrasos en los desembolsos. Para relacionarlos tendría que hacerse la evaluación de impacto.
22. The Mid-Term Review (MTR) in February 2013 identified some of the challenges and correcting measures (page 8)

(ii) Delays in civil works and consultancies. As of December 2012, after 2 years of implementation, about 27% of project's civil works were delivered, with heterogeneous patterns among the regions. Logistic difficulties for timely civil works completion were associated with difficult climate and access to sites, as well as with a few cases of collusion, properly addressed by the counterpart. Delays in hiring consultants were due to, among others, frequent changes in regional administration, scarcity of professionals adequately qualified for some tasks, delays in approval processes from the regions, and political attention diverted to sudden public health emergencies (e.g. pneumonia in Puno and dengue in Ucayali). Despite all delays, almost all planned civil works were completed before the project closing date, with a few being delivered in 2016.

Comentario:

El término dificultades logísticas, es general y puede inducir a pensar que estos fueron problemas atribuibles a la entidad, se sugiere modificar e indicar directamente que las obras civiles presentaron retrasos por diversos factores entre ellos: factores climaticos, rutas de acceso así como también por problemas de colusión.
2.3 Monitoring and Evaluation (M&E) Design, Implementation and Utilization - Implementation. (page 10)

27. Due to unavailability of data, two of the six KPIs only started being measured in December 2014 (ISR 11, with data of December 2013). Given that they had not been monitored, five of the intermediate indicators were dropped during the restructuring in 2014. However, data was available for two of those, which were reintroduced for the purpose of the ICR. The other three indicators had not been clearly defined and monitoring was therefore problematic. Unfortunately, all three of those IOIs measured progress against the same part of the PDO (3). Since the PARSALUD PIU monitored more indicators than those monitored by the Bank, additional intermediate indicators might have introduced to replace the problematic IOIs to better assess improvements on PDO 3 ― for example during the first restructuring in 2011 or immediately after the MTR in 2013.
Comentarios:

Todos los indicadores que solicitó el banco, se presentaban lo avances en los informes de progreso semestrales. Cuáles son los dos indicadores de los seis que de acuerdo a lo que se señala se midieron a partir de diciembre 2014.
Según lo afirmado en el reporte son 5 indicadores eliminados y la entidad tiene identificado 6; los que se retiraron por lo descrito en la columna de Comentarios en la siguiente tabla, de acuerdo a lo coordinado con el responsable del BM y el equipo de AEGE del PARSALUD II.

Indicadores de Resultados de Nivel ODP	Protocolo	Fuente de Información	Comentarios
Componente 2:
% de establecimientos de salud con mejora en infraestructura (construcción menor y nuevo equipamiento)			NO HAY SISTEMA DE INFORMACIÓN QUE SOPORTE ESTE DATO
% de mujeres (gestantes, parturientas y lactantes) que reportan satisfacción con la atención recibida			NO HAY SISTEMA DE INFORMACIÓN QUE SOPORTE ESTE DATO
% de establecimientos de salud con mejora en infraestructura (construcción menor y nuevo equipamiento)			NO HAY SISTEMA DE INFORMACIÓN QUE SOPORTE ESTE DATO
Componente 3:
% de referencias correspondientes a mujeres (gestante, parturienta, puérpera) o neonatos afiliados al SIS			NO HAY SISTEMA DE INFORMACIÓN QUE SOPORTE ESTE DATO
Número de establecimientos de salud acreditados por tipo de resolución			NO HAY SISTEMA DE INFORMACIÓN QUE SOPORTE ESTE DATO
Número de acuerdos de gestión			NO HAY SISTEMA DE INFORMACIÓN QUE SOPORTE ESTE DATO

28. Within the PIU and, specifically, within the Technical Coordination Unit, the M&E Unit originally included two specialists, one focused on Monitoring and the other on Evaluation. Following suggestions from the MTR, the M&E function was strengthened and the original unit was split into two to focus and strengthen each area ― supervision of program performance, and management of scientific evidence for enhanced effectiveness of the overall program (see Annex 12).
Comentario:

La Unidad de Monitoreo y Evaluación no dependía de la Unidad de Coordinación Técnica. Además el organigrama según el Manual es el siguiente, debiéndose modificar el presentado en el reporte.




2.4 Safeguard and Fiduciary Compliance (page 11)
31. Financial Management. The counterpart’s financial management performance was considered generally satisfactory. The PIU was appropriately staffed from the start and, despite delays in systematically adopting the official system for managing transactions used in all implementation units in the public sector (Sistema Integrado de Administración Financiera, SIAF), financial reports were timely and were found to be of satisfactory quality. Audit reports were provided on time and there were no qualified opinions. Until 2013, disbursement was very slow (39% in August 2013). Problems were related to a number of factors, including previous delays in civil works as a consequence of inadequate planning and due to the remote project locations, which did not offer incentives for enterprises to participate in the bidding process; and the contractors’ noncompliance with contractual clauses. The GOP established a condition of Pari-Passu for all civil works (6% of external resources), which limited the scope for accelerating disbursement of the loan. Finally, deferred payments for civil works at the end of the project (Ocongate Health Center and Health Center Chuquibambilla) and the cancelation of the scheduled execution of large amounts of consulting services expected to be contracted before the project closing and executed during the project grace period, negatively impacted disbursement. As a result, total disbursement reached 80% at project closing.
Comentario:

Respecto a los retrasos iniciales debido a la falta de planificación, el informe debería precisar que un elemento importante que explica el retraso fue la demora en la firma del contrato de préstamo.

Además mencionar, que no se concretó el financiamiento de una consultoría programada las (Diplomado APS PROFAM) y la recisión del contrato de otra consultoría sobre el Sistema Nacional de Sangre Segura; junto a las obras ya mencionadas en este párrafo.

En relación al porcentaje de desembolsos a finales del 2013, tenemos registrado 49.33% con respecto a los fondos provenientes del Banco Mundial. Se sugiere indicar la fuente para verificar la data.
32. Procurement (page 11). Given that the entire Government program followed the Bank’s procurement guidelines, the Bank reviewed and approved a large volume of transactions. The initial delays due to lack of planning by the counterpart and long processing time for No Objections by the Bank were addressed and resolved after the first two years of project implementation. Procurement delays remained associated mainly with the scarcity of qualified contractors and remoteness of the work sites.
Comentario:

Respecto a los retrasos iniciales debido a la falta de planificación, el informe debería precisar que el retraso se debió a la demora en la firma de los contratos de préstamo (16 de noviembre del 2009); lo que no permitió solicitar los créditos presupuestales oportunamente ni para el 2009 ni el 2010 debido a los plazos que fijan las normas de presupuesto.

Con respecto a la lejanía de los centros de trabajo, se debería de modificar la expresión, a que las intervenciones se realizaban en lugares de difícil acceso y que el problema de la planificación se debió a esto y a la calidad de los contratistas y la baja participación de los mismos.

3.2 Achievement of Project Development Objectives

42. 
    When assessed against the original baseline, all the indicators have surpassed, achieved or partially achieved the targets at the end of the project, which supports achievement of all parts of the PDO (Table 1). Also, notably, the final percentage of achievement does not reflect that roughly half of all indicators surpassed their targets. Therefore, the actual level of achievement is far greater than the table suggests.
    

Table 1: Achievement of PDO (targets against original 2005 baseline)

	Program level	PDO level	Intermediate	PDO 1*	PDO 2*	PDO 3
Target surpassed	2	3	6	4	4	3
Target achieved or substantially achieved (>=85% met)		2	4	1	5	1
Target partially achieved (65%-84% met)		1	2	2	2	0
Target not achieved (<65% met)		0	0	0	0	0
Unknown		0	3	0	0	3
Total	2	6	15	7	11	7
% surpassed and achieved	100%	83%	83%	71%	82%	100%

Comentario:

Se requiere la tabla con los cálculos realizados para la elaboración de la Tabla 1 del Informe.

49. 
    Health infrastructure improved in the nine regions (page 16). The project supported the construction and/or renovation of 69 out of the planned 73 hospitals and basic health centers that offered obstetric and neonatal services; the remaining 4 are being completed in 2016, financed by GOP. It provided all of the 104 pre-identified health centers with medical equipment for maternal and child care and installed IT systems in 55 (planned 54).
    

Comentario:

Hasta el año 2015 se culminó las obras en 68 establecimientos de salud (en un establecimiento se realizaron 2 obras). Para este año 2016 se deben culminar 5 Establecimientos de Salud adicionales. Asimismo, el equipamiento médico y mobiliario se distribuyó en 103 establecimientos de salud.

Finalmente se sugiere que con respecto a las TI señaladas, se debe especificar que esto se refiere al equipamiento para la implementación de la estrategia de Telesalud.

50. 
    The project delivered capacity building programs for different groups of health professionals using a culturally-sensitive approach. The project contributed to the training of 956 health workers (nearly 300 more than planned) on maternal and child care and specifically of 282 doctors and midwives on the vertical delivery (Parto Vertical) in 7 health facilities located in 4 regions within PARSALUD. Together with improved infrastructure and training, cultural adaptation of health facilities for the provision of vertical deliveries and support to Maternal Waiting Homes (Casas Maternas) were key in improving rates of institutional deliveries among indigenous populations. This includes the creation, dissemination, and systematization of knowledge around vertical delivery practices among health care providers and the institutionalization of this method in both regions: in the Amazon and Cusco, 54% and 33% of all deliveries were vertical, respectively, in 2012. The Casas Maternas, communal space managed, built, and maintained by communities and local governments, helped address the physical and cultural barriers faced by indigenous women residing far from health centers. There are 475 operational Casas Maternas throughout the country, with Cusco, Puno, Huancavelica and Apurimac the most important areas of reference.
    

Comentario:

Cuál es la Fuente de las 475 casas maternas?

3.3 Efficiency

Efficiency of project preparation and implementation (page 19)
64. The project was implemented within the time period originally planned. The project was extended by 11 months, which balanced the 10-month gap between Bank approval and effectiveness. However, despite the extension, the project disbursed 80% of the planned amount, due to delays in procurement and civil works.

Comentario:

El proyecto desembolsó el 80% del préstamo programado por el Banco, ello debido a que no se concretó el financiamiento de una consultoría programada (Diplomado APS PROFAM) ya la rescisión del contrato de otra consultoría(Sistema Nacional de Sangre Segura), por causal atribuible al contratista, por un total de aproximadamente US$1,900,000.

Adicionalmente, se debió a la postergación de los pagos por la ejecución de obras que estaban financiándose con los recursos del préstamo, debido a que su ejecución excedía el plazo de vigencia del Programa (31 de diciembre de 2015), como es el caso del Centro de Salud Ocongate y Centro de Salud Chuquibambilla por un importe aproximado de US$ 925,945.59

Adicionalmente, el retraso de las contrataciones y ejecución se debió a que inicialmente fue necesario resolver contratos de obras, por situaciones atribuibles a los contratistas.

Efficiency of project preparation and implementation (page 20)

66. The implementation efficiency of the overall Government program was leveraged by the project funds and the use of Bank fiduciary safeguards that provided cover for the weaker Government systems and processes. The Bank project team reviewed all procurement bidding documents and contracts for civil works, consultancy services and provision of training. This effort increased the leverage of technical and fiduciary implementation support beyond the loan funds and enhanced the technical skills of the PARSALUD technical and fiduciary team.

Comentario:

No todos los documentos de licitación y contratos para obras, fueron revisados por los bancos. En tal sentido, se debería precisar que se efectuaron las revisiones de losdocumentos de licitación y contratos para las obras, según el tipo de revisión, en este caso, la revisión ex ante, otorgándoselas No Objeciones correspondientes. En los casos de procesos con revisión ex post, las revisiones fueron aleatorias en las misiones fiduciarias del propio banco, además de las revisiones de la Auditoría Externa.

4. Assessment of Risk to Development Outcome (page 22)

74. PRONIS focuses on about 800 key health centers and facilities, many of which PARSALUD rehabilitated or improved. However, contrary to PARSALUD, PRONIS is not specifically targeted to the poorest regions and it does not support an explicit, a priori objective or topic. The regions will identify the specific outcomes of focus for the investments depending on their demographic and epidemiological characteristics and political priorities.

Comentario:

El número de Establecimientos de Salud Estratégicos que el MINSA ha definido son 748.

5.2 Borrower Performance

(b) Implementing Agency or Agencies Performance (page 25)

89. 
    The unit was proactive in flagging any suspected cases of collusion in procurement. For example, an INT case was opened in April 2011 on risks during execution of works in the Region of Huancavelica. PARSALUD II timely identified and corrected fraudulent practices from an enterprise and it responded positively to all requests made by the Bank, designing and implementing a Governance and Anti-Corruption Action Plan.
    

Comentario:
Cabe señalar que la primera denuncia de práctica fraudulenta se efectuó ante el Banco Mundial el 12 de noviembre de 2010, en el marco del contrato suscrito para la ejecución de obras de la región Huancavelica entre el PARSALUD y el Consorcio Huancavelica. Por lo tanto, se deberá precisar que el caso de dicha denuncia se efectúo en Noviembre de 2010.

ANNEX 1. Projects Costs and Financing (page 28)

1. Project Cost by Component (in USD Million equivalent)

Components

Appraisal Estimate (USD millions)

Actual/Latest Estimate (USD millions)

Percentage of Appraisal

Strengthening of demand	6.00	6.43	107%
Improvement of service delivery network	142.30	138.54	97%
Government and Financing	5.20	3.25	62%
M&E and Administration	8.90	16.86	189%
Total Baseline Cost	162.40	165.08	102%
Total Financing Required	162.40	165.08	102%

2. Financing

Source of Funds	Type of Cofinancing	Appraisal Estimate (USD millions)	Actual/Latest Estimate (USD millions)	Percentage of Appraisal
Borrower		132.40	138.09	104%
Inter-American Development Bank		15.00	15.00	100%
International Bank for Reconstruction and Development		15.00	11.98	80%

Comentarios:
Sobre el cuadro a)

El 03 de octubre del 2013 el PARSALUD envía al Ministerio de Economía y Finanzas el documento donde se señala la Modificatoria en la Estructura de Financiamiento de los contratos de préstamo (OFICIO N° 0740-2013-PARSALUD/CG) en donde se adjunta el OFICIO N° 0275-2013-PARSALUD/CG que anexa la propuesta de modificación.

El Ministerio de Economía y Finanzas con Oficio 1457-2013-EF/52.04 del 26 de diciembre del 2013 envía la Nueva Estructura de Financiamiento de los contratos de préstamo aprobada de acuerdo al OFICIO N° 0740-2013-PARSALUD/CG.

Con documento Re. Loan N° 7643 – PE – Health Reform Program (APL 12) – PARSALUD Project Restructuring del 26 de agosto del 2014, el Banco Mundial da opinión favorable a la propuesta de estructura de financiamiento de acuerdo al Oficio 1457-2013-EF/52.04, la misma que hace referencia a la modificatoria del 2013.

Por lo que se solicita considerar la información del siguiente cuadro – En la Columna Modificado.

Distribución por componente, Montos originales (Viabilidad) VS última reasignación aprobada (Año: 2014)

Components	Appraisal Estimate (USD millions)	Actual/Latest Estimate (USD millions)	Percentage of Appraisal
Strengthening of demand	5.98	5.9	99%
Improvement of service delivery network	142.25	141.8	100%
Government and Financing	5.19	4.83	93%
M&E and Administration	8.96	17.17	192%
Total Baseline Cost	162.38	169.7	105%
Total Financing Required	162.38	169.7	105%

Al respecto, se adjunta los documentos en PDF del Sustento de Modificación de la Estructura de Financiamiento Aprobada.

Sobre el cuadro b)

Igualmente se observa una diferencia en la data del cuadro enviado, la información que tiene la entidad es la siguiente:

Source of Funds	Type of Cofinancing	Appraisal Estimate (USD millions)	Actual/Latest Estimate (USD millions)	Percentage of Appraisal
Borrower		132.40	138.23	104%
Inter-American Development Bank		15.00	15.00	100%
International Bank for Reconstruction and Development		15.00	11.98	80%

ANEXO 7: Estudio de Evaluación Final de la Segunda Fase del Programa de Apoyo a la Reforma del Sector Salud – PARSALUD II (Resumen Ejecutivo)
Punto 29 RESULTADOS (página 54)

En términos del desempeño del Programa en cuanto al cumplimiento de actividades y logro de productos, y el gasto ejercido por producto, se observó que el Programa fue eficiente en niveles de 100% o más en 6 de los 14 productos analizados. El componente con mayor eficiencia fue el Componente III de Gobierno, destacando la generación de propuestas de normas y disposiciones legales, y el diseño de sistemas de seguimiento. Otro componente con producción eficiente fue el Componente I de Demanda, donde destaca la producción de personal capacitado en el Programa de Comunicación y Educación para la Salud. Se debe mencionar también que la producción de capacitación de personal en gestión de recursos humanos (PREG, Parto Vertical, Emergencias obstétricas y neonatales, quechua) y en atención materno neonatal, del Componente II de Oferta, presentaron procesos eficientes. No obstante, entre los productos generados con menos eficiencia se encuentran: los relacionados a infraestructura, debido al retraso en el desarrollo de las obras y el equipamiento en Telesalud, en este último caso por el punto de corte de la evaluación.

Comentario:

1. 
   Las actividades de Telesalud solo fueron financiadas con recursos del BID y Recursos Ordinarios. No hubo recursos ni actividades asignadas al presupuesto del Banco Mundial.
   

2. 
   Con referencia a lo colocado en el informe: “entre los productos generados con menos eficiencia se encuentran: los relacionados a infraestructura, debido al retraso en el desarrollo de las obras y el equipamiento en Telesalud, en este último caso por el punto de corte de la evaluación”
   

1. 
   No hubo ningún retraso ni incumplimiento de las actividades ni productos programados en la línea de Telesalud del PARSALUD II.
   
2. 
   En relación a la última entrega de equipos adquiridos para las DIRESA’s, en diciembre del 2015 se realizaron: (i) Las entregas a las Direcciones Regionales de Salud de Amazonas, Huánuco y Ucayali; (ii) Se entregaron las pecosas y actas con la conformidad de pago final a la UAF del Programa.
   
3. 
   El giro al proveedor se efectuó en este ejercicio presupuestal 2016.