DEPARTAMENTO DE EVALUACIÓN DE OPERACIONES DEL BANCO MUNDIAL DESARROLLO DE LA CAPACIDAD DE EVALUACIÓN 32879 EVALUACIONES B A N C O M U N D I A L 1818 H Street, N.W. Washington, D.C. 20433, EE.UU. Teléfono: 202-477-1234 INFLUYENTES: Fax: 202-477-6391 Télex: MCI 64145 WORLDBANK MCI 248423 WORLDBANK Internet: www.worldbank.org evaluaciones que mejoraron el desempeño y los Departamento de Evaluación de Operaciones Grupo de programas de gestión de conocimientos efectos de los programas de desarrollo y desarrollo de la capacidad de evaluación (OEDPK) Correo electrónico: ecampbellpage@worldbank.org Correo electrónico: eline@worldbank.org Teléfono: 202-458-4497 Fax: 202-522-3125 EVALUACIONES INFLUYENTES: evaluaciones que mejoraron el desempeño y los efectos de los programas de desarrollo Banco Mundial Washington, D.C. www.worldbank.org/oed/ecd/ N Agradecimiento Este estudio sobre evaluaciones influyentes es fruto de un trabajo en equipo, realizado con importantes contribuciones de varias personas. Michael Bamberger fue el principal investigador y asesor del estudio, con el apoyo de Elaine Ooi (consultora), quien también preparó un estudio detallado de la evaluación relativa al sector forestal de China. A contin- uación se mencionan los autores de otros estudios de casos prácticos descritos en el volu- men complementario del presente estudio, que se publicará próximamente con el título de Influential Evaluations: Detailed Case Studies. S. P. Pal y Amar Singh, Aumento de la eficiencia del Plan de Seguridad de Empleo de la India Richard Hopkins y Nilanjana Mukherjee, Evaluación de la eficacia de las medidas relacionadas con el agua y el saneamiento en Flores (Indonesia) Mita Marra, Ampliación de los criterios del marco de políticas para la evaluación de la via- bilidad de las grandes represas James Garret y Yassir Islam, Eliminación de los puntos de venta de raciones subsidiadas de harina de trigo en Pakistán Todor Dimitrov, Mejoramiento de los resultados de un importante proyecto ambiental en Bulgaria El Departamento de Evaluación de Operaciones (DEO) desea agradecer a todos los autores de los estudios de las evaluaciones. Los resúmenes que figuran en el presente informe son de responsabilidad del equipo del DEO y no deben atribuirse a los autores de los estudios. El jefe de proyecto del estudio sobre evaluaciones influyentes fue Keith Mackay (OEDKE). También se recibió una contribución sustancial del Dr. A. Ravindra, quien realizó un examen detallado de los efectos del boletín de calificaciones del ciudadano de Bangalore; el informe respectivo figura en un documento de trabajo del DEO. Se recibió asimismo información y comentarios valiosos de Ananya Basu, Stephen Howes, Jikun Huang, Xu Jintao, Uma Lele, Radhika Nayak, el Dr. Samuel Paul, Ulrich Schmitt y Susan Shen sobre los distintos estudios de casos prácticos. Los expertos que revisaron este documento fueron Zhengfang Shi y Susan Stout. Patrick G. Grasso Gerente interino Programas de gestión de conocimientos y desarrollo de la capacidad de evaluación Copyright © 2004 Banco Internacional de Reconstrucción y Fomento/BANCO MUNDIAL 1818 H Street, N.W. Washington, D.C. 20433, EE.UU. Reservados todos los derechos. Hecho en los Estados Unidos de América. Las opiniones expresadas en este informe no representan necesariamente las del Banco Mundial ni las de los gobiernos miembros. El Banco Mundial no garantiza la exactitud de los datos que figuran en esta publicación ni acepta responsabilidad alguna de las consecuencias que su uso pudiera tener. D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 3 Índice Sinopsis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Estudios de casos prácticos Aumento de la eficacia del Plan de Seguridad de Empleo de la India . . . . . . . . . . . . . . . . . . . . . . . . . 6 Uso del boletín de calificaciones del ciudadano para hacer cumplir al Estado su deber de rendición de cuentas en Bangalore (India) . . . . . . . . . . . . . . . . . . 9 Evaluación de la eficacia de las medidas relacionadas con el agua y el saneamiento en Flores (Indonesia) . . . 12 Ampliación del marco de políticas para la evaluación de la viabilidad de las grandes represas . . . . . . . . . . . . 15 Eliminación de los puntos de venta de raciones subsidiadas de harina de trigo en Pakistán . . . . . . . . . 18 Mejoramiento de la prestación de servicios de enseñanza primaria en Uganda . . . . . . . . . . . . . . . 20 Mejoramiento de los resultados de un importante proyecto ambiental en Bulgaria . . . . . . . . . . . . . . . . . 23 Contribución a una nueva evaluación de la política forestal nacional de China . . . . . . . . . . . . . . . . . . . . . 26 Diseño de evaluaciones útiles: lecciones aprendidas . . . . . . . 29 Recursos adicionales sobre seguimiento y evaluación . . . . . . 32 D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 5 SINOPSIS DE LAS EVALUACIONES INFLUYENTES: EVALUACIONES QUE HAN MEJORADO EL DESEMPEÑO Y LOS EFECTOS DE LOS PROGRAMAS DE DESARROLLO: ESTUDIOS DE CASOS PRÁCTICOS Y LECCIONES APRENDIDAS Cuando se realizan en el momento oportuno y centran la FINALIDAD atención en cuestiones clave que preocupan a las autoridades encargadas de formular las políticas y a los gerentes, y cuando los resultados se presentan en un formato de fácil comprensión para el usuario, las evaluaciones pueden ser un medio muy eficaz en función de los costos para mejorar el desempeño y los efectos de las políticas, programas y proyectos de desarrollo. En cambio, las evaluaciones que no se ajustan a estos criterios pueden no producir resultados útiles aunque sean correctas desde el punto de vista metodológico. En el presente informe se exponen ocho ejemplos de evaluaciones que tuvieron importantes repercusiones. En muchos casos fue posible comparar el costo de la evaluación con los beneficios económicos generados, y demostrar que ésta fue un instrumento de gestión sumamente rentable. Los casos describen las siguientes evaluaciones: Aumento de la eficiencia del Plan de Seguridad de Empleo de la India Uso del boletín de calificaciones del ciudadano para hacer cumplir al Estado su deber de rendición de cuentas en Bangalore (India) Evaluación de la eficacia de las medidas relacionadas con el agua y el saneamiento en Flores (Indonesia) Ampliación de los criterios del marco de políticas para la evaluación de la viabilidad de las grandes represas Eliminación de los puntos de venta de raciones subsidiadas de harina de trigo en Pakistán Mejoramiento de la prestación de servicios de enseñanza primaria en Uganda Mejoramiento de los resultados de un importante proyecto ambiental en Bulgaria Contribución a una nueva evaluación de la política forestal nacional de China. El informe concluye con un resumen de las lecciones aprendidas en relación con el diseño de evaluaciones útiles, el grado en que es posible medir el uso de la evaluación, y la medida en que es posible estimar su eficacia en función de los costos. En un volumen complementario, titulado Influential Evaluations: Detailed Case Studies, se exponen los casos en mayor detalle. También se describen las metodologías utilizadas para detectar los efectos de las evaluaciones. En otra publicación, titulada Seguimiento y evaluación: instrumentos, métodos y enfoques, se reseñan brevemente distintas formas de seguimiento y evaluación, entre ellas varias utilizadas en los estudios de casos prácticos que se mencionan en el presente volumen. En la publicación sobre instrumentos de seguimiento y evaluación se describen: su finalidad y utilización; ventajas e inconvenientes; costos, conocimientos y tiempo necesarios, y algunas referencias importantes. Estas publicaciones están disponibles en el sitio web del DEO sobre desarrollo de la capacidad de evaluación: http://www.worldbank.org/oed/ecd/. N 6 Aumento de la eficiencia del Plan de Seguridad de Empleo de la India El Plan de Seguridad de Empleo de la India (EAS) fue lanzado por el gobierno federal en octubre de 1993, en distritos propensos a la pobreza y la sequía de toda la India, con el fin de garantizar el empleo durante las estaciones de escasez de producción agrícola y crear infraestructura económica y comunitaria para promover el empleo y el desarrollo sostenidos. El plan tuvo un presupuesto de US$518 millones en el bienio 1997-1998, y su aplicación estuvo a cargo de las oficinas de administración del desarrollo de los gobiernos de los estados, bajo la supervisión del Ministerio Central de Zonas Rurales y Empleo (MRAE). Finalidad de la evaluación La Comisión de Planificación del gobierno pidió a la Organización de Evaluación de Programas que evaluara el desempeño del EAS y sugiriera medidas para mejorarlo. En vista de que había informes según los cuales el desempeño del EAS y otros programas de alivio de la pobreza no era satisfactorio, el gobierno ya tenía previsto introducir reformas. Sin embargo, era necesario realizar una evaluación independiente para juzgar el desempeño sobre la base de datos sólidos recopilados a nivel popular, y para determinar de qué manera exactamente podría emprenderse la reestructuración. Metodología de evaluación Examen de los registros del programa y de otras fuentes secundarias. Se obtuvo una muestra estratificada en múltiples etapas que abarcó a 1.120 beneficiarios en 112 aldeas distribuidas en 14 estados. Se llevaron a cabo entrevistas estructuradas con los beneficiarios, los dirigentes de las comunidades y funcionarios locales y de los estados. Se obtuvo información cualitativa de informantes clave y mediante observación directa. Se examinaron los registros del programa para comparar los progresos reales con los gastos declarados, los proyectos terminados y el número de beneficiarios. Conclusiones de la evaluación Aplicación del programa Había poca planificación previa en la gestión del EAS, y la principal preocupación de los organismos locales era tratar de gastar, durante un año determinado, la mayor proporción posible de los fondos que les habían asignado. Los comités locales de seguimiento no eran eficaces, una parte considerable de los fondos no se asignaba correctamente, y se exageraba en cuanto al número de proyectos ejecutados. Muchas aldeas desconocían los detalles del plan. Utilización de los fondos Los retrasos administrativos eran una de las causas principales de la subutilización de fondos. Las tasas de utilización efectiva de los fondos eran muy inferiores a las declaradas. D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 7 Efectos del programa Un cuarto de los beneficiarios no pertenecía al grupo meta. Solamente alrededor del 5% del grupo meta obtenía un empleo en la práctica, y los beneficiarios estaban empleados durante un menor número de días que el declarado. Costo y duración de la evaluación La evaluación costó aproximadamente US$146.000 y quedó terminada en un plazo de 15 meses. Recomendaciones de la evaluación Todos los planes de empleo rural deberían consolidarse e integrarse en los planes de seguridad alimentaria. Una participación más activa de los pobladores locales en la selección, ejecución y conservación de los activos. Una mayor intervención de los niveles medios del gobierno en la evaluación de la viabilidad de los planes propuestos. Se requieren procedimientos de contabilidad más estrictos. Los fondos deberían asignarse a las zonas más pobres y necesitadas (de acuerdo con un "índice de privación/desarrollo"). Estimación de los efectos a los que contribuyó la evaluación La consolidación de los programas de seguridad alimentaria y empleo rural ha dado lugar a un aumento de US$1.200 millones en los fondos destinados a la generación de empleo. La reducción del superávit público de cereales permitirá economizar US$72 millones (3,6% del presupuesto del EAS). La reestructuración posterior del personal permitirá reducir en aproximadamente un 20% los gastos por concepto de remuneraciones (US$100.000). Si se mantiene la relación entre la remuneración y los materiales que se ha fijado como meta, se podría aumentar el nivel de empleo un 85% dentro del presupuesto actual. La cuestión de la atribución: en qué medida los efectos se debieron a la evaluación Se utilizaron los siguientes métodos para determinar hasta qué punto los efectos observados pueden atribuirse a la evaluación más que a otros factores no relacionados. En el estudio de este caso práctico se identificaron las referencias concretas a la evaluación que figuraban en los documentos de planificación del Plan de Pleno Empleo Rural Reestructurado. En el estudio del caso se identificaron las referencias concretas a la evaluación que figuraban en los capítulos correspondientes de la evaluación de mitad de período del Noveno Plan Nacional de Desarrollo. N 8 El borrador del estudio fue examinado por especialistas en protección social y empleo de la Oficina del Banco Mundial en Nueva Delhi, y se introdujeron una serie de cambios y aclaraciones. Eficacia de la evaluación en función de los costos Si bien la evaluación no fue por cierto la única fuente de información utilizada para reformar el programa, sus recomendaciones contribuyeron en gran medida a producir los efectos descritos más arriba. Aun suponiendo que la evaluación hubiera sido respon- sable de solamente el 10% de los efectos, habría generado beneficios por más de US$127 millones por un costo de aproximadamente US$146.000. I N F O R M A C I Ó N A D I C I O N A L S. P. Pal y Amar Singh, "Evaluación del Plan de Seguridad de Empleo de la India", en Influential Evaluations: Detailed Case Studies, DEO. D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 9 Uso del boletín de calificaciones del ciudadano para hacer cumplir al Estado su deber de rendición de cuentas en Bangalore (India) A principios de la década de 1990, Bangalore, al igual que muchas otras ciudades de la India, tenía problemas de calidad en la prestación de servicios públicos como los de abastecimiento de agua, electricidad, transporte, hospitales y reglamentación de las tierras públicas. La mayor parte de la población aceptaba que los servicios fueran malos, que el gobierno no respondiera a sus necesidades y que el soborno fuera la única forma de conseguir los servicios. Finalidad de la evaluación de los boletines de calificaciones del ciudadano Una ONG independiente, el Centro de Asuntos Públicos (PAC), decidió emprender una evaluación de los boletines de calificaciones del ciudadano. Su objetivo era: Pedir y documentar las opiniones de los usuarios de los servicios públicos. Dar amplia difusión a las conclusiones de la evaluación. Usar esas conclusiones para presionar a los proveedores de servicios públicos para que mejoraran la calidad de los servicios. Metodología de evaluación Se realizó una encuesta de una muestra aleatoria estratificada de 1.130 hogares de Bangalore, en el período de 1993-1994. También se incluyó una muestra separada de habitantes de barrios de tugurios. Los encuestados proporcionaron información sobre los servicios que habían utilizado durante los seis meses anteriores y sobre todos los organismos con los que habían interactuado. La encuesta abarcó los teléfonos, la electricidad, el abastecimiento de agua y el saneamiento, los hospitales públicos, el transporte, los bancos estatales y la reglamentación de las tierras públicas. Los resultados se difundieron ampliamente en los medios de comunicación, en reuniones públicas y en disertaciones ante los organismos proveedores de servicios públicos. Las encuestas se repitieron en 1999 para evaluar los cambios ocurridos desde la encuesta anterior con respecto a la calidad general de los servicios, el comportamiento del personal y la facilidad de interacción entre el ciudadano común y el personal de los organismos de servicios públicos. Conclusiones de la evaluación La primera encuesta, realizada en 1993-1994, reveló que: Solamente el 10,5% de los hogares estaban "satisfechos" (satisfechos y muy satisfechos) con los servicios. Los hospitales, el transporte y los bancos estatales eran los únicos servicios en los que el grado de satisfacción alcanzaba dos dígitos. El 37,5% de los hogares estaba "insatisfecho" (insatisfecho y muy insatisfecho) con los servicios. La encuesta de seguimiento realizada en 1999 reveló que: N 10 El porcentaje global de "satisfacción" había aumentado de 10,5 a 40,1. El porcentaje global de "insatisfacción" había disminuido de 37,5 a 17,9. Las mejoras fueron muy similares para los habitantes de los barrios de tugurios y todos los hogares. Las mejoras más importantes se registraron en los hospitales públicos y en el sector eléctrico. En todos los servicios, la proporción de hogares satisfechos aumentó como mínimo un 50%. No se redujo la proporción de hogares que pagaban sobornos. Costo y duración de la evaluación Cada encuesta tuvo una duración total aproximada de siete meses y costó entre US$10.000 y US$12.000. Además, el PAC dedicó un tiempo considerable a difundir los resultados de la encuesta, convencer a los órganos del gobierno de la necesidad de cambio, y prestar apoyo directo a varios órganos que habían solicitado asistencia. Recomendaciones de la evaluación En los informes se formularon recomendaciones específicas para cada organismo, que se comunicaron durante reuniones separadas entre el PAC y cada uno de los organismos. Se formularon las siguientes recomendaciones generales: Los organismos deberían analizar las conclusiones con sus funcionarios y convenir en planes de acción. Deberían tomarse medidas para promover la recepción sistemática de las opiniones del público. Debería procurarse aumentar la transparencia y la eficiencia, a fin de reducir la necesidad de los sobornos y las oportunidades de que se produzcan. Estimación de los efectos a los que contribuyó la evaluación El boletín de calificaciones del ciudadano hizo tomar conciencia al público de la mala calidad de los servicios y alentó la organización de grupos de ciudadanos para presionar con el fin de obtener mejoras. El boletín de calificaciones del ciudadano también alentó a los organismos de servicios públicos a reforzar su orientación al usuario y mejorar la calidad de los servicios. Los hogares informaron que no había disminuido el grado de corrupción con que se enfrentaban. Se iniciaron encuestas similares sobre el boletín de calificaciones del ciudadano en otras ciudades de la India y en otros países como resultado directo del estudio de avanzada de Bangalore. La cuestión de la atribución: en qué medida los efectos se debieron a la evaluación El amplio debate de que fueron objeto las conclusiones del estudio sobre los boletines de calificación del ciudadano en los medios de comunicación, así como los informes públicos sobre las medidas de seguimiento, indican la gran visibilidad que alcanzaron las conclusiones del estudio. Según una encuesta realizada por las partes interesadas que incluyó a 19 funcionarios superiores de organismos municipales y cinco funcionarios superiores de gobiernos de los estados, representantes D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 11 de siete ONG y cuatro periodistas, el boletín de calificaciones del ciudadano había tenido un efecto catalizador en los organismos de servicios públicos y la sociedad civil. Hubo grandes variaciones en el grado de compromiso de los distintos organismos respecto de las medidas propuestas y en los cambios a largo plazo producidos. Eficacia de la evaluación en función de los costos Las pruebas disponibles sugieren que, a pesar de que incidieron también otros factores, el boletín de calificaciones del ciudadano representó una contribución importante al mejoramiento de la prestación de los servicios públicos. La inversión de aproximadamente US$22.000 en los dos estudios del boletín de calificaciones del ciudadano, más las actividades complementarias de difusión y colaboración con las dependencias del gobierno, contribuyeron a generar una mejora estimada del 50% en el grado de satisfacción con todos los servicios públicos principales. Por lo tanto, el boletín de calificaciones del ciudadano parece realmente haber sido muy eficaz en fun- ción de los costos. I N F O R M A C I Ó N A D I C I O N A L "Uso del boletín de calificaciones del ciudadano para hacer cumplir al Estado su deber de rendición de cuentas en Bangalore (India)", en Influential Evaluations: Detailed Case Studies, DEO. Samuel Paul. 2002. Holding the State to Account: Citizen Monitoring in Action. Books for Change. ACTIONAID, Karnataka (India). A. Ravindra. 2004. An Assessment of the Impact of Bangalore Citizen Report Cards on the Performance of the Public Agencies. Documento de Trabajo No. 12, Desarrollo de la Capacided de Evaluación, DEO. http://www.worldbank.org/oed/ecd/ N 12 Evaluación de la eficacia de las medidas relacionadas con el agua y el saneamiento en Flores (Indonesia) En diciembre de 1992, la Isla de Flores, ubicada en la región oriental de Indonesia, fue azotada por un fuerte terremoto y una marejada gigante que cobró varios miles de vidas y destruyó la mayor parte de la escasa infraestructura existente. El Organismo Australiano de Desarrollo Internacional (OADI) puso en marcha una de las iniciativas de socorro de emergencia, que más tarde se convirtió en el Proyecto quinquenal de reconstrucción y desarrollo de los servicios de abastecimiento de agua y saneamiento del OADI y el gobierno en Flores (FLOWS). El objetivo del Proyecto FLOWS era promover el desarrollo económico y social mediante el aumento de la prestación, el acceso, la eficacia y la sostenibilidad de los servicios de abastecimiento de agua y saneamiento, con especial énfasis en el fortalecimiento de la gestión de los proyectos. Finalidad de la evaluación La finalidad de la evaluación fue contribuir a la nueva política nacional en el sector del agua y el saneamiento mediante la evaluación de los resultados del FLOWS después de transcurridos cinco años desde su finalización. Metodología de evaluación Se extrajo una muestra estratificada y geográficamente representativa de 63 lugares, sobre un total de 260 lugares comprendidos en el proyecto. Se utilizó la Metodología de Evaluación Participativa (MPA), adaptada a la cultura y el idioma locales. Esta metodología combina herramientas de investigación participativa con el análisis cuantitativo para evaluar la sostenibilidad y el uso de los servicios de abastecimiento de agua y saneamiento, al tiempo que evalúa también el grado de equidad de género y justicia social alcanzado en los procesos y resultados del proyecto. La MPA incluye específicamente en sus muestras a grupos marginados, como las mujeres y los pobres, a quienes de lo contrario no se consultaría. La intervención de equipos de investigadores indonesios con una composición equilibrada en cuanto al género y una combinación de conocimientos técnicos y sociales de evaluación facilitó las evaluaciones participativas. El estudio examinó los cambios en el abastecimiento de agua, el saneamiento y las condiciones de higiene tanto desde la perspectiva de la comunidad de usuarios como de los investigadores externos, y el uso de los servicios mejorados por parte de la comunidad. Se estudiaron los aspectos relacionados con la pobreza, el género y las instituciones de los resultados de los proyectos, y se investigaron los vínculos entre éstos y la sostenibilidad de los servicios. D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 13 Conclusiones de la evaluación Se terminaron proyectos de abastecimiento de agua en el 87% de las aldeas, y la mayoría de ellos seguía funcionando entre tres y ocho años después de su construcción. Casi todos los retretes continúan funcionando. El 13% de los proyectos de abastecimiento de agua nunca se terminaron, principalmente debido a conflictos sociales no resueltos entre las aldeas. Hubo importantes reducciones de los niveles de servicio en la mitad de los lugares. El 22% de los servicios proveen poco o nada de agua durante la cuarta parte del año. ¿Pudieron los pobres acceder a mejores servicios de abastecimiento de agua y a una mejor higiene? El diseño del proyecto había previsto y proporcionaba solamente servicios comunales de abastecimiento de agua, pero muchas familias pudientes habían instalado también conexiones domiciliarias. Los pobres tenían un acceso más limitado a los retretes y muchos seguían haciendo sus necesidades al aire libre. La normas del proyecto que prohibían bañar y lavar a los niños pequeños en las instalaciones comunales llevaron a los pobres a abandonar prácticas de higiene más recomendables. La adopción de decisiones se vio monopolizada por los grupos más pudientes. La sostenibilidad financiera se vio amenazada, y recayeron cargas injustas sobre los pobres Las tarifas cobradas a los usuarios no cubrían los gastos periódicos y ni siquiera los gastos de funcionamiento. Debido a que se aplicaba una tarifa fija, los pobres pagaban lo mismo que los ricos por un menor volumen de agua y por agua recibida en condiciones más precarias. Costo y duración de la evaluación El costo total de la evaluación fue de aproximadamente US$150.000 (US$45.000 por concepto de consultores internacionales y el equivalente a US$105.000 por concepto de insumos nacionales), y el proyecto de informe en inglés se terminó en un plazo de 12 meses. Recomendaciones de la evaluación Si se centra la atención en la equidad de género y la justicia social, se logra una mejor gestión y servicios más sostenibles. N 14 Se recomienda prestar más atención a los mecanismos del proyecto para traducir en acción las políticas del sector, ya que las deficiencias en la aplicación de las políticas afectan los resultados de los proyectos. Durante la etapa de planificación, se debería hacer más hincapié en atenuar los posibles con- flictos sociales de la comunidad. Si se ofrecen y estudian diversas opciones de servicios y costos con todos los subgrupos de las comunidades, se pueden minimizar los conflictos sociales posteriores. Estimación de los efectos a los que contribuyó la evaluación El estudio fortaleció la nueva política nacional al demostrar que el énfasis en el género y la pobreza mejora la sostenibilidad y el uso eficaz de los servicios. Los resultados de la evaluación hicieron tomar conciencia a las autoridades normativas de lo difícil que era llevar a la práctica las políticas en las comunidades. La cuestión de la atribución: en qué medida los efectos se debieron a la evaluación Las conclusiones más importantes de la evaluación se incorporaron en el documento sobre la nueva política del gobierno. En el análisis realizado por las partes interesadas, tanto el organismo nacional de planificación como el donante confirmaron la contribución que representaba el estudio, sobre todo en cuanto a determinar las diferencias entre las declaraciones anteriores de política y la aplicación práctica sobre el terreno. Eficacia de la evaluación en función de los costos Habida cuenta de que el gasto público en el sector del agua y el saneamiento en los próximos cinco a 10 años podría oscilar entre US$150 millones y US$250 millones anuales, el gasto de US$150.000 en la evaluación habrá sido muy eficaz en función de los costos si la aplicación de los resultados de la evaluación logra mejorar la eficiencia y la sostenibilidad del programa aunque sea en unos pocos puntos porcentuales. Los efectos en términos de equidad podrían ser incluso mayores si las recomendaciones lograran corregir las deficiencias detectadas en el sector del agua y el saneamiento en lo que respecta a centrar la atención en las cuestiones de género y la pobreza. I N F O R M A C I Ó N A D I C I O N A L Richard Hopkins y Nilanjana Mukherjee, "Evaluación de la eficacia de las medidas relacionadas con el agua y el saneamiento en Flores (Indonesia)", en Influential Evaluations: Detailed Case Studies, DEO. Para más detalles véase "Flores Revisited", escrito por Christine van Wijk, Kumala Sari y el equipo de Pradipta Paramitha, Nina Shatifan, Ruth Walujan, Ishani Mukherjee y Richard Hopkins, borrador de fecha 20 de diciembre de 2002, WSP-EAP. D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N Ampliación del marco de políticas para la 15 evaluación de la viabilidad de las grandes represas El debate sobre las grandes represas en construcción En 1993, el Banco Mundial introdujo cláusulas nuevas y más amplias de salvaguardia para la evaluación de las inversiones en grandes represas, prestando más atención a los impactos sociales y ambientales. Como consecuencia de la controversia en torno a las grandes represas, los prestatarios potenciales se han mostrado renuentes a pedir asistencia al Banco Mundial y a otros organismos de desarrollo, incluso para proyectos justificados. Sin embargo, muchos países en desarrollo no pueden financiar por sí solos las inversiones de la envergadura que se requiere para aprovechar plenamente el potencial de desarrollo económico y social de sus cuencas fluviales y se ven enfrentados a la creciente presión de la demanda de más agua, energía y medidas de control de las inundaciones. A pesar de su constante disminución como proporción del financiamiento que otorga el Banco Mundial, en el ejercicio de 2000 el Banco prestó US$1.064 millones para la construcción de grandes represas. Finalidad de la evaluación En 1997, el Departamento de Evaluación de Operaciones (DEO) del Banco Mundial llevó a cabo una evaluación de los préstamos otorgados por el Banco para la construcción de grandes represas, con el fin de: Determinar si los proyectos de represas financiados por el Banco se habían ajustado a las cláusulas de salvaguardia sociales y ambientales que estaban en vigor al momento de la aprobación del proyecto y a las nuevas cláusulas de salvaguardia incorporadas posteriormente. Identificar las cuestiones que deberían investigarse con mayor profundidad para contribuir a aclarar aún más la función del Banco Mundial. Metodología de evaluación La evaluación se basó en un estudio teórico y en la recopilación de datos de encuestas de varios países prestatarios y organismos administradores de represas en el terreno. Análisis ex post de la relación costo-beneficio de 50 grandes represas financiadas por el Banco Mundial, construidas entre 1956 y 1987. Todas las represas empezaron a construirse antes de que entraran en vigor las directrices actuales del Banco sobre reasentamiento involuntario, seguridad de las represas, población indígena y protección del medio ambiente. Se evaluaron los impactos en términos de generación de energía, abastecimiento de agua para riego, control de inundaciones y navegación, distribución de beneficios y apoyo a la mitigación de la pobreza. Conclusiones de la evaluación El 90% de las represas cumplía las normas aplicables al momento de la aprobación. Solamente la cuarta parte de ellas se ajustaba a las políticas de salvaguardia más estrictas que aplica el Banco actualmente. La mitigación de los efectos sociales y ambientales nocivos de las represas habría sido factible y se habría justificado desde el punto de vista económico en el 74% de los casos. El informe no fue concluyente en cuanto a si las represas podrían alcanzar normas aceptables sólo con ajustes menores o si se requerirían obras importantes de ingeniería para respetar las cláusulas de salvaguardia ambientales, sociales y de seguridad. D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A NL D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 16 Costo y duración de la evaluación La evaluación tardó dos años en quedar terminada y tuvo un costo estimado de US$200.000. Recomendaciones de la evaluación Reforzar las normas ambientales y de seguridad aplicables a las represas. Los sistemas de indemnización para los casos de reasentamiento involuntario deberían estar mejor diseñados y orientados. Estimación de los efectos a los que contribuyó la evaluación La evaluación centró la atención de los interesados internacionales en una amplia gama de cuestiones y creó un espacio para el debate entre todas las partes interesadas. La evaluación fue también el elemento catalizador para la constitución de la Comisión Mundial de Represas, que creó un mecanismo para la integración de los factores tanto sociales como económicos en la evaluación de las grandes represas. Dentro del Banco Mundial, la evaluación hizo que se prestara mayor atención a los planes de reasentamiento, las evaluaciones ambientales y las cuestiones de seguridad. La evaluación suscitó una mayor preocupación por minimizar los efectos técnicos y ambientales de la obsolescencia y la degradación de las represas existentes. La evaluación creó un clima más propicio para las evaluaciones y la rendición de cuentas dentro del Banco Mundial, desalentando la concesión de préstamos para nuevas represas. Uno de los factores mencionados como responsables de la disminución del financiamiento destinado a grandes represas fue un clima de aversión al riesgo, debido a la evaluación más rigurosa de los préstamos propuestos. Actualmente, el Banco Mundial hace mayor hincapié en la rehabilitación y la seguridad de las represas. La cuestión de la atribución: hasta qué punto los efectos se debieron a la evaluación Los efectos de la evaluación se analizaron en un estudio de seguimiento que incluyó 18 entrevistas semiestructuradas con autoridades y gerentes del Banco Mundial, expertos en represas y los autores de la Evaluación de las grandes represas del DEO. Durante las reuniones del Banco Mundial se tuvieron en cuenta las observaciones de los participantes. También se examinaron los informes del Banco y las publicaciones de los distintos interesados. Todas las fuentes tenían una opinión similar acerca de los efectos de la evaluación. Eficacia de la evaluación en función de los costos La mayoría de los administradores de programas consideraron que el análisis claro y los argumentos a favor y en contra de las grandes represas habían facilitado la comprensión de las cuestiones y proporcionaban un marco analítico para la adopción de decisiones. La evaluación fue también el principal factor que contribuyó a la creación de la Comisión Mundial de Represas. D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 17 Habida cuenta de que el Banco Mundial por sí solo había prestado US$1.064 millones para nuevas represas en el ejercicio de 2000, y suponiendo que la evaluación había contribuido por lo menos a algunos de los efectos analizados más arriba, la inversión de US$200.000 en la evaluación parecería haber sido sumamente eficaz en función de los costos. I N F O R M A C I Ó N A D I C I O N A L Mita Marra, "The Large Dams Evaluation" en Influential Evaluations: Detailed Case Studies, DEO. N 18 Eliminación de los puntos de venta de raciones subsidiadas de harina de trigo en Pakistán Desde antes de la independencia, el gobierno de Pakistán aplicaba un sistema de venta de raciones de harina de trigo con el fin de subsidiar ese producto a grupos de bajos ingresos. A mediados de los años ochenta, el sistema era objeto de críticas cada vez mayores debido a su ineficiencia y al hecho de que la mayor parte de la harina barata no estaba llegando en realidad a manos de los grupos destinatarios. Finalidad de la evaluación En 1985 se contrató al Instituto Internacional de Investigaciones sobre Políticas Alimentarias (IFPI) para que realizara una evaluación independiente de los puntos de venta de raciones subsidiadas de harina de trigo. El objetivo era evaluar sus costos y beneficios y recomendar si debía ponerse fin al sistema. El gobierno comenzaba a preocuparse por la corrupción generalizada en los puntos de venta de raciones subsidiadas y tenía interés en reducir los subsidios públicos en un clima de desregulación. Sin embargo, los encargados de formular las políticas se resistían a abordar una cuestión que se percibía como muy delicada y tenían la esperanza de que una institución de investigación independiente y confiable pudiera dar cierto apoyo a las medidas adoptadas por el gobierno. Metodología de evaluación Con la colaboración de investigadores locales del Instituto de Economía del Desarrollo de Pakistán (PIDE), se utilizaron innovadoras encuestas de opinión pública y encuestas de hogares para obtener datos iniciales sobre la disponibilidad y el uso de los puntos de venta de raciones subsidiadas. Los resultados permitieron iniciar un diálogo entre los investigadores y las autoridades pakistaníes encar- gadas de la formulación de políticas con respecto a los cambios que podrían introducirse en el sistema. Conclusiones de la evaluación Más del 70% de la harina de trigo subsidiada no llegaba nunca a los consumidores de los puntos de venta o a las panaderías subsidiadas. Muy pocos consumidores pobres se beneficiaban de los subsidios. Podrían tomarse otras medidas para reducir las consecuencias negativas de la eliminación del programa para los consumidores de bajos ingresos, los propietarios de los puntos de venta de raciones subsidiadas de harina de trigo y los distribuidores. Costo y duración de la evaluación El estudio costó alrededor de US$500.000 y los primeros resultados se comunicaron a los principales encargados de la formulación de políticas al cabo de un año. Recomendaciones de la evaluación La eliminación de los puntos de venta de raciones subsidiadas fue la recomendación principal del informe. Adopción de medidas compensatorias para indemnizar a los consumidores de bajos ingresos por la pérdida del subsidio, y a los propietarios de los puntos de venta de raciones subsidiadas y a los distribuidores por la pérdida de ingresos. Se estimó que el costo de estas medidas sería muy inferior al costo del subsidio. D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 19 Estimación de los efectos a los que contribuyó la evaluación La evaluación del IFPRI ofreció pruebas fidedignas que respaldaron la decisión del gobierno de eliminar los puntos de venta de raciones subsidiadas. Su eliminación permitió al gobierno ahorrar una cifra neta de US$40 millones anuales. La comunicación rápida y oficiosa de las conclusiones antes de que se publicaran los informes oficiales y en un momento en que la cuestión se estaba debatiendo en el ámbito normativo de más alto nivel proporcionó pruebas sólidas que permitieron derogar el programa. La cuestión de la atribución: hasta qué punto los efectos se debieron a la evaluación En 1997, el IFPRI realizó un estudio de seguimiento del caso para evaluar las repercusiones de su investigación. Se identificó a los actores principales y se les preguntó qué factores habían influido en su decisión de eliminar los puntos de venta de raciones subsidiadas y en qué ámbito de políticas se desenvolvían. Se entrevistó a cada uno de ellos y se les preguntó acerca de sus fuentes de información y el papel que había desempeñado la investigación del IFPRI-PIDE. También se examinaron documentos normativos fundamentales para detectar los efectos de la investigación. Las entrevistas mostraron que los encargados de formular las políticas reconocían la importancia de la investigación y que ésta, además de ofrecer pruebas sólidas, por emanar de un organismo internacional imparcial y confiable, proporcionaba apoyo político, lo que hacía más fácil adoptar la decisión políticamente difícil y delicada de eliminar los puntos de venta de raciones subsidiadas. Si bien los encargados de formular las políticas habían recurrido a muchas fuentes de información, los investigadores pakistaníes reconocieron que los números fríos y contundentes arrojados por la investigación del IFPRI-PIDE habían "asestado el golpe de gracia" a los puntos de venta de raciones subsidiadas. Eficacia de la evaluación en función de los costos Se estima que, una vez deducido el costo de las medidas compensatorias como el aumento de sueldos de los funcionarios públicos de bajos ingresos, la eliminación de los puntos de venta de raciones subsidiadas permitió al gobierno ahorrar una cifra neta aproximada de US$40 millones anuales. Si bien es probable que, en definitiva, la decisión de eliminar los puntos de venta de raciones subsidiadas se hubiera adoptado aun sin los estudios del IFPRI, parece claro que éstos contribuyeron considerablemente a acelerar esa decisión. Si se estima, con criterio conservador, que ésta se adelantó probablemente un año, el ahorro fue de US$40 millones. Habida cuenta de que la investigación costó solamente US$500.000, cabe concluir que el estudio fue muy eficaz en función de los costos. I N F O R M A C I Ó N A D I C I O N A L James Garrett y Yassir Islam, "Eliminación de los puntos de venta de raciones subsidiadas de harina de trigo en Pakistán", en Influential Evaluations: Detailed Case Studies, DEO. N 20 Mejoramiento de la prestación de servicios de enseñanza primaria en Uganda A principios de los años noventa, Uganda, como muchos otros países en desarrollo, estaba preocupada por el desempeño deficiente de servicios públicos como los de enseñanza y salud. Se creía que una de las causas principales era la "fuga" de fondos asignados que no llegaban a los organismos destinatarios, pero no se disponía de herramientas de investigación que permitieran determinar la importancia de esas fugas. En 1996, el Banco Mundial lanzó un programa innovador de investigación en Uganda para analizar el gasto público y estimar la proporción de fondos que llegaba realmente a las escuelas y los servicios de salud. En el estudio del presente caso se describe la encuesta de seguimiento del gasto público (PETS) realizada en el sector de la enseñanza primaria de Uganda. Finalidad de la evaluación El objetivo de la PETS sobre la enseñanza era proporcionar estimaciones fiables de la proporción de los fondos asignados por el gobierno central que llegaba a las escuelas primarias y recomendar formas de aumentar la utilización de los fondos aprobados. Metodología de evaluación La PETS sobre la enseñanza hizo un análisis cronológico del recorrido de los recursos presupuesta- rios por distintos niveles del gobierno y comparó las asignaciones presupuestarias con el gasto efecti- vamente realizado en las escuelas primarias. Como no se disponía de un sistema adecuado de cuentas públicas que proporcionara información sobre el gasto real, se realizaron encuestas en 250 escuelas primarias públicas en 19 distritos y se creó una tabla de conexiones de datos sobre gastos y resulta- dos correspondientes al período comprendido entre 1991 y 1995. La encuesta PETS se comple- mentó con una encuesta más amplia sobre la prestación de servicios a través de centros, que no se analiza aquí. Conclusiones de la evaluación Fuga de fondos Solamente el 13% de los fondos asignados había llegado a las escuelas en el período de 1991-1995. El 87% restante había desaparecido o había sido utilizado por los funcionarios del distrito para otros fines. Alrededor del 20% de los fondos con destino a sueldos de los maestros iban a parar a manos de "trabajadores fantasmas" que no existían o no trabajaban como maestros. El papel crucial de los padres en el financiamiento de la enseñanza La encuesta de escuelas demostró que, en lugar de estar estancada como indicaban las estadísticas oficiales, la matrícula en la enseñanza primaria había aumentado un 60% entre 1991 y 1995. Se descubrió que la enseñanza primaria era financiada principalmente por los padres, que en 1991 habían contribuido hasta en un 73% al gasto total de las escuelas. Un hecho sorprendente es que la contribu- ción de los padres siguió aumentando en términos reales a pesar del crecimiento del gasto público. D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 21 Los efectos de la desigualdad de acceso a la información en el gasto público En ausencia de supervisión del gobierno central, los gobiernos locales y las escuelas negocian el monto de las asignaciones para la enseñanza no destinadas a sueldos que el gobierno central entrega a los gobiernos locales. El estudio reveló que las escuelas más grandes recibían una proporción de fondos mayor que la prevista (por alumno) y que las escuelas de niños cuyos padres estaban en mejor situación económica también experimentaban un menor nivel de fugas. Los resultados sugieren que una mayor sensibilización de los ciudadanos y el aumento de su capacidad para vigilar y enfrentar los abusos del sistema son formas importantes de combatir la corrupción. Costo y duración de la evaluación El costo del primer estudio sobre la enseñanza fue de aproximadamente US$60.000. Las encuestas en el terreno se hicieron en un lapso de uno a dos meses, y todo el estudio quedó terminado en un plazo de cinco a seis meses. Recomendaciones de la evaluación Se debería dar amplia difusión pública a las conclusiones del estudio. La información sobre los fondos aprobados para cada escuela y los fondos recibidos por cada una de ellas debería divulgarse ampliamente en los medios de comunicación locales y exhibirse al público en las escuelas. Las PETS deberían repetirse con regularidad para hacer un seguimiento de los progresos. Estimación de los efectos a los que contribuyó la evaluación El gobierno comenzó a publicar en los periódicos y en la radio las transferencias interguberna- mentales mensuales de fondos públicos y exigió a las escuelas primarias que exhibieran, de manera que todos pudieran verla, la información sobre los fondos que recibían. Esto también fue una señal para los gobiernos locales de que el gobierno central había reasumido su función supervisora. Dos PETS de seguimiento organizadas a nivel local mostraron que el flujo de fondos no desti- nados a sueldos había mejorado, ya que del 13% que había llegado a las escuelas en el período de 1991-1995 se había pasado a una proporción de entre 80%, y 90% en 1999 y 2000. Antes del estudio, la mayoría de las escuelas no recibía ninguna de estas asignaciones, mientras que para 1999 las escuelas que no recibían ninguna de ellas eran menos del 10%, y el 90% de las escuelas recibía la totalidad de los fondos a que tenía derecho. El estudio también demostró el impacto de los datos cuantitativos en los servicios públicos como instrumento de movilización de la "voz" popular. Mientras que las denuncias individuales se pueden desechar, la opinión pública respaldada por datos comparativos sistemáticos es difícil de ignorar y puede servir de puntapié inicial para la acción pública. En la actualidad, se han realizado PETS en varios otros países. N 22 La cuestión de la atribución: en qué medida los efectos se debieron a la evaluación Existe un "rastro documental" evidente de declaraciones y publicaciones del gobierno que reconocen la importancia de las conclusiones de las PETS. En cuanto el gobierno recibió las conclusiones de la encuesta, les dio amplia difusión. Recientemente, el gobierno de Uganda decidió realizar PETS todos los años en cada uno de los sectores de servicios básicos. Eficacia de la PETS en función de los costos Según las estimaciones más fiables, el gasto público anual en educación no destinado a sueldos (transferencias de capitación) para la enseñanza primaria en 1999 fue de aproximadamente US$27,7 millones. De acuerdo con la encuesta, el porcentaje del gasto que llegaba a las escuelas aumentó de 13% a por lo menos 80%, lo que repre- senta un incremento de más de US$18,5 millones. Se demuestra así que la PETS fue muy eficaz en función de su costo (US$60.000). I N F O R M A C I Ó N A D I C I O N A L "Uganda: Improving The Delivery Of Primary Education Services Through Public Expenditure Tracking Surveys", en Influential Evaluations: Detailed Case Studies, DEO. Ritva Reinikka y Jakob Svensson. 2002. Assessing Frontline Service Delivery. Grupo de investigaciones sobre el desarrollo. Banco Mundial. www.worldbank.org/wbi/publicfinance/documents/Seco/reinikka_ assessing%20frontline.doc D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 23 Mejoramiento de los resultados de un importante proyecto ambiental en Bulgaria Antes de su privatización, las operaciones de la empresa metalúrgica KCM de Bulgaria habían provocado una contaminación generalizada y peligrosa de extensas zonas residenciales y agrícolas. En 2001, el Banco de Comercio y Desarrollo del Mar Negro (BSTDB) aprobó un préstamo de US$9,2 millones, a seis años, para que la KCM financiara un proyecto de mejoramiento ambiental en gran escala que promovía la introducción de una mejor tecnología ambiental y métodos de trabajo más adecuados. El proyecto también se proponía evitar que se planteara la necesidad de restringir o incluso interrumpir las operaciones, poniendo de esa manera en peligro 1.540 empleos en una zona económicamente deprimida y el 1,3% de las exportaciones anuales de Bulgaria. Finalidad de la evaluación La evaluación, que se llevó a cabo como un examen de mitad de período de un proyecto, tenía por objeto determinar el grado de cumplimiento del plan de acción ambiental, para evitar la pérdida potencial de empleos y el pago de multas, y encontrar formas de aumentar la eficiencia y la viabilidad financiera del proyecto. Metodología de evaluación La evaluación combinó un estudio teórico con una visita de dos días al lugar de la empresa prestataria y a una comunidad vecina. Las visitas en el terreno abarcaron: dos reuniones especiales con los direc- tores de la empresa prestataria y representantes de la comunidad local; tres entrevistas semiestruc- turadas con los directores y el personal de la empresa prestataria y un contratista importante del proyecto, y tres verificaciones in situ de componentes del proyecto seleccionados al azar. También se realizaron observaciones, sin interferir en el funcionamiento de la empresa, de la aplicación de medi- das de seguridad como las restricciones de fumar, el uso de cascos, y la exposición a gases o sustancias tóxicas y la vigilancia de esos gases y sustancias. A fin de garantizar la independencia y descartar cualquier posibilidad de que la evaluación se hiciera para justificar una medida predeterminada, como la continuación de un proyecto delicado, se recu- rrió a los siguientes procedimientos: Una exposición clara de los riesgos del proyecto, el compromiso de las partes interesadas y la experiencia externa. La triangulación, es decir, obtener y comparar datos fundamentales de por lo menos tres fuentes independientes, como por ejemplo el Banco, la empresa prestataria, el contratista, la prensa, ONG y comunidades, auditores externos y observaciones y verificaciones en el lugar. El uso de las Normas de evaluación de prácticas recomendadas del Grupo de cooperación en materia de evaluación de los bancos multilaterales de desarrollo. N 24 Conclusiones de la evaluación Debido a la preocupación del prestatario por mitigar los efectos de la caída de los precios de los productos básicos, no se había dado suficiente prioridad a la aplicación del plan de acción ambiental y se informaba vagamente acerca de los progresos. En el esfuerzo por mitigar los efectos en los precios de los productos básicos, el prestatario infringió una cláusula de protección de riesgos que aumentó la vulnerabilidad de la KCM a la volatilidad de los precios de los metales y los productos químicos. La aplicación poco rigurosa de los nuevos procedimientos de seguridad había expuesto a la KCM al riesgo de incurrir en multas potencialmente abultadas por incumplimiento de las normas de la Unión Europea. Costo y duración de la evaluación La evaluación costó aproximadamente US$4.500 y quedó concluida al cabo de dos meses. Recomendaciones de la evaluación Se deberían fortalecer los sistemas de presentación de informes y seguimiento del plan de acción ambiental. La KCM debería ajustar su política de protección de los riesgos a las normas del sector. La KCM debería aumentar los incentivos financieros y acelerar la aplicación de otras medidas destinadas a garantizar la aplicación de los procedimientos de seguridad y protección ambiental. Estimación de los efectos a los que contribuyó la evaluación Un aumento de las ganancias de entre US$400.000 y US$800.000 por adelantar tres meses el comienzo de la producción de zinc. Un aumento de las ganancias de entre US$110.000 y US$220.000 por adelantar 10 meses el comienzo de la producción de H2S04. Economías por un valor de entre US$14.500 y US$29.000 debido a la reducción de las multas por incumplimiento de la reglamentación ambiental. Economías por un valor de entre US$16.500 y US$33.000 debido a la disminución del número de accidentes gracias a la aplicación de las normas de seguridad. La cuestión de la atribución: en qué medida los efectos se debieron a la evaluación Para determinar hasta qué punto los efectos observados pueden atribuirse a la evaluación más que a otros factores no relacionados se utilizaron los siguientes métodos: Se realizó una simulación de las tendencias causa-efecto sobre la base de los escenarios con y sin la evaluación. El escenario "sin la evaluación" permitió determinar cuánto tiempo habría tardado en llegar la información necesaria a los directores de la empresa y cuánto tiempo habrían tardado éstos en tomar las decisiones, así como la probabilidad de que las decisiones no se hubieran tomado. Se recurrió a la extrapolación para comparar las estimaciones de la empresa prestataria que D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 25 figuraban en los archivos del proyecto, las preparadas por el departamento de finan- zas de la empresa, y las estimaciones de la oportunidad y el impacto del proyecto del plan de acción ambiental para cada componente, y el departamento ambiental del BSTDB realizó una verificación independiente de esa información. Una encuesta de seguimiento de las partes interesadas en la que participaron los directores de la KCM y del BSTDB confirmó que ambas organizaciones habían considerado útil la evaluación y que habían aceptado y aplicado las recomendaciones principales. Eficacia de la evaluación en función de los costos La evaluación costó aproximadamente US$4.500 y quedó terminada en dos meses. Todas las recomendaciones principales fueron aceptadas y aplicadas por el BSTDB y la empresa prestataria y, de acuerdo con las estimaciones más conservadoras, generaron ingresos y economías adicionales por un monto no inferior a US$541.000. I N F O R M A C I Ó N A D I C I O N A L : Todor Dimitrov, "Enhancing The Performance of a Major Environmental Project Through a Focused Mid-Term Evaluation: The Kombinat za Czvetni Metali S.A. (KCM) Environmental Improvement Project in Bulgaria", en Influential Evaluations: Detailed Case Studies, DEO. N 26 Contribución a una nueva evaluación de la política forestal nacional de China En 1999, el Departamento de Evaluación de Operaciones (DEO) del Banco Mundial concluyó un examen de la Estrategia Forestal del Banco de 1991 para determinar: i) sus efectos en el financiamiento total otorgado por el Banco, y ii) la eficacia de la función del Banco y sus efectos en los resultados del sector forestal. Se realizaron estudios de casos prácticos de seis países, incluido un estudio referente a China. Metodología de evaluación Un equipo de consultores del Banco, incluido un investigador chino de larga trayectoria, hizo estudios teóricos y en el terreno para la evaluación del estudio del caso práctico de China. Se examinaron 60 proyectos conexos de la agricultura, el transporte y otros sectores, además de la cartera de proyectos forestales del Banco. El trabajo en el terreno abarcó visitas conjuntas del Banco y la parte china al sitio del proyecto y visitas a hogares, y consultas con funcionarios forestales, autoridades provin- ciales y de la Comisión Nacional de Planificación, y otros donantes. El análisis se com- plementó con trabajos empíricos disponibles en China y realizados por el Departamento de Estadística. El estudio de este caso práctico también se benefició con las aportaciones recibidas de un seminario para partes interesadas celebrado en Beijing, un examen de expertos realizado en el Banco Mundial y consultas con base en la Web. Conclusiones de la evaluación La cartera de proyectos forestales del Banco para China, de US$1.000 millones, si bien representaba apenas una pequeña parte del programa forestal, había fortalecido la capacidad técnica y administrativa del gobierno en ese sector, pero no había tenido tanto éxito en lograr que el gobierno participara en el análisis de la política del sector forestal y en el diálogo. Como resultado de los esfuerzos, principalmente nacionales, de conservación y forestación, la cubierta forestal había aumentado un 15%, sobre todo en plantaciones y fajas de protección. Mediante el financiamiento del Banco se había logrado arbolar 3,3 millones de hectáreas adicionales, y a la vez diversificar las especies de árboles utilizadas, y había ayudado a aumentar la participación de las familias pobres del sector rural en la silvicultura y la agrosilvicultura. La evaluación también destacó los costos socioeconómicos de la prohibición de talar árboles dictada por el gobierno en 1998; el propio gobierno había estimado que costaría por lo menos US$22.000 millones redistribuir a unos 2,4 millones de trabajadores. Costo y duración de la evaluación La evaluación del caso de China llevó alrededor de 18 meses y costó aproximadamente US$80.000. D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 27 Recomendaciones de la evaluación China debería realizar una tarea de seguimiento, evaluación e investigación de las políticas para fortalecer considerablemente sus políticas y programas forestales. Se debería ampliar el sector forestal para dar cabida a los cambios en el uso de las tierras agrícolas y los efectos de las políticas forestales en las familias de agricultores. Si bien no fue una recomendación oficial, en el informe se cuestionó concretamente la pro- hibición de talar árboles y sus graves consecuencias económicas para los pobres. Estimación de los efectos a los que contribuyó la evaluación La evaluación del estudio del caso de China contribuyó directamente de las siguientes maneras: Ayudando a legitimar el debate entre los altos funcionarios, los investigadores y otros interesados sobre la política forestal y la prohibición de talar árboles impuesta recientemente por el gobierno. Generando una amplia aceptación, por parte de los chinos, de la necesidad de mejorar el seguimiento y la evaluación, y también de la necesidad de hacer una investigación minuciosa y un análisis de políticas sobre las repercusiones de los proyectos del sector forestal en los pobres y en la diversidad biológica. Fomentando la participación de investigadores chinos y de los agricultores beneficiarios en los programas forestales, y promoviendo la colaboración entre las principales partes interesadas de China que no habían interactuado anteriormente. La evaluación del caso de China también contribuyó en gran medida a la creación del Grupo de estudio sobre bosques y pastizales del Consejo de Medio Ambiente y Desarrollo de China, en el contexto de la propia reevaluación interna que ha hecho China de su política de prohibición de la tala de árboles y su énfasis en el análisis de políticas y la investigación. El jefe del equipo del DEO que evaluó la estrategia del sector forestal del Banco Mundial fue invitado por el Consejo de China a copresidir el Grupo de estudio e integrarlo como miembro principal. A su vez, el Grupo de estudio sobre bosques y pastizales: Llevó a cabo 1.400 encuestas de hogares en 10 provincias para conocer la opinión de la comu- nidad acerca de los efectos de los programas y políticas forestales. Documentó de manera convincente y completa los numerosos y arduos problemas que afectan la eficacia de los programas forestales del gobierno. Evaluó, mediante un exhaustivo trabajo empírico, los efectos de importantes iniciativas del gobierno en materia de conservación de los bosques, y demostró la existencia de algunos efec- tos negativos involuntarios. Recomendó sustituir el enfoque jerárquico con que el gobierno encaraba la planificación y ordenación forestal por criterios más participativos y flexibles. N 28 Recomendó sustituir la prohibición total de la tala de árboles por una planificación dinámica del uso de las tierras forestadas para lograr una ordenación sostenible de los bosques. Abogó con éxito por un enfoque estratégico del seguimiento y la evaluación en el sector forestal. En respuesta a ello, el gobierno está revisando sus programas y políticas forestales en aspectos tales como la ordenación de los bosques y la propiedad y uso de las tierras. Consideradas colectivamente, estas iniciativas constituyen un cambio sustancial en la aplicación de la prohibición de la tala de árboles. La cuestión de la atribución: en qué medida los efectos se debieron a la evaluación Los efectos de la evaluación realizada por el DEO del estudio del caso de China y la labor posterior del Grupo de estudio chino se evaluaron mediante un análisis de seguimiento de los interesados, a cargo de un consultor del DEO con base en la ciudad de Washington. Éste puso en contacto con los interesados de China y del Banco Mundial recurriendo principalmente al teléfono y al correo electrónico para conocer sus puntos de vista con respecto a las repercusiones del estudio del DEO. También se examinaron informes del Banco y publicaciones de distintos interesados. Eficacia de la evaluación en función de los costos La evaluación del DEO y la del Grupo de estudio costaron alrededor de US$80.000 y US$1,02 millones, respectivamente, y juntas ayudaron a legitimar la necesidad de volver a evaluar en profundidad la prohibición china de talar árboles. En vista de que el gobierno ha estimado que solamente el costo de redistribución sería de US$22.000 millones, puede considerarse que ambas actividades de evaluación son potencialmente muy eficaces en función de los costos. I N F O R M A C I Ó N A D I C I O N A L Elaine Ooi, "Re-assessing China's National Forest Policy", en Influential Evaluations: Detailed Case Studies, DEO. D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 29 Diseño de evaluaciones útiles: lecciones aprendidas Fomento del uso de las evaluaciones Los factores siguientes aumentan la probabilidad de que una evaluación contribuya a mejorar el desempeño y los efectos de las políticas, programas y proyectos de desarrollo: La importancia de un clima favorable en el ámbito de las políticas. Es mucho más probable que se apliquen las conclusiones de la evaluación si éstas abordan preocupaciones actuales en términos de políticas y si los encargados de formular estas últimas se comprometen a aceptar las consecuencias políticas de la aplicación de las conclusiones. El momento en que se hace la evaluación. La evaluación debe ponerse en marcha cuando los encargados de formular las políticas tengan necesidades de información claramente definidas. Las conclusiones deben entregarse con la antelación necesaria para que puedan influir en las decisiones, y con frecuencia es preciso dar a conocer oficiosamente resultados fundamentales antes de que se concluya el informe definitivo. El papel de la evaluación. Sólo en raras ocasiones la evaluación es la única, o incluso la más importante, fuente de información o influencia para los encargados de formular políticas y los administradores. Para que tenga éxito, la evaluación debe adaptarse al contexto dentro del cual se utilizará, y el evaluador deberá saber cuándo y cómo pueden utilizarse más eficazmente las conclusiones. La relación con el cliente y la comunicación eficaz de las conclusiones de la evaluación. Es funda- mental establecer una buena relación con los principales interesados, escuchar con atención sus necesidades, comprender su percepción del contexto político y mantenerlos informados del avance de la evaluación. No debería haber "sorpresas" al momento de presentar las conclusiones de la evaluación. ¿Quién debería realizar la evaluación? Los estudios de casos prácticos permitieron determinar dos maneras diferentes de organizar la evaluación, cada una de ellas con sus ventajas e inconvenientes: Opción 1: La evaluación es realizada por la dependencia de evaluación del organismo administrador o de financiamiento. Esta opción tiene la ventaja de ofrecer un mejor acceso a los protagonistas clave y a los datos, así como una mayor comprensión del contexto político y orgánico dentro del cual se lleva a cabo la evaluación. Sin embargo, encierra el riesgo potencial de que el evaluador se involucre demasiado en el contexto político y, en consecuencia, pierda de vista el panorama general y tenga dificultades para investigar aspectos delicados. Opción 2: La evaluación es realizada por una organización u órgano externo. Esta opción puede garantizar la independencia y la credibilidad y facilitar la investigación de cuestiones delicadas como las presiones políticas locales o la exclusión de grupos vulnerables. Sin embargo, los evaluadores externos pueden tener menos acceso a los encargados de formular las políticas y a los datos necesarios. Una tercera opción, que no surge de estos estudios de casos prácticos, consiste en tratar de reunir las ventajas de las dos primeras opciones, administrando y/o realizando una evaluación N 30 en forma conjunta, con participación de organismos externos o independientes y personal del programa. Alcance y metodología de la evaluación No hay una única metodología de evaluación que pueda considerarse óptima; el enfoque debe adaptarse al contexto concreto, a los interrogantes y prioridades de la evaluación, y a los recursos disponibles. Con frecuencia, el evaluador recomendará ampliar el alcance propuesto para la evaluación a fin de poder estudiar, por ejemplo, el proceso de aplicación, junto con los resultados, o estudiar en mayor detalle el contexto social y político en que se desenvuelve el programa. En la mayoría de las evaluaciones se utilizó también un enfoque de métodos múltiples, combinando métodos cuantitativos y cualitativos de recopilación y análisis de datos, tanto para aumentar la fiabilidad de las conclusiones como para ofrecer un marco más amplio para su interpretación. ¿Cuánto debería costar la evaluación? El valor de una evaluación debería analizarse, al igual que el costo de cualquier otro proyecto o programa, en términos de su potencial eficacia en función de su costo. Una evaluación en apariencia "cara" puede estar plenamente justificada si es capaz de producir una reducción de los costos o un aumento de los beneficios que supere con creces su propio costo. El costo de las evaluaciones que se describen en este volumen osciló entre apenas US$4.500 y US$500.000, pero en cada caso, para dar respuesta a la pregunta "¿Se justificó la evaluación?", se compara- ron los beneficios generados con los costos de realización del estudio. Si bien en algunos casos tanto los costos como los beneficios pueden estimarse en dinero, en otros los beneficios pueden referirse a un aumento de la equidad, de la calidad del medio ambiente o de la eficacia general del programa; cuando esto ocurre, los encargados de formular las políticas deben emitir un juicio acerca de si "valió la pena" invertir en la evaluación para producir determinada serie de beneficios cualitativos. Análisis del uso de las conclusiones de la evaluación y de su eficacia en función de los costos La mayoría de las evaluaciones están sujetas a restricciones presupuestarias y de tiempo, y a menudo incluso a restricciones políticas en cuanto a los interesados con los que es posible comunicarse y al tipo de preguntas que se pueden formular. En estos contextos del mundo real, sólo en raras ocasiones es posible realizar el tipo de análisis riguroso de la metodología de evaluación o del análisis de atribución que recomiendan los libros de texto. D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L D E S A R R O L L O D E L A C A P A C I D A D D E E V A L U A C I Ó N 31 La metodología de análisis del uso se limitará con frecuencia a examinar los informes de investigación disponibles, consultar al equipo de evaluación (personalmente, por teléfono o correo electrónico) y en algunos casos a solicitar las opiniones de expertos locales (como funcionarios del Banco Mundial o de otras misiones residentes de donantes). El análisis de atribución, en el cual el grado en que los resultados observados de la política o programa puede atribuirse a los efectos de la evaluación, es difícil incluso en el mejor de los casos (pero lo es aún más cuando existen restricciones como las men- cionadas anteriormente). Las técnicas que se describen en la publicación del DEO titu- lada Seguimiento y evaluación: instrumentos, métodos y enfoques representan una gama de herramientas analíticas que están normalmente a disposición para el análisis de atribución. Siempre que sea posible, la evaluación debe combinar y comparar la mayor cantidad de estas técnicas que se encuentren disponibles: Descripción, cuando sea posible, de la situación hipotética que se habría producido si la evaluación no se hubiera realizado (Bulgaria, Pakistán) Examen de las referencias a la evaluación en los informes y documentos de planificación del gobierno (Filipinas; India, Plan de Seguridad de Empleo; Uganda) Análisis crítico de las declaraciones formuladas en los informes de evaluación relativos a los efectos de esta última (Bulgaria; India, Plan de Seguridad de Empleo; Indonesia; Uganda) y entrevistas con los evaluadores. Opiniones de los interesados, obtenidas ya sea en entrevistas estructuradas (India, boletines de calificaciones del ciudadano) o más comúnmente en respuesta a solici- tudes formuladas por correo electrónico (Bulgaria; Indonesia). En la mayoría de los estudios de casos prácticos se analizó la eficacia en función de los costos para comparar los beneficios financieros o numéricos de la evaluación con sus costos monetarios. En la mayoría de los casos no fue difícil determinar los efectos potenciales de la evaluación (como reducción de los gastos administrativos, aumento de las ventas, reduc- ción de las multas, mayor número de beneficiarios), y el desafío consistió en estimar la pro- porción de los cambios observados que podían atribuirse a la evaluación. Una enseñanza clave es que se debe tratar de definir claramente los supuestos y los métodos de estimación de los análisis de la eficacia en función de los costos para que el lector pueda juzgar la validez de los métodos. N 32 Recursos adicionales sobre seguimiento y evaluación Sitios de laWorldWideWeb: Evaluación independiente del Banco Mundial: http://www.worldbank.org/oed/ Fortalecimiento de los sistemas nacionales de seguimiento y evaluación, y los documentos publicados como parte de este estudio de evaluaciones influyentes: http://www.worldbank.org/oed/ecd/ Noticias sobre seguimiento y evaluación: http://www.mande.co.uk/