81256 v2 Chile: análisis del programa de evaluación del gasto público Chile: análisis del programa de evaluación del gasto público Volumen I : informe principal Volumen II : anexos (cd adjunto) Fernando Rojas Keith Mackay Yasuhiko Matsuda Geoffrey Shepherd Azul del Villar Ariel Zaltsman Philipp Krause Banco Mundial Unidad de Reducción de la Pobreza y Gestión Económica América Latina y el Caribe © 2006 Banco Internacional de Reconstrucción y Fomento/Banco Mundial 1818 H Street, NW Washington, DC 20433, EE.UU. Telephone: 202-473-1000 Internet: www.worldbank.org E-mail: feedback@worldbank.org Todos los derechos reservados Impreso en Perú por LEDEL SAC Diagramación y diseño de carátula: Ana María Origone Documento preparado como parte del Asesoramiento del Banco al Sistema de Control de Gestión y Presupuesto por Resultados de Chile. Reporte No. 34589-CL. Este documento tiene una distribución reservada y puede ser usado por los receptores sólo en el cumplimiento de sus funciones oficiales. Sus contenidos no pueden de otro modo revelarse sin la autorización del Banco Mundial. ÍNDICE A NEXO A: EL SISTEMA DE EVALUACIÓN ………………………………………………….……………… 1 A NEXO B: ANÁLISIS DEL MARCO LÓGICO DEL P ROGRAMA DE EVALUACIÓN DE P ROGRAMAS GUBERNAMENTALES (EPG) EN CHILE …………………………………………………….… 11 A NEXO C: ALGUNAS LECCIONES DE LOS ESTADOS U NIDOS ……………………………………….…… 36 A NEXO D: MATRIZ DE LA EVALUACIÓN CON ENTRADAS DE N OTAS SUMARIAS DE LA P RIMERA Y SEGUNDA MISIÓN A CHILE ……………………………..……………………………………. 40 A NEXO E: ACTORES INSTITUCIONALES EN EL SISTEMA DE EVALUACIÓN …………………………..….. 64 A NEXO F: META EVALUACIÓN DE LA CALIDAD DE LAS EVALUACIONES DE PROGRAMAS DEL GOBIERNO DE CHILE ……………………………………………………………….…… 71 A NEXO G.1: EVALUACIÓN DE LA EVALUACIÓN DEL P ROGRAMA DE MEJORAMIENTO U RBANO – PMU…. 97 A NEXO G.2: EVALUACIÓN DE LA EVALUACIÓN DEL P ROGRAMA DE RECONVERSIÓN LABORAL Y PRODUCTIVA DE LA ZONA DEL CARBÓN…………………………………………………….132 A NEXO H: SISTEMA DE EVALUACIÓN DE AUSTRALIA – A SPECTOS CLAVE PARA COMPARAR CON CHILE…………………………………………………………………………………… 172 ESTUDIOS DE C ASO SOBRE LA UTILIZACIÓN DEL PROGRAMA DE EVALUACIÓN DE PROGRAMA DE EVALUACIÓN DE PROGRAMAS DE GOBIERNO, MINISTERIO DE H ACIENDA, C HILE. A NEXO I.1: EVALUACIÓN DE FONDO DE P ROMOCIÓN DE EXPORTACIONES ……………………………. 180 A NEXO I.2: EVALUACIÓN DE EQUIPAMIENTO COMUNITARIO……………………………………..……. 201 A NEXO I.3: EVALUACIÓN DE LOS TELECENTROS COMUNITARIOS ……………………………………… 222 ANEXO A EL SISTEMA DE EVALUACIÓN 1 ANEXO A 1 EL SISTEMA DE EVALUACIÓN Introducción y desarrollo de evaluación. DIPRES lanzó un sistema de evaluación en 1997 a través de un acuerdo político con el Congreso. Lo hizo como respuesta a demandas del Congreso sobre su falta de influencia en el presupuesto (Marcel, 1999). Inicialmente, las evaluaciones fueron “de escritorio” es decir, Evaluaciones de Programas Gubernamentales, (EPGs). Pero se sintió la necesidad de suplementarlos con estudios más profundos, por lo que las Evaluaciones de Impacto (EIs) fueron introducidas en el 2001. De 1997 al 2004, cerca de 158 EPGs fueron completadas, y del 2001 al 2004, 14 EIs. La introducción y desarrollo del sistema de evaluación fue fácil. Este empezó en una base piloto y hubo poca real resistencia a su introducción. Objetivos: Los objetivos formales del sistema son: • Ayudar a la DIPRES a formular el presupuesto • Ayudar al Congreso a discutir y formular el presupuesto • Mejorar la gestión de los programas • Proporcionar información para la rendición de cuentas pública En términos prácticos el primer y tercer objetivos – los objetivos de “administración publica” – parecen predominar. Los objetivos respecto al Congreso y rendición de cuentas pública parecerían ser secundarios, pero, como hemos sugerido, evaluaciones neutrales puede ser una importante vía para legitimizar políticas públicas en un sistema de consenso público. Instrumentos de Evaluación. EPGs son evaluaciones de escritorio (usando datos disponibles y suplementados por entrevistas) que examinan el Marco Lógico de un programa. Es decir, enfatizan resultados e impactos. El Marco Lógico es usualmente preparado como parte del trabajo inicial de la EPG. Las EPGs son efectuadas por un Panel de tres expertos bajo contratado privado y su costo aproximado es de US $20,000. Las EIs son evaluaciones mas profundas que conllevan más detallados estudios con el fin de entender/analizar el impacto de los programas. 2 Las EIs son en la medida de lo posible cuantitativas aunque a menudo necesitan generar sus propias series de datos. Las EIs son efectuadas por firmas privadas (incluyendo organizaciones/universidades académicas) seleccionadas en un proceso público de licitación, y típicamente cuestan US $100,000. El ámbito de la evaluación. DIPRES propone una lista de programas para ser evaluados cada año, basada en diversos criterios formales: información que DIPRES posee; si los programas han sido evaluados por la DIPRES u otros y cuando; el horizonte de tiempo del programa y su prioridad programática; sugerencias hechas por SEGPRES y MIDEPLAN; sugerencias hechas por subcomisiones de presupuesto del Congreso. 3 Esta 1 Corresponde a la Seccion 1.1. y 1.2 2 La ultima Evaluación en Profundidad fue realizada para el 2002 y la primera EI en el mismo aňo. La EP es lo mismo que el EI, excepto que contiene una evaluación de gerencia, como también de resultados de programa. 3 Ver la minuta de selección de programas de DIPRES. 2 propuesta es entonces negociada con la Comisión Especial Mixta de Presupuesto en el marco de la preparación del Protocolo, un acuerdo formal que se firma cuando se discute la Ley de Presupuestos. El Protocolo, firmado en Noviembre, incluye la lista final acordada de programas para evaluación. Las entrevistas sugieren que, en la práctica, SEGPRES, MIDEPLAN, y el Congreso juegan un papel limitado, en tanto que las agencias ni siquiera son consultadas. La revisión de los programas seleccionados para evaluación desde 1997 sugiere que las evaluaciones se concentran en actividades que contribuyen a los servicios individualizados al público. Las evaluaciones no se enfocan en áreas significativas del gasto del ejecutivo como: pensiones (Ministerio del Trabajo y Previsión Social), los Ministerios de Defensa y Hacienda, y mas generalmente en la provisión de bienes o servicios regulatorios o económicos (regulación de mercados privados, sectores amplios y políticas nacionales). Si calculamos la relación de gasto presupuestado por Ministerio para el 2004 con el número total de evaluaciones para 1998-2004 de las actividades del Ministerio, encontramos que los Ministerios de Obras Publicas, Salud, y Educación han sido los menos evaluados “intensivamente” de los ministerios suministradores de servicios (NB Salud y Educación son Ministerios muy grandes), mientras que los Ministerios de Minería, Transporte, Planeación, Bienes Nacionales, Relaciones Exteriores, y la Secretaria General de la Presidencia han estado entre los mas evaluados. Las evaluaciones solo cubren actividades del gobierno central. Una anécdota de las entrevistas realizadas sugiere que DIPRES podría haber escogido programas para evaluar, que buscaba cortar o en los que vio problemas operativos. En tanto que los programas evaluados no pueden fácilmente ser comparados con la clasificación presupuestaria, es difícil saber cuanto de la relevante actividad del gobierno central ha sido cubierta por las evaluaciones. DIPRES señala que un número significativo de relevante actividad se ha cubierto. Todo ministerio (excepto el Fiscal Público) ha tenido al menos una evaluación. 4 Otros instrumentos de gestión y sistemas de reporte de DIPRES. El sistema de evaluación aparece racionalmente bien integrado con un numero de otros instrumentos de gestión orientados a resultados que la DIPRES ha desarrollado. Dos instrumentos, indicadores de desempeño y un Balance de Gestión Integral (BGI), proveen información a tomadores de decisiones de política y a gerentes (como la evaluación). Otro, el Programa de Mejoramiento de Gestión, ordena y apoya mejoras administrativas en las agencias. Indicadores. Todas las agencias desarrollan indicadores de desempeño que aparecen en el presupuesto. El cumplimiento de estos indicadores es reportado al Congreso [dos veces al año, uno como anexo del presupuesto, otro en el Reporte Anual de Desempeño (BGI)]. En las entrevistas se reportó que desde su inicio la calidad de los indicadores ha mejorado. Asimismo, que estos han ayudado a promover el debate público, y a la 4 Asimismo, muchos programas han preparado iniciativas que incluyen Matrices de Marco Lógico para solicitar nuevos recursos presupuestales a través del Fondo Concursable. DIPRES sostiene que esto significa que una mayor parte del sector público ha sido sujeto de análisis de planeamiento estratégico. 3 creación de una cultura de evaluación (llegando a ser más relevantes para la discusión del presupuesto y el aumento de salarios). Nuestra evaluación no revela mucho de la efectividad de los indicadores o sobre si ellos fueron muy pocos o muchos, (o cuan efectivos los indicadores pueden ser hasta que una actividad está propiamente definida dentro de un programa) 5 . De nuestras entrevistas se sugiere, sin embargo, que la calidad de los indicadores ha sido mejorada por las evaluaciones y por la implementación de los Programas de Mejoramiento de Gestión. 6 Los Programas de Mejoramiento de Gestión. El objetivo principal de estos programas es promover la mejora de gestión en todas las agencias a cambio de un incentivo salarial. Existe una rigurosa codificación de todas las áreas para el mejoramiento de gestión (recursos humanos, atención al usuario, planificación y control de gestión, administración financiera, y –más recientemente- género) y un cronograma de etapas para el mejoramiento en cada uno de los sistemas que componen las áreas. Una red de expertos en gestión proporciona asesoría a las agencias y certifica si éstas han alcanzado un grupo de estándares. Estos expertos pertenecen al sector público, reclutados de ministerios relevantes a cada sistema (de Trabajo para asuntos de recursos humanos, etc.), y son acreditados por la DIPRES. Estos programas son supervisados por un comité Inter- ministerial (de la DIPRES, SEGPRES, y SUBDERE). Las agencias alcanzando 90-100 por ciento de sus objetivos anuales reciben un bono salarial del 3 por ciento el siguiente año, en tanto que aquellas alcanzando un 75 a 90 por ciento reciben un 1.5 por ciento. DIPRES esta considerando convertir los Programas de Mejoramiento de Gestión en un sistema mas formal de certificación de gestión [como la certificación ISO-900) y usar esto para permitir que las agencias se “gradúen” en un nivel mas alto de auto-gestión. También, las entrevistas indican un rango de actitudes hacia el PMG por parte de las agencias: algunas ven esto como una imposición y otras como un útil apoyo para una mejor gestión. 7 Las evaluaciones (de programas públicos) y Programas de Mejoramiento de Gestión (para las agencias) están obviamente conectados: ambas se retroalimentan. 5 La sección 1.3 y 1.5.1 discuten el tema de los indicadores en el marco de la matriz de marco lógico. 6 SEGPRES también opera un sistema para monitorear el desempeño a corto plazo de los mayores programas gubernamentales (Sistema de Seguimiento de la Programación Gubernamental). Un reporte en el sitio de internet de CLAD sobre un proyecto de investigación en evaluaciones en Latino América (www.clad.org.ve, subsecuentemente publicado como Cunill y Ospina, 2001) señaló: “El Sistema de Seguimiento de Programación Gubernamental fue creado en 2000, en reemplazo del sistema de Metas Ministeriales que estuvo en vigencia entre 1990 y 1998. En el marco de este Sistema de Seguimiento, se han definido tres grandes áreas - infraestructura, social y económica - cada una de las cuales tiene un conjunto de políticas asociadas, con sus respectivos Ministerios responsables y los servicios públicos encargados de su ejecución. El Sistema abarca a la totalidad de los 17 Ministerios y a 105 servicios públicos adscritos. Cada Ministerio define los objetivos, las acciones, y los productos concretos, los que son monitoreados de manera periódica por la Secretaría General de la Presidencia. Según los entrevistados que participaron en su diseño y administración, el Sistema todavía requiere mejorar su vinculación con la toma de decisiones en los Ministerios y servicios públicos, y aumentar su coordinación con los demás instrumentos de evaluación gubernamental.” and later: “Según surge de las entrevistas realizadas, el Sistema de Seguimiento de Programación Gubernamental está jugando un papel importante en tanto instancia que le permite al Gobierno llevar un control de los avances que se van realizando respecto de las prioridades fijadas;…” 7 Los Programas de Mejoramiento de la Gestión son una interesante iniciativa que ha crecido y madurado en Chile. Esta tiene alguna resemblanza con otros programas de “graduación” de gestión (en Tailandia y Ecuador por ejemplo) – programas que no han sido muy exitosos. Sobre todo, Chile toma una “dura” 4 Reporte de Desempeño (Balance de Gestión Integral). Desde 1997, cada agencia debe someter al Congreso el Reporte Anual de Desempeño. Concebido como un mecanismo para la rendición de cuentas pública, el reporte presenta el desempeño de la agencia en relación con sus mandatos, objetivos, compromisos, y recursos en un formato estándar definido por DIPRES. De acuerdo a entrevistas, algunas agencias ven este requerimiento de reporte como gravoso y repetitivo. Incentivos. Además de los incentivos salariales específicos de los Programas de Mejora de Gestión, hay varios incentivos para premiar el buen desempeño de las agencias. • Fondo Concursable (Bidding Fund). Empezando con el presupuesto del 2001, se ha establecido un Fondo Concursable para prioridades gubernamentales de una pequeña fuente de recursos excedentes. (En el 2002, US$ 500 millones fue aplicado en varias propuestas. El fondo no estuvo disponible en el 2004). Las agencias someten sus propuestas basadas en una matriz de Marco Lógico (la cual entonces provee una referencia para futuras evaluaciones). (Algunos de estos programas tienen “sunset clauses”). Y a su vez, DIPRES propone una lista mas corta de estas propuestas con base en su calidad y consistencia con las prioridades y estrategias gubernamentales. El Presidente toma la decisión final. • DIPRES puede devolver los balances de los fondos no gastados en una sola vez. Una agencia que tuvo un alto desempeño recibió el 50 por ciento de su balance no gastado. DIPRES puede también permitir mayor flexibilidad con el presupuesto de inversión de una agencia, sin incrementar el presupuesto total. Dos agencias se beneficiaron de esto en el 2003 (Impuestos Internos y Registro Civil). actitud “prescrita” a un problema “suave” (de gestión). Esta actitud hacia la evaluación es similarmente “prescrita”. En este mismo sentido, Chile Solidario es un nuevo programa que toma un acercamiento “prescrito” para rehabilitar familias en pobreza extrema. (En los tres casos, Chile esta, para así hablar, buscando industrializar un previo proceso artesanal. 5 Reformas de la Administración del Sector Publico 8 La administración pública de Chile es una de las mejores de países no miembros de la OCDE. Es efectivo en la provisión de servicios públicos, sus servidores públicos son competentes y profesionales, y sus operaciones son predecibles. Esto es el resultado de un largo desarrollo gradual culminando en la iniciación, en los anos 90s, de importantes reformas de orientación hacia resultados. Un profesionalizado servicio público empezó a desarrollarse temprano en la era post-independiente. Como el tamaño del gobierno se ha incrementado y su rol ha cambiado, este profesionalismo ha sido vital en el mantenimiento de un buen gobierno. Pero ha habido ciclos políticos de deterioro y correcciones. Gobiernos democráticos desde 1990 han enfatizado disciplina fiscal, igualdad social, e, incrementalmente, buena administración. Recursos Humanos. 9 • La administración de los servicios públicos es parcialmente descentralizada. • Gestión de los servicios públicos: de planta (empleo mas estable) está siendo fortalecido a expensas de contrataciones (empleo sin estabilidad). • Los nombramientos políticos van tres niveles abajo (a jefe de división). El problema de los nombramientos políticos está siendo confrontado. Gestión financiera. 10 Chile tiene un sistema público de administración financiera altamente centralizado y disciplinado. El retorno de Chile a la democracia ha sido seguido por un período de remarcable disciplina fiscal y equilibrio. Fue en este contexto que el Gobierno empezó a incorporar instrumentos de gestión por resultados en la gestión pública y en la toma de decisiones financieras. Chile tiene el sistema presupuestario más jerarquizado en América Latina. Por ley, el Congreso juega un rol muy limitado en el presupuesto. La DIPRES tiene un rol muy fortalecido dentro de la rama ejecutiva. (DIPRES es parte del Ministerio de Hacienda). El presupuesto es bastante inclusivo de todo el gasto del gobierno central. Una parte de gasto militar ofrece la más importante excepción. El gasto presupuestal es clasificado por instituciones y por categorías económicas (por ejemplo basados en entradas). Las instituciones están definidas en tres niveles de desagregación: la Dirección (Partida-correspondiente a cada Ministerio), el Capítulo (correspondiente a cada institución presupuestaria), 11 y el Programa (un sub grupo de 8 Esta sección corresponde a la Sección 1.2. Sobre administración pública en general, ver Carreton y Caceres (2003), Marcel (1999), y Manning y Parison (2003). Sobre asuntos de gobernabilidad, ver Foxley y Sapelli (1999). 9 Ver Rehen (2002), Valdes Prieto (2002), Valdes Prieto (2003), OECD (2003). 10 IMF (2xxx) Marcel y Tokman (2002), OECD (2004), World Bank CFAA. 11 Esta nota generalmente usara el termino “agencias” como sinónimo con capítulo del presupuesto o Servicios. 6 actividades dentro de la institución). A pesar de este ultimo nivel de desagregación, no hay clasificación presupuestaria por programas. 12 El presupuesto es formulado mayormente sobre una base inercial: la asignación de este año para el presupuesto de una agencia está relacionada con el nivel del año anterior. En teoría, los Ministros tendrían alguna capacidad para reasignar el gasto entre agencias dentro del portafolio ministerial, pero DIPRES da poca libertad en la práctica para hacer eso. 13 Ejecución del presupuesto Nuevos instrumentos de gestión han sido añadidos desde mediados de 1990, pero los controles centrales no se han flexibilizado. De acuerdo a Marcel y Tokman (2002), esta evolución reflejó tres problemas que se han hecho presentes hoy en día. Primero, atender la estabilidad macroeconómica a expensas de consideraciones de efectividad y eficiencia. Segundo, algunos actores, particularmente el Congreso, mostraron incomodidad con esta centralización del poder. Tercero, esta misma centralización fue en si la problemática: si los controles fueren débiles “checks and balances”, sería posible revertir la política en el futuro (una deteriorada política [credibilidad]). Un número de reformas fiscales de “segunda generación” fueron implementadas como consecuencia. Estas reformas fueron establecidas a través de acuerdo político o por leyes presupuestales. • Un sistema de límites de efectivo fue introducido para limitar la discreción del ejecutivo en la ejecución presupuestal y fue mejorado el reporte público en la ejecución del presupuesto. • DIPRES introdujo varios instrumentos de gestión y desempeño. En 1993, se introdujo la planeación estratégica. Los indicadores de gestión empezaron a ser usados desde 1994. Un sistema de evaluación fue desarrollado desde 1997. Programas de Mejoramiento Gestión fueron mejorados en el 2000. Estos instrumentos han llegado a ser una ayuda a la toma de decisiones presupuestarias, pero no hay una automática conexión de los resultados de gestión a las asignaciones presupuestarias. • Un protocolo, desde 1997, entre DIPRES y la Comisión Especial Mixta de Presupuesto del Congreso que establece un acuerdo político comprometiendo al Ejecutivo a proporcionar información al Congreso el año siguiente. 12 Programas como estos, son definidos para propósitos de evaluación no generalmente corresponden con clasificaciones de instituciones presupuestarias. Históricamente, Chile ha sido persuadido de que la presupuestación por programas, como es normalmente practicado en Latinoamérica, simplemente impone una mayor rigidez en la clasificación presupuestal, además de otras. Se habla en la DIPRES acerca de la necesidad de moverse hacia “la presupuestación estratégica por productos” lo cual solo implicaría flexibilizar la forma de identificar actividades donde los productos pueden ser relacionados a los costos de producción. Pero no ha habido una decisión formal para moverse en esa dirección. 13 Dorotinsky, Knack, Manning, and Kugler (2001) calculan que Chile tiene un razonablemente bajo nivel de volatilidad presupuestal en el tiempo (cambios en porciones presupuestales de mayores portafolios). Esto indica, prima facie, un razonable nivel de credibilidad en el presupuesto. 7 • El gobierno de Lagos, temiendo un futuro debilitamiento del consenso ínter-partidario sobre estabilidad económica, llevó a cabo varias iniciativas. Para el 2001 estableció una estricta regla de política fiscal conectando el nivel de gasto al nivel de ingreso, pero teniendo en consideración variaciones cíclicas a mediano plazo en ingresos sobre la base de pronósticos de expertos independientes. (Esto requirió la adopción de un ejercicio interno para la programación financiera a mediano plazo a fin de indicar la reasignación del gasto a mediano plazo, requerido para mantener la regla de política fiscal). • Desde el 2001, DIPRES tomo medidas para reducir la tendencia incremental al establecer el presupuesto. Ello requirió que los ministerios redujeran el gasto inercial en al menos dos por ciento, y que se introdujera el Fondo Concursable (Bidding Fund) que habilitó a las agencias a requerir, por competencia, nuevos fondos para programas nuevos o expandir ya existentes. La dirección de la administración publica. Chile tiene impresionantes políticas. Esto es demostrado en la estabilidad macro económica demostrada a largo plazo, historia de crecimiento económico, reducción de sus niveles de pobreza, e innovadoras políticas de solución en áreas tan diversas como reforma de pensiones, reforma educativa, control de la contaminación, y derecho de agua. Debe inferirse que Chile es efectivo en la producción de buenas políticas y que su sistema de gobierno es bueno en la adopción e implementación de ellas. Por que es esto? Esto no es precisamente claro, pero es importante hacer esa pregunta por que puede ser que sean también las mismas condiciones bajo las cuales una cultura de evaluación florezca. Coordinación de política. La maquinaria formal gubernamental para las decisiones de política no parece bien desarrollada. De hecho, problemas de coordinación que son típicos de muchos gobiernos pueden ser vistos en dos niveles. Primero, la coordinación a nivel del ejecutivo parece débil. El gabinete juega un rol limitado. La coordinación entre las agencias líderes- DIPRES, la Secretaria General de la Presidencia, el Ministerio del Interior ( y, hasta cierto grado, el Ministerio de Planeación y Cooperación) no es sistemática. Segundo, la coordinación entre los sectores es también débil. Un ministerio organiza un portafolio de agencias, pero los Ministros (quienes esperan estar en sus puestos de dos a cuatro años) están típicamente asociados con mantener relaciones con el resto del gobierno y el público como para ser capaces de impulsar la necesaria sinergia dentro de sus portafolios. 14 14 Entrevistas en el sector educación. 8 Consenso de política. 15 Por otro otro lado, Chile democrático ha disfrutado de un remarcable grado de consenso de política: la coalición de centro-izquierda y la oposición de derecha han cavado un terreno intermedio de amplios acuerdos de política. Este consenso puede haber sido facilitado por las reglas de votación que estimulan la coalición de dos para dominar el Congreso. Pero ello puede ser el producto de un mutuo deseo de evitar crisis políticas y económicas que marcaron las décadas de antes del retorno a la democracia. Curiosamente, parecería que los gobiernos de centro-izquierda se han sentido libres para prestarse ideas intelectuales de la derecha. (La derecha es un más inagotable productor de ideas). 16 También aparece que una de las claves para hacer que el consenso funcione para decisiones intermedias de política es que expertos neutrales son centrales en el diseño y evaluación de las políticas. 17 De hecho, muchas decisiones de políticas en Chile han llegado a ser “tecnificadas” (i.e. despolitizadas). Acaso el sistema de evaluación de Chile, fuertemente basado en expertos neutrales, juega el rol político de asegurar los dos lados del debate político que las políticas efectivamente ocupen un acordado campo intermedio. Es generalmente considerado que ha habido un declinante nivel de consenso inter.- partidario en años recientes. De ser así, ello podría tener implicancias para el rol de las evaluaciones. El rol de la DIPRES. La DIPRES podría ser el más poderoso cuerpo de coordinación de política en el gobierno. Juega este rol debido a su poder y credibilidad. DIPRES tiene un venerable ancestro: una oficina de presupuesto que jugó el rol de líder en la coordinación del gobierno desde los 30s. 18 El sistema político Chileno es deseoso de acordar un gran poder a DIPRES por la razón de que este ha buscado un consenso de políticas: el deseo de evitar la recurrencia de crisis pasadas. DIPRES también ejercita este poder por que ella contiene técnica de expertos y esta técnica da credibilidad a ambos lados del corredor 15 Un interesante borrador de reporte de investigación (ver Aninat et al, 2004) pinta un cuadro menos sanguíneo. El describe un excesivamente fuerte ejecutivo, con un cercano monopolio en establecer la agenda, y un débil Congreso. Enfrentarse al ejecutivo es igualmente un remarcable arreglo de “entidades con poder de veto”: la Corte Suprema, cabezas de las fuerzas armadas, senadores nombrados, Tribunal Constitucional, etc. En adición de esta estructura formal institucional hay dos significativas características de esta estructura “informal”. Primero, las dos coaliciones políticas están significativamente constreñidas por sus orientaciones políticas. Segundo, hay muchas instituciones que implementan y ejecutan las leyes en un honesta y relativamente transparente manera. El resultado, al menos en el área de políticas económicas mas visibles a extranjeros, es un grupo de bien diseñadas, transparentes, y predictables políticas amistosas con los negocios. En Chile hoy dia existe una ampliamente compartida vocación por la competitividad en las exportaciones.Por ahora, este consenso en la importancia de la competitividad económica habilita el ejecutivo como determinador de la agenda y los varias entidades con capacidad de veto, estar acorde con eficientes, predictables y pro mercado políticas económicas. Todavía, el mismo grupo de individuos operando en el mismo contexto institucional, están completamente paralizados en temas relativos a derechos humanos. I en relación a reformas laborales y educativas, las mismas entidades con capacidad de veto han persistentemente bloqueado iniciativas políticas gubernamentales. 16 Entrevistas a Congresistas. 17 El alcance en el cual la política neutral de expertos es usado hace acaso Chile el único país en el mundo. (No es correcto llamar al uso de expertos “neutral”: la muchos de los expertos en Chile vienen de los mismos colores políticos, si solo se considera la posición ellos ocupan en el espectro ideológico). Los economistas han ganado una particular posición de importancia en Chile (ver Montecinos, 1998) 18 Spink (1999). 9 político. Cualquier iniciativa de descentralizar el poder de decisión y de política a los ministerios tendría que tener en cuenta la combinación de centralización y “tecnificación” que aparecen haber sido parte importante de como explicar las exitosas decisiones de política en Chile. La organización de la reforma del sector publico. Al menos en el papel, la tarea de modernización del sector público es compartida por varios ministerios, El Ministerio de Hacienda (a través de la DIPRES), la Secretaría General de la Presidencia, y los Ministerios de Planeación y Cooperación y del Interior. En la práctica, DIPRES parece estar jugando un rol crecientemente dominante. (Por ejemplo, el Ministerio de Hacienda ahora tiene una nueva Dirección del Servicio Civil). Gestión del Sector público y evaluación: asuntos relevantes. Nuestra revisión de la gestión pública podría indicar algunas de las condiciones que favorecen que el sistema de evaluación funcione. (Esto equivale a una teórica de política). • Alguien puede hipotetizar que es una combinación de predictabilidad y flexibilidad en el presupuesto que los resultados de evaluación contribuyan a las decisiones presupuéstales. La relativamente buena predictabilidad del presupuesto ejecutado de Chile (a ser demostrado) permite a las agencias planear racionalmente. La flexibilidad presupuestal no es grande, pero ha sido formalizada a través de la cuota del dos por ciento como reducción en el tamaño de cada portafolio y la introducción del fondo concursal. • El particular modelo de decisión de políticas de Chile se caracteriza por un extensivo consenso político, una extremadamente poderosa oficina de presupuesto, y una “tecnificación” en la gestión y supervisión de la implementación de la política de consenso. Estas circunstancias explican el sistema tan particular de evaluación de Chile y su aparente [destacado] éxito comparado con otros sistemas de evaluación nacional. Nuestra revisión de la gestión pública también empieza a indicar algunos asuntos para el futuro del sistema de evaluación: • Cual es el impacto en el sistema de evaluación de Chile del desdoblamiento entre sus organismos de decisión de políticas (ministerios) y sus organismos de implementación de políticas (Servicios descentralizados, o agencias ejecutivas)? La actual política parece ser mas formalmente enlazar las agencias a los ministerios. (Nueva Zelanda y el Reino Unido encontraron que la desdoblada implementación de la toma de decisión de políticas amenazaban la coherencia del control central. Australia estuvo determinada a mantener el control central y coherencia de política desde el inicio de sus reformas). Puede la evaluación ayudar a los ministerios a mantener la coherencia de política? • En la medida que la política de consenso de Chile se debilite, puede ser más difícil para el sistema de evaluación mantener su Perfil. 10 ANEXO B ANÁLISIS DEL MARCO LÓGICO DEL PROGRAMA DE EVALUACIÓN DE PROGRAMAS GUBERNAMENTALES (EPG) EN CHILE 11 ANÁLISIS DE LA MUESTRA DE LAS MARCO LÓGICOS DE 15 EPG Descripción General Esta evaluación se basa en una muestra de 15 EPGs que cubre siete años, desde que inició (1997- 2003) el programa. Para determinar la evolución y cambios en el tiempo, cinco programas que han sido evaluados dos veces en la línea EPG, fueron seleccionados. Además de la cobertura de todos los años, la selección de programa fue al azar, no se le dio preferencia a ningún sector. La guía más importante para esta evaluación son los estándares que la misma DIPRES establece para las Matrices de Marco Lógico. De acuerdo a la metodología de DIPRES, el Marco Lógico es un instrumento para examinar el desempeño del programa a través del tiempo. Este debe presentar una sistemática apreciación de los objetivos del programa y sus relaciones causales, y permitir un entendimiento de los factores internos y externos que tienen un impacto en su éxito (o “fracaso”). Los criterios de evaluación siguen de cerca la estructura de la metodología de Marco Lógico. El principal propósito de la evaluación de esta muestra fue ganar insights de la aplicación de la metodología de Marco Lógico a lo largo del tiempo. Estas no son evaluaciones de EPG individuales, ni juicios cuantificados sobre el programa como un todo dentro de la muestra. El análisis en la sección 1.5.1 del documento es complementado por una variedad de otras fuentes, como se menciona en la nota de pie de página de esa sección. Criterios: Calidad de la Matriz de Marco Lógico • Objetivos El sistema Chileno de objetivos es muy sofisticado. Este formula objetivos en cuatro niveles de abstracción (actividades → componentes →propósito → fin). Con base en el efecto del programa mismo, mas otras influencias formuladas en la sección de supuestos, las relaciones causales deben ser trazadas hasta las metas superiores de la actividad gubernamental. En esta sección, se dará una idea general de los objetivos del programa en cada nivel y se reportarán asuntos mayores u otros problemas. Factores importantes son cambios durante el tiempo de implementación y desviaciones de la metodología. • Indicadores Los indicadores son subdivididos en cuatro categorías (eficacia, calidad, eficiencia, economía). No todas las dimensiones son igualmente importantes, y la compleja racionalidad detrás del sistema de indicadores parece difícil de poner en práctica. Para evaluar completamente la calidad de cada indicador en cada evaluación, se necesitaría tener mas conocimiento sectorial, pero se puede aprender mucho a partir de las cifras, la distribución y la consistencia de los indicadores utilizados. 12 • Supuestos En teoría, los supuestos son una parte central de cada Marco Lógico. Junto con el resultado esperado de los componentes del programa, ellos muestran si un programa es en principio factible. El monitorear los supuestos durante la evolución del programa es un instrumento-guía importante. Esta sección analizará los supuestos del Marco Lógico en la medida de lo posible. Los factores importantes incluyen el detalle con el que los supuestos son presentados, el rol que juega la evaluación de riesgo y si los supuestos son adecuados a un marco causal más amplio. • Integración a la EPG En esta sección, se evaluará que tan importante es el marco lógico para la EPG. Es solo un resumen del informe principal, o estructura el informe y sus conclusiones? • Resumen y otras observaciones Los principales puntos acerca del Marco Lógico de las EPG. Solo si el Marco Lógico cumple con los requerimientos formales de la metodología del Marco Lógico, podrá ser considerada satisfactoria. La evaluación del Marco Lógico es relativamente simple; solo aquellas EPG con marcos lógicos altamente deficientes serán juzgados como no satisfactorios en este respecto. Cuadro B1. Descripción General de la Muestra Programa de Equipamiento Comunitario Ministerio de Vivienda y Urbanismo 1997-1 Un marco lógico Programa de Escuelas de Sectores Pobres (P-900) Ministerio de Educación 1997-1 Un marco lógico Proyectos de Mejoramiento Educativo (PME) Ministerio de Educación 1997-1 Un marco lógico Subsidios al Transporte Regional Ministerio de Transportes y 1998-1 Un marco lógico Telecomunicaciones Generación de Capacidades en Localidades Pobres MIDEPLAN 1998-1 Sin marco lógico Fortalecimiento de la Gestión Municipal Ministerio del Interior 1999 Un marco lógico Subsidios de Enfermedad y Medicina Curativa Ministerio de Salud 1999 Un marco lógico Fomento a la Microempresa Ministerio de Economía 2000 Un marco lógico Programa de Escuelas de Sectores Pobres (P-900) Ministerio de Educación 2001-2 Un marco lógico Programa Equipamiento Comunitario Ministerio de Vivienda y Urbanismo 2001-2 2 marcos lógicos Fondo de Proyectos de Mejoramiento Educativo Ministerio de Educación 2002-2 2 marcos lógicos (PME) Subsidios al Transporte Regional Ministerio de Transportes y 2002-2 2 marcos lógicos Telecomunicaciones Generación de Capacidades en Localidades Pobres MIDEPLAN 2002-2 2 marcos lógicos, pero idénticos Programa de Educación de Adultos EFA y ETEA Ministerio de Educación 2003 2 marcos lógicos, pero idénticos Programa de Préstamos Médicos en Salud Ministerio de Salud 2003 Un marco lógico 13 MARCOS LÓGICOS INDIVIDUALES Evaluación del Marco Lógico: Programa de Equipamiento Comunitario Evaluación de las EPG, de agosto de 1997 Ministerio Responsable: Ministerio de Vivienda y Urbanismo Descripción General El programa fue iniciado en 1996; este tenía datos disponibles solo de dos años al momento de esta evaluación. El objetivo del programa es apoyar la construcción de infraestructura social a nivel local, especialmente en comunidades pobres con el propósito de reducir el déficit de infraestructura social local que genera desigualdad, segregación y degradación ambiental. Este programa se enfoca en aquellas partes del país donde tales insuficiencias son evidentes. El apoyo anual del proyecto se otorga a través de un proceso competitivo; en 1996 el programa apoyó principalmente proyectos en tres áreas: a) locales sociales, b) parques, c) locales deportivos. La EPG contiene un Marco Lógico. Objetivos El objetivo del programa es mejorar la calidad de vida de la población y estructurar las áreas urbanas en los complejos habitacionales básicos construidos por MINVU. El programa por sí mismo debe contribuir a esta meta de mayor nivel al alcanzar el propósito, cuando aquellos complejos habitacionales básicos están equipados con infraestructura que satisface necesidades sociales, recreativas y médicas. Hay tres componentes, que a) establecen un sistema para proveer una infraestructura comunal de acuerdo a una clara y a un criterio establecido que son conocidos para las comunidades, b) proveer estudios que contienen planeación territorial, identificar propiedades, necesidades financieras y recursos, c) contar con grupos locales para aplicar a proyectos y obtener apoyo del programa. Los evaluadores señalan que no existe una manera objetiva de establecer la necesidad del programa, sin embargo, se dice que la alta demanda por los proyectos justifica el programa. La población objetivo no está definida, se recomienda que se conduzcan estudios para definir los beneficiarios y la demanda. Supuestos Los supuestos están desarrollados en todos los niveles requeridos por la metodología de Marco Lógico. Estos supuestos están bien desarrollados y reflejan el involucramiento de varios actores institucionales en los niveles nacional y local para que el programa avance hacia adelante. Este es uno de los pocos marcos lógicos que también incluye supuestos en el nivel inferior, los prerrequisitos para alcanzar los objetivos del componente. Indicadores Existen indicadores para medir el propósito (3), y los componentes (uno por componente A y uno por componente C). En suma, existen bastantes indicadores para monitorear actividades del proceso. Los indicadores no están claramente diferenciados. Los evaluadores recomiendan el establecimiento de un sistema de objetivos anuales y un sistema de monitoreo. Integración del Marco Lógico a la EPG El marco lógico refleja la dirección general del informe principal EPG. 14 Resumen y otras observaciones El Marco Lógico completa todos los requerimientos metodológicos. El set de supuestos está bien desarrollado y se compara favorablemente con otros programas. La evaluación misma carece de criterios transparentes para juzgar el programa; su generalmente positiva condición no es sustentada por mucha evidencia sistemática. 15 Evaluación del Marco Lógico: Programa de Mejoramiento de la Calidad de las Escuelas de los Sectores Pobres (P900) Evaluación de EPG 1997. Ministerio Responsable: Ministerio de la Vivienda y Urbanismo Descripción General El programa fue iniciado en 1990. Este apoya escuelas en municipalidades pobres. La EPG contiene un marco lógico. El programa tiene como objetivo mejorar el aprendizaje en los primeros cuatro grados del 10% de las escuelas con peores niveles de lectura, escritura y matemáticas. Esto se debería lograr mejorando el equipo e infraestructura escolar. Objetivos El programa tiene como fin el haber mejorado los niveles de aprendizaje entre los estudiantes en todas las disciplinas básicas en toda las escuelas cubiertas, estas ganancias siendo equitativamente distribuidas. El propósito contribuye al fin por medio del incremento del desempeño de los estudiantes, en el primer ciclo básico en escuelas localizadas en áreas rulares y urbanas extremadamente pobres, en el campo de las matemáticas, lectura y escritura. El programa tiene tres componentes: a) reparaciones físicas en las escuelas participantes, b) provisión de libros y otros materiales de enseñanza, c) programas de entrenamiento de maestros y talleres, d) talleres de aprendizaje para estudiantes de 3er y 4to grados, e) fortalecimiento de la gestión en las escuelas y la administración local respectiva. Los objetivos de nivel superior podrían ser mejor desarrollados para reflejar diferentes niveles de abstracción. Indicadores Los indicadores para monitorear el desempeño del programa están en una buena posición para referir los datos de una forma de exámenes estandarizados tomados por estudiantes en cuarto grado. El programa tiene un indicador de desempeño en el nivel fin (midiendo el mejoramiento de los resultados promedio en las escuelas cubiertas), que no es posible bajo la actual metodología de marco lógico. Esto subraya que, cuando un sistema sea factible en términos de datos disponibles y de costos, sería poco prudente prohibirlo. Existen mas indicadores en todos los niveles del programa, que no están diferenciados en categorías, en línea con los requisitos del momento. Supuestos Existe únicamente un supuesto para un componente, y todos los supuestos de los demás niveles superiores al del componente están en blanco. Todas las entradas para actividades tienen un supuesto. Esta pudo no haber sido la mejor priorización de dónde desarrollar supuestos y dónde no. No existe una evaluación de riesgo en conjunción con los supuestos. Integración del Marco Lógico a la EPG El marco lógico refleja la dirección general del informe principal EPG. Resumen y otras observaciones El marco lógico sigue los requerimientos de la metodología del marco lógico. El tratamiento de supuestos deja mucho que desear. El marco lógico contiene un indicador al nivel del fin. 16 Evaluación del Marco Lógico: Programa de Mejoramiento Educativo (PME) Evaluación de la EPG Agosto 1997 Ministerio Responsable: Ministerio de Educación (MINEDUC) Descripción General El programa fue iniciado en 1992. Este busca mejorar la desempeño educacional a través de la creación de capacidad en las escuelas en una manera descentralizada. Los Programas de Mejoramiento Educativo son diseñados para escuelas individuales; en 1995, 3,111 de estos programas operaron en 4,402 escuelas, involucrando 62,875 profesores y 1,347,651 estudiantes. La EPG contiene una propuesta de Marco Lógico. Objetivos El fin del programa es mejorar la calidad y la igualdad en la educación. El propósito es descentralizar la capacidad educacional construida, a las escuelas fomentando la innovación y autonomía entre profesores, lo que supuestamente mejorará la calidad de la enseñanza. Desviándose de la actual metodología, el Marco Lógico contiene una línea horizontal de resultados, definida como el número de proyectos que alcanzan sus objetivos propuestos. Esta disposición cambia la lógica causal de la matriz de Marco Lógico que no se encontró en otras EPGs. Actividades y componentes están consolidados en una barra horizontal. Mientras que el alto número de 7 componentes y 18 actividades en total hace el Marco Lógico menos que conciso, la consolidación de estos dos niveles parece razonable conforme a bases lógicas. Supuestos Los supuestos son presentados en todos los niveles requeridos en la cadena causal de objetivos, el nivel de fin también contiene un supuesto, que no es propuesto por la metodología (porque los supuestos llevan al siguiente nivel en la cadena causal). Los supuestos están bien diseñados y presentan un set fundamental de hipótesis causales. Por ejemplo, que la descentralización educacional mejora la calidad de la educación está basada en supuestos sobre la manera en que la descentralización mejora el desempeño y la capacidad en el nivel local. Estos supuestos están presentes en el Marco Lógico. Desafortunadamente, los supuestos no incluyen la evaluación del riesgo. Indicadores Los indicadores están presentes en cada nivel de los objetivos, aún el progreso hacia el fin es medido por dos indicadores, a pesar de que esto no es requerido por la metodología. Los indicadores no están diferenciados en subcategorías, y un número total de 23 indicadores en el nivel de actividad parece alto y tal vez inmanejable. Los evaluadores dudan que el presente sistema de recolección de datos permita una evaluación bien fundamentada del impacto del programa. Los indicadores para monitorear el fin y el propósito del programa pueden ser considerados indicadores de resultados. Integración del Marco lógico a la EPG El Marco Lógico está muy bien integrado a la EPG. Esto captura la base lógica del programa y lleva a recomendaciones razonables. Específicamente, la EPG cuestiona la validez de bastantes supuestos del programa, aunque el programa es todavía considerado como bien justificado y 17 exitoso. Los evaluadores no proponen, sin embargo, un nuevo Marco Lógico basado en sus recomendaciones y observaciones. Resumen y otras observaciones Su diseño se desvía en varias instancias de la actual metodología. No es de nuestro conocimiento si una diferente metodología fue usada o si los evaluadores tenían la libertad de diseñar el Marco Lógico por sí mismos. El Marco Lógico estructura el argumento de las recomendaciones de la EPG. 18 Evaluación del Marco Lógico: Programa de Generación de Capacidades en Localidades Pobres (E. TODOS) Evaluación de la EPG Agosto 1998 Ministerio responsable: Ministerio de Planificación y Cooperación Descripción General El programa fue iniciado en 1991. Este busca mejorar la situación de la población pobre, por medio del apoyo de gran variedad de proyectos, mayormente de infraestructura (76.2% en 1995), deportes y recreación (7.8%). La EPG no contiene un Marco Lógico, a pesar de que hay dispersas referencias a un Marco Lógico a través del texto. Objetivo El fin último del programa es permitir que los habitantes de áreas pobres mejoren gradualmente sus condiciones materiales e inmateriales de vida. El propósito inmediato del programa es la implementación de planes de desarrollo local preparados por las comunidades. Indicadores Existen indicadores para el fin, propósito y los dos componentes del programa. Ellos no son discutidos extensamente. Supuestos N/a Resumen y otras observaciones No hay un Marco Lógico para evaluar, aunque las coordenadas principales del programa fueron discutidas en el informe principal EPG. 19 Evaluación del Marco Lógico; Programa de Subsidios al Transporte Regional (STR) Evaluación de la EPG Agosto 1998 Ministerio Responsable: Ministerio de Transportes y Telecomunicaciones (MTT) Descripción General El programa fue iniciado en diferente forma en 1979-80. Este busca mejorar las conexiones de transporte a través del país mediante el subsidio a los servicios de transporte, tanto de carga como de pasajeros. La EPG contiene un Marco Lógico, la documentación es amplia y parece estar completa. Objetivos El fin del programa es contribuir a la integración y mejoramiento social y económico de áreas aisladas mediante la provisión de subsidios a los servicios de transporte de pasajeros y de carga (propósito). Indicadores Los indicadores existen para el fin, el propósito y el componente del programa. Ellos no son discutidos extensivamente. La metodología de marco lógico no requiere indicadores en el nivel de fin. Supuestos Existen supuestos en todos los niveles del marco lógico, aún al nivel del fin. Esto es técnicamente incorrecto, porque el supuesto debería ir junto al objetivo del mismo nivel para alcanzar el objetivo del siguiente nivel (mas alto), de manera que no pueda haber un supuesto en el nivel superior del marco lógico. De otra manera, los supuestos reflejan el establecimiento institucional del programa y enriquecen el entendimiento de la complejidad del sector. Integración del Marco Lógico a la EPG El marco lógico refleja la dirección general del informe principal EPG. Resumen y otras observaciones El marco lógico está preparado de una manera comparable a los elaborados durante los primeros años del programa. Debido al hecho de que bastantes entradas son ilógicas y contrastan con la metodología, se concluye que se hizo un esfuerzo para llenar cada espacio requerido sin poner mucha atención a su lógica interna. 20 Evaluación del Marco Lógico: Programa de Fortalecimiento de la Gestión Municipal (PROFIM) Evaluación de la EPG Agosto 1999. Ministerio responsable: Ministerio del Interior Descripción General El programa fue iniciado en 1994 y cerrado a finales de 1998. Este buscó crear capacidad de gestión en una selección de 25 municipalidades. La EPG contiene una propuesta de Marco Lógico. Objetivo El fin del programa fue contribuir al proceso de descentralización, democratización y modernización del país a través del fortalecimiento del nivel municipal de la administración pública. El propósito del programa fue promover la autonomía local y la provisión de servicios a través del fortalecimiento de la capacidad de las municipalidades en varias áreas de gestión del sector público. Hubieron tres componentes, fortalecimiento institucional al nivel local (4 actividades), un conjunto de estudios nacionales (5 actividades) y la propuesta de un proyecto de seguimiento (2 actividades). El grupo de componentes pudo haber sido mejor organizado, ya que solo fue posible entenderlo después de referirse al texto de la EPG. Supuestos Existen supuestos para todos los niveles del Marco Lógico. Ellos se enfocan especialmente en varias instituciones de cooperación (entre ellas el Banco Mundial, baja rotación del staff en el Banco es uno de los supuestos para el éxito de las actividades). Los supuestos son menos claros en los niveles más altos de abstracción. No se proporciona evaluación del riesgo. Indicadores La columna de indicadores está subdividida en indicadores actuales e indicadores posibles. La diferencia no se explica, lo cual es especialmente confuso porque el programa ya se cerró. Los indicadores no son diferenciados. Nueve indicadores miden el propósito, tres indicadores el componente 1, cuatro el componente 2, y dos el componente 3. Los evaluadores sugieren la inclusión de indicadores adicionales y más cualitativos; específicamente encuestas dentro de los gobiernos municipales para medir la satisfacción con el programa. Integración del Marco Lógico a la EPG El Marco Lógico pudo haber sido mejor integrado en la evaluación. La única discusión explícita del Marco Lógico, dirigida a su lógica vertical y horizontal, es de dos párrafos de largo. Los evaluadores están totalmente satisfechos con el Marco Lógico. Resumen y otras observaciones La EPG es concisa y bien escrita. Sus recomendaciones son explicadas en su totalidad se discuten ampliamente. Sin embargo, el Marco Lógico no aparece prominentemente en la evaluación como un todo. Especialmente, los indicadores hubieran merecido más detallada explicación. 21 Evaluación del Marco Lógico: Programa de Enfermedad y Medicina Curativa (SIL) Evaluación de la EPG Agosto 1999 Ministerio responsable: Ministerio de Salud Descripción General Es un proyecto que ha operado por mucho tiempo, el cual fue iniciado en 1924. Es un programa básico de seguro de salud que ayuda a individuos incapacitados como resultado de accidentes no relacionados con el trabajo o enfermedad, proporcionándoles apoyo financiero por el tiempo que no pueden trabajar. La EPG contiene una propuesta de Marco Lógico. Objetivos El programa tiene dos objetivos para contribuir a la seguridad social del trabajador y para la recuperación de su salud. El propósito del programa es reemplazar la pérdida de ingreso del trabajador en caso de incapacidad temporal para trabajar. Los cuatro componentes delinean las varias etapas necesarias para la aceptación de reclamos, pago de seguro, pagos para reclamantes y la gerencia del sistema. Los evaluadores proponen reorganizar los componentes y actividades para reflejar mejor la relevancia de algunas actividades (y una de las cuales “merece” ser un componente). Estos cambios están bien argumentados, a pesar de ser difíciles de evaluar sin un conocimiento sectorial. El Marco Lógico contiene un alto numero de actividades (8, 6, 7 y 6 actividades para los componentes del 1 al 4, respectivamente). El Marco Lógico se beneficiaría de alguna agregación u ordenamiento para mejorar el enfoque en su lógica interior. Supuestos Los supuestos son presentados para el propósito y para cada componente, no para las actividades. Ellos cubren asuntos importantes relacionados a las agencias implementadoras y a los beneficiarios. No hay una evaluación del riesgo. Los supuestos no muestran un desarrollado sistema de hipótesis. Indicadores Los indicadores están presentes en los niveles componente (un total de 28) y propósito (12). Los medios de verificación no siempre se proporcionan. Los Indicadores no son diferenciados. Es difícil evaluar, debido a su gran número, cuan sistemáticamente estos permiten monitorear los objetivos. Integración del Marco Lógico a la EPG El Marco Lógico refleja las recomendaciones hechas por los evaluadores. Hay cierta información sobre el Marco Lógico en el informe principal, la EPG contiene una breve discusión de la lógica vertical y horizontal del Marco Lógico. En general, el Marco Lógico no es empleado mucho mas allá de las secciones requeridas en los términos de referencia. Resumen y otras observaciones El Marco Lógico de la EPG juega cierto rol en la evaluación como un todo. No parece que el programa tuviera un Marco Lógico en uso antes de que lo evaluaran; los evaluadores solo proporcionan un nuevo Marco Lógico. El Marco Lógico podría ser más sistemático, pero incorpora los cambios propuestos por los evaluadores. 22 Evaluación del Marco Lógico: Programa de Fomento a la Microempresa Evaluación de la EPG Setiembre 2000 Ministerio responsable: Ministerio de Economía Descripción General El programa fue iniciado en 1997. Este apoya pequeñas empresas por medio de la asistencia directa y mejoras de los servicios municipales que fortalecen la actividad económica. La EPG contiene una propuesta de Marco Lógico. Objetivos El fin del programa es contribuir a la competitividad de los pequeños negocios y de las condiciones de trabajo, el empleo y al desarrollo económico de la comunidad. El propósito es mejorar el nivel de la actividad económica de pequeños negocios focalizados y sus ambientes. El Marco Lógico lista tres componentes, (1) servicios para pequeños negocios, (2) estudios de pre inversión, y (3) fortalecimiento municipal. Confusamente, los objetivos para el primer componente están divididos en tres sub componentes/objetivos, los cuales son adicionalmente subdivididos en actividades. Los niveles de agregación del Marco Lógico no son muy claros. El Marco Lógico establece una larga lista de actividades, las cuales cubren cuatro paginas en el documento. Supuestos Los supuestos son presentados en el Marco Lógico en todos los niveles requeridos. Estos son enunciados muy cortas, solo un supuesto por componente. Solo la relación entre propósito y fin está más elaborada, los tres supuestos juntos proporcionan un adecuado entendimiento de las relaciones causales en este nivel. No hay una evaluación del riesgo. Indicadores Los indicadores se dan del propósito para abajo, estos no son diferenciados en las cuatro dimensiones. Los siete indicadores de propósito juntos indican el desempeño del programa y su resultado; estos incluyen mediciones cualitativas tales como encuestas de beneficiarios. Los componentes e indicadores de actividad son exclusivamente cuantitativos, mayormente mediciones de costos, un indicador por actividad. Integración del Marco Lógico a la EPG El Marco Lógico está integrado a la EPG, a pesar que no parece jugar en general, un importante rol en el documento. Los evaluadores se muestran satisfechos con la lógica vertical y horizontal del Marco Lógico, ellos proponen varias aclaraciones pero no mayor rediseño. Como solo se presenta un Marco Lógico, la comparación de antes y después no fue posible. Sumario y otras observaciones La EPG está completa y generalmente bien ejecutada. El Marco Lógico no juega un muy importante rol para la EPG como un todo. No es claro si el programa operó con un Marco Lógico antes de la evaluación porque solo se presenta un Marco Lógico. 23 Evaluación del Marco Lógico: Programa de Equipamiento Comunitario Evaluación de la EPG Junio 2001 Ministerio responsable: Ministerio de la Vivienda y Urbanismo (MINVU) Descripción General El programa fue iniciado en 1996, este fue sujeto a una primera EPG en 1997. Dicho programa provee infraestructura en áreas pobres donde la vivienda básica fue construida por el programa de vivienda pública del MINVU. El programa apoya una variedad de infraestructura, tal como parques, lugares públicos, deporte y recreación, salud básica, educación y seguridad. Como se mencionó anteriormente, esta es la segunda evaluación EPG del mismo programa. Este Marco Lógico refleja la mejora en la metodología en comparación con la primera evaluación. Los objetivos están formulados más claramente, y especialmente el sistema de indicadores está mejor organizado. Esta EPG contiene los dos Marcos Lógicos requeridos por los términos de referencia. Objetivos El fin del programa es mejorar la calidad de vida de la población de las áreas de vivienda básica construidas por el MINVU. El propósito es permitir a los habitantes de los complejos de vivienda básica tener infraestructura comunal a su disposición para descansar, socializar y aprender en un modo que no incremente el déficit de los servicios municipales involucrados. El componente singular es la construcción de dicha infraestructura dividida en categorías de parques, deporte y recreación, educación, lugares públicos, y centros comunitarios. Hay siete actividades bajo este componente, el cual define la planeación y ejecución de la construcción por entidades nacionales y locales. Los evaluadores recomiendan un cambio en el nivel de componente, para reemplazar la confusa disposición de construcciones con una mínima organización estándar de infraestructura comunal (“plaza vecinal”) y enfocar las actividades de construcción en esta única categoría. La consolidación de actividades en una categoría brindará mayor claridad al programa y mejorará el monitoreo y evaluación del desempeño. Se recomienda adicionalmente integrar este programa en el programa de vivienda del MINVU para una mejor alineación de la oferta y demanda así como para mejorar el desempeño. Supuestos Los supuestos están presentes en todos los niveles requeridos de los objetivos de la cadena causal. Ellos cubren importantes condiciones en la lógica causal, e.g. “la calidad de vida será mejorada si los ciudadanos usan la nueva infraestructura construida.” Como los supuestos no incluyen una discusión del riesgo, es difícil juzgar cuánto valor agregado estos pueden traer al Marco Lógico. Indicadores Los indicadores están presentes en el nivel componente y propósito. Medios de verificación son proveídos. En el nivel componente, hay tres indicadores de: efectividad (1), calidad (1), y eficiencia (5). Ellos son los indicadores de productos directamente relacionados al componente del programa. En el nivel propósito, hay indicadores de efectividad (3) y eficiencia (1). Estos también son indicadores de producto (porcentaje de proyectos ejecutados versus planeados, costo 24 por proyecto versus costo promedio por proyecto). Un indicador de efectividad (utilización de proyectos) mide un resultado o impacto, pero estas categorías no son distinguidas como tales. Los evaluadores sugieren un diferente grupo de indicadores en línea con la simplificación de actividades. Hay un indicador para medir efectividad, calidad y eficiencia al nivel de propósito. Los indicadores de componente están también simplificados en dos de efectividad, uno de calidad y una de eficiencia. Los evaluadores lamentan que el sistema de monitoreo y evaluación es muy subdesarrollado y deficiente, especialmente a largo plazo. Integración del Marco Lógico a la EPG El Marco Lógico está bien integrado a la EPG. Las principales recomendaciones de los evaluadores fluyen directamente del nuevo Marco Lógico propuesto, con la excepción de una propuesta de integración con otro programa. Debido a que esto se debe a un fallo fuera del Marco lógico de este programa, no disminuye la generalizada impresión favorable. Resumen y otras observaciones El Marco Lógico de la EPG es bueno. Los evaluadores proponen cambios sustanciales al programa que se traducen en cambios concretos en el Marco Lógico. El Marco Lógico propuesto contiene todos los elementos requeridos por la metodología del Marco Lógico y es más estructurado que la versión original. 25 Evaluación del Marco Lógico: Programa de Escuelas de Sectores Pobres (P-900) Evaluación de la EPG Junio 2001 Ministerio Responsable: Ministerio de Educación (MINEDUC) Descripción General El programa fue iniciado en 1990. Esto apoya escuelas de pobre desempeño con materiales y asistencia técnica. Fue cubierta por una evaluación EPG en 1997. El presente Marco Lógico se compara favorablemente con el anterior. El objetivo del nivel más alto distingue mas claramente entre los niveles de abstracción, y el sistema de indicadores está mejor organizado. La evaluación precedente es mencionada solo una vez, en la nota de pie de página. El EPG contiene un Marco Lógico, que fue inicialmente acordado junto con la organización evaluada. Objetivos El fin del programa es contribuir a resolver la desigualdad creada por deficiencias en la comprensión por los estudiantes atendiendo escuelas elementales de baja capacidad educacional. El propósito es mejorar el aprendizaje de los estudiantes entre el 2do y 8vo grados en las escuelas objetivo. El programa tiene cinco componentes que clarifican los varios aspectos de la asistencia material, programas sociales y la construida capacidad del personal. Los componentes objetivos son apropiadamente formulados como objetivos. La lista de actividades es separada del resto del Marco Lógico y su falta de información adicional la hace dispensable. Supuestos El Marco Lógico presenta supuestos breves en la columna requerida. No hay una evaluación del riesgo. Los supuestos no son explicados. Indicadores Los indicadores están ampliamente documentados; ellos son diferenciados en cuatro dimensiones. Hay 7 indicadores de efectividad en el nivel de propósito, 2 indicadores de calidad, 4 indicadores de eficiencia, y 2 midiendo la economía. En el nivel componente, cada componente es medido por bastantes indicadores con el objetivo claro de tener las cuatro clases para cada componente. Los indicadores de efectividad son numerosos; hay entre tres y cinco por cada componente. El nivel del componente puede no ser el nivel apropiado para tratar de medir la efectividad, ya que tendría que ser específicamente explicado. El alto número de indicadores de efectividad (que deben medir los resultados) para el propósito no parece justificarse, considerando que los evaluadores recomiendan el desarrollo de indicadores de impacto para el programa. Integración del Marco Lógico a la EPG El Marco Lógico no esta bien integrado a la EPG. La discusión de su lógica horizontal y vertical es muy corta. En general, los evaluadores expresan su satisfacción. Ellos hacen menores sugerencias, específicamente que los objetivos de los componentes podrían ser más claros y fáciles de operar. Sus objeciones no son en apariencia, lo suficientemente poderosas para requerir un Marco Lógico alternativo, el cual no es proporcionado. Sumario y otras observaciones El Marco Lógico de la EPG cumple con los requerimientos de la metodología del Marco Lógico. Parece que existe mucho espacio para mejorar el sistema de indicadores. Como el caso de muchos 26 Marcos Lógicos, se pone poca atención a los supuestos. A pesar de sus deficiencias, el uso del Marco Lógico en esta EPG es comparable con otras EPG. 27 Evaluación del Marco Lógico: Programa de Generación de Capacidades en Localidades Pobres Evaluación de la EPG Junio 2002 Ministerio Responsable: Ministerio de Planificación y Cooperación (MIDEPLAN) Descripción General De acuerdo a esta EPG, el programa fue iniciado en el 2000. El programa original data desde 1991, este fue sujeto a una evaluación de EPG en 1998, y fue rediseñado en el 2000. Este programa busca construir capacidad entre la población pobre a través de las actividades de un fondo de inversión social (FOSIS). Desafortunadamente, una comparación entre este Marco Lógico y el de la EPG de 1998 del mismo programa no es posible en tanto que este último no contenía un Marco Lógico. Cambios del anterior programa son adecuadamente discutidos, incluyendo una comparación bien diseñada entre objetivos y componentes. Esta evaluación contiene dos Marcos Lógicos requeridos (un inicial y una propuesta de Marco Lógico, si aplica, es requerido por los términos de referencia). Sin embargo, los dos Marcos Lógicos son completamente idénticos. Objetivos El fin del programa es contribuir a que los grupos señalados por el FOSIS mejoren su capacidad personal y organizacional, su integración en las estructuras sociales, el acceso de la oportunidad y, en general, el fortalecimiento de todos los instrumentos para mejorar los medios de su articulación. Hubiera sido deseable expresar este objetivo de un modo mas conciso. El propósito es que grupos especificados desarrollen la capacidad de generar y ejecutar iniciativas en un modo sostenido. El programa tiene tres componentes. Este Marco Lógico se distingue de muchos otros en esta muestra por formular los objetivos del componente como un objetivo, no como una actividad, que a menudo se hace en otros Marcos Lógicos. Los objetivos del componente son: Grupos objetivo (1) incrementen su capital social, expresado en auto diagnósticos y en la formulación de planes de acción comunitarios, (2) presentar al menos tres perfiles de proyecto y (3) manejar apropiadamente sus proyectos por medio de estándares prescritos por FOSIS. Supuestos Los supuestos son proveídos sin mucha explicación. No hay una evaluación del riesgo. En su breve discusión de los supuestos, los evaluadores notan críticamente la vaguedad de varios supuestos. A pesar de que los Marcos Lógicos propuestos no difieren del inicial, no es claro como a los evaluadores les gustaría mejorar esta deficiencia. Indicadores Los indicadores son proporcionados y diferenciados. Hay 6 indicadores de efectividad en el nivel de propósito, 2 indicadores de calidad, 3 indicadores de eficiencia y uno midiendo la economía. El primer componente tiene 2 indicadores de efectividad, un indicador de calidad y un indicador de eficiencia. El segundo componente tiene 3 indicadores de efectividad, 1 indicador de calidad y un indicador de eficiencia. El tercer componente tiene 3 indicadores de efectividad, 2 indicadores de calidad, y un indicador de eficiencia. La sección de indicador está bien organizada; medios de 28 verificación son proporcionados para cada indicador cuya calidad no puede ser determinada aquí. Los evaluadores notan que la lógica horizontal es deficiente por que lo relativamente nuevo del programa hace difícil la medición del desempeño. Así mismo, es notado que no se ha implementado un monitoreo apropiado y un sistema de recolección de datos. Integración del Marco Lógico a la EPG El Marco Lógico esta bien integrado a la EPG. Las relaciones causales con base en los varios componentes están bien elaboradas y presentadas en el texto y los diagramas. La discusión de las lógicas verticales y horizontales del Marco Lógico es más elaborado de lo usual. Los autores parecen estar cómodos con el lenguaje académico/hipotético del capital social y otros aspectos de las relaciones causales en este programa. Resumen y otras observaciones El Marco Lógico de la EPG es bien aplicado. Es suficientemente discutido en el informe y cumple con los requerimientos de la metodología de Marco Lógico. La discusión de los evaluadores del programa está por encima del promedio. La formulación del fin y del propósito es claramente inalcanzable, y es desafortunado que los dos Marcos Lógicos sean idénticos (esto podría ser un error técnico). 29 Evaluación del Marco Lógico: Programa de Subsidios al Transporte Regional (STRP) Evaluación de la EPG Junio 2002 Ministerio responsable: Ministerio de Transporte y Telecomunicaciones Descripción General El programa fue iniciado en 1979/80. Busca mejorar las conexiones de transporte a través del país mediante el subsidio para los servicios de transportación de carga y de pasajeros. Este es el segundo EPG hecho para este programa, el primero fue conducido en 1998. Los cambios en el Marco Lógico reflejan los desarrollos del programa EPG sobre estos cuatro años. El Marco Lógico más nuevo tiene indicadores del programa mucho más exhaustivos y mejores y continua muy de cercanamente los estándares metodológicos dejados por DIPRES. Este EPG contiene los dos Marcos Lógicos requeridos. Los Marcos Lógicos propuestos incluyen cambios sugeridos por los evaluadores. Objetivos El fin del programa es contribuir a las condiciones de vida de individuos de comunidades aisladas y contribuir a la integración territorial y económica del país. El propósito es que los individuos en comunidades aisladas puedan confiar en las conexiones de pasajeros y de carga que los conectan a los centros económicos y centros de poblacionales del país. Fin y propósito permanecen inalterados entre los dos Marcos Lógicos. El programa tiene dos componentes. Un componente contiene un subsidio para las compañías para hacer las conexiones de pasajeros y carga mas factibles; el segundo componente contiene un subsidio para los individuos a fin de hacer las conexiones mas accesibles. Originalmente, estos dos componentes fueron tratados como una unidad con un grupo de indicadores y supuestos. Los evaluadores reorganizaron el Marco Lógico en el nivel de componente a fin de separar los dos, junto con diferentes indicadores para cada uno. Esta reformulación hace el nivel componente mas claro y más fácil de operar. No hay mayor cambio en el programa mismo. Supuestos Los supuestos son proporcionados en los campos requeridos; ellos no juegan un rol importante en el informe principal. No hay evaluación del riesgo. Indicadores Los indicadores son proporcionados y diferenciados. Hay 5 (reducidos á 4 en el Marco Lógico final indicadores de efectividad en el nivel de propósito, 3 (2) indicadores de calidad, 6 (3) indicadores de eficiencia y uno (2) midiendo la economía. En el Marco Lógico final el primer componente tiene 3 indicadores de efectividad, y 2 indicadores de eficiencia. El segundo componente tiene 3 indicadores de efectividad. La sección de indicador esta bien organizada; los medios de verificación son proporcionados para cada indicador, cuya calidad no puede evaluarse aquí. El Marco Lógico reformulado llega a reducir en cierto grado el alto número de indicadores al nivel del componente. 30 Integración del Marco Lógico a la EPG El Marco Lógico pudo haber sido mejor integrado a la EPG. La discusión del Marco Lógico en el informe principal es muy corto. Sin embargo, las recomendaciones de los evaluadores conllevan a un Marco Lógico reformulado, lo cual no siempre es el caso en esta muestra. Resumen de otras observaciones El Marco Lógico de la EPG es bien aplicado. Los evaluadores proponen recomendaciones y de acuerdo a esto reformulan el Marco Lógico. La discusión del Marco Lógico en el informe principal y el tratamiento de los supuestos debió haber sido mucho mejor. 31 Evaluación del Marco Lógico: Programa de Mejoramiento Educativo (PME) Evaluación de la EPG Junio 2002 Ministerio responsable: Ministerio del Interior Descripción General El programa fue iniciado en 1992. El busca mejorar el desempeño educacional a través de la capacidad construida en colegios de una manera descentralizada. Los Programas de Mejoramiento de la Educación son diseñados para escuelas individuales. Este programa fue objeto de otra EPG en 1998, la única EPG de ese año que contiene un Marco Lógico. Esta EPG contiene los dos requeridos Marcos Lógicos. Objetivos El fin del programa es mejorar la calidad e igualdad de la educación de los estudiantes en el sistema educativo en el contexto de la reforma de la educación. El propósito es que profesores en escuelas con apoyo estatal que implementan procesos de descentralización pedagógica se comprometan ellos mismos con específicos resultados de sus estudiantes dentro del Marco de una nuevo curriculum. El programa tiene dos componentes. Este Marco Lógico comendablemente formula los títulos del componente y los objetivos del componente, lo cual no es a menudo el caso en otras EPGs. Los componentes son (1) Capacidad Construida, supervisores y profesores son capaces de nuevos métodos y técnicas de gerencia de proyectos; (2) Desarrollo del Proyecto, los profesores elaboran y ejecutan proyectos de mejoramiento educativo. Los objetivos permanecen sin cambios entre el viejo y el nuevo Marco Lógico. Es interesante que, en comparación con la vieja EPG de 1997, la formulación de objetivos en este Marco Lógico es mucho mas técnico y complejo. El alto nivel de objetivos en el Marco Lógico de 1997, el cual se desvía de la metodología de Marco Lógico en varios casos, mantuvo la potencial comparación de intra sectores entre proyectos. Este ciertamente ya no es el caso en el nuevo Marco Lógico. Supuestos Los supuestos son proveídos sin mayor explicación en el informe principal. No hay una evaluación del riesgo. Los supuestos son criticados en el informe principal, pero ellos no son cambiados sustancialmente en el Marco Lógico reformulado. Indicadores Los indicadores son proveídos y son diferenciados. Hay 3 (cambiados a 5 en el Marco Lógico reformulado) indicadores de efectividad en el nivel propósito; 1 indicador de calidad, 3 indicadores de eficiencia, y 1 midiendo la economía. El primer componente tiene 2 (6) indicadores de efectividad, 2 indicadores de calidad, 3 (4) indicadores de eficiencia, y 1 indicador económico. El segundo componente tiene 8 (10) indicadores de efectividad, 2 indicadores de calidad, 3 (-) indicadores de eficiencia, y 2 (-) indicadores económicos. Los medios de verificación se proveen para cada indicador, cuya calidad no es evaluada aquí. Los únicos cambios en el Marco Lógico reformulado están en el sistema de indicador. Estos cambios no parecen cambiar el carácter general; no es posible determinar si ellos mejoran el Marco Lógico, o el monitoreo del proyecto en un modo significativo. 32 Integración del Marco Lógico a la EPG El Marco Lógico esta bien integrado a la EPG. La discusión de las lógicas vertical y horizontal del Marco Lógico es más elaborado que lo usual. Los aspectos importantes del Marco Lógico son subrayados y discutidos en el informe principal. Hay una frecuente referencia al Marco Lógico a través del texto. Sumario y otras observaciones El Marco Lógico de la EPG es bien implementado. Este es suficientemente discutido en el informe y cumple con los requerimientos de la metodología del Marco Lógico. Es muy interesante notar que los Marcos Lógicos en este informe son marcadamente más técnicos y complicados que el anterior Marco Lógico de 1997. Este parece mejorar el sistema de indicadores el cual esta mejor organizado. Es dudoso, sin embargo, si las formulaciones técnicas de objetivos de niveles superiores son útiles, especialmente mas allá de este proyecto. 33 Evaluación de Marco Lógico: Programa de Prestamos Médicos en Salud Evaluación de la EPG Junio 2003. Ministerio responsable: Ministerio de Salud. Descripción General El programa fue iniciado en 1985. El Programa es parte del sistema Chileno de seguro de salud. Es basado en el derecho de cada beneficiario de FONASA de solicitar por una asignación que cubra los co pagos que todo ciudadano debe hacer por los muchos servicios de salud, tales como hospitalización u otros tratamientos específicos. La EPG contiene solo un Marco Lógico. Objetivos El fin del programa es contribuir a la generación de condiciones de accesibilidad, oportunidad, y cobertura en el sector salud. El propósito es que los individuos asegurados bajo el seguro público de salud obtengan medios financieros para obtener servicios de salud. El programa tiene dos componentes. Los componentes son (1) el otorgamiento de asignaciones médicas a individuos asegurados, y (2) la recuperación de asignaciones medicas a individuos asegurados. A diferencia de otros Marcos Lógicos del 2002/03, las entradas del componente objetivo son simples títulos de componentes o descripciones. Los componentes de actividades están separados del Marco Lógico principal, lo cual mejora la accesibilidad y claridad. Supuestos La columna de supuestos del Marco Lógico esta vacío, a pesar de que las sugerencias están hechas en el informe principal para un supuesto para cada componente. Indicadores Los indicadores son proveídos y son diferenciados. Hay un indicador de efectividad en el nivel del propósito, un indicador de eficiencia, y uno midiendo la economía. El primer componente tiene 4 indicadores de efectividad, 4 indicadores de calidad, 1 indicador de eficiencia y un indicador económico. El segundo componente tiene 6 indicadores de efectividad, un indicador de eficiencia, y 3 indicadores económicos. Se proveen medios de verificación para cada indicador; la documentación es mas elaborada que lo usual. Integración del Marco Lógico a la EPG El Marco Lógico podría ser mejor integrado a la EPG. La discusión de la lógica vertical y horizontal es relativamente corta. A pesar de que cambios y mejoras son propuestas al Marco Lógico en el informe principal, ningún Marco Lógico reformulado es parte de la EPG. Resumen y otras observaciones El Marco Lógico de la EPG está bien estructurado y escrito. La documentación técnica es muy elaborada; hay pocos indicadores pero más medios de verificación que en otro Marco Lógico. La ausencia de supuestos en el Marco Lógico es muy desafortunado. 34 Evaluación de Marco Lógico: Programa de Educación de Adultos Evaluación de la EPG Junio 2003 Ministerio responsable: Ministerio de Educación (MINEDUC) Descripción General El programa fue iniciado en 1988. Este busca proporcionar educación y entrenamiento a adultos quienes no disfrutaron mas que educación básica. La EPG contiene un Marco Lógico inicial y una propuesta, los cuales, sin embargo, son idénticos. Objetivos El fin del programa es contribuir a la calidad de vida de la población adulta pobre con educación limitada. El propósito es que los adultos pobres de quince años de edad o más, con limitada educación, desarrollen aptitudes básicas y conocimiento técnico para facilitar su auto realización, integración social y mejorar sus oportunidades económicas. El programa tiene tres componentes. Este Marco Lógico esta mejor organizado que aquellos de los años anteriores; todos los componentes tienen un titulo y un propio componente de objetivo. Los componentes objetivos son: (1) Que los especificados adultos reciban educación general básica, básica educación técnica, y desarrolladas aptitudes sociales y éticas (Componente de Educación Fundamental, Técnica y de Capacidad ), (2) Que los especificados adultos desarrollen básicas aptitudes técnicas en bosques, agricultura y desarrollo del ganado, y desarrollen aptitudes sociales y éticas (Componente de Educación Fundamental, de Agricultura, y de Capacidad), (3) Los especificados adultos reciban el equivalente de educación de nivel medio (Componente de Educación Elemental y Técnica). Supuestos Supuestos están completamente ausentes del original Marco Lógico. El Marco Lógico final presenta supuestos para cada uno de los tres componentes. La elaboración o explicación de supuestos en este Marco Lógico es insuficiente. Indicadores Los indicadores están incluidos y diferenciados. Hay 9 indicadores de efectividad en el nivel propósito, 3 indicadores de calidad, 5 indicadores de eficiencia, y uno midiendo la economía. El primer componente tiene 5 indicadores de efectividad, y un indicador de eficiencia. Estos indicadores son lo mismos para cada componente. Medios de verificación son proporcionados para cada indicador, pero la calidad no fue evaluada aquí. El número de diferentes indicadores es muy alto, especialmente al nivel propósito. Integración del Marco Lógico a la EPG El Marco Lógico esta integrado a la EPG. Los evaluadores discuten la lógica horizontal y vertical del Marco Lógico. La discusión es corta y no muy profunda, excepto por una bien explicada critica del presente sistema de indicadores (a pesar que el nuevo Marco Lógico no contiene ningún cambio). Sumario y otras observaciones El Marco Lógico original no cumple los requisitos de la metodología del Marco Lógico debido a la ausencia de supuestos. El deficiente tratamiento de los supuestos es también una debilidad de la evaluación. El Marco Lógico juega un importante rol para la EPG como un todo. 35 ANEXO C: ALGUNAS LECCIONES DE LOS ESTADOS UNIDOS 36 ANEXO C: ALGUNAS LECCIONES DE LOS ESTADOS UNIDOS Chile parece ser el único país en el mundo que actualmente tiene un buen funcionamiento en todo el sistema de evaluación del gobierno. Su única comparación directa parece ser el gobierno federal australiano durante el período de 1987-97. Chile pone el acento en la presupuestación informada por desempeño y utiliza su sistema de comisión de evaluaciones independientes, manejado por la DIPRES, como el medio principal para lograr este objetivo. El enfoque de Chile contrasta con el del gobierno federal de los Estados Unidos, por ejemplo. Los Estados Unidos también están persiguiendo el objetivo de la presupuestación por desempeño, pero han tomado una ruta muy diferente, una en la que se pone mucho más énfasis en la recolección regular y el uso de la información del desempeño, antes que en la comprensión a fondo del desempeño del programa que puede ser proporcionada por evaluaciones rigurosas. El equivalente de la DIPRES en el gobierno de los Estados Unidos es la Oficina de Gestión y Presupuesto (OMB, por sus siglas en inglés). En procura de la presupuestación por desempeño, la OMB utiliza la Herramienta de Calificación de la Evaluación de Programas (PART: Program Assessment Rating Tool) para calificar el desempeño de los programas del gobierno contra cuatro criterios principales: la claridad de los objetivos y del diseño del programa; la calidad del planeamiento estratégico y el grado de concentración en los objetivos del programa; la efectividad de la gestión del programa; y los resultados reales logrados por el programa –este último criterio representa el 50% de la calificación PART para cada programa–. La PART proporciona un medio para evaluar toda la gama de los programas del gobierno sobre una base homogénea; este potencial tiene un valor especial para una oficina de presupuesto gubernamental preocupada con los equilibrios entre las prioridades de gasto alternativas. La medición de los resultados del programa se puede lograr de varias maneras, aunque es ampliamente reconocido que la comprensión más profunda y rigurosa de los resultados y su atribución requiere realizar una evaluación formal, distinta de la simple recolección de la información del desempeño. La OMB utilizó la PART para calificar el desempeño de 234 programas durante la preparación del presupuesto del ejercicio económico 2004; un adicional de 173 programas fueron calificados para el presupuesto del ejercicio económico 2005. En conjunto, ellos constituyen alrededor del 40% de los 1000 programas del Gobierno de los Estados Unidos, y la OMB espera haber calificados a todos los programas dentro de tres años. 1 Las calificaciones reales son elaboradas por la OMB, con aportes e información de los departamentos y organismos operativos. La OMB considera cualquier información disponible relativa al desempeño de cada programa. A diferencia de Chile, no comisiona una serie de evaluaciones independientes y en profundidad para evaluar el desempeño de los programas. A los departamentos y agencias ya se les requiere informar el desempeño de sus programas en la presentación de su presupuesto anual, de acuerdo con las disposiciones de la Ley de Desempeño y Resultados del Gobierno 1 La metodología y calificación de PART pueden encontrarse en: www.whitehouse.gov/omb/budget/fy2005/pdf/spec.pdf 37 (GPRA, por sus siglas en inglés) de 1993. 2 Se supone que las calificaciones PART están basadas en la evidencia, recurriendo a fuentes de información tales como los planes estratégicos de la GPRA, planes de desempeño, estados financieros, el Tribunal de Cuentas (GAO, por sus siglas en inglés) y los informes del Fiscal General, y las evaluaciones de los programas. La GAO, la institución suprema de auditoría del Gobierno, ha observado que algunos departamentos y organismos individuales ponen el énfasis en tener disponibles los hallazgos pormenorizados de las evaluaciones, y que ellos sí tienen una cultura de evaluación; 3 la decisión de comisionar o no tales evaluaciones está enteramente delegada a los mismos departamentos y agencias. Sin embargo, la GAO ha informado anteriormente que pocos departamentos y agencias realizan evaluaciones sistemáticas y objetivas de la efectividad de sus programas. 4 Existe alguna evidencia de que los departamentos y organismos federales ahora pueden estar aumentando el esfuerzo que dedican a la evaluación. 5 Las calificaciones PART de la OMB para el ejercicio económico 2004 fueron tales que solamente el 6% de los programas fue considerado como “efectivo”. Otro 24% fue calificado como “moderadamente efectivo”; el 15% fue “adecuado”; el 5% fue “ineficaz”; pero el 50% de los programas fue clasificado como “resultados no demostrados” debido a la ausencia de información suficiente y confiable sobre el desempeño del programa. En las calificaciones para el ejercicio económico 2005, la proporción de programas en esta última categoría había descendido al 40%, la que claramente es todavía una proporción significativa. La PART no es aún –ni la OMB pretendería que es– un sistema maduro para apoyar la presupuestación por desempeño o informada por desempeño. Pero parece tener éxito en aumentar el uso de la información sobre el desempeño del programa en el proceso presupuestario anual. Bruel ha observado que: 6 “El desempeño no es… el único factor en las decisiones de financiamiento. La determinación de prioridades, incluyendo las de financiamiento, es una función de valores e intereses en competencia. Como resultado, los puntajes (calificación) no determinan 2 Se ha sostenido que la Administración Bush considera que la GPRA ha hecho poco más que incrementar la producción de información, con poca evidencia de que la información fuese usada para guiar las decisiones. Ver P. Joyce, Linking Performance and Budgeting: Opportunities in the Federal Budget Process (Vinculando el desempeño con la presupuestación: Oportunidades en el proceso presupuestario federal), IBM Center for The Business of Government, Second Edition, enero de 2004. 3 General Accounting Office, Program Evaluation: An Evaluation Culture and Collaborative Partnerships Help Build Agency Capacity (Evaluación de programas: Una cultura de evaluación y asociaciones colaborativas ayudan a desarrollar capacidad en el organismo), GAO-03-454, mayo de 2003. 4 GAO, Program Evaluation: Agencies Challenged by New Demand for Information on Program Results (Evaluación de programas: Organismos enfrentan el reto de la nueva demanda de información sobre los resultados de los programas), GAO/GGD-98-53, abril de 1998. 5 Una muestra de 13 departamentos federales realizada en 2000 encontró que 3 de ellos tenían oficinas de evaluación localizadas a nivel central y otros 3 estaban en el proceso de desarrollar esta capacidad. La necesidad de satisfacer los requerimientos de información de la GPRA parece ser un factor que fundamenta este crecimiento. Ver K. Newcomer y M. Schierer, Using Evaluation to Support Performance Management: A Guide for Federal Executives (Usando la evaluación para apoyar la gestión por desempeño: Guía para ejecutivos federales), The Pricewaterhouse Coopers Endowment for the Business of Government, enero de 2001. 6 J. Bruel, “PARTing is such sweet sorrow”, in IBM Center for the Business of Government, Forum: Getting Results, Summer 2004, pp. 62-66. 38 automáticamente cambios en el financiamiento. Por ejemplo, el requerimiento presupuestario presidencial recomendó aumentos en el financiamiento para algunos programas calificados como “efectivos” o “moderadamente efectivos”, al mismo tiempo que recomendaba financiamiento adicional para otros calificados como “ineficaces”. En realidad, la función más importante de la PART no fue tanto su uso en la toma decisiones sobre los recursos, como su apoyo a las recomendaciones para mejorar el diseño, el planeamiento, y la gestión de los programas. Si bien las revisiones del presupuesto siempre han involucrado discusiones del desempeño de los programas, tales discusiones no siempre han sido realizadas de una manera rigurosa, sistemática o transparente. Por medio de su desarrollo y uso de PART, la OMB ha inyectado información de desempeño al proceso de formulación del presupuesto más explícitamente, aumentó la atención prestada a la información de la evaluación y del desempeño, y finalmente incrementó el valor de la información para los que toman las decisiones y otros interesados directos. Al vincular la información del desempeño al proceso presupuestario, la OMB ha proporcionado a las agencias un poderoso incentivo para mejorar tanto la calidad como la disponibilidad de la información del desempeño”. La GAO ha concluido que la PART ha “ayudado a estructurar el uso por parte de la OMB de la información del desempeño para el análisis del programa interno y presupuestario y ha estimulado el interés de la agencia en la integración del presupuesto y el desempeño”, y que “las evaluaciones PART subrayaron las brechas de larga data en la información del desempeño y de la evaluación a través del Gobierno Federal”. 7 Estos son resultados importantes de la adopción de una herramienta para la calificación de todo el gobierno. Si este nuevo clima para la presupuestación por desempeño –y para la recolección regular de la información del desempeño y la realización de evaluaciones– será sostenido en el futuro, todavía está por verse. La creación de incentivos para que los departamentos y agencias proporcionen más información sobre el desempeño de sus programas es un factor importante. Pero a menos que –y hasta que– las evaluaciones en profundidad sean realizadas sobre una base sistemática, la calidad, profundidad y confiabilidad de la información disponible para sustentar la toma de decisiones presupuestarias serán limitadas. Una agenda de evaluación de programas impulsada de manera centralizada, tal como el enfoque chileno, proporciona un modelo que vale la pena considerar en el contexto de los Estados Unidos. 7 GAO, Performance Budgeting: OMB’s Program Assessment Rating Tool Presents Opportunities and Challenges for Budget and Performance Integration (Presupuestación por desempeño: La herramienta de calificación de la evaluación de programas de la OMB presenta oportunidades y desafíos para la integración del presupuesto y el desempeño), Puntos salientes de GAO-04-439T, un testimonio ante el Subcomité para la Eficiencia Gubernamental y la Gestión Financiera, Comité para la Reforma del Gobierno, Cámara de Representantes, febrero de 2004. 39 ANEXO D MATRIZ DE LA EVALUACION CON ENTRADAS DE NOTAS SUMARIAS DE LA PRIMERA Y SEGUNDA MISION A CHILE 1 Aspectos de diseño y gestión del programa 1.1 Diseño del programa: Descripción y evaluación de los objetivos del programa (y prioridades formales o informales) Æ Hipótesis/aspectos: El actual énfasis en la toma de decisiones presupuestarias y la gestión de programas, ¿es apropiado? Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas de Staff de las Oficinas de Ministros y Diputados del Congreso Staff de Staff de Actores clave Ministeriales Presupuesto de los Servicios Presupuesto de los Altos Evaluación de Presupuesto de Ministerios Funcionarios DIPRES DIPRES Este tema fue sólo Los participantes Algunos de los participantes Aunque nosotros no les [Comité Especial de El objetivo de las De acuerdo con M.Guzmán, Jefe de indagado en el GF2. Los del GF2 no destacaron lo que describieron preguntamos sobre esto Presupuesto] Uno de sus evaluaciones es DIPRES/DCG, lo que Hacienda participantes no parecían parecían tener un como un énfasis específicamente, la mayoría de miembros sugirió que el crear las estaba buscando lograr es tener un punto de vista punto de vista desproporcionado, por parte de los participantes en los GFs objetivo de DIPRES es condiciones para información para orientar el proceso claro sobre esto. definido sobre esto. DIPRES, en los aspectos de la sugirieron que el énfasis de entender mejor las que los empleados de asignación presupuestaria. Estos Mencionaron una amplia Algunos evaluación que tienen que ver DIPRES estuvo en cortar los necesidades de cada sector de los programas también estaban interesados en variedad de objetivos, participantes del con el “control” externo de los gastos del programa y que para nutrir el diálogo con ellos puedan repensar ayudar el desarrollo de la sin priorizar ninguno de GF1 sugirieron que programas. Esto estaría estos usaron las evaluaciones y el Congreso. Asimismo, los objetivos de los programación, capacidad de análisis ellos sobre los otros. DIPRES presta interfiriendo con la posibilidad de como un medio para alcanzar subrayó que el Congreso ha mismos, etc… y evaluación en los ministerios y Sólo un par de ellos desproporcionada que las evaluaciones les sirvan a esa meta. expresado en varias Ellos aprendieron agencias, pero DIPRES ya tiene esa apuntaron que DIPRES atención a los los programas evaluados y las reuniones cómo la lectura del mucho de este capacidad. Por otra parte, no hay un no parece estar aspectos agencias de las que dependen La mayor parte de las presupuesto se ha vuelto más proceso. Porque mecanismo establecido para interesado en evaluar si económicos y a si para “aprender” de sus propias referencias aluden a los PMGs. fácil. Otro miembro de la el trabajo diario no conectar las evaluaciones a las la política dada es las asignaciones experiencias. Otros instrumentos Comisión Especial dijo “la les da tiempo para actividades de reformulación de apropiada, o si el presupuestarias del mencionados: BGI y Metas intención de evaluar los cuestionar las políticas. Otro “actor clave” estuvo programa está siendo programa deberían Ministeriales. Si bien los programas no responde a actividades. de acuerdo con M. Guzmán en que funcional para una ser reducidas. objetivos que tienen aspectos políticos sino a la el sistema de evaluación del política sectorial más planteados son interesantes, necesidad de mejorar la DIPRES está hecho para amplia. los instrumentos no alcanzan a eficiencia y la efectividad de retroalimentar el desarrollo del cumplir su cometido. Entre los programas.” proceso de toma de decisiones. otras cosas, los mismos [Otros Diputados del Según este actor, éste es objetivo fallaron en tomar en cuenta las Congreso]: del sistema de evaluación, mucho realidades locales El Congreso demandó la más que el de funcionar como un (especialmente en salud) realización de evaluaciones mecanismo de control de en 1997-1998 de manera tal responsabilidades o como una de profundizar la discusión de suerte de ejercicio académico. las políticas públicas y suplementar, a través de la Pioridades dentro de los objetivos información resultante, su suplementarios del programa: debilitado poder-- a) Evaluación de programas; concurrentemente con unidades gubernamentales; DIPRES personal; gastos de gobierno. b) Herramienta para el mejoramiento de los programas: diseño (objectivos, tiempo limite), monitoreo, introducción de ajustes, c) Instrumento para el mejoramiento de la gestión d) Capacitación y sensibilización (“la cultura de la evaluación") 40 1.2 Contexto del programa: Descripción y evaluación del desarrollo del programa en el contexto de las reformas de la gestión pública chilena. Æ Hipótesis/aspectos: El Programa de Evaluación parece verse beneficiado por condiciones políticas específicas y la política general que se aplica al área de gestión pública (ver aspectos, p. 2) Evaluadores Jefes de Coordinadores Staff de las Oficinas de Staff de las Oficinas de Ministros y Altos Funcionarios Diputados del Staff de Staff de Actores clave Programa Ministeriales Presupuesto de los Presupuesto de los Ministerios Congreso Evaluación de Presupuesto Servicios DIPRES de DIPRES El principal instrumento de gestión SEGPRES: Después de 14 años [Otros Diputados del El sistema actual incluye muchos del Gobierno central son las de transformación, esta Congreso]: controles debido a la desconfianza. Metas del Sistema de administración ha: i) adaptado a El principal desafío de Uno de los propósitos del sistema Seguimiento de la Programación los PMGs al sistema actual, ii) la política social en es superar esa desconfianza. Gubernamental. Los PMGs son BGI iii) nueva tecnología de Chile no es más la falta Delegación de autoridad debería ser más bien burocráticos y información para el mejoramiento de recursos, sino la el próximo paso, una vez que la demasiado estandarizados. Están de la gestión, e-gov., iv) necesidad de confianza haya sido reconstruida. tratando de hacerlos más participación, transparencia e coordinación. El Programa de Mejoramiento de funcionales para mejorar su integridad. Agenda pendiente: Gestión es una de esas impacto. Los esfuerzos de Modernización del Estado desde herramientas; el Premio por DIPRES están rindiendo frutos, y Enero 2003. El proceso ha sido Desempeño es también una esto contribuye a un cambio gradual. Un factor importante ha delegación de gestión financiera; voluntario en los paradigmas de sido la gran continuidad de las otra de las herramientas es la gestión/cultura, en el marco del políticas. MinSal tiene una buena delegación de autoridad para la cual el énfasis en el cumplimiento relación con DIPRES y los reasignación de recursos para con normas y procesos va siendo especialistas del sector son propósitos de inversión y el uso de remplazado por un énfasis en los respetados. Desde alrededor del reservas. Ya existen dos agencias resultados de la gestión. 2000 (), FONASA ha desarrollado (nivel de servicios) que calificaron un complejo y avanzado Sistema para esto. La reforma del servicio de Control de Gestión (SIG) civil incluye acuerdos por [sistema estratégico de gestión]. desempeño entre los servicios y los El mismo fue producto de ministerios. Si esto funciona, podría iniciativas internas del FONASA ser traspasado a los ministerios. pero tuvo también, en parte, Adicionalmente, es importante origen en el conjunto de iniciativas fortalecer las instituciones antes de que DIPRES impulsó desde impulsar reformas tendientes a la principios de los 90s y, muy delegación de autoridad. o le gusta especialmente, a partir de 1999- el concepto de que Hacienda es 2000, en asociación con sus omnipotente. Pero sin llegar al nuevos instrumentos de gestión. extremo del Ministerio de Economía Los premios por desempeño de Cavallo. Un Estado bien asociados con los PMGs también estructurado debería repartir mejor jugaron un rol en la movilización las responsabilidades Ejemplo: del personal: Investigacion y desarrollo. DIPRES FONASA no consiguió asegurarse no está preparado para decidir el premio por desempeño en el sobre I&D. Por lo tanto decidió 2001, pero lo logró en el 2002 y centralizar el financiamiento en un 2003. programa o agencia, con un directorio que asigna recursos para Ciencia y Tecnología sobre la base de acuerdos con especialización. También para las comunidades indígenas, por Chile Solidario. Es importante reconocer las propias limitaciones y crear instituciones competentes. 41 1.4 Diseño del Programa: Descripción y evaluación de los actores institucionales y sus tareas Æ Hipótesis/aspectos: (i) Calidad, nivel de compromiso y valor agregado del staff del sector presupuesto de DIPRES en relación con las EPGs y EIs. Carencia de participación fuera de DIPRES en la selección. ¿Adecuación de los TdRs genéricos? ¿Qué incentivos tienen los evaluadores? ¿El nivel de involucramiento por parte del personal de los programas evaluados es muy bajo? ¿La información de la que proveen a los evaluadores es muy poca/errónea? (ii) ¿Cuál es la calidad y el valor agregado del involucramiento de los Ministerios y Agencias en las evaluaciones? Evaluadores Jefes de Programa Coordinadores Staff de las Staff de las Oficinas de Ministros y Altos Diputados del Staff de Evaluación de Staff de Actores clave Ministeriales Oficinas de Presupuesto de los Funcionarios Congreso DIPRES Presupuesto Presupuesto de Ministerios de DIPRES los Servicios Los evaluadores: Los evaluadores: Los evaluadores: Los evaluadores: Varios participantes en ambos GFs reportaron Tres de los jefes de Por lo menos uno de Los evaluadores tienden a problemas serios entre los miembros de los programa entrevistados los participantes (que incluir los requerimientos paneles de evaluación. Atribuyeron estos cuyos programas habían habló por un programa mínimos en el informe de problemas a la manera en que los evaluadores sido evaluados con Els que había sido avance confiando que la de EPG son seleccionados. Adicionalmente, la dijeron que los evaluado con una El) División de Control de Gestión división de responsabiliades dentro de los evaluadores no tenían expresó disconformidad lo revisará. A ellos les está paneles no parece estar definida con claridad. suficiente conocimiento del con el escaso nivel de permitdo incluir hallazgos Por lo tanto, es común para los coordinadores sector específico. Varios conocimiento del sector adicionales, pero la mayoría terminar haciendo mucho del trabajo que uno u participantes en GF1 que encontró en los de ellos tratan de eliminar otro de los miembros no hacen. Algunos de los dijeron que, aún en casos evaluadores, y con su aspectos irrelevantes para la participantes propusieron dar al coodinador del en los que resultaba claro carencia de evaluación. En este sentido, panel, o a los miembros del panel en general, la que los evaluadores tenían conocimiento de las la División de Control de posibilidad de opinar sobre con quién habrán de las capacidades técnicas correctas para Gestión se ha vuelto más integrar un panel. Por otra parte, un participante apropiadas para realizar la evaluar los impactos flexible. en cada GF destacó los beneficios que se evaluación, los mismos del programa y su derivan de que evaluadores provenientes de parecían estar relación costo- distintas disciplinas que no se conocen entre sí involucrados en tantos beneficio. se vean en la necesidad de producir una otros proyectos al mismo evaluación común de un programa dado. tiempo que no podían Incentivos para los evaluadores: En coincidencia prestar suficiente con algunos de los evaluadores entrevistados atención a la evaluación individualmente, todos los participantes del GF1 específica de sus acordaron en que la remuneración que ellos programas. En el GF1, el obtienen por realizar EPGs no guarda relación número de participantes con la cantidad de trabajo involucrado. Los que exprersaron participantes en ambos GFs que han hecho Els disconformidad con el parecían más satisfechos con su remuneración. escaso nivel de Cuando se les preguntó a los participantes en profundización de las los GFs qué los llevaba a realizar EPGs a pesar evaluaciones fue aun de la baja remuneración, las respuestas mayor. obtenidas fueron: (a) que disfrutan de este tipo de trabajo; (b) la posibilidad de que sus recomendaciones sean tenidas en cuenta y, contribuir así, a “hacer la diferencia”, (c) por lo que realizar este tipo de trabajo les permite aprender; y (d) por las conexiones y las nuevas perspectivas de trabajo que suelen abrirse a partir de estas experiencias. 42 1.4 Diseño del programa: Descripción y evaluación de los actores institucionales y sus tareas (continuación) Æ Hipótesis/aspectos: (i) Calidad, nivel de compromiso y valor agregado del staff del sector presupuesto de DIPRES en relación con las EPGs y EIs. Carencia de participación fuera de DIPRES en la selección. ¿Adecuación de los TdRs genéricos? ¿Qué incentivos tienen los evaluadores? ¿El nivel de involucramiento por parte del personal de los programas evaluados es muy bajo? ¿La información de la que proveen a los evaluadores es muy poca/errónea? (ii) ¿Cuál es la calidad y el valor agregado del involucramiento de los Ministerios y Agencias en las evaluaciones? Evaluadores Jefes de Programa Coordinadores Ministeriales Staff de las Oficinas Staff de las Oficinas de Ministros y Altos Diputados del Staff de Evaluación Staff de Presupuesto Actores clave de Presupuesto de los Presupuesto de los Ministerios Funcionarios Congreso de DIPRES de DIPRES Servicios Los programas: Los programas: Los programas: Muchos participantes en La mayoría de participantes Uno de los participantes sugirió ambos GFs dijeron que, argumentaron que, debido a la que, ahora que son concientes de con frencuencia, la manera en que los gastos del que una de las mayores información que ellos gobierno son usualmente preocupaciones de DIPRES reciben de los programas registrados, proporcionar la radica en la reducción de costos, es pobre en calidad, infomación de sobre gasto que han desarrollado una estrategia incompleta e los evaluadores requieren es que les permite presentar la inconsistente. Como uno usualmente muy difícil. Por lo información de un modo que lleva de los evaluadores menos 1 de los participantes a que la relación costo-efectividad entrevistados reclamó que DIPRES les da muy del programa parezca individualmente, algunos poco tiempo (1 semana, dijo ella especialmente favorable. de los participantes en los Æ a pesar de que DIPRES GFs sugirieron que, a argumenta que se les da un mes veces, esto se debe a que para hacer esto) para proveer la los programas no tienen información requerida para la más/mejor información. evaluación. Consecuentemente, Pero, en otros casos, los ellos no tienen confianza en la programas eligen calidad de la información que cuidadosamente qué ellos terminan proveyendo a los información compartir con evaluadores. los evaluadores. DIPRES los ayuda mucho en la obtención de información de los programas y de las agencias. Pero el apoyo de DIPRES no siempre resulta suficiente para obtener toda la información que necesitan. Muchos (si no es la mayoría) de los participantes en GF1 dijeron que, en general, terminan valiéndose de sus propias conexiones personales para obtener la información. Los participantes en el GF2 dijeron que DIPRES debería aumentar sus esfuerzos para conseguir que los programas/agencias provean la información requerida. 43 1.4 Diseño del programa: Descripción y evaluación de los actores institucionales y sus tareas (continuación) Æ Hipótesis/aspectos: (i) Calidad, nivel de compromiso y valor agregado del staff del sector presupuesto de DIPRES en relación con las EPGs y EIs. Carencia de participación fuera de DIPRES en la selección. ¿Adecuación de los TdRs genéricos? ¿Qué incentivos tienen los evaluadores? ¿El nivel de involucramiento por parte del personal de los programas evaluados es muy bajo? ¿La información de la que proveen a los evaluadores es muy poca/errónea? (ii) ¿Cuál es la calidad y el valor agregado del involucramiento de los Ministerios y Agencias en las evaluaciones? Evaluadores Jefes de Coordinadores Staff de las Oficinas Staff de las Oficinas de Presupuesto Ministros y Altos Funcionarios Diputados del Congreso Staff de Evaluación de DIPRES Staff de Presupuesto de Actores clave Programa del Ministerio de Presupuesto de de los Ministerios DIPRES los Servicios Otros actores institucionales: Otros actores institucionales: Otros actores institucionales: Otros actores institucionales: Otros actores institucionales: Staff de Presupuesto del Ministerio Ministerio A: DIPRES claramente [Comisión Especial de Se supone que el Ministro define Personal de Presupuesto de Varios participantes del GF dijeron que tiene que ser cortejada. En los Presupuesto]: Todas las partes la política del sector, basado en DIPRES: decidieron entrenar o contratar a alguien hechos, DIPRES también interesadas se benefician de la lo que DIPRES argumenta sobre En los GFs con analistas del ya entrenado en la metodología del formula/veta políticas en ell “maquinaria” de evaluación, cuáles deberían ser las presupuesto, hubo total acuerdo Marco Lógico para dejar a su cargo la margen. El Ministerio A está pasando por alto lo que está prioridades del programa. en cuanto a que, por lo menos en relación con el Panel de Evaluación y sustancialmente descentralizado pasando. La información que Donde más ellos influyen es en la práctica, el rol de los apoyar la preparación de los Marcos en lo que hace a la ejecución de genera el sistema de evaluación las “Evaluaciones sectorialistas de DIPRES termina Lógicos para el Fondo Concursable. Por sus políticas. suplementa las discusiones tanto Comprehensivas del Gasto”, siendo el de chequer la calidad y lo menos 1 participante dijo que, en su SEGRES: de la ley de presupuesto como pero aún allí se dice que consistencia de la información ministerio, han hecho un gran esfuerzo La Programación Gubernamental de otras. Un actor entrevistado DIPRES no está evaluando presupuestaria de los programas para asegurarse de que el Panel de tiene un propósito diferente de “aprueba” en términos generales políticas. El interés de DIPRES evaluados y las implicaciones Evaluación tuviera un entendimiento los instrumentos de DIPRES: el las herramientas de evaluación, radica en influenciar el presupuestarias de las apropiado del programa que estaba de promover/monitorear y cree que, en los pasados años, presupuesto y no la política del recomendaciones de los siendo evaluado. Otro participante del prioridades de política tanto DIPRES como la Comisión sector. evaluadores. Los analistas GF dijo que, dado el tamaño de su gubernamental (vgr. reducción han hecho grandes esfuerzos también dijeron que, dada la Ministerio, la interacción con los paneles de evasión de impuestos, País por mejorar la formación de El personal de presupuesto del restricción de tiempo que que estaban evaluando sus programas Digital). Ella estuvo de acuerdo políticas y aumentar la eficiencia sector de DIPRES no siempre enfrentan, no cuentan con tiene lugar a nivel de las agencias en que la Programación en la distribución de recursos. conoce los programas. La suficiente tiempo como para (=”Servicios”). Ellos únicamente se Gubernamental tenía contactos Sin embargo, aún existen mayoría de ellos no se hacer esto con un nivel de involucran si las cosas se complican y naturales con la evaluación; es sectores donde los recursos involucran en las evaluaciones; profundidad apropiado. Entre los resulta necesario. un usuario y se beneficia pueden ser mejor focalizados. sólo lo hacen en un nivel muy jefes de los sectores también del sistema. macro. presupuestarios se hallaron El ministro de una de las áreas dijo que [Otros Diputados del Congreso]: algunas diferencias. Uno de ellos su ministerio aún domina la formación de Las partes no están cumpliendo La Coordinación Ministerial no dijo que instruyó a sus analistas políticas del sector, a pesar de que con su rol: hay un gran vacío de interviene mucho en los para comentar también los DIPRES se ha fortalecido en esto coordinación. Las cosas podrían comentarios del informe de aspectos no estrictamente (“redacción de las leyes”). SEGPRES ser peores si la política fuera avance. presupuestarios de los informes sería una instancia más lógica para la descentralizada a los ministerios. de evaluación. Por lo menos 3 contribución a la formación de políticas, (5-6 años atrás la aproximación a jefes de sectores presupuestarios pero no tiene el peso político del que la política estaba basada en el dijeron que ellos únicamente goza DIPRES. El ministro dijo que su consenso; hoy hay un equilibrio enfocan en los aspectos ministerio necesita “cortejar” a DIPRES con poco debate). presupuestarios, y 2 de ellos más que a SEGRES (cuyo interés está dijeron que usualmente tienen y/o más dirijido a las necesidades de los deberían tener un papel más ciudadanos/ atención al público). Este amplio, incluyendo decirles a los año SEGPRES ha alineado sus Metas evaluadores sobre qué Ministeriales con las Definiciones enfocarse. Finalmente, otro jefe Estratégicas de DIPRES. de sector presupuestario dijo que él también llegó a ver y comentar Un funcionario de otro ministerio enfatizó los TdRs de las evaluaciones cómo las relaciones DIPRES-DIPLAP antes de que los evaluadores han dejado de centrarse exclusivamente fueran contratados. en los recursos. En la actualidad, las discusiones se centran en las prioridades de política y asuntos operacionales. Su ministerio está preocupado con el control de costos y por mejorar la eficiencia de los gastos, pero el marco de descentralización introducido con la Ley Orgánica privó al Ministerio de cualquier autoridad de monitorear y controlar el uso final de los recursos transferidos. 44 1.5 Diseño del programa: Descripción y evaluación de los modelos y/o elementos de la metodología usada en las EPGs y EIs. Æ Hipótesis/asuntos: Marco Lógico (ML): ¿MLs producidos demasiado tarde? ¿TdRs demasiado genéricos? ¿Objectivos de los MLs tomados como vinen dados? ¿Análisis de impacto? Evaluadores Jefes de Programa Coordinadores Staff de las Staff de las Oficinas Ministros y Altos Diputados del Staff de Evaluación Staff de Actores clave Ministeriales Oficinas de de Presupuesto de Funcionarios Congreso de DIPRES Presupuesto de Presupuesto de los Ministerios DIPRES los Servicios TdRs de las EPGs: TdRs de las EPGs: TdRs de las EPGs: Las siguientes son (algunas de) las Uno de los jefes de programa Los TdR estándar para críticas que escuchamos sobre los entrevistados individualmente EPGs han mejorado, TdRs de las EPGs: (a) varios (si no expresó preocupación ante la habiéndose vuelto más todos) los participantes en el GF1 posibilidad de que el hecho de flexibles y útiles. estuvieron de acuerdo en que los que DIPRES decida qué “TdRs” subestimaron la cantidad programas y qué aspectos de tiempo semanal requerido para evaluar sin consultar a las hacer el trabajo; (b) varios de ellos instituciones de las que esos también argumentaron que el programas dependen termine “TdRs” no especifican lo conspirando contra la suficientemente bien las relevancia y la utilidad de las responsabilidades de cada evaluaciones. miembro del panel; (c) por lo menos 1 de los participantes del GF1 no sabía de la posibilidad de solicitar fondos adicionales para realizar estudios complementarios; (d) por lo menos 1 de los evaluadores entrevistados de manera individual dijo que ellos deberían ser informados sobre la disponibilidad de la información requerida antes de ser llamados a concurso. TdRs de las EIs: TdRs de las EIs: Dos de los participantes en uno de Por lo menos 2 de los los GFs con experiencia en EIs participantes en los GFs que (que habían participado de la venían de programas que misma evaluación) dijeron que los habían sido evaluados con TdRs de las Els son mucho más Els parecían satisfechos con claros que los de las EPGs. Sin los TdRs de sus embargo, otro participante con evaluaciones. Algo similar experiencia en Els, dijo que esos expresó uno de los TdRs son muy difíciles de cambiar, coordinador de programa y están enteramente definidos por entrevistados de manera DIPRES. individual, cuyo programa fue también evaluado con una EI. 45 1.5 Diseño del programa: Descripción y evaluación de los modelos y/o elementos de la metodología usados en las EPGs y EIs (continuación) Æ Hipótesis/asuntos: Marco Lógico (ML): ¿MLs producidos demasiado tarde? ¿TdRs demasiado genéricos? ¿Objectivos de los MLs tomados como vinen dados? ¿Análisis de impacto? Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas Staff de las Oficinas Ministros y Altos Diputados del Staff de Evaluación Staff de Presupuesto Actores clave Ministeriales de Presupuesto de de Presupuesto de Funcionarios Congreso de DIPRES de DIPRES los Servicios los Ministerios Metodología en Metodología en Metodología en Metodología en Metodología en Metodología en Metodología en general: general: Un general: general: general: Uno de los general: general: Los participantes en el participante en GF1 Por lo menos 1 de los Los puntos que participantes en el GF [Comisión Especial de Varios jefes de GF1 reportaron 2 dijo que, a veces, participantes reclamó surgieron fueron: (a) reclamó el haber Presupuesto]: Uno de sectores problemas comunes unidades permanentes que, a veces, DIPRES las evaluaciones tenido una unidad los representantes presupuestarios y, que habían de las agencias son selecciona para serían más útiles si permanente en su entrevistados sugirió posiblemente, algunos experimentado: (a) a tratadas por las evaluar “funciones” fueran más Ministerio evaluado que DIPRES podría de los analistas veces, ellos son evaluacioes como si permanentes del participativas; (b) como si se tratara de mejorar las presupuestarios que contratados para fueran “programas” Ministerio que, por muchas veces, los un programa. evaluaciones por participaron del GF, evaluar “programas” definición, no son evaluadores fallan en medio de un mayor parecían muy que no son verdaderos programas. Por no ser tomar el contexto y enfoque en el impacto contentos con la programas (vgr., son programas, estas origen del programa en de los programas en metodología de las instituciones, un grupo funciones son muy debida consideración, las regiones, y no tanto evaluaciones o, al de programas difíciles de evaluar con y esto conduce a en el “centro”. menos no las erróneamente tomados una metodología de evaluaciones criticaron. Sin como si fueran uno Marco Logico. injustamente embargo, entre solo, etc.); y (b) las desfavorables. Los aquéllos que criticaron evaluaciones tienen participantes del GF la metodología, todas que ser hechas explicaron que, a las críticas parecieron tomando como base veces, los objetivos girar en torno a su los objetivos actuales de los relativa declarados del programas evaluados “superficialidad”, en el programa y, por lo se originaron bajo sentido de que deja tanto, dejan de lado circunstancias cosas importantes sus posibles objetivos diferentes a las fuera del análisis y/o políticos. Esto muchas actuales y, si esto no termina dejando de veces lleva a que los es tenido debidamente lado hallazgos programas sean en cuenta, no es importantes. Uno de injustamente posible determinar si los jefes de sector evaluados de un modo los programas están presupuestario dijo desfavorable alcanzando o no sus que, dadas las objetivos consignas de trabajo que reciben, los evaluadores hacen un buen trabajo. Pero él piensa que sus TdRs son demasiado débiles, y no los enfrentan con los incentivos correctos para inducirlos a producir los mejores resultados. 46 1.5 Diseño del programa: Descripción y evaluación de los modelos y/o elementos de la metodología usados en las EPGs y EIs (continuación) Æ Hipótesis/asuntos: Marco Lógico (ML): ¿MLs producidos demasiado tarde? ¿TdRs demasiado genéricos? ¿Objectivos de los MLs tomados como vinen dados? ¿Análisis de impacto? Evaluadores Jefes de Programa Coordinadores Ministeriales Staff de las Oficinas de Staff de las Ministros y Altos Diputados del Staff de Evaluación Staff de Presupuesto de Actores clave Presupuesto de los Oficinas de Funcionarios Congreso de DIPRES DIPRES Servicios Presupuesto de los Ministerios Metodología EPG: Metodología EPG: Metodología EPG: Metodología EPG: Metodología EPG: Metodología EPG: Metodología EPG: Metodología EPG: Metodología EPG: Los participantes en el GF1 parecieron Este aspecto fue Hubo acuerdo general en ¿Quién define el Marco Algunos especialistas en [Un funcionario de la Existe un problema Uno de los analistas Actualmente, están estar de acuerdo en que la metodología específicamente tratado en el cuanto a que las EPGs han Lógico de los programas evaluación en uno de los secretaría de la con la definición de presupuestarios se procurando que todo lo de las EPGs tiene muchas ventajas. Sin GF1. La mayoría de los contribuido a iniciar la evaluados? ministerios dijeron que Comisión Especial de un programa, de mostró convencido de que en el sector embargo, como varios participantes en el participantes parecían estar de instalación de una cultura de La mayoría de los las EPGs no cubren Presupuesto]: manera tal que que la metodología del público pueda ser GF2, ellos también apuntaron a algunas acuerdo con que la metodología evaluación en el sector participantes dijo que ellos todas las La matriz de Marco también hay Marco Lógico es la única conceptualizado como de las siguientes debilidades: (a) la de las EPGs no es lo público chileno, algo que no tuvieron ninguna especificaciones de los Lógico permite problemas cuando se manera de comparar programa cuente con metodología es demasiado rígida; esto suficientemente profunda en el todos consideraron positivo. participación. Algunos programas – “son muy comparar programas trata de hacerlo cosas muy diferentes un Marco Lógico. Van los obliga a producir siempre indicadores análisis. Los siguientes son Por lo menos 1 de los dijeron que los programas economicistas, les falta con diferentes encajar en un Marco para tomar decisiones a requerir el Marco de eficiencia, efectividad, economía y algunos de los argumentos que participantes en el GF dijo evaluados sí la tuvieron, pero visión social, [sectorial]”) objetivos, lo cual es Lógico. El Marco sobre el presupuesto Lógico de todas las calidad, aún cuando no los encuentran expresaron: (a) las EPGs son que, en instancias donde las basado en una metodología y no son capaces de muy útil. Lógico está (aunque esto fue agencias públicas. relevantes; y (b) no dejan espacio para la revisiones de escritorio; un EPGs involucraron la que les fue enteramente evaluar contextos o Recomendaciones, construido por los discutido en relación con consideración de los aspectos más estudio más profundo requeriría realización de un estudio impuesta por DIPRES. Uno relaciones entre deben incluirse en las analistas y el Servicio el Fondo Concursable, y ¿Quién define el Marco cualitativos del funcionamiento del hablar con los beneficiarios del complementario (encuesta, de los participantes dijo que diferentes programas. PMGs porque las como resultado del no con las EPGs). Sin Lógico de los programa. Algunos participantes en el programa y con las diferentes etc.), los estudios en cuestión las evaluaciones fueron Tampoco existe mismas implican entrenamiento. embago, él notó que programas evaluados? GF2 dijeron que ellos habían estado en partes interesados; (b) no fueron demasiado llevadas a cabo en base a concordancia entre el mayores recursos Después de dos dentro de su sector, la M. Guzmán dijo que se situaciones en las cuales DIPRES aceptó prestan suficiente atención a superficiales y su metodología TdRs entre DIPRES y los Sistema de Seguimiento para la semanas de modalidad del Marco espera que los sus sugerencias para complementar la factores contextuales; (c) dejan inapropiada. evaludadores que los de la Programación modernización. intercambio de Lógico no se ajustó bien evaluadores revisen metodología del Marco Lógico con algún los aspectos no económicos del Servicios y los programas Gubernamental de emails, la matriz a ciertas actividades de críticamente la trabajo cualitativo. Sin embargo, lo aceptó funcionamiento del programa ¿Quién define el Marco nunca vieron. Algunos SEGPRES y las EPGs, a acordada matriz es su sector. Este analista jerarquía de los con la condición de que ese trabajo fuera del análisis; y (d) son Lógico de los programas participantes dijeron que pesar de que SEGPRES [Otros Diputados del entregada a los también dijo que la EPG objetivos del programa, cualitativo se haría como complemento, y cuantitativas por naturaleza, y evaluados? Un participante ellos sí tuvieron algún grado tiene un asiento en el Congreso]: evaluadores para es el instrumento más y adapten dichos no en lugar del estudio convencional, y sin por lo tanto, dejan los aspectos dijo que el rol de los de participación en el Comité Interministerial. El Marco Lógico sirve comenzar el proceso. importante. Los otros objetivos a lo que el ninguna remuneración adicional. cualitativos de lado. Uno de los coordinadores ministeriales es proceso. Cuando se les de apoyo, pero no ALGUNAS VECES instrumentos programa realmente coordinadores de programa simplemente el de proveer la preguntó si ellos ¿Quién define el Marco llega al fondo del ELLOS MISMOS (referiéndose puede lograr. Ellos no ¿Quién define el Marco Lógico del entrevistados reclamó que información que los consideraban que los Marcos Lógico de los programas problema. De ahí la PREPARAN LA presumiblemente a los deberían tratar de programa evaluado? algunos de los indicadores de las evaluadores y DIPRES Lógicos resultantes evaluados? necesidad de contar MATRIZ; otras los PMGs, por ejemplo) son modificar los Esta pregunta fue sólo planteada ante el EPGs no son apropiados, y dijo requieren de ellos. Varios reflejaban el espíritu de los Una alta funcionaria de también con las EIs evaluadores usados por la presión de propósitos últimos (o GF2, y recibió respuestas muy divididas. que la metodología parece participantes dijeron que programas evaluados, uno de los ministerios (él no ha visto nunca participan. Cuando el DIPRES. “fin”) del programa, ya Algunos insistieron en que es siempre la funcionar a veces como una existen diferencias algunos dijeron que en reconoció que los Marcos una El o una programa ya cuenta que son múltiples las institución responsable por el programa la “camisa de fuerza”. Por otra importantes entre los Marco general sí. Lógicos que resultan de Evaluación con un Marco Lógico actividades tendientes que define el propósito y los objetivos del parte, por lo menos 1 Lógicos como fueron las EPGs reflejan más los Comprehensiva del (inicialmente a posibilitar su programa, etc. A veces, con bastante participante en el GF1 destacó la definidos por los paneles y puntos de vista de Gasto). construido con materialización. ayuda de los analistas y evaluadores de independencia de las DIPRES por una parte, y los DIPRES que de los de su MIDEPLAN) es más DIPRES, pero siempre respetando sus evaluaciones de DIPRES, y definidos por MIDEPLAN por Ministerio o de las difícil adecuarlo puntos de vista. Por lo menos uno de los nadie expresó desacuerdo. la otra. Otro participante dijo agencias. La funcionaria (cuando sea participantes dijo que es DIPRES la que que es común que DIPRES atribuyó eso a dos cosas: necesario) a las verdaderamente tiene la última palabra en ¿Quién define los Marcos imponga sus propios puntos (a) DIPRES controla el EPGs. Se supone la la definición del Marco Lógico del Lógicos de los programas? de vista en la definición de los presupuesto y, por lo metodología es la programa. Otro participante dijo que esto Uno de los coordinadores de Marcos Lógicos de los tanto, tiene la última misma. depende en realidad de la capacidad que programa entrevistados dijo que, programas evaluados. palabra sobre los asuntos muestren las autoridades del programa durante el proceso de Aunque los paneles, a veces, de la política sectorial; y para hacer valer sus posiciones y evaluación, los objetivos del les introduzcan a su vez (b) DIPRES y su personal defender sus puntos de vista. Otra programa fueron “expandidos” cambios importantes a los tienen un comando participante dijo que, aun cuando DIPRES para así adecuar mejor los mismos. mucho mejor de la trata de imponer sus puntos de vista, intereses de DIPRES. metodología del Marco estos tienden a ser de naturaleza mucho Lógico y, por lo tanto, más metodológica que sustantiva. Por lo están en una mejor menos uno de los participantes expresó posición durante los preocupación por tener evaluadores procesos de evaluación y involucrados tanto en la preparación del negociación. Marco Lógico como en la evaluación del programa de acuerdo a ese Marco Logico. Otro participante dijo que no veía ningún problema en eso. 47 1.5 Diseño del programa: Descripción y evaluación de los modelos y/o elementos de la metodología usados en las EPGs y EIs (continuación) Æ Hipótesis/asuntos: Marco Lógico (ML): ¿MLs producidos demasiado tarde? ¿TdRs demasiado genéricos? ¿Objectivos de los MLs tomados como vinen dados? ¿Análisis de impacto? Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas de Staff de las Oficinas de Ministros y Altos Diputados del Staff de Evaluación de Staff de Actores clave Ministeriales Presupuesto de los Presupuesto de los Funcionarios Congreso DIPRES Presupuesto de Servicios Ministerios DIPRES Metodología EI: Metodología EI: Metodología EI: Metodología EI: Metodología EI: Dos evaluadores con Dos participantes del Uno de los participantes Por lo menos uno de los Ellos controlan la experiencia en EIs GF2, provenientes de del GF fue muy crítico de participantes expresó metodologia por medio de la criticaron la poca programas que habían la metodología utilizada preocupación por uno de revisión de informes de atención que la sido evaluados con Els, para evaluar el impacto y los supuestos avance y finales metodología de las Els le se quejaron por lo la eficiencia del subyacentes a las preliminares. Las firmas presta a la especificidad inapropiado del momento programa. Dijo que los estrategias de evaluadoras no interactúan de cada programa escogido para evaluar evaluadores carecían del evaluación de DIPRES – mucho con la institución. evaluado. La sus respectivos conocimiento necesario que el impacto de todos metodología de las EIs programas. Uno de ellos del sector, así como los programas puede ser es siempre la misma, sin también dijo que, al también de las evaluado con la misma considerar el tipo de evaluarse los impactos habilidades técnicas metodología. Añadió a programa que está de sus programas, la mínimas para realizar un esto que el impacto de siendo evaluado. Uno de evaluación tomó como apropiado análisis de la ciertos programas es ellos dijo que la vara de medición relación costo-beneficio extremadamente difícil metodología es objetivos erróneos. del programa. (si no imposible) de demasiado sofisticada Similarmente, un actor evaluar. para lo que en realidad entrevistado en la 1ª se necesita. misión dijo que los . evaluadores que estuvieron a cargo de evaluar su programa no llegaron a entender que, además del objetivo tendiente a aumentar el bienestar de su población objetivo, el programa tenía el objetivo implícito de corregir una injusticia histórica. Al no tomar debidamente en cuenta este otro objetivo que, en los hechos, el programa se había estado esforzando por atender, la evaluación habría terminado subestimando el verdadero impacto del programa. 48 Diseño del programa: Descripción y evaluación de los procesos operativos que posibilitan la ejecución del Programa de Evaluación Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas de Staff de las Oficinas de Ministros y Altos Diputados del Staff de Evaluación de Staff de Presupuesto de Actores clave Ministeriales Presupuesto de los Presupuesto de los Funcionarios Congreso DIPRES DIPRES Servicios Ministerios Cronograma y Cronograma y Cronograma y Cronograma y Cronograma y duración del Cronograma y duración Cronograma y duración del duración del proceso duración del proceso duración del proceso proceso de evaluación: del proceso de duración del proceso proceso de de evaluación: de evaluación: de evaluación: La fecha fijada para la evaluación: de evaluación: evaluación: La mayoría de Por lo menos 1 de los Uno de los participantes presentación al Congreso es Algunos de los jefes de M. Guzmán dijo que, con Varios participantes participantes de los GFs coordinadores dijo que el proceso de Junio 30. 100% de cumpliento sector presupuesto y el propósito de proveer en ambos GFs que provenían de ministeriales evaluación termina en vs. calidad, una de las 2 analistas presupuestarios información oportuna y opinaron que 4 meses programas evaluados entrevistados y 1 de los un momento (diciembre) termina decreciendo: menos apuntaron a los siguientes relevante, las son un tiempo con EPGs, y por lo participantes del GF en que el presupuesto participación en las aspectos relacionados al evaluaciones necesitan demasiado corto para menos 1 participante reclamaron que el plazo ha sido ya aprobado y discusiones con el panel y cronograma de evaluación: ser completadas en un completar las EPGs. proveniente de un que se les da es convertido en ley y que, personal del programa, menos (a) el tiempo permitido período corto de tiempo. Asimismo, algunos de programa evaluado con demasiado corto como para cuando comienza a tiempo para revisar la para que las evaluaciones No disponen del tiempo ellos argumentaron una El, parecieron para preparar discutirse el presupuesto documentación disponible del sean completadas es necesario para que las que, dado el coincidir en cuanto a que apropiadamente la del ciclo presupuestario programa siendo evaluado (la demasiado corto para que evaluaciones sean un momento del año en el tiempo asignado para información que los siguiente, las carga de trabajo se ha ellos consigan involucrarse ejercicio de largo plazo. el que las completar el proceso de evaluadores y DIPRES evaluaciones del previo incrementado en los últimos realmente o contribuir más; Esta es la razón por la evaluaciones deben evaluación es requieren de ellos. El año ya han sido años; el staff de evaluación (b) esto empeoró por el que se aseguran de que llevarse a cabo (el demasiado corto. Por lo representante de otro abandonadas/olvidadas. también es reponsable de las momento del año en el que las evaluaciones estén que se traslapa con menos 1 de los ministerio también dijo Els y Comprehensivas del se requiere que comenten terminadas en junio, de las vacaciones de participantes reclamó que los plazos son Gasto). Cuando ellos los reportes de evaluación, manera tal que sus verano), esos 4 por el traslape entre las damasiado cortos como participan más, la calidad del el que se superpone con el conclusiones y meses son en la evaluaciones y los para que los reporte final es mucho mejor. momento del año en el que recomendaciones práctica mucho más descansos del verano. evaluadores se Pero tal vez es mejor que ellos están más ocupados con puedan ser incorporadas cortos. Un Por otro lado, el jefe de familiaricen con el no participen del todo durante la preparación del en el proceso de participante de uno de un programa de gran programa. el proceso, para asegurar una presupuesto; y (c) al preparación del los GFs con magnitud dijo que Similarmente, todos en total independencia. AL FINAL parecer, al momento en presupuesto de ese experiencia en Els, DIPRES ha mostrado el GF estuvieron de DEL PERIODO. Los analistas que el proyecto del mismo año. dijo que el alguna flexibilidad con acuerdo en que las tienen 15 días para preparar la presupuesto es enviado al cronograma de las ellos, en términos de los discusiones involucradas síntesis de la evaluación para Congreso, las Eis le parecía plazos para completar el por el proceso de ser enviada al Congreso (7 evaluaciones todavía no apropiado. Un proceso de evaluación. evaluación tomaron pp). Decisiones discrecionales están terminadas. evaluador con mucho tiempo. Sumado sobre recomendaciones a ser experiencia en EIs a esto, por lo menos 1 más enfatizadas, adaptadas o dijo que DIPRES es de ellos argumentó que eliminadas. (La mayor parte usualmente más el tiempo escogido para del tiempo alguien añade o flexible con los plazos la realización de las elminina recomendaciones). de las EIs que con los evaluaciones (que Un actor del sector de las EPGs. traslapa con el período presupuesto y M. Guzmán de vacaciones del afinan la síntesis y enfatizan verano) es realmente ciertas recomendaciones. Los malo. analistas de evaluación consideran que se necesita más tiempo para discutir dentro de la División de Control Gestión sobre cómo mejorar el sistema, vgr. más tiempo para leer sobre los programas para mejorar sus aportes y comentarios al Marco Lógico, informe de avance, etc.. 49 1.7a Gestión del programa: Descripción y evaluación de (i) la selección de programas para ser evaluados; (ii) selección de evaluadores. Æ Hipótesis/asuntos: (i) ¿Sesgos en la selección de agencias y aspectos a evaluar? (ii) Contratación de evaluadores individuales para las EPGs. ¿Falta de conocimiento sectorial? (iii) Adecuación del grado de involucramiento de la Comisión de Presupuesto del Congreso en la selección de programas para ser evaluados, (iv) Involucramiento del Staff de presupuesto de DIPRES en la selección de programas para ser evaluados, (v) Involucramiento del Staff del Ministerio del Sector en la selección de programas para ser evaluados, e (vi) involucramiento del Comité Interministerial en la selección de programas a ser evaluados. Evaluadores Jefes de Coordinadores Staff de las Oficinas Staff de las Oficinas de Ministros y Altos Diputados del Congreso Staff de Evaluación de Staff de Presupuesto de Actores clave Programa Ministeriales de Presupuesto de Presupuesto de los Funcionarios DIPRES DIPRES los Servicios Ministerios Selección de Selección de Selección de Selección de programas Selección de Selección de programas para Selección de Selección de programas Selección de programas para ser programas para ser programas para ser programas para ser para ser evaluados programas para ser ser evaluados programas para ser para ser evaluados evaluados evaluados evaluados evaluados La mayoría de evaluados [Comisión Especial de evaluados Tanto los jefes del sector M. Guzmán dijo que la selección no sigue Algunos de los La mayoría de Ninguno de los participantes dijo que la Actor clave de Ministerio Presupuesto]: Ellos identifican presupuesto como la mayoría un grupo específico de reglas o criterios. participantes en el GF1 participantes del GFs participantes del GF decisión sobre cuáles A: Dijo que su Ministerio Representante A: Los programas para ser de los analistas Los siguientes son algunos de los criterios no entienden por qué, dijo que la selección de tuvo participación en la programas evaluar fue no participa en la Miembros de la Comisión evaluados. Con presupuestarios coincidieron y etapas que se han venido siguiendo entre los programas los programas a ser selección de los tomada enteramente por selección de programas Especial tienen atribuciones frecuencia, toman en en señalar que ellos son hasta ahora: (a) al principio, ellos que se evalúa, se evaluados fue programas a ser DIPRES, y que a ellos se para ser evaluados. para proponer programas para cuenta para eso la consultados sobre que priorizaron la evaluación de programas incluye también enteramente hecha por evaluados. Sin los notificó una vez que la Atribuyó esto a la ser evaluados en base a sus información proveniente programas que merecen ser con mayor presupuesto; (b) programas programas que son DIPRES, y que ellos embargo, algunos de decisión ya estaba necesidad de asegurar la análisis de la ejecución del de los PMGs, evaluados. Sin embargo, en que no han pasado por otras evaluaciones demasiado nuevos o fueron simplemente ellos dijeron que de tomada. Algunos de los imparcialidad de todo el presupuesto. Ellos deciden aprovechando que base a lo que dijeron los ex ante o ex post; (c) en base a una están por terminar. Uno notificados una vez que haber sido consultados, partiicpantes dijeron que proceso de evaluación. junto con el Ejecutivo cuáles todos los servicios analistas que participaron del discusión interna, el staff de Control de de ellos reaccionó la decisión ya estaba habrían escogido más o en general ellos estaban Añadió que, una vez que programas deberían ser reportan a la División GF, es posible que haya Gestión y los jefes de los sectores diciendo que podría tomada. Por otra parte, menos los mismos de acuerdo con las la cultura de evaluación evaluados. Ellos siempre saben (ningún proceso diferencias entre un sector y presupuestos de DIPRES producen una haber una razón de al menos 2 participantes programas. Por lo selecciones hechas por esté adecuadamente cuáles programas son específico es definido). otro en términos de cuánto lista preliminar de programas para ser evaluar un programa a reportaron instancias en menos 2 participantes DIPRES, aunque en instalada en el sector políticamente problemáticos Pero el personal del cuentan las opiniones de los evaluados; (d) ellos consultan el Comité punto de ser terminado las cuales se los había dijeron que ellos algunas instancias público, los ministerios pero, en los últimos 3 años, han sector presupuesto de analistas. Los siguientes son Interministerial, a MIDEPLAN y a la a los efectos de consultado de una forma habrían escogido otros hubieran escogido otros de cada sector podrán confiado en los resultados de DIPRES tiene más los criterios de selección que Presidencia, para ver si desean incluir posibilitar, en base a u otra, antes de que la programas. Al programas para la jugar un papel mayor. las evaluciones para “defender” incidencia en la se mencionaron más otros programas en la lista; (e) la lista ello, un aprendizaje decisión fuera tomada. momento de la evaluación. Otro SEGPRES: El año ciertos programas. selección de los frecuentemente: (a) resultante es enviada al Congreso, para institucional. Entre los criterios que, a evaluación, 1 de sus participante dijo que no pasado, SEGPRES programas a evaluar. presupuesto del programa; chequear si ellos quieren hacerle algunas su entender, DIPRES programas estaba entendía bien por qué propuso 15 programas Representante B: (i) El (b) la evolución de la modificaciones. En general, el Congreso emplea al decidir qué siendo rediseñado, de DIPRES seleccionó ciertos para ser evaluados por presidente de la Comisión . ejecución del presupuesto no introduce ningún cambio pero, si lo programas evaluar, los manera que las programas para evaluación DIPRES (sin ningún considera todas las propuestas. del programa; (c) programas hacen, sus sugerencias tienden a ser participantes del GF recomendaciones de y no otros. criterio de selección más Los Miembros de la Comisión en los que se sospecha que aceptadas. mencionaron: (a) el las evaluaciones se allá de un problema para proponen programas para ser se están experimentando tamaño del presupuesto referían a aspectos del resolver), de los cuales 4 evaluados en base a la problemas; (d) evolución de Todos los ítems presupuestarios que de los programas, programa que ya fueron aceptados. popularidad del programa; su los indicadores de la cuentan con un objetivo y con siendo los programas estaban siendo importancia en las regiones; ejecución de los programas y financiamiento individualizables son más grandes los que cambiados. programas nacionales con gran (e) programas que el pasibles de evaluación. Cada año, recibien más atención; cantidad de recursos o que han Gobierno pueda tener planes DIPRES produce una lista de posibles (b) programas que han sido discutidos por cualquier de expandir. programas a ser evaluados durante el estado en operación por razón. (ii) Los evaluadores son siguiente año. En el momento de largo tiempo; escasos, es muy riesgoso tener preparar el proyecto de presupuesto, este (c ) programas de los los mismos evaluadores una y listado preliminar se somete a una nueva que se sospecha que otra vez; la independencia de ronda de discusiones. Entonces, experimentan los evaluadores corre el riesgo reuniones bilaterales con los ministros problemas; (d) otros de terminar viéndose pueden llevar a un acuerdo para factores contingentes. amenazada. El sistema de seleccionar uno u otro programa para ser Uno de los participantes selección debería favorecer la evaluado. Ejemplo: la corporación de dijo que ha habido inclusión de nuevos asistencia legal llevó a un acuerdo de instancias donde evaluadores. cortar fundos condicionalmente, entonces DIPRES decidió evaluar devolviendo el financiamiento total cuando uno de sus programas [Congreso - Otros Diputados]: las condiciones fueran alcanzadas. O que ya estaba siendo El Protocolo es más que) sin durante discusiones en el Congreso evaluado por su llegar a constituir una puede haber candidatos añadidos. Ministerio, resultando en negociación. DIPRES parece Organizando varios programas para hacer una superposición controlar la agenda; monopoliza una evaluación del sector por entero. indeseada entre las 2 la toma de decisiones de Ejemplo: mapeo. Evaluación evaluaciones. política, pero éste es un “mal Comprensiva del Gasto que involucra tres menor” necesario en el contexto agencias. No todos están bajo el concepto de la presente estructura de programa. Ejemplo: pensiones, política. dispuesto por ley, que no pueden ser cambiados de una manera discrecional. 50 1.7a Gestión del programa: Descripción y evaluación de (i) la selección de programas para ser evaluados; (ii) selección de evaluadores (continuación). Æ Hipótesis/asuntos: (i) ¿Sesgos en la selección de agencias y aspectos a evaluar? (ii) Contratación de evaluadores individuales para las EPGs. ¿Falta de conocimiento sectorial? (iii) Adecuación del grado de involucramiento de la Comisión de Presupuesto del Congreso en la selección de programas para ser evaluados, (iv) Involucramiento del Staff de presupuesto de DIPRES en la selección de programas para ser evaluados, (v) Involucramiento del Staff del Ministerio del Sector en la selección de programas para ser evaluados, e (vi) involucramiento del Comité Interministerial en la selección de programas a ser evaluados. Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas Staff de las Ministros y Altos Diputados del Staff de Evaluación de DIPRES Staff de Actores clave Ministeriales de Presupuesto de Oficinas de Funcionarios Congreso Presupuesto de los Servicios Presupuesto de DIPRES los Ministerios Selección de evaluadores: Selección de Selección de Selección de Selección de Selección de evaluadores: EPGs: La mayoría de los participantes evaluadores: evaluadores: evaluadores: evaluadores: Ellos tienen una "Pauta" que incluye en el GF1 dijeron que, en la selección Muchos Muchos participantes en el Dos especialistas en [Otros Diputados del “ponderaciones” para medir las de los evaluadores para las EPGs, participantes en el GF1 dijeron que desearían evaluación de uno de los Congreso]: aptitudes de los evaluadores, de DIPRES prestó más atención al GF1 dijeron que que DIPRES les diera por ministerios dijeron que, En la constitución de manera tal que, a la hora de formar conocimiento que los evaluadores desearían que lo menos la oportunidad de para la realización de una los paneles de los paneles, se encuentran en tenían del sector del programa, que a DIPRES les diera opinar sobre el perfil de los EI, DIPRES terminó evaluación, DIPRES condiciones de escojer coordinadores su familiaridad previa con la por lo menos la evaluadores a ser contratando a una firma con hace bien en mezclar con cierto grado de discrecionalidad, metodología de Marco Lógico, dado oportunidad de escogidos para llevar a “antecedentes simpatizantes del dado que ya los conocen. Por lo que esto último podría aprenderse opinar sobre el perfil cabo las evaluaciones. Lo problemáticos” a pesar de Gobierno y con los de menos uno de los integrantes del fácilmente. Un participante reportó de los evaluadores único que DIPRES les da a las objeciones que presentó la oposición; pero se panel debe ser experto en el sector. que, en su panel, el coordinador jugó a ser escogidos conocer antes de decidir al su Ministerio sobre esta equivoca al excluir a Los evaluadores que están siendo un papel crítico porque estaba muy para llevar a cabo respecto son los nombres empresa. los extremos. seleccionados representan, desde el familiarizado con la metodología. las evaluaciones. Lo de los evaludadores, con el Más tarde, se vieron en la punto de vista de su calidad, el Alguien en el GF1 sugirió que los único que DIPRES fin de asegurarse que no necesidad de cambiar el promedio del país. Los evaluadores evaluadores con el mejor conocimiento les da a conocer existan incopatibilidades o equipo de evaluación. Ellos que han trabajado en evaluaciones del tipo de producto que DIPRES antes de decidir al un conflicto de intereses. creen que parte del previamente tienen más puntos. Los espera de ellos, son los que terminan respecto son los Uno de los coordinadores problema, sin embargo, fue mejores evaluadores no se están teniendo encomendados el mayor nombres de los ministeriales entrevistados debido al ajustado postulando, debido a la baja número de trabajos de evaluación. evaludadores, con dijo que existe la cronograma para realizar remuneración y al volumen de trabajo Esto estaría resultando en la el fin de asegurarse necesidad de ir ampliando las Els. La contratación fue que las evaluaciones representan. conformación de una suerte de “club que no existan el perfil principalmente hecha en las vacaciones de (Cada año, 18% de los evaluadores de evaluadores”. Uno de los incopatibilidades o académico de los verano, y hubo únicamente que se postulan son nuevos). No hay evaluadores entrevistados expresó un conflicto de evaluadores para hacer 2 postulantes. tiempo suficiente para integrar los preocupación ante la posibilidad de intereses. lugar también a resultados de las encuestas de años que los consultores privados que evaluadores con fuertes anteriores sobre el desempeño de los dependen del sector público para la conocimientos prácticos. evaluadores en la fase de selección. obtención de nuevos contratos pueden Esto significa que, al menos en terminar siendo cooptados por las algunas etapas del proceso, no se instituciones evaluadas. Dos de los llega a aprovechar toda la evaluadores entrevistados sugirieron información disponible. Al seleccionar que, en la selección de los miembros a los evaluadores de EI, se le da del panel, DIPRES se asegura de que mucha importancia a la experiencia exista un cierto equilibrio ideológico. con la metodología empleada. 1 Uno de ellos añadió que la analista, 1 voluntario, y otro actor leen coordinación del panel es las propuestas y las califican generalmente asignada a consultores individualmente. Escogen a los 3 del mismo color político que el mejor posicionados y negocian gobierno. Cuando, se les preguntó a honorarios con el primero. En este los evaluadores que participaron en los punto, ellos ajustan la metodología GFs por los criterios que emplea propuesta. DIPRES a la hora de seleccionar a los miembros de los paneles de evaluación, los factores políticos no fueron mencionados en absoluto. 51 1.7b Gestión del programa: Descripción y evaluación de (iii) las actividades de apoyo, capacitación y asistencia técnica tanto a los evaludores como a los equipos responsables de los programas evaluados. Æ Hipotesis y asuntos: (i) ¿Adecuación del apoyo técnico brindado a las evaluaciones? Apoyo del Staff de evaluación del DIPRES; apoyo del MIDEPLAN. ¿La capacitación en la metodología de Marco Lógico que se está brindando es adecuada para la preparación de Marcos Lógicos de buena calidad? Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas de Staff de las Oficinas de Ministros y Altos Diputados del Staff de Evaluación de Staff de Presupuesto Actores clave Ministeriales Presupuesto de los Presupuesto de los Funcionarios Congreso DIPRES de DIPRES Servicios Ministerios Apoyo provisto por DIPRES: Apoyo previsto por Material que los Varios participantes en el GF1 DIPRES: El evaluadores reciben de señalaron que el material de entrenamiento es cada DIPRES: M. Guzmán dijo capacitación en Marco Lógico vez más facil, porque los que, al comienzo de la que DIPRES brinda a los evaluadores ahora evaluación, a los evaluadores es muy bueno y útil. conocen la metodología. evaluadores se les Asimismo, hubo consenso La primera sesión entrega: (a) generalizado en que, al tratar de debería efectuarse antes documentación del obtener información de los del inicio de las programa; (b) programas y agencias, el apoyo vacaciones (enero). cuestionario que busca de DIPRES resulta decisivo, aún Durante el curso de las capturar la estructura del si los programas no siempre evaluaciones, los programa; y (c) El Marco proveen tanta información como analistas de evaluación Lógico preliminar del ellos podrían. Varios tienen muy poco tiempo programa. participantes del GF2 dijeron que para participar en la Clasificador del DIPRES debería incrementar discusión o para leer Presupuestor por sus esfuerzos para hacer que los sobre el programa. La partidas: M. Guzmán dijo programas/agencias provean la mayoría de los que el clasificador del información requerida. Coordinadores presupuesto por Ministeriales ya conocen partidas está siendo La calidad de los Marcos la metodología, de reformado, y ellos Lógicos iniciales: Por lo menos 2 manera que no hay esperan que el nuevo de los participantes en el GF1 se necesidad de esté listo para usarlo con quejaron sobre la baja calidad de entrenamiento adicional. el Presupuesto del 2005. los Marcos Lógicos iniciales que Sí capacitan al personal El actual clasificador por reciben de los programas al de los programas que partidas del presupuesto comienzo del proceso de están por ser evaluados. está organizado evaluación. También se brinda principalmente por capacitación en la insumos. Esta es una de metodología de las Els, las razones por las que, aunque algunos de los durante las actores tienen fuertes evaluaciones, la habilidades en la información sobre los metodología de El. costos del programa tiene que ser Els: Ellos controlan la “reconstruida”. El nuevo metodología revisando clasificador los informes de avance y presupuestario pretende el preliminar final. tener toda la informacion del gasto organizado por programas o por acciones de política estratégica. 52 18. Gestión del Programa: Descripción y evaluación el proceso de toma de decisiones, mecanismos de coordinación y el proceso de participación de los actores clave involucrados. Æ Hipótesis/aspectos: ¿Cuáles son los elementos clave que llevan a que el proceso funcione? ¿Cómo se conectan con los otros instrumentos de evaluación y de gestión? Evaluadores Jefes de Programa Coordinadores Staff de las Staff de las Oficinas de Ministros y Altos Diputados del Staff de Evaluación de Staff de Presupuesto de Actores clave Ministeriales Oficinas de Presupuesto de los Funcionarios Congreso DIPRES DIPRES Presupuesto de Ministerios los Servicios Relación entre las Relaciones entre las Relación entre las Relación entre Relación entre las Relación entre las Relación entre las Relación entre las Relación entre las Relación entre las diferentes partes diferentes partes diferentes partes las diferentes diferentes partes diferentes partes diferentes partes diferentes partes diferentes partes diferentes partes involucradas en el involucradas en el involucradas en el partes involucradas en el involucradas en el involucradas en el involucradas en el involucradas en el involucradas en el proceso: proceso: proceso: involucradas en proceso: proceso: proceso: proceso: proceso: proceso: Varios participantes en En general, los Casi todos (incluyendo el proceso: Varios participantes dijeron Un actor clave del [Otros Diputados En general existe una La relación entre los Muchas agencias ambos GFs dijeron participantes del GF1 tanto a los La mayoría de los que sus relaciones con la Ministerio A dijo que del Congreso]: buena relación entre el sectorialistas ejecutivas que la parecían haber tenido representantes de los participantes División de Control de el Ministerio y las Muchas decisiones personal de los presupuestarios de desarrollaron un nivel retroalimentación que experiencias mejores y Ministerios con dijeron que los Gestión de DIPRES y el agencias de política han sido programas evaluados, DIPRES y la División de de autonomía que les ellos reciben de más armoniosas que los programas evaluados evaluadores panel de evaluación distan necesitarían tener tecnificadas, lo cual los evaluadores y los Control de Gestión no permite ser DIPRES está mucho participantes del GF2. En con EPGs como con comenzaron con de ser armoniosas. Por lo una mayor es bueno y malo a analistas. siempre fue armónica ni interlocutoras más enfocada en los uno de los GFs, 2 de los Els) coincidieron en una idea menos de 2 participantes se interacción con los la vez, dado que fácil. Como explicaron directas de DIPRES, aspectos formales de participantes provenientes que DIPRES no es del preconcebida de lo quejaron sobre la cantidad evaluadores. Esta permite mejorar las A los evaluadores se los analistas pasando por alto a los informes de programas que habían todo receptiva a las que iban a de reportes e información podría ser una políticas pero les permite incluir presupuestarios y por lo los Ministerios. En (vocabulario sido evaluados con EIs observaciones y a la encontrar al que DIPRES demanda de forma efectiva de significa que los hallazgos adicionales, menos dos jefes de la actualidad, el papel empleado, ortografía y dijeron que, a lo largo del retroalimentación que evaluar el ellos, lo que se suma a los facilitar la técnicos – en este pero la mayoría de sector presupuestario, de los Ministerios se signos de puntuación, proceso de evaluación, ellos o los programas programa, y es que ellos ya han tenido que internatilización de caso, con ellos tratan de eliminar en un comienzo, la ha fortalecido. Por lo etc.) que en la habían llamado la les hacen llegar a lo muy difícil entregar a SEGPRES. la cultura de mentalidad aspectos irrelevantes directiva de incorporar la tanto, el Ministerio metodología de Marco atención de los largo del proceso de hacerlos cambiar Algunos de ellos dijeron que evaluación. financiera, como para la evaluación. En información proveniente tiene voz en el Lógico o aspectos evaluadores y del DIPRES evaluación. Por lo de parecer. han aprendido a minimizar sucede con este sentido, la de los instrumentos de presupuesto total que substantivos. Algunos sobre los aspectos de la tanto, lo que algunos Algunos esfuerzos por medio de la Ministerio B: Las DIPRES – están en División de Control de evaluación de la les es asignado a participantes en el GF2 estrategia de evaluación de ellos terminaron atribuyeron esto a preparación de la evaluaciones han control. La Gestión se ha vuelto División de Control de ellos y a sus encontraron parte de que, en su criterio, no aconsejando hacer a la carencia de información que DIPRES y llevado a la paradoja de las más flexible. Gestión dentro del agencias esta “obsesión” con los tenían sentido para ellos, sus programas es evaluadores con SEGPRES requieren por necesidad de políticas de la proceso de preparación dependientes. Por formatos y la ortografía pero que ellos no fueron reservar sus conocimiento o anticipado, en línea con sus preparar Concertación: a Els: La firmas del presupuesto fue ejemplo: el Ministerio fastidioso. Sin eschuchados. Esto observaciones para el familiaridad con respectivos formatos de información pesar de que la evaluadoras no percibida como una de Trabajo está embargo, otro coincide con lo que uno de final del proceso, de los programas presentación. La relación constantemente, tecnificación, nada interactúan mucho con “intromisión”, que supervisando ahora a participante defendió el los coordinadores de manera tal que las evaluados. Por lo entre ellos y los para el Congreso y es neutral. la institución dificultó la coordinación la totalidad de su hecho de que DIPRES programa entrevistados de mismas puedan ser al menos 1 sectorialistas DIPRES. Un muy responsable de los entre estas dos áreas. portafolio se abstenga de manera individual había menos adjuntadas al participante dijo presupuestarios de DIPRES alto funcionario de programas evaluados. Esta situación parece presupuestario. El expresar sus propios dicho. El también dijo informe final de la que esto pasa parece ser bastante mejor. este ministerio haber mejorado, por lo equilibrio de poderes puntos de vista en haber encontrado muy evaluación que se porque es DIPRES Dicen que para ellos es comentó que la . menos hasta cierto entre Ministerios está relación a aspectos poca receptividad por envía el Congreso la que les dice lo importante asegurarse que obligación de punto. Varios analistas cambiando substantivos, como un parte de DIPRES y, como un anexo. Según que quiere que las los sectorialistas presentar informes dijeron que les tomó un nuevamente. Por lo signo de su respeto entonces, se vio en la dijeron, hacen esto evaluaciones presupuestarios entiendan es un buen ejercicio tiempo darse cuenta del tanto, los poderes por la independencia necesidad de adjuntar al para evitar desperdiciar determinen. Ellos cómo funcionan sus que le permite al valor de lo que la discrecionales del de los evaluadores. informe final de evaluación su tiempo y energía. A ven a DIPRES programas y cuáles son sus Ministerio mantener División de Control de Ministerio de Especialmente en el una declaración con todos través del proceso de como inflexible. necesidades. Esta relación el control sobre lo Gestión estaba trayendo Finanzas están GF2, casi todos los puntos en que el evaluación, sus La mayoría de (si es mayormente con los que está “a la mesa”. Sin viéndose reducidos. (incluyendo a los más programa no estaba de relaciones con DIPRES no todos) los analistas presupuestarios, sucediendo. El embargo, algunos de críticos) parecieron acuerdo. Por otro lado, 1 tienden a ser bastante participantes del no con sus jefes (alguien entrevistado ellos y también algunos estar de acuerdo en el de los participantes en los confrontacionales. La GF describieron dijo no es fácil llevarse bien también anotó que, de los jefes del sector rigor y respeto de GFs dijo que, si bien el preparación de sus relaciones con los jefes). Uno de los en la actualidad, dijeron que los DIPRES por la staff de DIPRES es difícil comentarios y como tensas y participantes que insistieron existe una problemas de independencia de para tratar/negociar, su observaciones de confrontacionales. más en la importancia de tendencia a coordinación siguen criterio de los programa habia retroalimentación para Ellos quisieran que ayudar a los sectorialistas especificar mejor existiendo. Algunos de evaluadores. Esto conseguido defender sus los evaluadores y hubiera más presupuestarios a entender los objetivos de los los analistas concuerda con lo que puntos de vista con éxito. DIPRES insume mucho espacio para el sus programas dijo que, programas presupuestarios que dijieron 2 evaluadores tiempo y energía, que diálogo con como parte de este (presumiblemente, participaron del GF se entrevistados durante prefieren no DIPRES, y para la esfuerzo, él es usualmente a través de las quejaron de la limitada la 1ª misión. Uno de desperdiciar. Un punto participación. muy selectivo en decidir cuál EPGs). El PMG es participación que se les ellos dijo que los sobre el que había Dada la situación, información compartir con una forma continua tiene reservada en el evaluadores están acuerdo general fue ellos se ven en la los analistas de de supervisión. proceso de evaluación. mucho más expuestos que, durante la necesidad de presupuesto. Con cierto Que cuando ellos a presiones originadas negociación de los enfocar la mayoría toque de humor, se refirió a comentan sobre los en los sectores que en compromisos de sus esfuerzos esto como asegurarse de reportes de la 53 Evaluadores Jefes de Programa Coordinadores Staff de las Staff de las Oficinas de Ministros y Altos Diputados del Staff de Evaluación de Staff de Presupuesto de Actores clave Ministeriales Oficinas de Presupuesto de los Funcionarios Congreso DIPRES DIPRES Presupuesto de Ministerios los Servicios DIPRES. Por lo institucionales de los en prestar “desorientar al enemigo”. evaluación preliminares menos 2 participantes programas, hay atención a lo que Pero aclaró que, de no o finales, sus en uno de los GFs algunos indicadores y DIPRES y las hacerlo, los sectorialistas comentarios no son dijeron que, después Compromisos que evaluaciones terminarían perdiéndose en tenidos en cuenta. de haber hecho varias DIPRES trata de consideran medio de demasiada Cuando se les preguntó, evaluaciones para imponer a toda costa. importante, lo que información. nadie conocía ningunas DIPRES, han llegado a muchas veces instancias en las cuales la conclusión de que implica tener que DIPRES se ha concentrado los comentarios y ciertas descuidar lo que demasiado en el nivel sugerencias de los recomendaciones (por ellos mismos ministerial y muy poco en los analistas ejemplo, aquéllas que consideran “sus servicios. 4 de 12 Servicios presupuestarios habían requieren cambios en trabajos”. (descentralizados) tienen sido incorporados a una la legislación, o compromisos PMG. Al evaluación. La única implicarían tener que menos uno de los participante que se dar término a un ministerios tiene por ley había sentido realmente programa que goza de incentivos superiores a los parte del proceso gran apoyo político) de otros sectores, que van reconoció que, dada la nunca serán tomadas más allá de lo relativo a los relativa relación de en cuenta seriamente. salarios. cercanía entre el jefe de Por lo tanto, han su sector presupuestario aprendido a y el Control de Gestión, asegurarse que sus su sector puede ser de recomendaciones sean alguna manera lo suficientemente excepcional. Con “realistas”. excepción de uno de los analistas del GF, que había interactuado con los evaluadores en respuesta a un pedido de ayuda originado en estos últimos, los otros analistas presupuestarios no habían tenido contacto directo con los evaluadores. La mayoría de los participantes del GF opinaron que, como analistas presupuestarios, ellos deberían tener un nivel de involucramiento mucho mayor. 54 1.9 Gestión del Programa: Descripción y evaluación del proceso de M&E usado por el Programa (Ver datos de hoja de trabajo de DIPRES para instrumentos) Æ Hipótesis/aspectos: ¿Cuáles son las actividades? ¿Quién recibe los informes? ¿Qué acciones correctivas? ¿Qué verificación? Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas de Staff de las Oficinas de Ministros y Altos Diputados del Staff de Evaluación de Staff de Presupuesto Actores clave Ministeriales Presupuesto de los Presupuesto de los Funcionarios Congreso DIPRES de DIPRES Servicios Ministerios Muchos participantes en los Un actor clave de Por lo menos 2 Antes de proceder a la Un actor clave del sector Todas las herramientas dos GFs dijeron que algunas uno de los participantes del GF elaboración de los de Administración de M&E van a través del de las condiciones que les son ministerios dijo dijeron que los Compromisos Institucionales Presupuestaria y un jefe nivel ministerial. impuestas por los que las Compromisos en base a las conclusiones y de sector presupuestario Además: el SIGFE debe Compromisos Institucionales recomendaciones Institucionales incluyen las recomendaciones de las dijeron que, cuando los generar información de están más allá de sus del panel no se condiciones que van más evaluaciones, se les solicita a programas no cumplen gestión y definir niveles capacidades. Las siguientes conviertieron allá de sus capacidades. los Servicios que las con los Compromisos de acceso adaptado a son algunas de las razones automáticamente . comenten. Por lo general, los Institucionales, se los cada nivel, incluyendo el que mencionaron: (a) la falta en Compromisos Servicios coinciden con ellas “castiga”. Uno de ellos nivel ministerial. Por de recursos requeridos para Institucionales. sólo excepcionalmente ilustró esto con un ejemplo, cumplir con esos compromisos; Antes de que se (análisis de sensibilidad con ejemplo concreto. Sin descentralizando la y (b) en ocasiones, los firmen los respecto al espacio político embargo, otros 2 jefes realización de EPGs a Compromisos les exigen hacer Compromisos, se para aceptar algunas de sectores los ministerios como cosas que los programas no produce una recomendaciones). Las presupuestarios dijeron parte de su cartera? (ver están autorizados a hacer (vgr., negociación entre agencias quieren conocer sus que esto, en la práctica, 1.2 contexto de reformas negociar cambios en las DIPRES y el asignaciones de presupuesto no está sucediendo. gerenciales). Las EPGs asignaciones de presupuesto, programa antes de asumir ningún tienen un objetivo o promover cambios en la evaluado. Según compromiso. En general, la dinámico: diseño y legislación). este entrevistado, discusión (entre los analistas, evaluación del programa. Sin embargo, los participantes los representantes el Director del Servicio, o Sub Delegación de la función argumentaron no tener de DIPRES son secretarias en el caso de de evaluación a una suficiente poder como para “razonables para Educación) queda centrada agencia independiente? poner un límite frente a lo que negociar” en asignar más recursos a En España, Finanzas DIPRES les exige durante la cambio de la aceptación de está resistiéndose a negociación de los los compromisos. Cuando los esto. Chile está Compromisos Institucionales. recursos no están disponibles, estudiando el caso con el se ajustan los compromisos, o BID. los recursos existentes se redistribuyen. El seguimiento del nivel de cumplimiento con los Compromisos Institucionales ha aumentado la carga de trabajo de los analistas (3 en 1998, 4 en 1999, 4 ½ en 2002 y 5 desde el 2003). Algunas veces los Compromisos son viejos (cuando se solicitan suspenciones). Hay una superposición entre fases de las evaluaciones (EPGs, Els y Comprehensivas del Gasto). 55 2 Resultados del Programa 2.3 Producto: Evaluación del nivel de satisfacción de los beneficiarios, considerando aspectos tales como: accesibilidad a los resultados de las evaluaciones, calidad de las evaluaciones, y entregas a tiempo de los reportes de la evaluación, entre otros. Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas de Staff de las Oficinas de Ministros y Altos Diputados del Congreso Staff de Evaluación de Staff de Presupuesto Actores clave Ministeriales Presupuesto de los Presupuesto de los Funcionarios DIPRES de DIPRES Servicios Ministerios [Comisión Especial de Los analistas de evaluación Presupuesto]: Uno de los de DIPRES orientan a las entrevistados dijo que las agencias acerca de dónde EPGs proporcionan incluir cada parte de la información limitada sobre información dentro de los los programas, y el análisis reportes. es superficial. El entrevistado prefiriría El informe de avance podría formatos simplificados para ser simplicado sin eliminar los informes. A pesar de contenido agregando títulos que ellos entienden los de los capítulos 1 y 2. aspectos del presupuesto y comenzaron a aprender el Cuando ellos participan más vocabulario de “orientación en el proceso, la calidad del por resultados”, preferirían reporte final es mucho mejor. que los informes de Pero tal vez es mejor que no evaluación fueran más participen del todo durante el “amigables” para los proceso, de manera tal de miembros del Congreso”, ya asegurar una total que no todos los independencia. AL FINAL congresistas son DEL PERIODO, los analistas “economistas”. Otro tienen 15 días para preparar entrevistado dijo que los la síntesis de la evaluación reportes que describen el que será enviada al proceso han cambiado pero Congreso (7pp). no significativamente. La Generalmente, alguien gestión de los programas es agrega o elimina mejor, porque las recomendaciones en esta evaluaciones han mejorado instancia. Un actor del sector el diseño de los programas y presupuestario y la jefa de la han enfatizado la División de Control de importancia de tener Gestión, M. Guzmán, se información clara sobre aseguran de pulir la síntesis costos. y enfatizar ciertas recomendaciones. [Otros Diputados del Congreso]: Uno de los entrevistados criticó el estilo “opaco” de la presentación de los estudios de evaluación y la desigual calidad de informes. 56 2.5 Resultados Intermedios: Análisis y evaluación del nivel de aceptación del Programa de Evaluación desarrollado por la Dirección de Presupuesto (DIPRES) y su grado de institución. Æ Hipótesis/aspectos: Uso que se les da a los resultados de la evaluación Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas Staff de las Oficinas Ministros y Altos Diputados del Staff de Evaluación Staff de Actores clave Ministeriales de Presupuesto de de Presupuesto de Funcionarios Congreso de DIPRES Presupuesto de los Servicios los Ministerios DIPRES El Servicio/Agencia A cree formar parte de un pequeño grupo de servicios gerencialmente más avanzadoz, que incuiría a organismos tales como Impuestos Internos, la Dirección de Trabajo, DIBAM (Dirección de Bibliotecas, Archivos, y Museos - MinEduc), Tesoreria, y Registro Civil. Razones por la cuales el Servicio/Agencia A puede haber llegado a estar entre los líderes: su alta visibilidad (el entrevistado coincidió con que las EPGs pueden haber sido aplicadas a áreas de alta sensibilidad política, donde demostrar resultados del sector público es politicamente ventajoso). 2.6 Resultados intermedios: Análisis y evaluación del mejoramiento de la capacidad de evaluación del equipo de profesionales responsables por los programas evaluados y otros actores relevantes. Æ Hipótesis/aspectos: ¿Poca evidencia de que el staff de la agencia tiene incentivos para aprender a evaluar? ¿Se ha desarrollado una cultura de evaluación en las agencias? ¿Han mejorado las capacidades de evaluación/Marco Lógico de los evaluadores y del staff de los programas con el entrenamiento de DIPRES y de MIDEPLAN? Evaluadores Jefes de Coordinadores Staff de las Oficinas Staff de las Oficinas Ministros y Altos Diputados del Staff de Evaluación Staff de Actores clave Programa Ministeriales de Presupuesto de de Presupuesto de los Funcionarios Congreso de DIPRES Presupuesto de los Servicios Ministerios DIPRES Uno de los participantes del GF2 dijo El Servicio/Agencia A hace que los programas ahora están sus propias evaluaciones a empezando a pensar de acuerdo a los través de su sistema de lineamientos de los Marcos Lógicos en control. toda clase de situaciones (o sea, no sólo a los efectos de cumplir con las instrucciones específicas de DIPRES o MIDEPLAN). 57 2.8 Resultados Intermedios: Análisis y evaluación de la diseminación y uso de los resultados de la evaluación por parte del Congreso. Æ Hipótesis/aspectos: ¿(Cómo) usa el Congreso los resultados de la evaluación? Evaluadores Jefes de Programa Coordinadores Staff de las Staff de las Ministros y Altos Diputados del Congreso Staff de Evaluación de Staff de Presupuesto de Actores clave Ministeriales Oficinas de Oficinas de Funcionarios DIPRES DIPRES Presupuesto de Presupuesto de los Servicios los Ministerios Uno de los Por lo menos 2 El 2004 es el primer año [Comisión Especial de No hay evidencia de que Al menos 4 jefes de participantes del participantes del GF en que el Gobierno ha Presupuesto]: los Congresistas lean sectores presupuestarios GF2 dijo que, en el argumentaron que el requerido que los Sectores Un representante utiliza la las evaluaciones. En los dijeron que no parecen caso de su Congreso se (Ministerios) le presenten información remitida por la oficina últimos años ellos han estar realmente programa, los mantiene ajeno al reportes trimestrales de de información a la Cámara de preparado una síntesis involucrados o resultados proceso de ejecución del presupuesto, Diputados, la que revisa los de la síntesis (2pp). Sin interesados en las desfavorables que evaluación así como “Evaluaciones informes de evaluación y sus embargo, ellos también evaluaciones. Dos de arrojó la evaluación también de la Trimestrales de síntesis así como también las han estado enviando ellos dijeron que el de su programa negociación de Presupuesto”, al Congreso. observaciones que les realizan los copias de los informes Congreso generalmente fueron usado por Compromisos Este es un esfuerzo para Servicios. Su personal también finales completos, confía y acepta lo que los miembros del Institucionales – aumentar la participación prepara resúmenes que incluyen incluyendo los dice DIPRES. Los 4 Congreso como un aunque les parecería del Congreso en la la información más relevante comentarios de las parecieron estar de argumento para bueno que se preparación del sobre algunos programas. agencias. acuerdo en que, en reducir/negarles involucrara. presupuesto. (Algunos entrevistados general, los Congresistas fondos mencionaron que ellos tienen su prestan poca atención a presupuestarios. propio presupuesto para estudios . los resultados de la de impacto). evaluación. Sin embargo, Otro de los entrevistados dijo que otro de los jefes de sector su oficina prepara una síntesis de presupuestario dijo que la síntesis de los informes de los congresistas evaluación para los Senadores. (especialmente los de la Aunque las síntesis son para la Comisión de Presupuesto) Comisión, también otros leen los resúmenes de las congresistas les han pedido las EPGs. evaluaciones y las síntesis para que sus profesionales los analizaran. Como el número de informes de evaluación es más manejable que el de BGIs (140), ellos usualmente los leen los primeros, o al menos leen sus resúmenes ejecutivos y las observaciones de programa a los reportes finales de evaluaciones. En la práctica los EPGs son usados intensivamente para la discusión. En este sentido, los PMGs están más orientados a premiar el buen desempeño que a evaluar a las agencias. Uno de los diputados entrevistados no sabía que las evaluaciones estaban en la “web”. [Otros Diputados del Congreso: No hay apoyo intelectual del staff del Congreso. Tampoco las bases políticas (que están alineadas con partidos políticos específicos) los ayudan mucho. 58 2.10 Resultados Finales: Análisis y evaluación del grado de integración de los resultados de la evaluación dentro del análisis del ciclo presupuestario. Æ Hipótesis/aspectos: DIPRES sostiene que los resultados de la evaluación son un insumo importante para su toma de decisiones. ¿Qué tan extendido está su uso en los sectores ministeriales, a los fines de la programación de sus presupuestos y la asignación de recursos? ¿Los ministerios los usan menos en la formulación del presupuesto? ¿DIPRES hizo un uso particular de los hallazgos de las EPGs durante la crisis presupuestaria de finales de los 1990s? (durante ese período, DIPRES comisionó 40 EPGs en un año, precisamente para informar mejor la toma de decisiones presupuestarias). Si los hallazgos de las EPGs no influenciaron las decisiones presupuestarias, en principio, podría argumentarse, que el sistema de evaluación de DIPRES no habría cumplido con su razón de ser. ¿Cuán intensivo ha sido el uso que ha hecho DIPRES de esta información a lo largo del proceso de preparación del presupuesto? -- Uso a los fines de los Compromisos Institucionales (aquéllos con el mayor gasto o implicaciones de política) -- Uso por parte del staff de presupuesto de DIPRES en las síntesis de política/presupuesto -- De acuerdo con el seguimiento que se ha hecho del grado de cumplimiento con los Compromisos Institucionales, ¿las recomendaciones que surgen de las evaluaciones están siendo implementadas? Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas de Staff de las Oficinas de Presupuesto de los Ministros y Diputados Staff de Staff de Presupuesto de DIPRES Actores clave Ministeriales Presupuesto de los Servicios Ministerios Altos del Congreso Evaluación Funcionarios de DIPRES Uso de los Uso de los hallazgos de Uso de los hallazgos de Uso de los hallazgos de evaluación por Uso de los Uso de los hallazgos de evaluación por parte de Uso de los hallazgos de hallazgos de evaluación por parte de evaluación por parte de DIPRES: parte de DIPRES: hallazgos de DIPRES: evaluación por parte de evaluación por DIPRES: La mayoría de los participantes en En el GF, hubo un acuerdo prácticamente evaluación por La mayoría de los jefes y analístas del sector DIPRES: parte de DIPRES: Uno de los participantes dijo el GF dijo que las asignaciones del unánime en cuanto a que DIPRES usa los parte de presupuestario estuvieron de acuerdo en decir que, De acuerdo con M. Los Compromisos que las recomendaciones de presupuesto no parecen estar hallazgos de la evaluación para decidir si DIPRES: a pesar de que la relación entre los hallazgos de las Guzmán, lo que Hacienda Institucionales: la evaluación fueron usadas relacionadas con los hallazgos de mantener, reasignar internamente o cortar el Dos evaluaciones y las asignaciones en el presupuesto estaba buscando lograr es Muchos para reestructurar el la evaluación. Para ilustrar esta financimiento de los programas. Sin embargo, especialistas en no es “automática”, al decidir las asignaciones en el información para orientar participantes de los programa evaluado. Esto afirmación, trajeron a colación la opción de aumentar el financiamiento de los evaluación de presupuesto DIPRES utiliza los hallazgos de las el proceso de asignación 2 GFs dijeron que involucró un proceso de instancias en que los programas programas no parece estar nunca presente. La uno de los evaluaciones. La mayoría dio ejemplos de presupuestaria. Pero, al los Compromisos negociación con DIPRES, habían sido evaluados única excepción a esta regla vino de un ministerios programas que fueron terminados, o cuyos igual que uno de sus Institucionales les que resultó en la firma de los positivamente, y su presupuesto participante del GF que sugirió que el posible mencionaron un presupuestos fueron recortados, se mantuvieron o colegas, hizo notar que la exigían cumplir con Compromisos Institucionales terminó siendo cortado o origen de esta diferencia entre su Ministerio y programa que aumentaron como resultado de las evaluaciones. conexión entre las condiciones que se del programa. Alguien más mantenido sin cambios. los otros podría estar dada por el hecho de habría sido Tres jefes de sectores presupuestarios dijeron que conclusiones y encontraban más dijo que el panel había Únicamente 1 participante dijo que, que, a diferencia de lo que ocurre con muchos cerrado después entre el 30% y el 40% de las asignaciones recomendaciones de las allá de sus recomendado realizar un en su caso, una evaluación con ministerios, algunos de los programas de su de una EPG. presupuestarias están ligadas a los hallazgos y evaluaciones y las capacidades. Las estudio de seguimiento y resultados positivos se había visto Ministerio tienen retornos no sólo sociales y En ese caso, las recomendaciones de las evaluaciones; dos de ellos decisiones sobre la siguientes son DIPRES acordó financiarlo. seguida de un aumento de fondos. políticos, sino tambíén materiales. Algunos de EPG ayudaron a dijeron que, actualmente, cerca de 100% de los asignación del algunas de las Otro participante dijo que, en Otro participante apuntó lo que él los participantes del GF dieron ejemplos de confirmar la cambios hechos en los presupuestos del programa presupuesto no es razones que su caso, los hallazgos de las llamó el “impacto político” de las instancias en las que DIPRES tomó decisiones decisión pero la están ligados a los resultados de la evaluación. Sin automática.) dijo además mencionaron: (a) la evaluaciones no fueron evaluaciones. Este impacto tendría que no estaban en línea con los hallazgos de clausura del embargo, no todos parecieron tener una visión tan que las evaluaciones son falta de los recursos tenidos en cuenta por lugar cuando los resultados de la las evaluaciones , y atribuyó esto a factores programa ya optimista. Uno de los entrevistados dijo que, en muy útiles como base para requeridos para DIPRES, a pesar de que evaluación son publicados en uno políticos. Un participante se quejó de que había sido estos primeros años, las EPGs se han enfocado los Compromisos hacer frente a esos resultaban absolutamente de los principales diarios de Chile DIPRES insiste en exigirles recortar los gastos decidida antes principalmente en identificar los objetivos de los Institucionales, y que compromisos y (b) críticos. (La Segunda). aún cuando sus programas están siendo de la EPG. programas, etc, en vez de en evaluarlos y aportar fueron especialmente la inclusión de Los Compromisos Los Compromisos Institucionales: evaluados muy positivamente. información de importancia a la toma de decisiones útiles a finales de la crisis condiciones que Institucionales: Uno de los Al menos 2 participantes del GF presupuestaria. Dijo saber sólo de 3 programas que de los 1990s, cuando se que ellos no se coordinadores ministeriales dijeron que los Compromisos Ministerio A: No tienen en claro en qué medida habían sido terminados debido a los resultados las usó para orientar las encuentran entrevistados dijo que las Institucionales incluyen condiciones los resultados de las evaluaciones afectan la desfavorables que habían arrojado sus enormes redistribuciones autorizados a hacer recomendaciones del panel que van más allá de sus asignación del presupuesto. Sin embargo, evaluaciones. Uno de los analistas presupuestarios de recursos que impuso la (vgr, negociar no se transforman en posibilidades. consideran que las mismas tienen que participaron en el GF dijo que su sector está crisis. cambios en sus Compromisos Institucionales consecuencias muy claras sobre la gestión de “muy politizado” y, por lo tanto, los informes de M. Guzmán añadió que no asignaciones de manera automática. sus programas. Este ministerio tiene sus evaluación tienen muy poca infuencia en el mismo. hay un mecanismo presupuestarias o Entre la finalización de la propios compromisos-formales, acuerdos Algunos analistas presupuestarios en el GF implementado para promover cambios evaluación y la firma de los firmados, incluyendo resultados financieros con explicaron que, cuando se encuentran con conectar las evaluaciones en la legislación). Compromisos, se produce SSs. programas que están siendo evaluados con las actividades de una negociación entre positivamente en los EPGs o Els, se sienten reformulación de políticas. DIPRES y el programa. Este Ministerio B: DIPRES impone metas (vgr. motivados a “apoyarlos” y a tratar de “hacer fuerza a Sin embargo, los entrevistado añadió que los introducción de SIGFE dentro de muy poco su favor”. participantes en el representantes de DIPRES tiempo), ignorando la complejidad del sector, GFs dijeron que no son “razonables para incluyendo factores políticos. Por ejemplo, Los Compromisos Institucionales: Dos jefes de cuentan con el negociar”. después de la EPG de un programa, DIPRES sector presupuestario dijeron que cuando los poder necesario decidió recortar su presupuesto porque no se programas no cumplen con los Compromisos para poner un límite había podido constatar que hubeira tenido Institucionales, se los “castiga”. Uno de ellos ilustró frente a lo que resultados satisfactorios. Los argumentos de esto con un ejemplo concreto. Sin embargo, otros 2 DIPRES exige de DIPLAP, en el sentido de que a veces, en un jefes de sectores presupuestarios dijeron que, en la ellos. sector como éste, los resultados requieren práctica, esto no se está haciendo. tiempo para verse materializados, no fueron aceptados. 59 2.11 Resultados Finales: Análisis y evaluación del uso de la información proveniente de las evaluaciones por el Congreso Nacional. Æ Hipótesis/asuntos: No queda claro en qué medida el Congreso está dando uso a los resultados de las evaluaciones (o quiere las evaluaciones como “prueba” de que el Gobierno está en “buen camino”). Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas de Staff de las Oficinas de Ministros y Altos Diputados del Congreso Staff de Evaluación Staff de Presupuesto de Actores clave Ministeriales Presupuesto de los Presupuesto de los Funcionarios de DIPRES DIPRES Servicios Ministerios Uno de los participantes Al menos 2 participantes SEGPRES: los [Comisión Especial de No hay evidencia de Al menos 4 jefes de sectores del GF2 dijo que los del GF argumentaron resultados de la Presupuesto: Los que los congresistas presupuestarios dijeron que resultados desfavorables que el Congreso se evaluación fueron resultados de las lean las no parecen estar realmente de la evaluación de su mantiene al margen usados por el Congreso evaluaciones les brindan evaluaciones. En los involucrados e interesados en programa fueron usados tanto del proceso de (vgr, en Atención información para la últimos años, ellos las evaluaciones. Dos de ellos por los miembros del evaluación como de la Primaria), en el diseňo discusión del Presupuesto y han preparado una dijeron que el Congreso Congreso como un negociación de los de políticas (vgr, en otras decisiones del síntesis de la síntesis generalmente confía y acepta argumento para Compromisos Agricultura, por la vía de Congreso. Para los (2pp). Sin embargo, lo que dice DIPRES. Los 4 reducir/denegarles Institucionales, aunque la Evaluación congresistas, las también han hecho parecieron estar de acuerdo fondos presupuestarios. sería muy deseable que Comprensiva del Gasto - Evaluaciones de Impacto llegar al Congreso en que, en general, los se involucre. una reciente Comisión han sido un insumo clave copias del informe congresistas prestan muy Interministerial) para el diseño de políticas y final completo, poca atención a los resultados dirección. Un representante incluyendo los de las evaluaciones. de la Comisión toma comentarios de las seriamente la evaluación, agencias. como parte de un proceso que asegura que el Gobierno está persiguiendo políticas que hagan frente a sus prioridades. Otro de los actores entrevistados dijo no haber visto recortes sustanciales en el presupuesto. Las recomendaciones que requieren más recursos, deberían tener un estimado de cuánto, entonces los congresistas tendrían más elementos para tomar decisiones. [Otros Diputados relacionados con el Presupuesto]: Las reformas iniciales del sector vivienda después de 1994 funcionaron como un ejercicio de prueba y error (por parte de las municipalidades), no estuvieron basadas en estudios. Él fue crítico de las políticas de vivienda que el Staff de Presupuesto de DIPRES alabó. 60 2.12 Resultados Finales: Análisis y evaluación de la contribución de la evaluación de los programas y sus procesos al mejoramiento de su gestión en las instituciones, como resultado de aspectos tales como: aprendizaje institucional de los gerentes o personas responsables de implementar las políticas y programas, conceptualmente e instrumentalmente. Æ Hipótesis/asuntos: Cambios inducidos de común acuerdo (Tipo 1): ¿Los acuerdos son pertinentes a los aspectos sustantivos? ¿Las agencias cumplen tanto con la letra como con el espíritu de los acuerdos? ¿La verificación que realiza DIPRES es efectiva? Cambios de conducta inducidos (Tipo 2): ¿En qué consisten estos cambios? ¿Son más o menos importante que los cambios de tipo 1? Evaluadores Jefes de Programa Coordinadores Staff de las Staff de las Ministros y Altos Funcionarios Diputados Staff de Staff de Presupuesto de Actores Ministeriales Oficinas de Oficinas de del Evaluación DIPRES clave Presupuesto de Presupuesto Congreso de DIPRES los Servicios de los Ministerios Uno de los evaluadores La mayoría de participantes del Casi todos estuvieron Varios participantes Por lo menos En el 2002, hubo una iniciativa para crear un sistema de Ellos no Dos de los analistas entrevistados de manera GF1 dijo que sus programas no de acuerdo en que las del GF dijeron que uno de los evaluación dentro del uno de los ministerios. Esto pudo saben hasta presupuestarios que individual dijo que las habían aprendido nada nuevo de EPGs han ayudado a las evaluaciones participantes haber funcionado como una contraparte para DIPRES qué punto participaron en el GF instituciones evaluadas las evaluaciones. En la mayoría aumentar la cultura de son útiles. Uno de en el GF se (presumiblemente la División de Control). Se había los dijeron que, en su opinión, toman las de los casos, las conclusiones y evaluación del sector ellos dijo que ellas quejó de la instalado un “directorio” compuesto por el Ministro, el Compromis las evaluaciones habían recomendaciones de las las recomendaciones de las público chileno, algo inducen a relativa sub Secretario y los Jefes de División, pero duró os son significado un servicio más evaluaciones muy evaluaciones vinieron a confirmar que todos consideraron provechosas “superficialidad solamente 6-8 meses por los cambios en la alta conocidos grande para las agencias seriamente por temor a cosas que ellos ya sabían pero no positivo. Uno de los discusiones en los ” de las generencia. El nuevo equipo gerencial no “eliminó” la dentro de que para ellos (DIPRES), DIPRES. tenían el poder o la capacidad de participantes dijo que programas y en los evaluaciones y iniciativa; simplemente no hizo nada para promover o los porque las acción necesarios para las recomendaciones Servicios de los que sus usar el sistema y así el esfuerzo terminó viéndose Servicios, recomendaciones de las implementar. Sin embargo, en la de la evaluación fueron dependen, y otro recomendacion suspendido. El objetivo del sistema de evaluación porque evaluaciones están medida en que las evaluaciones usadas para senaló su es. Otro interna fue para mejorar la gestión dentro del sector. algunos orientadas hacia ellas y se son patrocinadas por DIPRES, las reestructurar los contribución para participante dijo vienen de refieren a cómo mejorar el mismas funcionan como una muy programas evaluados. que las que en su caso Servicio/agencia A: Un ciclo de retroalimentación de 1999 sin diseño y la operación de los apreciada fuente validación para Esto involucró un gran evaluaciones hacen “algunas” de planeación estratégica, alimentado a un SIG haber sido programas. algunos de los reclamos que los proceso de negociación a que los las estructurado que se alinea con/absorbe estrategias cumplidos. programas habian venido con DIPRES, que programas consigan recomendacion externas y necesidades reportadas (Metas del Ministerio Otro actor de los sectores teniendo por largo tiempo. Unos resultó en los sistematizar su es de la del área, Metas SEGPRES, Metas PMG, EPGs) con los . presupuestarios dijo que el pocos participantes (tal vez sólo Compromisos propia información. evaluación Proyectos de desarrollo institucional del Servicio. No Ministerio no aprovecha las 1) dijeron que la evalucación Institucionales del Sin embargo, ellos habían sido parecieron dar indicios de que los diferentes evaluaciones tanto como había motivado discusiones programa. Otro piensan que las válidas y ellos requerimientos de información provenientes de DIPRES podría. internas muy valiosas y sirvieron participante dijo que, en evaluaciones serían las y SEGPRES representaran un problema. Uno puede para que el programa aprendiera su caso, los hallazgos mucho más útiles si implementaron. inferir que el Gobierno (Ministerio del área? DIPRES? sobre sí mismo y mejorarase. de la evaluación no se les diera mayor SEGPRES?) puede necesitar una capacidad de Entre los jefes de programa fueron considerados participación a lo gerencia estratégica adicional para absorber y usar la entrevistados de forma individual, por DIPRES, aunque largo del proceso. información que vienen de Servicios reformados como al menos dos dijeron que, en su eran absolutamente éste. El Servicio/agencia A reflejará su integración de opinión, las evaluaciones han sido críticos. . planeación estratégica y presupuestacion en la útiles. Uno de ellos las describió propuesta de presupuesto para el 2005. En ese sentido, como “un ejemplo muy positivo de el Servicio/agencia A se describió a sí mismo como si evaluación como aprendizaje”. hubiera realizado aprendizajes de “tipo 2” de DIPRES Uso de Marcos Lógicos para los (es decir que, a través de la aplicación de los propios fines del programa: 8 de instrumentos de gestión de DIPRES, el Servicio A habría los 10 participantes del GF1 adquirido una mejor manera de gerenciar, y entonces dijeron que sus programas no diseňó su propio y nuevo sistema de gestión. Este utilizan sus Marcos Lógicos para ejemplo de aprendizaje de “tipo 2” se relaciona no sólo otros propósitos. con el proceso de evaluación, sino con todo el paquete de instrumentos de gesti’on de DIPRES. Comentando sobre su aprendizaje específico de las EPGs, el Servicio A enfatizó el valor de contar con puntos de vista “frescos” y externos a la organización para analizar problemas específicos (aprendizaje de “tipo 1”). 61 2.13 Resultados Finales: Análisis y evaluación del uso de los resultados de evaluación por parte de los ministerios y los servicios/agencias para la planificación presupuestaria y la asignación de recursos. Æ Hipótesis/asuntos: Uso de los hallazgos de las evaluaciones por parte de los ministerios y agencias para sus tareas de: (i) gestión operativa de programas, (ii) planificación presupuestaria, y (iii) asignación de recursos. Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas de Staff de las Oficinas de Ministros y Altos Diputados del Staff de Evaluación Staff de Presupuesto Actores clave Ministeriales Presupuesto de los Presupuesto de los Funcionarios Congreso de DIPRES de DIPRES Servicios Ministerios Uno de los ministerios El Servicio/Agencia A está en Varios jefes de sector tiene sus propios permanente conexión directa presupuestario y compromisos - formales, con DIPRES. DIPRES sabe analistas coincidieron en acuerdos firmados más de lo que debería” (dijo que la calidad de las incluyendo el un actor clave con humor) presentaciones del desempeño financiero sobre lo que el presupuesto de los con los SSs. Servicio/Agencia A hace. El minsterios han mejorado entrevistado fue enfático en desde que los cuanto a que el ministerio del instrumentos de área decide la política del evaluación están en Servicio mientras que DIPRES operación, y que las provee el dinero (pero, agencias frecuentemente inmediatamente, contradijo citan los hallazgos de la esto parcialmente). DIPRES evaluación en apoyo de tiene una macro- visión de la sus propios pedidos de política sectorial del área – presupuesto. Un jefe de enfatizando, por ejemplo, la presupuesto de sector prevención y la optimización dijo que algunas veces de gastos –; el sector tiene las propuestas de una micro- visión. DIPRES ha presupuesto que estado aprendiendo sobre el presentan los ministerios sector de política pública del citan incluso hallazgos que forma parte el de evaluaciones Servicio/Agencia A. comisionadas por ellos Servicio/Agencia A: sus mismos. En contraste propios avances “suben la con ello, otro jefe de barra” para DIPRES, en el sector de presupuesto sentido de que el sostuvo que ellos no las planeamiento estratégico tiene utilizan mucho, y que no un aspecto de término medio ha notado ningún cambio que a su vez require la significativo en la calidad contraparte de programación de las presentaciones de del presupuesto a mediano presupuesto que realizan plazo. los ministerios. Otro de los jefes de sector presupuestario dijo que, desde que él está, en el cargo (2001), ha sido testigo de cómo la evaluación ha contribuido a 2 grandes cambios en la política sectorial. 62 4 Medicion global del Desempeño 1 Relación entre los costos del Programa y los resultados e impactos obtenidos, incorporando al análisis todos los conceptos de costo que resulten relevantes (a conclusiones) Evaluadores Jefes de Programa Coordinadores Staff de las Oficinas Staff de las Oficinas Ministros y Altos Diputados del Staff de Staff de Presupuesto Actores clave Ministeriales de Presupuesto de de Presupuesto de los Funcionarios Congreso Evaluación de de DIPRES los Servicios Ministerios DIPRES La mayoría de Uno de los Al menos 2 participantes participantes del GF1 participantes del GF del GF se quejaron de la coincidió en que los señaló que, aunque enorme cantidad de beneficios derivados de en su opinión las trabajo adicional que les estas evaluaciones evaluaciones son impuso el proceso de superan los costos que útiles, participar en el evaluación. Cuando las ellas impusieron a sus proceso implica una evaluaciones se programas. pesada carga para realizan, el volumen de las trabajo que enfrentan . agencias/programas. aumenta mucho, pero el Otro participante dijo tamaño de sus equipos que cuando ellos permance igual. piden información a las diferentes divisiones de sus Servicios/agencias para ser entregada a los evaluadores o a DIPRES, lo que reciben por respuesta es: “por favor, déjennos hacer nuestro trabajo” (es decir, que la multiplicidad de pedidos de información estaría interfiriendo con el normal desarrollo de las actividades regulares de los Servicios. 63 ANEXO E ACTORES INSTITUCIONALES EN EL SISTEMA DE EVALUACIÓN 64 ANEXO E ACTORES INSTITUCIONALES EN EL SISTEMA DE EVALUACIÓN Rol formal (según DIPRES) Rol informal (según lo percibido de entrevistas y Comentarios grupos de enfoque) Comité Interministerial SEGPRES, MIDEPLAN, Hacienda/DIPRES (preside el Comité) • Propone al Congreso los DIPRES propone la lista inicial de programas á ser Al menos un entrevistado del programas para evaluados. SEGPRES y MIDEPLAN tienden á aceptar la sector preguntó si la evaluación mayoría de las sugerencias de DIPRES, pero tienen selección de programas á ser • Asegura que los limitada capacidad para añadir programas en el margen. evaluados no debería reflejar resultados de la Se puede inferir que SEGPRES y MIDEPLAN no están mejor las prioridades evaluación son substancialmente envueltos en comunicar resultados o presidenciales comunicados á las asegurar soporte técnico y coordinación. instituciones relacionadas en el proceso. • Asegura el soporte técnico y coordinación para apoyar el proceso. DIPRES División de Control de Gestión (DCG) Es responsable por la DIPRES/División de Control de Gestión es el centro del • La asimetría de poder, ejecución de las evaluaciones. sistema de evaluación y lleva á cabo todas sus tareas de sustentada por el respeto Esto requiere: evaluación en considerable integración con su técnico al DIPRES, es un • Responsabilidad por administración de otros instrumentos de control gerencial elemento central de que metodología y diseňo que afectan á las agencias. es lo que hace el sistema operacional; de evaluación trabajar. • Proveer recursos; DIPRES/DCG recibe considerable autoridad de su • El otro lado de la • Operar el sistema; ubicación en la poderosa oficina de presupuesto, pero es moneda de la rigidez en • Examinar y aprobar los también técnicamente respetada. DIPRES es el sistema de evaluación proyectos y reportes universalmente vista por otros actores del sistema, como es la importancia de finales, y hacer por altos funcionarios, como el actor dominante en virtud rutinas estandardizadas comentarios; de su poder sobre el presupuesto. Es también un al proceso de producción • Enviar reportes finales al predominante parecer que no es bueno para las agencias de la evaluación (el Ejecutivo y al Congreso; tener una mala relación con DIPRES o no cumplir con sus modelo de “fabrica”). • Insertar resultados de mandatos. Estas percepciones ayudan á asegurar la Puede DIPRES/DCG evaluación cooperación de las agencias con DIPRES y los encontrar modos de ser evaluadores. Al mismo tiempo, la mayoría de los actores mas flexibles y reconocen la importancia de un fuerte control fiscal que el sensitivos dentro de este DIPRES ejerce; muchos aprecian la fortaleza técnica que modelo? Mas DIPRES trae á la mesa; pocos imaginan un radicalmente flexibilidad diferente sistema de control fiscal. Igualmente, probablemente DIPRES/DCG es técnicamente respetado. incrementara significativamente los DIPRES/DCG es percibido por las agencias como que costos de transacción del impone un rígido modelo de evaluación y proceso. Un DIPRES/DCG, y ellas no frecuente expresado parecer es que la mayor influencia del tienen la capacidad de DIPRES/DCG sobre el proceso de evaluación es el de manejar este incremento imponer rigidez (notablemente á través del Esquema Lógico, énfasis en los objetivos formales, cortos 65 Rol formal (según DIPRES) Rol informal (según lo percibido de entrevistas y Comentarios grupos de enfoque) cronogramas para EPGS). Otro parecer es que, en esbozar responsabilidades institucionales, DIPRES/DCG no se aleja de las recomendaciones del panel. Estos dos pareceres soportan una mas general parecer que la influencia del DIPRE/DCG sobre el proceso es en áreas metodológicas, más que en aspectos substantivos sectoriales. DIPRE/DCG no fue á menudo muy receptivo al punto de vista de las agencias, según algunos funcionarios de las agencias. DIPRES Jefes de Sectores Presupuestarios • Usa los resultados de El uso de los resultados de evaluación para influenciar (no El equipo del presupuesto evaluación y el determinar) las decisiones presupuestarias es una parte tiene el conocimiento monitoreo de creciente de la cultura presupuestal de DIPRES. Al menos sectorial (para seleccionar compromisos, como informalmente, el equipo de presupuesto del DIPRES es programas para evaluación parte de la Evaluación también consultado en un variado nivel, dependiendo del o proveer información para Interna en la preparación sector-en la elección de sectores para la evaluación. el proceso de evaluación) del presupuesto que el equipo del En la practica, los analistas de presupuesto del DIPRES DIPRES/DCG carece. En juegan un espectro de roles en el ciclo de evaluación, principio, debe ser posible participando en la selección de programas para evaluación y envolver á los analistas en el uso de resultados de evaluación en el análisis presupuéstales en el proceso presupuestal. Notablemente, hay algunos del staff quienes de evaluación mas ven la evaluación como un instrumento de un sistema formalmente y presupuestal orientado por resultados, en tanto otros no ven sistemáticamente, pero aun que las evaluaciones proveen ningún valor añadido por sus si hay estrecheces de tiempo propios trabajos. Generalmente, los analistas de presupuesto dado sus actuales y solo tienen tiempo para revisar á los aspectos principales presupuéstales de las evaluaciones; ellos no tienen tiempo responsabilidades, el asunto para profundizarse en las evaluaciones. no es uno de falta de tiempo pero que todavía se necesita En general, el staff de presupuesto del DIPRES no tiene un construir un puente entre el fuerte sentido de envolverse con el proceso de evaluación o staff del presupuesto y el del una fuerte relación con el staff del DIPRES/DCG. DCG. Sin embargo, siete entrevistados (Equipo del Presupuesto) dijeron que información ES USADA durante el proceso de preparación del presupuesto, y solo uno dijo ella no es todavía usada y este lo atribuyó huyo la necesidad del sistema de evaluación de primero enfocarse en otros asuntos (por ejemplo, identificar propiamente los objetivos del programa) y solo entonces estar preparados para mas útil información al equipo de presupuesto del DIPRES. Pero no pareció darnos alguna razón para creer que el pudiera pensar que la evaluación como tal no es un útil instrumento de un sistema presupuestal orientado por resultados. Evaluadores • Llevan á cabo Características de los evaluadores. Para las EPGSs, • Hay muchos modos en evaluaciones siguiendo DIPRES selecciona – á través de concurso publico y basado que un staff puede procedimientos definidos en la importancia de sus c.v.s.- un panel de tres equivocarse (e.g., por DIPRES independientes expertos no gubernamentales. Su criterio de específicos individuos selección enfatiza una mezcla de disciplinas relevantes. Es asignados á trabajar en á menudo percepción del staff (no compartida por la evaluación, no siendo evaluadores) que el criterio de selección enfatiza el 66 Rol formal (según DIPRES) Rol informal (según lo percibido de entrevistas y Comentarios grupos de enfoque) conocimiento metodológico á expensas del conocimiento el mejor disponible; el del particular sector. Es también una típica percepción del proceso contractual staff que la elección de firmas por DIPRES para las EIs, tomando mas tiempo). tiende á poner un mayor valor en lo experto en el sector. • Un incremento en (Los evaluadores de las Eis son universidades o consultarías remuneración mejoraría privadas seleccionados por concurso publico) Algunos del la calidad del equipo de las agencias reconocen que los evaluadores evaluador, así (EPGs y Eis) tienden á tener credibilidad debido al desarrollando una transparente proceso de selección de gente calificada fuera mayor, menos cerrada del gobierno. comunidad de evaluadores de EPG? Muchos equipos de agencias y evaluadores tuvieron Es difícil establecer comentarios críticos acerca del desempeño de los esto dado la falta de evaluadores o las condiciones de trabajo. evidencia, pero tuve la • Muchos vieron á los evaluadores como operando impresión que los dentro de estrechas guías impuestas por DIPRES (para incentivos de los las EPGs un termino de referencia que enfatiza el evaluadores podrían ser Esquema Lógico, pero olvida las especificidades muy fuertes y que sectoriales) que confina el trabajo de los evaluadores. podría haber un • Á pesar de alguna diferencia, la percepción problema de limitada prevaleciente en el staff del programa parecía acercarse oferta. á la idea que los panelistas simplemente tomaron y • Debe DIPRES hacer del rearreglaron la información del equipo del programa, conocimiento sectorial en vez de contribuir con información adicional o una mayor prioridad al “saber-hacer.” El equipo del Programa algunas veces conformar los paneles? reclamo de falta de conocimiento sectorial especifico o La preferencia de profundidad de análisis de parte de los evaluadores normativa diría “si” (EPGs y EIs) pero debemos • Algunos evaluadores percibieron serios problemas de interpretar los coordinación entre paneles, pero otros reconocieron comentarios del staff virtudes de un equipo mixto. del programa con • Los evaluadores de las EPGs también reclamaron de la cautela – pocos fuera de pobre remuneración (mientras reconociendo otros los evaluadores tendrían beneficios laterales del envolvimiento en las un conocimiento en evaluaciones de DIPRES). Un equipo del programa á profundidad de un veces percibió que los paneles de las EPG tuvieron sector dado, que iguala tiempo insuficiente en sus evaluaciones. el conocimiento de uno • Evaluadores (como DIPRES) á menudo no fueron muy del equipo del receptivos á los puntos de vista de una agencia, según programa. No he el parecer de algún miembro del equipo de una seguido los análisis de agencia. la calidad de la evaluación, pero dudo si estos han descubierto un signo que la calidad realmente sufre por inadecuada provisión de expertos en el sector. Instituciones Evaluadas • Proveen información al Las agencias tienen una predominante percepción que Panel al inicio de, y ellas juegan un rol pasivo en el proceso de evaluación. El durante, la evaluación. rol formal, como descrito, es mayormente pasivo (o • Para las EPGs: preparan reactivo). Esto fue fuertemente tenido en las percepciones un inicial Esquema reportadas. La gran mayoría de gente de los programas evaluados, servicios, y ministerios dijeron que sus niveles 67 Rol formal (según DIPRES) Rol informal (según lo percibido de entrevistas y Comentarios grupos de enfoque) Lógico para el panel. de envolvimiento en el proceso de evaluación fueron • Participan en reuniones mínimos nulos con muy pocas excepciones, esto parece solicitadas por los ser el caso con las EPGs y con las Ies igualmente, y en evaluadores y DIPRES. todas las etapas del proceso de evaluación. Por ejemplo: • Comentan sobre los • Las consultas de DIPRES con las agencias antes de la proyectos y reportes evaluación fue usualmente limitada á asegurar que los finales de evaluación. evaluadores seleccionados no tenían conflictos de • Comentan sobre las interés; recomendaciones y • Los equipos de las agencias no jugaron ningún rol en participan en el proceso los términos de referencia de las EI y percibieron que de establecer las metodologías se impusieron desde arriba; compromisos • Incluso en la preparación del Esquema Lógico inicial institucionales sobre la fue el DIPRES, en algunos casos, y no el equipo del base de estas. programa que actuó (de otro lado, no emerge información sobre cuanta influencia el equipo del programa tuvo subsecuentemente sobre la revisión de los evaluadores sobre el Esquema Lógico). Hay á menudo un problema, percibido diferentemente en ambos lados, de las agencias que proveen deficiente información á los evaluadores. Evaluadores perciben que ellos á menudo tienen poca información, á veces por que mejor información no es disponible, pero á veces por que el equipo de la agencia lo retiene (incluso si DIPRES es un fuerte aliado de los evaluadores, y esto ciertamente provee alguna ayuda en extraer información). El staff de la agencia dice que proveer información puede ser difícil por que la información del programa usualmente no concuerda con las categorías del gasto presupuestal. Las agencias tienen una percepción predominante que tienen una desigual capacidad de negociación con DIPRES. Muchos miembros del equipo de programa reclamaron que durante la negociación de los compromisos institucionales, ellos no tuvieron otra elección que terminar asintiendo en los compromisos que estuvieron mas allá de sus posibilidades para cumplir. Sin embargo, la mayoritaria percepción de las agencias es que tener buenos resultados de evaluación es estratégicamente importante para ellos. El equipo universalmente actúa en la convicción que adversos resultados de evaluación [o falta de cooperación] resultara en consecuencias presupuéstales adversas para el programa siendo evaluado. La mayoría pensó que el no cumplimiento de los compromisos llevaría á cortes de presupuestos. (Sin embargo, no es claro, según comentarios del equipo de presupuesto del DIPRES, si la falta á cumplir los compromisos es consistentemente castigado con reducciones del presupuesto o retenciones). El otro lado de la moneda es que los equipos de agencia encuentran particularmente valioso que las evaluaciones validen sus programas. 68 Rol formal (según DIPRES) Rol informal (según lo percibido de entrevistas y Comentarios grupos de enfoque) De otro lado, las agencias tienen una dominante percepción que los resultados de evaluación son de limitada utilidad para el aprendizaje de la agencia. Muchos miembros de los staffs de programa pensaron que sus programas aprendieron nada nuevo de las evaluaciones, pero hubo algunos puntos de vista positivos acerca de esto. (Nunca se esperó que el aprendizaje de una agencia sería un asunto importante del sistema de evaluación Chileno precisamente por el modo en que esta establecido). Hay un rango de variantes en las estrategias que diferentes agencias emplean para manejar el proceso de evaluación y usar los resultados. Hay alguna dominante pública discusión, especialmente entre los más altos miembros de los equipos de las agencias, en favor del desarrollo de una mayor cultura de gerencia de orientación por resultados (del cual la evaluación es parte). Esto podría (y debería en cierto grado) tomarse como evidencia de avances en el establecimiento de una cultura basada en resultados. Pero esta discusión es algunas veces un fenómeno de superficie cual es ocultado por el comportamiento del nivel de agencia que algunas veces puede percibirse. Mientras el proceso de evaluación y el subsiguiente proceso de acuerdos no fueran percibidos en si mismos, para motivar la participación activa de las agencias, diferentes agencias hubieran enfrentado el proceso en modos con rango desde cooperación y explotación de los resultados de la evaluación hasta la no cooperación (aparente cooperación acompañada de mínima provisión de información). Algunos programas y agencias – mas probablemente una minoría – han adoptado entusiástica mente la filosofía de gerencia estratégica de evaluación (y otros instrumentos de control gerencial del DIPRES) e ido mas con el desarrollo del proceso á través de sus propios esfuerzos (“Aprendizaje tipo 1”). Otros integrantes de los equipos, frustrados que DIPRES y los evaluadores no escucharían, algunos veces renunciaron á participar activamente en el proceso de evaluación, confinando sus comentarios en disenso al reporte final. Pero otros integrantes de los equipos han tenido una mejor relación con DIPRES y una más optimista percepción que sus argumentos prevalecerían. Algunos programas podrían engañar en el cumplimiento de sus compromisos institucionales por que, en la práctica, el cumplimiento es difícil de verificar para el DIPRES. Hay también variaciones, por sector, en el rol que los Ministerios juegan. Los equipos de los Ministerios jugarían roles diferentes vis-á-vis sus sectores, de los cuales sus programas son evaluados. Ellos defenderían el programa ante DIPRES. Ellos buscarían facilitar la coordinación entre DIPRES y los programas. Los ministerios podrían algunas veces usar la evaluación acorde sus esfuerzos de llevar al á un mayor cumplimiento 69 Rol formal (según DIPRES) Rol informal (según lo percibido de entrevistas y Comentarios grupos de enfoque) de sus propias políticas. También, el equipo del Ministerio no tendría tiempo para estar envuelto en los asuntos. (especialmente cuando el sector es grande y el Ministerio supervisa muchos Servicios). Congreso Nacional • Acuerda con el El real rol del Congreso es más limitado de lo que su Las evaluaciones podrían gobierno (á través del rol formal sugeriría. El Congreso generalmente ser más fáciles por el comité de concuerda con la propuesta del gobierno para la usuario. presupuesto) sobre los selección de programas á ser evaluados; pero tiene programas para ser alguna libertad para incluir sus selecciones en el evaluados. margen (“El protocolo es mas que PR, pero menos • Recibe los reportes de que negociaciones”). Conforme á percepciones fuera evaluación para su uso del Congreso, no hay un alto nivel de interés del en las deliberaciones Congreso en los resultados de las evaluaciones sobre el presupuesto. (especialmente fuera del comité de presupuesto). El punto de visto al interior del Congreso podría ser mas entusiasta. 70 ANEXO F META EVALUACIÓN DE LA CALIDAD DE LAS EVALUACIONES DE PROGRAMAS DEL GOBIERNO DE CHILE UNIVERSALIA/Banco Mundial 15 de noviembre de 2005 71 ÍNDICE ÍNDICE ............................................................................................................................. 72 I. RESUMEN .................................................................................................................... 73 II. Objetivos y Metodología de la Metaevaluación........................................................... 77 Evaluaciones 2002 .................................................................................................... 78 Evaluaciones 2003 .................................................................................................... 79 Tabla de Calificación según Criterios de Calidad..................................................... 81 III. Recomendaciones Según Criterios ............................................................................. 87 Respecto a la Organización y Claridad del Informe ................................................. 87 Respecto a la Racionalidad del Programa................................................................. 87 Respecto a la Lógica del Programa........................................................................... 88 Respecto a la Metodología de la Evaluación ............................................................ 89 Respecto a la Calidad de los Hallazgos .................................................................... 89 Respecto a las Conclusiones de los Informes ........................................................... 90 IV. Comentario General.................................................................................................... 91 V. Lecciones Aprendidas .................................................................................................. 91 COMENTARIOS DE DIPRES ........................................................................................ 93 72 I. RESUMEN Introducción. La Dirección de Presupuesto del Gobierno de Chile y el Banco Mundial están realizando la revisión del sistema de evaluación que viene siendo implementado desde el año 1997. Como parte de este proceso UNIVERSALIA con el apoyo del Banco Mundial realizó una Meta Evaluación de una muestra de las 145 evaluaciones denominadas Evaluaciones de Programas Gubernamentales (EPG) que fueron requeridas por el Congreso Chileno. Alcance. La muestra para la Meta Evaluación comprendió cinco informes de EPG del 2002 y cinco informes del 2003: • Evaluaciones 2002: (a) Programa PRO RURAL; (b) Programa CHILECOMPRA; (c) Programa EXPLORA; (d) Programa de Asistencia Técnica; y (e) Programa de Generación de Capacidades en Localidades Pobres. • Evaluaciones 2003: (a) Programa de Relaciones Familiares, (b) Programa de Fomento a la Inversión Privada; (c) Programa de Textos Escolares Educación Básica y Media; (d) Programa de Fortalecimiento de la Capacidad Fiscalizadora; y (e) Programa de Centros de Atención Integral y Prevención de la Violencia Intrafamiliar (VIF). Con la finalidad de medir la calidad de los Reportes de Evaluación los consultores elaboraron una Tabla de Calificación especialmente diseñada para este fin. Los criterios establecidos están en función de los requerimientos de calidad definidos como “básicos” y que corresponden a estándares reconocidos internacionalmente, para una evaluación. Los criterios que fueron usados son los siguientes: (a) Organización y Claridad del Informe, (b) Análisis de la Racionalidad del Programa; (c) Análisis de la Lógica del Programa; (d) Enfoque de la Evaluación; (e) Metodología utilizada; (f) Calidad de los hallazgos; y (g) Calidad de las Conclusiones y Recomendaciones. En base a estos criterios los informes fueron calificados y clasificados en: a) Altamente Satisfactorio; b) Satisfactorio; c) Moderadamente Satisfactorio; d) Moderadamente Insatisfactorio; e) Insatisfactorio; y f) Altamente Insatisfactorio. Actividades. Los consultores realizaron las siguientes actividades: (i) Preparación de la Tabla de Evaluación de Criterios; (ii) Revisión y Evaluación de los 10 Informes EPG; y (iii) Preparación del Informe Final. Consideraciones Generales. Cada uno de los diez informes analizados en función de los criterios mencionados, y la calificación resultante, fueron sometidos a un riguroso análisis de la manera como el reporte de evaluación reúne o no los requerimientos normativos o ideales de una evaluación de marco lógico. La calificación final de cada informe de evaluación permite analizarlo comparativamente con los informes de evaluaciones bajo estudio. Mediante este método, la suma de las 73 calificaciones otorgadas a las diez evaluaciones serviría de indicador de la calidad de las evaluaciones EPG en general. El análisis global identifica las principales fortalezas y debilidades de las evaluaciones EPG de la DIPRES cuando se les compara con estándares abstractos basados en prácticas internacionales para evaluaciones de escritorio o de marco lógico. Se advierte que esos estándares internacionales trazan un patrón metodológico que, si bien es el patrón seguido por el PE para las EPG, pueden no corresponder a los propósitos particulares del PE en esta etapa de fortalecimiento de la gestión pública en Chile. En otras palabras, el patrón internacional es un punto de referencia, pero la realidad actual de la planeación y la ejecución de los programas en Chile puede imponer ajustes o concesiones para adecuar ese patrón al propósito de fortalecer la gestión en Chile. En este sentido, la metodología utilizada para evaluar la calidad de las EPG presenta limitaciones intrínsecas que resultan particularmente gravosas cuando se la aplica a las EPG, en la etapa de desarrollo de evaluación en la que se encuentra Chile actualmente. A continuación se discuten estas limitaciones. Las limitaciones de la comparación con estándares internacionales nacen del hecho de que no existe un método único de evaluación que sea superior a los demás. No existe un método único porque los criterios de evaluación tienen que ajustarse a los objetivos y los medios del programa evaluado y a los propósitos de la evaluación. De manera que los criterios de la evaluación y sus pesos específicos deben guardar relación con las metas específicas que se persiguen y con las cuestiones particulares que se están analizando. Es evidente, por ejemplo, que la práctica internacional reconoce las evaluaciones que recompensan la consistencia lógica de un programa. Sin embargo, si las EPG de la DIPRES tiene entre sus propósitos actuales el mejoramiento de los marcos lógicos de los programas, no podría darse una baja calificación a una EPG que no se concentrara en la crítica o en la calificación negativa del marco lógico del programa sino que se esforzara por reconstruir ese marco lógico para dar mayor consistencia y efectividad al programa. Se insiste en que la calidad de la información de los programas incide directamente en la calidad de la evaluación, sobre todo en la línea de evaluación (EPG) que trabaja con información disponible en las instituciones (evaluación de escritorio). De acuerdo con las buenas prácticas internacionales, un programa de gobierno debe responder a esos problemas; y la evaluación debe ser dirigida a analizar la manera como el programa responde a esas cuestiones. Sin embargo, la DIPRES ha preferido restringir las evaluaciones, y particularmente las EPG, a los objetivos del programa, conectándolos parcialmente con objetivos superiores del servicio, del sector o del gobierno (objetivos estratégicos).1 Por ello, la metodología de evaluación idónea para las EPG, cuando menos en esta etapa de su desarrollo, no debería atribuir peso a la manera como la EPG analiza las sinergias entre el programa evaluado y los otros programas conexos del 1 Sin embargo, en los formatos de preparación del presupuesto para el 2005, y en años anteriores el Fondo Concursable, la DIPRES solicitó la identificación de los vínculos de los programas con las definiciones estratégicas. Ver formularios E y K para el proceso formulación presupuesto 2005. 74 gobierno; ni cómo los objetivos, resultados e indicadores de avance del programa encaran los retos de los objetivos superiores. En vista de las consideraciones anteriores, este Anexo se limita a presentar, como referente, los criterios de evaluación de la calidad de EPG que recomendaría la práctica internacional para este tipo de evaluaciones en general. Son criterios relativamente estándar, que aseguran la transparencia, reducen la subjetividad y facilitan la comparabilidad entre evaluaciones. Presenta también, por vía de ilustración, los pesos específicos que algunos de los expertos en evaluación atribuirían a esos criterios. E incluye igualmente conclusiones y recomendaciones que podrían seguirse para mejorar la calidad sustantiva de las EPG, si se pudiera hacer abstracción de los desafíos y de los propósitos particulares del PE de la DIPRES en el momento actual. Son puntos de referencia que podrían ser tenidos en cuenta, no para variar los objetivos y los métodos de las EPG en esta etapa del desarrollo del PE sino para incorporar más adelante en el PE o, más ampliamente, dentro del conjunto de instrumentos que constituyen el SCG. Este Anexo incluye también los argumentos y los comentarios preparados por la DCG de la DIPRES, bien sea para separarse de los criterios, o de los pesos relativos de éstos, propuestos en la metodología que seguirían las prácticas internacionales, o para no emplear por el momento una metodología estándar para medir la calidad de las EPG. Como lo refleja este Anexo F, dos consideraciones determinantes para la DIPRES son: i) el hecho de que la naturaleza de los programas evaluados por la DIPRES no se prestan siempre a la aplicación de todos los criterios metodológicos propuestos, y ii) el hecho de que la capacidad de absorción de la metodología de las EPG varía mucho de una agencia a otra. Hacer más compleja esa metodología con el solo fin de llenar los estándares que han ido depurando la práctica de países que tienen otro punto de partida podría arriesgar la realización de la evaluación, el seguimiento de sus recomendaciones o el grado de apropiación que de ella tienen actualmente los servicios chilenos. Recomendaciones. Respecto a la Organización y Claridad del Informe. Se considera indispensable continuar fortaleciendo la exigencia de las pautas de contenido mínimo de todo informe de evaluación, las cuales se incumplieron parcialmente en algunas de las primeras evaluaciones EPG. Respecto a la Racionalidad del Programa. Los evaluadores podrán analizar el grado en que las actividades programadas responden a logro de estos. Se recomienda que la DIPRES exija a los programas la elaboración de la MML con los niveles e información correspondiente, con miras a que el evaluador pueda realizar un análisis mejor sustentado de la racionalidad del Programa. Respecto a la Lógica del Programa. En tal sentido una recomendación a la DIPRES es que amplíe el documento guía denominado “Metodología para la elaboración de la MML” o genere otro que norme el proceso de elaboración de este instrumento. Sería recomendable que la DIPRES exija a los programas la implementación de estos sistemas como parte de sus acciones. 75 Respecto a la Metodología de la Evaluación. Resulta recomendable que la DIPRES exija al Panel evaluador la aplicación de instrumentos especialmente elaborados para el levantamiento de información clave que permita la verificación de los logros y efectos y para ello considere las implicancias presupuestarias que se derivan del mejoramiento metodológico La eficiencia y calidad de los programas deben sustentarse asimismo en los cambios y modificaciones que se producen en la población objetivo. Respecto a la Calidad de los Hallazgos. Se recomienda a los paneles evaluadores que realicen un análisis más exhaustivo de la calidad de la información de esta fuente de datos, con miras a la utilización de la información disponible para enriquecer el análisis e identificar mayores hallazgos. Respecto a las Conclusiones de los Informes. Los evaluadores deben establecer un orden en la presentación de las conclusiones. Las conclusiones deben poner en evidencia tanto las fortalezas del programa como sus debilidades y carencias. Se recomienda que los Paneles Evaluadores incluyan un acápite específico en que describan las Lecciones Aprendidas, tanto las referentes a la ejecución del programa, como las del proceso de evaluación Lecciones Aprendidas. Las más importantes pueden resumirse como sigue: • El principal desafío en llevar a cabo esta Meta Evaluación fue preparar y consensuar la Tabla de Evaluación • Las mejores evaluaciones fueron aquellas en las que el equipo evaluador aplicó instrumentos específicos para recoger la información clave • La objetividad en las evaluaciones requiere el respaldo de evidencia para sustentar hallazgos y conclusiones • Los evaluadores de programas deben tener un amplio entendimiento, conceptual y práctico de la metodología de evaluación que van a aplicar • Las instituciones ejecutoras y su personal deben participar en todo el proceso de evaluación. La interacción con el equipo evaluador enriquece el proceso pues la información no contenida en documentos y reportes puede salir a la luz como resultado de esta interacción y participación. 76 II. Objetivos y Metodología de la Metaevaluación La Dirección de Presupuesto del Gobierno de Chile y el Banco Mundial están realizando la revisión del sistema de evaluación que viene siendo implementado desde el año 1997. Como parte de este proceso UNIVERSALIA con el apoyo del Banco Mundial está realizando una Meta Evaluación de una muestra de las 145 evaluaciones denominadas Evaluaciones de Programas Gubernamentales (EPG) que fueron requeridas por el Congreso Chileno. Para la valoración de la calidad de las Evaluaciones del Gobierno, los términos de referencia establecidos proponen un análisis que contemple dos partes. El primero referido a la metodología estándar asociada con los resultados de las evaluaciones EPG, para determinar: sus fortalezas, usos potenciales y limitaciones inherentes. El segundo, al análisis de las evaluaciones seleccionadas en función de criterios genéricos previamente establecidos. La muestra para la Meta Evaluación comprendió cinco (5) informes de EPG del 2002 y 5 informes de EPG del 2003, correspondiendo a los programas: 77 Evaluaciones 2002 • Programa PRO RURAL, de los Ministerios del Interior y de Agricultura, Sub-Secretaría de Desarrollo Regional (SUBDERE) • Programa Chilecompra, del Ministerio de Hacienda, Dirección de Aprovisionamiento del Estado (DAE) • Programa EXPLORA, del Ministerio de Educación, Comisión Nacional de Investigación Científica y Tecnológica (CONICYT) • Programa de Asistencia Técnica, del Ministerio de Vivienda, Servicios Regionales de Vivienda y Urbanismo (SERVIU) • Programa de Generación de Capacidades en Localidades Pobres, del Ministerio de Planificación y Cooperación (MIDEPLAN), Fondo de Solidaridad e Inversión Social (FOSIS) 78 Evaluaciones 2003 • Programa de Relaciones Familiares del Ministerio del Interior, Fundación para la Familia • Programa de Fomento a la Inversión Privada, del Ministerio de Economía, Fomento y Reconstrucción, Corporación de Fomento de la Producción (CORFO) • Programa de Textos Escolares Educación Básica y Media, del Ministerio de Educación • Programa de Fortalecimiento de la Capacidad Fiscalizadora del Ministerio de Trabajo y Previsión Social, Dirección de Trabajo • Programa de Centros de Atención Integral y Prevención de la Violencia Intrafamiliar (VIF), del Ministerio de Planificación y Cooperación (MIDEPLAN), Servicio Nacional de la Mujer (SERNAM) Las EPG se encuentran normadas por la DIPRES. Para ello la DIPRES ha desarrollado una guía del proceso de evaluación (“Presentación General Evaluación de Programas Gubernamentales”) y ha puesto a disposición la Metodología del Marco Lógico. Las evaluaciones son realizadas por paneles evaluadores constituidos por tres profesionales externos al sector público, previa selección mediante una convocatoria pública. Cada evaluación debe ser realizada en un período de cuatro meses. Para la realización de la Meta Evaluación de la calidad de los Informes de Evaluación se aplicó una Tabla de Calificación especialmente diseñada para este fin. Los criterios establecidos están en función de los requerimientos de calidad definidos como los “básicos” de un Estudio de Evaluación de los Programas Gubernamentales (EPG). Estos criterios corresponden a estándares reconocidos a nivel internacional para la evaluación de programas y a las pautas y criterios para las EPG, establecidas por la DIPRES. Estos criterios fueron: • Organización y Claridad del Informe de Evaluación. • Racionalidad del Programa. • Lógica del programa. • Enfoque de la evaluación. • Metodología de la Evaluación. • Calidad de los Hallazgos. • Calidad de las Conclusiones y Recomendaciones. La Tabla de Calificación de la calidad de las Evaluaciones constituyó la guía para la realización del análisis, lo más objetivo posible. Su estructura contempla 3 niveles: • Criterios de calidad • Sub- criterios de calidad. • Aspectos de calidad Para cada uno de estos niveles se han definido pesos, que han sido asignados de acuerdo a la importancia del criterio, sub-criterio o aspecto de calidad, en el marco de la Meta evaluación. La suma de los pesos asignados a cada nivel suma 100%. La escala de calificación definida, no sólo permite calificar y ubicar el estudio en un nivel de calidad, 79 sino además organizar las evaluaciones realizadas para el análisis de conjunto. Esta escala contempla 6 niveles de calidad de la Evaluación: • Altamente Satisfactorio = Puntajes de 91 a 100 • Satisfactorio = Puntajes de 76 a 90 • Moderadamente Satisfactorio = Puntajes de 61 a 75 • Moderadamente Insatisfactorio =Puntajes de 46 a 60 • Insatisfactorio = Puntajes de 31 a 45 • Altamente Insatisfactorio = Puntajes de 0 a 30. El análisis contempla, en primer lugar, los niveles de cumplimiento de los aspectos que definen la calidad de los sub criterios y criterios, así como las calificaciones obtenidas en función de las notas asignadas. Ello permite finalmente mostrar el nivel de calidad alcanzado por cada criterio. El desarrollo del proceso de la Meta Evaluación contempló la realización de las siguientes actividades, según productos: Producto 1. Elaboración de la Tabla de Evaluación de Criterios para Calificar las EPG’s • Revisión de documentos y selección de Criterios, Sub-Criterios y Aspectos a evaluar • Determinación de Pesos para cada uno de ellos • Elaboración de Borrador de Tabla de Calificación de Criterios • Elaboración de documento metodológico • Envío de la Tabla y el documento metodológico al Banco Mundial para comentarios y retro-alimentación • Análisis e incorporación de comentarios recibidos Producto 2. Reportes de las 10 Evaluaciones de las EPG • Análisis y Calificación de cada uno de los 10 informes EPG • Elaboración de los 10 reportes preliminares • Discusión entre los miembros del equipo de los resultados obtenidos • Ajuste a las evaluaciones preliminaries • Elaboración de los 10 Reportes Finales Producto 3. Reporte Global • Elaboración de cuadros comparativos de calificación por Criterios • Análisis comparativo de los resultados obtenidos por criterio Junio 2004 • Elaboración del Borrador del Informe Global de Meta Evaluación • Elaboración del Informe de Síntesis • Envío del Borrador del Informe al Banco Mundial para comentarios y retroalimentación • Recepción, análisis e incorporación de comentarios y retroalimentación del equipo del Banco Mundial • Elaboración de documento final 80 Metodología. Consideraciones generales. Para la Evaluación de la calidad de los Informes de Evaluación se aplicó una Tabla de Calificación especialmente diseñada para este fin. Los criterios establecidos están en función de los requerimientos de calidad definidos como los “básicos” de un Estudio de Evaluación de los Programas Gubernamentales (EPG). Estos criterios corresponden a estándares reconocidos a nivel internacional para la evaluación de programas y a las pautas y criterios de las EPG, establecidas por DIPRES. Cada uno de los informes ha sido analizado en función de estos criterios, y la calificación resultante es producto de un riguroso análisis de los diferentes aspectos, tratando de ser lo mas objetivo posible. Para la calificación final del informe de evaluación se definió una escala de calificación, la cual ha permitido situar al informe en un nivel determinado y analizarlo en el marco de la evaluación de todos los informes de evaluación bajo estudio (un “Ranking” de puntaje de todas las evaluaciones). En el análisis global se ha tratado de identificar las principales fortalezas y debilidades de las evaluaciones. Tabla de Calificación según Criterios de Calidad La Tabla de Evaluación de la calidad de las Evaluaciones constituye la guía para la realización de un análisis objetivo de los informes. Su estructura contempla 3 niveles: • Criterios de calidad • Sub- criterios de calidad. • Aspectos de calidad Es importante recordar, que las EPG son evaluaciones de escritorio, que se desarrollan haciendo uso de la información disponible por el programa y en un período de tiempo relativamente corto (4 meses). Ello implica que algunos juicios evaluativos sobre resultados finales de los programas muchas veces son no conclusivos. Por esta razón es que a partir del año 2001 se incorporó la línea de trabajo consistente en Evaluaciones de Impacto de programas públicos en las que se utilizan instrumentos y metodologías más complejas de recolección y análisis de información, lo que implica que estas evaluaciones se desarrollan en períodos mas largos y a un mayor costo que las de la línea EPG. Ambas líneas de evaluación se complementan entre sí y forman parte del sistema de evaluación. Para cada uno de estos niveles se han definido pesos, tal como se detalla a continuación. Definición de pesos para los criterios: Se han definido 7 criterios de calidad, cuyo peso individual suma 100%. Los pesos han sido asignados de acuerdo a la importancia del criterio, en le marco de la presente evaluación. Los criterios de calidad establecidos son: • Organización y Claridad del Informe de Evaluación. Se ha revisado si el informe ha sido estructurado siguiendo el formato estándar y si esta redactado de una manera de fácil compresión a los lectores. • Racionalidad del Programa. Se evaluó si el programa discute adecuadamente el contexto en el cual fue creado (y su adecuación al contexto actual) así como, si las 81 actividades fueron descritas debidamente y responden a las necesidades de los beneficiarios. • Lógica del programa. Se ha revisado si el reporte establece con suficiente detalle las relaciones entre los insumos, procesos, resultados e impactos, si se ha evaluado la Matriz del Marco Lógico desarrollada por las instituciones y si se pueden extraer conclusiones significativas de la lógica del programa • Enfoque de la Evaluación. Se analizó si el enfoque de evaluación considera los temas relevantes como son: Eficiencia, Eficacia, Economía, sostenibilidad • Metodología de la Evaluación. Se verificó si la metodología aplicada en la evaluación del programa se ajusta a la metodología estándar indicada por la DIPRES (Marco Lógico) y si los instrumentos aplicados han sido los más idóneos. Asimismo si las fuentes de datos y técnicas de manejo permiten la verificación de los logros a través de indicadores. • Calidad de los Hallazgos. Se ha analizado si los datos y métodos son suficientemente sólidos para respaldar los hallazgos, así como la calidad del análisis de los datos. • Calidad de las Conclusiones y Recomendaciones. Se evaluó si las conclusiones se basan en la evidencia presentada, y si han permitido visualizar claramente los logros y efectos esperados del programa. Asimismo, se ha revisado si las recomendaciones se sustentan en las conclusiones y constituyen un aporte al gobierno para la toma de decisiones. 82 Definición de pesos para los sub-criterios: Cada criterio esta dividido en uno a más sub-criterios; la suma de los pesos de estos también es 100. Se ha asignado mayores pesos a los sub-criterios que se han considerado más importantes dentro del Criterio. En los casos en que no se ha percibido diferencia en importancia, se dividió equitativamente entre el número de sub- criterios del Criterio. Definición de los pesos por aspecto: Cada sub-criterio está compuesto de varios aspectos; la suma de los pesos de estos aspectos debe ser 100. De igual forma, se asignó mayor peso al ítem que se consideró más importante dentro del sub-criterio, desde el punto de vista de la calidad del informe de evaluación. 83 84 La escala de calificación permite no sólo ubicar el estudio en un nivel de calidad y calificarla, sino además organizar las evaluaciones realizadas para el análisis de todas en conjunto. Esta escala contempla 6 niveles de calidad de la Evaluación: 1) Altamente Satisfactoria. Puntajes de 91 a 100 indican que la evaluación realizada cumple con todos los criterios de calidad establecidos y que hace aportes importantes para la gestión de los programas gubernamentales. 85 2) Satisfactoria. Los puntajes de 76 a 90 indican que la evaluación cumple con todos los criterios de calidad establecidos y si bien los aportes son significativos, no tienen la relevancia del nivel anterior. 3) Moderadamente Satisfactoria. Los puntajes de 61 a 75, indican que la evaluación realizada cumple con la mayoría de los criterios de calidad y presenta algunos aportes. 4) Moderadamente Insatisfactoria. Los puntajes de 46 a 60, no han cumplido con la mayoría de los criterios de calidad, pero muestra algunos aportes significativos para la gestión de los programas. 5) Insatisfactoria. Los puntajes de 31 a 45 indican que la evaluación no ha cumplido con la mayoría de los criterios de calidad establecidos y no presenta aportes significativos. 6) Altamente Insatisfactoria. Los puntajes de 0 a 30 indican que la evaluación no ha cumplido con ninguno de los criterios de calidad establecidos, ni tampoco presenta aportes significativos. 86 III. Recomendaciones Según Criterios Respecto a la Organización y Claridad del Informe Se considera indispensable continuar fortaleciendo la exigencia de las pautas de contenido mínimo de todo informe de evaluación, las cuales se incumplieron parcialmente en algunas de las primeras evaluaciones EPG. Se trata de asegurar que los informes contienen efectivamente la información mínima que hoy se exige en los TTR, particularmente un índice de contenido y una matriz del marco lógico de la respectiva evaluación. 2 Además, todo informe de evaluación debiera incluir aquella información (o, cuando menos, hacer explícita referencia a ella) que por hacer parte del sistema se da generalmente por entendida, tal como ocurre con las fechas de iniciación y finalización de la evaluación y con la metodología estándar seguida por las EPG. De esta manera cada informe de evaluación podrá ser leído por sí mismo por los interesados, sin necesidad de suplementar el informe de evaluación con la información del PE en general Respecto a la Racionalidad del Programa • Un requisito primordial para analizar la racionalidad de un programa es el de que estén explicitadas las metas y objetivos, especialmente las que corresponde a los resultados esperados. En base a esta información los evaluadores podrán analizar el grado en que las actividades programadas responden a logro de estos. • Las Matrices de Marco Lógico de los programas se limitan a la presentación de indicadores sin especificar las metas a alcanzar. De otro lado la mayoría de estas sólo están desarrolladas hasta el nivel de componentes, obviando el nivel de actividades. Se recomienda que la DIPRES exija a los programas la elaboración de la MML con los niveles e información correspondiente, con miras a que el evaluador pueda realizar un análisis mejor sustentado de la racionalidad del Programa.. Respecto a las metas de los programas, la DIPRES aclaró que la evaluación debe comprender las diferentes dimensiones del desempeño y ámbitos de control, independientemente de si se han establecido metas. No se establece la exigencia de que los indicadores dispongan de metas ya que éstas muchas veces no han sido definidas o bien no han sido adecuadamente definidas, no pudiéndose efectuar juicios sólidos de desempeño en base a su grado de cumplimiento. Finalmente, la existencia o no de metas y su calidad es un problema de diseño y gestión del programa y no del proceso de evaluación. Respecto del análisis de las actividades, la DIPRES aclaró que éste no se realiza necesariamente a través de indicadores en ese nivel. A nivel de diseño se centra en 2 De entre los requerimientos anteriores, el elemento más desafiante es preparar y acordar la Matriz de Marco Lógico de Evaluación. Así lo hicieron las mejores EPG de entre las diez analizadas en el Anexo F. Si bien las evaluaciones siguen una metodología estándar, la Matriz de Evaluación, que incluye objetivos, metas, resultados y actividades del proceso de evaluación en sí da cuenta de la manera como los evaluadores apropiaron y utilizaron la metodología estándar en el caso específico. Adicionalmente, y para lectores externos, convendría agregar también los costos estándar y el presupuesto ejecutado de la evaluación. 87 analizar si éstas son las necesarias y suficientes para el logro de los componentes. En cuanto a la eficacia de los componentes se analiza el nivel, calidad y oportunidad de la producción de los bienes y/o servicios (productos) para lo que necesariamente se debe revisar las actividades desarrolladas para su logro. Adicionalmente, respecto del proceso de ejecución de los componentes, se debe responder si se identifica alguna actividad que podría mejorar la eficacia y/o eficiencia del programa; o bien si se identifican actividades que podrían ser prescindibles o posibles de sustituir por otras más eficaces o eficientes. Respecto a la Lógica del Programa Una carencia que permitió detectar la evaluación de este criterio es el limitado dominio de la mayoría de los integrantes de los paneles evaluadores, sobre la metodología del Marco Lógico, especialmente sobre los requerimientos de ésta para ser utilizado como instrumento de evaluación. En tal sentido se recomienda a la DIPRES poner énfasis en esta exigencia en el momento de seleccionar a los evaluadores. De otro lado sería indispensable que la DIPRES exija a las unidades ejecutoras la incorporación de la Matriz del Marco Lógico en la planificación y gestión de sus actividades. Ello requeriría que los profesionales responsables de estas tareas sean debidamente capacitados respecto al enfoque de la evaluación El factor principal que ha menguado la calidad del análisis de la parte sustantiva de la evaluación como es el de Temas Relevantes, es la falta de metas cuantitativas y cualitativas, previstas en un horizonte temporal, tanto para el fin del proyecto como para cada uno de los componentes y actividades planteadas. La metodología del Marco Lógico considera que estos deben estar debidamente propuestos en la Matriz al inicio de la ejecución, con miras a poder evaluar posteriormente los avances y logros, así como, los niveles de cumplimiento. Sin estos requisitos, las evaluaciones que se realicen pierden calidad. 3 En tal sentido una recomendación a la DIPRES es que amplíe el documento guía denominado “Metodología para la elaboración de la MML” o genere otro que norme el proceso de elaboración de este instrumento. La superación de esta limitación, evidenciada en la presente revisión, permitiría a) al Panel de evaluadores, elevar la calidad de las evaluaciones; b) a la DIPRES, realizar un seguimiento periódico del nivel de desempeño de los programas, y c) a las unidades ejecutoras, mejorar su nivel de eficiencia y eficacia a partir de un monitoreo y evaluación permanente. Otro factor importante que ha restado calidad a las evaluaciones realizadas es la falta de información generada por los sistemas de seguimiento y monitoreo. Ello ha repercutido en que muchos indicadores relativos a la gestión del programa no hayan sido evaluados. 3 Como se mencionó anteriormente, respecto a las metas de los programas, la DIPRES aclaró que no se establece la exigencia de que los indicadores dispongan de metas ya que éstas muchas veces no han sido definidas o bien no han sido adecuadamente definidas, no pudiéndose efectuar juicios sólidos de desempeño en base a su grado de cumplimiento. Finalmente, la existencia o no de metas y su calidad es un problema de diseño y gestión del programa. 88 En tal sentido sería recomendable que la DIPRES exija a los programas la implementación de estos sistemas como parte de sus acciones. Respecto a la Metodología de la Evaluación Es menester destacar que la mayoría de los Paneles Evaluadores han sustentado sus hallazgos en la información proporcionada por la institución ejecutora y/o fuentes secundarias. Un proceso de evaluación de resultados de calidad, implica que el evaluador al detectar vacíos de información, aplique instrumentos específicos para llenarlos. En tal sentido, resulta recomendable que la DIPRES exija al Panel evaluador la aplicación de instrumentos especialmente elaborados para el levantamiento de información clave que permita la verificación de los logros y efectos y para ello considere las implicancias presupuestarias que se derivan del mejoramiento metodológico La eficiencia y calidad de los programas deben sustentarse asimismo en los cambios y modificaciones que se producen en la población objetivo. Ello implica conocer la opinión de los usuarios y/o beneficiarios del programa sobre la gestión del mismo, la organización implementada y los profesionales que ejecutan las acciones, así como sobre el nivel de alcance de las expectativas respecto a los efectos. Se recomienda que este requerimiento este presente en los términos de referencia de la DIPRES y sobre esta base, el Panel enriquezca el análisis del capítulo de Temas Relevantes. La DIPRES resaltó que estas recomendaciones sobre la metodología son una exigencia para las Evaluaciones de Impacto (EI) debido a que éstas deben recoger información en terreno (Ver TTR de las EI). Las EPG, al ser de escritorio, incorporan la opinión de usuarios y/o beneficiarios en la medida en que existe información disponible y validada o bien en la medida que se pueda acceder a ella durante el período considerado para realizar la evaluación. Como se mencionó anteriormente, las evaluaciones de escritorio se desarrollan haciendo uso de la información disponible por el programa y en un período de tiempo relativamente corto (4 meses). Es por ello, que a partir del año 2001 se incorporó la línea de trabajo consistente en Evaluaciones de Impacto de programas públicos en las que se utilizan instrumentos y metodologías más complejas de recolección y análisis de información, lo que implica que estas evaluaciones se desarrollan en períodos mas largos y a un mayor costo que las de la línea EPG. Respecto a la Calidad de los Hallazgos Debido a que la calidad de los hallazgos está mejor sustentada en los informes en que el panel evaluador ha utilizado instrumentos de investigación propios o ha procesado la información disponible para la elaboración de indicadores y/o la determinación de logros y objetivos se reitera la recomendación de que se exija a los paneles evaluadores la aplicación de instrumentos de investigación propios con miras a identificar nuevos hallazgos y/o reforzar los detectados. De otro lado, teniendo en consideración que hallazgos significativos pueden ser identificados a partir de la información que provea el sistema de seguimiento y evaluación de los programas, se recomienda que la DIPRES exija a los ejecutores la 89 adecuada implementación de estos. Asimismo se recomienda a los paneles evaluadores que realicen un análisis más exhaustivo de la calidad de la información de esta fuente de datos, con miras a la utilización de la información disponible para enriquecer el análisis e identificar mayores hallazgos. La DIPRES señaló que los compromisos institucionales incorporan el mejoramiento de los sistemas de información que incluyen los indicadores definidos en la MML de los programas evaluados. Respecto a las Conclusiones de los Informes Los evaluadores deben establecer un orden en la presentación de las conclusiones. Este puede ser definido en función a los temas evaluados o de acuerdo al nivel de importancia. Ello permitirá una mejor visión de los resultados de la evaluación. Las conclusiones deben poner en evidencia tanto las fortalezas del programa como sus debilidades y carencias. El énfasis en estos últimos aspectos podría ser interpretado como signo de parcialidad y subjetividad de los evaluadores. Todo proceso de evaluación constituye una experiencia enriquecedora. La sistematización del aprendizaje que implico su realización puede constituirse en guía de futuras evaluaciones y mejoras permanentes de la metodología aplicada. En tal sentido, se recomienda que los Paneles Evaluadores incluyan un acápite específico en que describan las Lecciones Aprendidas, tanto las referentes a la ejecución del programa, como las del proceso de evaluación 90 IV. Comentario General El reto que implica la tarea de realizar una Meta evaluación de evaluaciones de programas gubernamentales parte del reconocimiento que se trata de un proceso que tiene por objetivo emitir un juicio acerca de la calidad o los meritos de una evaluación y el principal problema a enfrentar es el de la definición de los criterios, los cuales deben ser definidos en función de una concepción de lo que debe caracterizar el informe de evaluación. En tal sentido, la presente Meta Evaluación ha definido una Matriz de Calificación que se sustenta en criterios considerados relevantes para calibrar los niveles de calidad de las evaluaciones, pero además considerando como parámetro de referencia la metodología establecida por la DIPRES para la realización de las Evaluaciones de los Programas Gubernamentales. Sobre esta base se ha desarrollado este proceso, el cual pone en evidencia una característica general que merece ser mencionada: La preocupación principal de la mayoría de los paneles Evaluadores de limitarse al cumplimiento de la normativa de la DIPRES respecto a las EPG, sin profundizar en el desarrollo de aspectos que contribuirían en una mayor calidad de la evaluación realizada. En tal sentido las deficiencias y vacíos encontrados en los informes se derivan fundamentalmente de la interpretación de esta normativa, la cual tiene como restricción su generalidad en los requerimientos metodológicos. V. Lecciones Aprendidas Resulta difícil sintetizar en pocas líneas las múltiples lecciones aprendidas de este proceso de Meta Evaluación (y de los resultados del mismo). En tal sentido se han seleccionado las más relevantes, como son: • El elemento clave de un proceso de evaluación es el entendimiento claro del objetivo de la evaluación. En función de este se establece el planteamiento analítico y el metodológico. Esta lección es aplicable tanto en el caso de las Evaluaciones de los Programas Gubernamentales, como en los procesos de realización de una Meta Evaluación. En el caso de la presente Meta-Evaluación el principal reto fue la elaboración de la Matriz de Calificación en función de criterios establecidos, teniendo como horizonte el objetivo definido: Evaluar la calidad de los informes de Evaluación. • Las mejores evaluaciones son aquellas en las que el equipo evaluador aplica instrumentos específicos para el levantamiento de la información clave. Ello por un lado asegura una evaluación consistente y objetiva de temas relevantes como el de Eficacia, Eficiencia y Calidad, a partir de la construcción de los indicadores planteados. De otro lado, garantiza la confiabilidad, pertinencia e independencia de la evaluación. 91 • La objetividad de un proceso de evaluación requiere el acompañamiento de evidencias que sustenten sus hallazgos y conclusiones. Las deficiencias relativas a las evidencias de algunos de los informes, originó que parte sus conclusiones puedan ser interpretadas como que obedecen a una concepción subjetiva del Panel restando calidad a la evaluación. • El conocimiento conceptual y práctico de los evaluadores sobre la metodología de evaluación a aplicar influye en la calidad analítica de una evaluación. Un conocimiento limitado, como el que se percibió en algunas evaluaciones, dificulta el proceso, deja vacíos, restringe la capacidad analítica y prepositiva y, brinda reportes de pobreza analítica. • Finalmente, cabe mencionar que otra lección que se deriva del presente trabajo es la importancia que adquiere en un proceso de evaluación, la participación de los ejecutores en las distintas etapas de éste. La interacción permanente entre el equipo evaluador y el equipo ejecutor enriquece el proceso debido a que se rescatan elementos no visualizados en documentos y datos. 92 COMENTARIOS ADICIONALES DE DIPRES Las observaciones que a continuación se presentan corresponden a las realizadas al Tomo II, “Informe Global”. Cabe señalar que una parte importante de los comentarios que se presentan a continuación han sido documentados y entregados al Banco Mundial así como también algunos temas han sido observados en el informe de avance. Observación General En la definición y aplicación de los criterios y subcriterios para evaluar la calidad de los informes EPG de la muestra no se considera debidamente las características y alcances que tiene esta línea de evaluación. Cabe recordar que éstas son evaluaciones de escritorio, que se desarrollan haciendo uso de la información disponible por el programa y en un período de tiempo relativamente corto (4 meses). Ello implica que algunos juicios evaluativos sobre resultados finales de los programas muchas veces son no conclusivos. Por esta razón es que a partir del año 2001 se incorporó la línea de trabajo consistente en Evaluaciones de Impacto de programas públicos en las que se utilizan instrumentos y metodologías más complejas de recolección y análisis de información, lo que implica que estas evaluaciones se desarrollan en períodos mas largos y a un mayor costo que las de la línea EPG. Ambas líneas de evaluación se complementan entre sí y forman parte del sistema de evaluación. Documentos que describen las dos líneas de evaluación antes mencionadas han sido entregados al equipo evaluador del Banco Mundial. Esta consideración general debe ser planteada en el texto introductoria de este documento. Observaciones Específicas 1. Pag. 11. Definición de pesos para los criterios. En relación a la ponderación que se asigna a cada uno de los criterios, llama la atención el bajo peso relativo que se da al criterio “enfoque de la evaluación” (15%) en circunstancias que este criterio parece ser relevante para evaluar la calidad de los informes según la definición que se establece en el documento: “evalúa el nivel de análisis y desarrollo de indicadores que lo sustentan, de cada uno de los temas relevantes considerados como objeto de evaluación de EPG, como son Diseño del programa; Organización y Gestión, Eficacia y Calidad, Eficiencia y Economía, justificación de la continuidad, Sostenibilidad y Aspectos Innovadores.” Incorporar esta nota en pág. 11 Definición de pesos para los criterios. Es importante aclarar que el Programa ha considerado por “metodología de evaluación” el uso de la MML complementándolo con el formato único de evaluación, el que permite analizar aspectos no considerados en dicha matriz, tales como: Organización y Gestión, Justificación, Sostenibilidad y Aspectos Innovadores 4 . 4 Ver documento en página web www.dipres.cl en Control de Gestión, publicaciones “Sistema de Control de Gestión y Presupuestos por Resultados. La Experiencia Chilena.” 93 2. Principales limitaciones y/o debilidades encontradas. Se señala lo siguiente: “Prácticamente ningún informe describe los pasos metodológicos del proceso de evaluación, es decir, las actividades desarrolladas para la realización de ésta. Se verifica que sólo uno la evaluación correspondiente al programa Chile Compra adjunta las instrucciones de la Metodología Best Method.” Cabe recordar la existencia del formato de evaluación que establece pasos a seguir. Además, se exige citar la bibliografía utilizada, referencias a entrevistas, validaciones de metodologías utilizadas por el programa para recoger o procesar información evaluativa existente, y en caso de realizarse un estudio complementario, como es el caso al cual se hace referencia, se describe la metodología específica y el instrumento utilizado. Los estudios complementarios corresponden a revisiones y/o actividades específicas o puntuales que permiten fortalecer alguno de los juicios evaluativos. No se trata de estudios que recojan información primaria con representatividad estadística y solo se realizan en casos en que se ha considerado necesario y compatible con los plazos. 3. Respecto a la estructura y ordenamiento de los informes. La opción de formato/estructura que el Programa le ha dado a los informes obedece a la necesidad de separar lo que es descripción de lo que es análisis y conclusiones a objeto de presentar al lector una descripción lo más completa posible del programa, que más adelante permita la máxima comprensión del análisis evaluativo del programa (el que ya ha sido descrito) y sus conclusiones. Reconociendo que no existe una estructura de ordenamiento perfecta, de acuerdo a la experiencia, se ha optado por el formato antes señalado ya que ofrece menos desventajas. 4. Se hace referencia a que las MML de todos los programas fueron recibidas por los evaluadores sin información respecto a las metas de cada indicador lo cual se indica ha limitado el análisis de la racionalidad. Al respecto, nuestra opinión es que una evaluación es más que una evaluación de metas y debe comprender las diferentes dimensiones del desempeño y ámbitos de control, independientemente si se han establecido metas. Se reitera lo señalado en las observaciones al informe de avance donde se especifica que no se establece la exigencia de que los indicadores dispongan de metas ya que éstas muchas veces no han sido definidas o bien no han sido adecuadamente definidas, no pudiéndose efectuar juicios sólidos de desempeño en base a su grado de cumplimiento. Finalmente, la existencia o no de metas y su calidad es un problema de diseño y gestión del programa y no del proceso de evaluación. 5. Respecto del establecimiento de metas, este tema ya fue comentado en la observación anterior. Respecto del análisis de las actividades éste no se realiza necesariamente a través de indicadores en ese nivel. A nivel de diseño se centra en analizar si éstas son las necesarias y suficientes para el logro de los componentes. En cuanto a la eficacia de los componentes se analiza el nivel, calidad y oportunidad de la producción de los bienes y/o servicios (productos) 94 para lo que necesariamente se debe revisar las actividades desarrolladas para su logro. Adicionalmente, respecto del proceso de ejecución de los componentes, se debe responder si se identifica alguna actividad que podría mejorar la eficacia y/o eficiencia del programa; o bien si se identifican actividades que podrían ser prescindibles o posibles de sustituir por otras más eficaces o eficientes. 6. Se debe fundamentar mejor el juicio respecto del “limitado dominio de la mayoría de los integrantes de los paneles evaluadores sobre la metodología de ML”. 7. Respecto de la capacitación cabe reiterar que los profesionales de las unidades ejecutoras son capacitados por la DIPRES en la metodología de ML al inicio de cada proceso de evaluación. Adicionalmente y según lo observado en el informe de avance, MIDEPLAN realiza asistencia técnica a unidades ejecutoras para la preparación de las MML solicitados en el proceso de formulación de los presupuestos. (Ver Formularios E y K de la formulación de Presupuesto 2005). 8. Respecto de la incorporación de la MML en la planificación y gestión de las actividades de las unidades ejecutoras, esto forma parte de los compromisos institucionales establecidos con posterioridad a la evaluación. Adicionalmente, el marco lógico está siendo utilizado como un herramienta permanente en la formulación presupuestaria. (Ver Compromisos Institucionales y Formularios E y K de la formulación de Presupuesto 2005) 9. Respecto del criterio aplicado denominado “enfoque de la evaluación”, entre los aspectos evaluados se señala los “aspectos innovadores”. Al respecto cabe señalar que, no obstante el formato incluye este aspecto, no se estima adecuado incorporarlo para evaluar la calidad de los informes por cuanto un programa puede no presentar ningún aspecto destacable en ese ámbito. La definición de “aspectos innovadores” que se ha definido el Programa es la de destacar, en los casos en que esto haya ocurrido, “aquellos elementos o procesos nuevos, ya sea en el diseño o ejecución del programa, y que han significado una contribución al desempeño del mismo en algunos de sus ámbitos de evaluación (eficacia, eficiencia o economía)” 5 , distinguiéndolos de practicas normales. La existencia o no de aspectos innovadores se refiere al programa y no a la calidad de la evaluación. Finalmente, respecto de éste y otros requerimientos especificados en el formato, cabe señalar que pueden no ser aplicables por igual a todos los programas evaluados. 10. Recomendaciones. En relación a la recomendación de exigir a los programas evaluados la implementación de sistemas de información para mejorar las deficiencias de información de los programas. Cabe señalar que los compromisos institucionales incorporan el mejoramiento de los sistemas de información que incluyen los indicadores definidos en la MML de los programas evaluados. 5 Documento entregado: “Orientaciones para la elaboración del Informe Final. Proceso 2004.” 95 11. Principales limitaciones/debilidades de la metodología de la evaluación.. El diseño del Programa de Evaluación considera la participación de la institución en la definición de los TTR de los estudios complementarios y en su ejecución. Muchas veces estos estudios no podrían realizarse sin la participación de la unidad ejecutora del programa evaluado. 12. Recomendaciones. Estas recomendaciones son una exigencia para las Evaluaciones de Impacto (EI) debido a que éstas deben recoger información en terreno (Ver TTR de las EI). Las EPG, al ser de escritorio, incorporan la opinión de usuarios y/o beneficiarios en la medida en que existe información disponible y validada o bien en la medida que se pueda acceder a ella durante el período considerado para realizar la evaluación. 13. Cuando en el proceso de evaluación no es posible disponer de mejor información para el análisis evaluativo, a nivel de recomendaciones se aborda este tema, el cual posteriormente se recoge y se incorpora dentro de los compromisos institucionales. 96 ANEXO G.1 EVALUACIÓN DE LA EVALUACIÓN DEL PROGRAMA DE MEJORAMIENTO URBANO – PMU Diciembre del 2005. 97 CONTENIDO Página Resumen Ejecutivo 4 I INTRODUCCION 9 1 Propósito de la evaluación 9 2 El Programa de Mejoramiento Urbano 9 3 Propósito de la evaluación 10 II PRINCIPALES HALLAZGOS DE LA EVALUACION 11 4 Eficacia del Programa 11 5. Recomendaciones de la evaluación 14 III RESUMEN DE LA METODOLOGIA DE EVALUACION 15 6. Niveles de análisis 15 7. Definiendo los impactos y los resultados 16 8. Análisis y presentación de los hallazgos 19 IV EVALUANDO LA METODOLOGIA DE EVALUACION 19 9. Evaluando la metodología de evaluación con las limitaciones del mundo real con las que fue realizada 19 10. Marco conceptual 20 11. Diseño de la muestra 21 12. Instrumentos de encuesta y procedimientos de recolección de datos 26 V ANÁLISIS E INTERPRETACION DE LOS DATOS 29 13. Productos 29 14. Resultados intermedios 30 15. Impactos (resultados finales) 32 VI RECOMENDACIONES: ¿SON LOGICAS Y ESTÁN RESPALDADAS POR LOS DATOS DE LA EVALUACION? 34 16. Justificación para recomendar la continuación del programa 34 17. Recomendaciones 35 VII PONIENDO LA EVALUACION DEL PMU EN EL CONTEXTO DEL PROGRAMA NACIONAL DE EVALUACION 36 18. ¿Cumplió la evaluación con los términos de referencia técnicos? 36 19. Enseñanzas extraídas y recomendaciones para evaluaciones futuras 37 Cuadro 1 Metodología de evaluación 17 Cuadro 2 Evaluando el cumplimiento de la evaluación del PMU con los Términos de Referencia Técnicos 39 Gráfico 1 Resumen del diseño de la muestra de evaluación del PMU 23 98 1. Resumen Ejecutivo Este es el primero de una serie de informes en preparación por el Departamento de Evaluación de Operaciones del Banco Mundial sobre evaluaciones de impacto seleccionadas realizadas como parte del Programa de Evaluaciones coordinado por la Dirección de Presupuestos del Ministerio de Hacienda de Chile. La presente evaluación fue realizada sobre el Programa de Mejoramiento Urbano (PMU). El PMU proporciona apoyo financiero a las municipalidades para implementar proyectos en las áreas de infraestructura comunitaria, servicios públicos, servicios básicos, rutas y caminos y seguridad comunitaria. El objetivo general del PMU es mejorar la calidad de vida de la población urbana de bajos ingresos en las comunas mediante el acceso al empleo, la participación cívica, la socialización, la seguridad cívica y la provisión de servicios de emergencia mediante el financiamiento de proyectos de inversión. Los objetivos específicos son: apoyar a las municipalidades a través de la provisión de fondos para la inversión local, reforzar la regionalización y la descentralización y proporcionar mecanismos para financiar programas especiales para atender a las necesidades de corto plazo. El contexto del mundo real en el que se realizó la evaluación Al evaluar la metodología empleada en esta evaluación de impacto, es importante reconocer el contexto en la que fue realizada. El PMU financió grandes cantidades de pequeños (costo promedio de US$ 15.000) y diversos proyectos de infraestructura comunitaria. Éstos fueron administrados por municipalidades en todo el país, muchas de ellas pequeñas y con limitado personal profesional y, en consecuencia, limitada capacidad para planificar y monitorear cuidadosamente los proyectos. Los evaluadores hallaron difícil incluso el identificar a muchos de los proyectos (por ejemplo, reparar una vereda o construir un establecimiento de salud de una sola habitación) y en casi ningún caso había una clara definición de los beneficiarios pretendidos o potenciales. En este contexto los consultores de evaluación y la DIPRES deben ser felicitados por haber diseñado y realizado una evaluación de impacto planeada reflexivamente y ejecutada eficientemente. Ellos pudieron también construir bases de datos lo suficientemente sólidas como para realizar análisis econométricos. Dadas las limitaciones de los datos y de otro orden, no fue posible usar los más sofisticados tipos de diseño cuasi experimentales a los que aspiran los evaluadores. En esta evaluación tratamos de juzgar el diseño de la evaluación en términos de las limitaciones de los datos y de orden metodológico que tuvo que afrontar. En varios puntos la revisión sugiere tipos de análisis adicionales que podrían haberse requerido y en varios lugares en el texto incluimos observaciones de la DIPRES explicando por qué estas recomendaciones no fueron viables o por qué no se requirieron preguntas o análisis adicionales para responder a los Términos de Referencia Técnicos (TTR) que guiaron al equipo de evaluación. 99 Conclusiones y Recomendaciones de la Evaluación Entre 1996 y 2001, el PMU financió más de 18.000 proyectos. Durante el período 1999- 2001, el PMU fue también capaz de proveer 43.000 trabajos temporales a trabajadores no calificados, la mayoría de los cuales habían estado desempleados por más de un año. Sin embargo, los proyectos fueron ejecutados directamente por las municipalidades, y su falta de experiencia en el reclutamiento de trabajadores y en la supervisión de proyectos, combinados con presiones para contratar cuantos trabajadores fuese posible, significó que la calidad del diseño, la ejecución y el mantenimiento de la mayoría de los proyectos fuese muy pobre. A pesar de la baja calidad técnica de los proyectos, la respuesta de la mayoría de funcionarios municipales, así como la de los trabajadores contratados bajo el programa y las comunidades beneficiadas fue en su mayoría muy positiva. Consiguientemente, el informe recomienda que el programa debe continuar, pero con una cantidad de cambios específicos, a fin de mejorar la determinación de objetivos, la calidad y el monitoreo. Evaluando la evaluación El examen concluye que la evaluación fue diseñada de un modo muy lógico y completo. La selección de muestras fue diseñada y ejecutada de manera cuidadosa y sistemática, y los instrumentos de recolección de datos cubrieron en la mayoría de los casos todos los temas importantes. El análisis estadístico fue completo, usando un conjunto de técnicas apropiado para el análisis de las variables nominales, ordinales e integrales. El análisis multivariable ayudó a identificar interacciones entre las variables que influyeron en el resultado de los proyectos. El equipo de evaluación fue también cuidadoso al identificar las limitaciones de los datos disponibles y evitar generalizaciones más allá de estos datos. En particular, ellos enfatizaron que las limitaciones de los datos hicieron muy difícil determinar la efectividad del programa para enfocarse en los grupos más pobres y vulnerables. A pesar del diseño generalmente muy apropiado de la evaluación y del análisis, este informe identifica varios temas que deben ser abordados en evaluaciones similares en el futuro: 1. Él diseño de la evaluación incluyó una clara definición de los productos, resultados intermedios e impactos buscados, y también identificó un conjunto de indicadores cuantitativos y cualitativos para evaluar el desempeño. Sin embargo, para futuras evaluaciones sería útil considerar el desarrollo de un modelo teórico (lógico) de programa para describir la secuencia lógica en la que se lograrían los productos e impactos buscados y que identificase las hipótesis clave que expliquen las relaciones de causalidad entre las diferentes etapas del modelo. Muchos de estos modelos identifican también las variables contextuales (como las características socioeconómicas de las diferentes comunidades, las condiciones económicas y políticas locales, etc.) que podrían afectar los resultados del programa. 100 2. Si bien el diseño general de la muestra es bueno, el único aspecto potencialmente débil fue la decisión de entrevistar a sólo dos familias no escogidas al azar en cada uno de los 300 proyectos incluidos en la muestra1. Se recomienda firmemente que en todo futuro estudio similar se considere la posibilidad de realizar pequeños y rápidos estudios etnográficos en una submuestra de proyectos con el fin de comparar las características de los beneficiarios y los no beneficiarios e identificar algunos de los factores que determinan a quiénes benefician los diferentes tipos de proyecto. 3. Se hicieron recomendaciones concernientes a los instrumentos de encuesta usados para entrevistar a los beneficiarios en los 5 tipos de proyectos. Se podrían haber incluido más preguntas sobre: (a) opiniones sobre los beneficios laborales de los proyectos; (b) la ejecución de los proyectos (los residentes de la comunidad hacen a menudo observaciones muy perspicaces sobre la calidad del trabajo y la eficiencia de los contratistas); (c) más preguntas específicas acerca de la calidad y utilización de los proyectos. 4. Los argumentos proporcionados para justificar la continuación del PMU no fueron considerados muy convincentes. Después de reconocer que la calidad de los proyectos fue pobre y que los costos unitarios fueron probablemente más elevados que los de proyectos comparables del MINVU, se hizo la recomendación de que el programa continuase con ciertas modificaciones a fin de mejorar su eficiencia. La única información presentada para fundamentar la recomendación fue un cuadro mostrando la proporción de comunidades que carecen de servicios básicos. Si bien se reconoce que en proyectos similares no se dispone con facilidad de datos comparativos de costo y efectividad, habría sido útil —en la medida en que hubiese sido posible— haber incluido: (a) datos comparativos sobre los costos unitarios de la generación de empleo en otros programas de empleo dentro —y posiblemente fuera— de Chile2 y (b) la comparación de los costos de la provisión o mejora de la infraestructura urbana y los servicios con programas alternativos. 1 Aunque se reconocen las dificultades y el costo de usar muestras comunitarias mayores (particularmente cuando no había un marco de muestreo satisfactorio en el nivel comunitario), la muestra de beneficiarios debilita algunos aspectos del análisis. Sin embargo, debido a que el PMU no posee un registro de sus beneficiarios, es decir, no existe una identificación del universo, fue imposible seleccionar aleatoriamente un grupo de éstos. Por otra parte, la DIPRES aclaró que debido a la naturaleza del proyecto de equipamiento comunitario que financia el programa y a la existencia de múltiples iniciativas de los gobiernos regionales y locales que financian construcción y/o mantención de equipamiento comunitario similares a lo realizado a través del PMU, es imposible identificar un grupo de no-beneficiarios a partir del cual construir un grupo de control. 2 La DIPRES aclaró que el foco de la evaluación no fue en la generación de empleos, debido a que esa es una función transitoria del PMU y por tanto el el foco de la evaluación estuvo en resultados esperados del PMU en relación a sus beneficiarios finales. Respecto del tema empleo, sólo se solicitó analizar resultados de nivel de producto (empleos generados) y resultados intermedios (si los trabajadores correspondían a cesantes y el tiempo de permanencia promedio en el empleo generado por el PMU). Las definiciones anteriores en relación con el alcance de la evaluación fueron realizadas de acuerdo a los requerimientos de información de los actores institucionales involucrados (Ministerio de Hacienda y Congreso). Para responder al análisis comparativo de los programas de empleo se decidió efectuar la evaluación de impacto de los distintos programas de empleo con apoyo fiscal existentes, la que se realizó el año 2004 (ver informe final en sitio web Dipres: www.dipres.cl, control de gestión, evaluaciones de impacto). 101 5. Las recomendaciones acerca de las formas de mejorar el programa fueron lógicas y claras. Cumplimiento de los términos de referencia técnicos Todas las evaluaciones de impacto realizadas bajo el Programa de Evaluación de Evaluaciones de Programas procuran ceñirse a los procedimientos de diseño estándar indicados en los términos de referencia técnicos. Se realizó una apreciación de la medida en la que la presente evaluación cumplió con los requerimientos de los TTR concernientes a la cobertura y la metodología. Con respecto a la cobertura de los temas clave, la evaluación fue calificada buena o al menos satisfactoria en todos los temas. La calidad de la metodología fue calificada como satisfactoria o mejor en todas las áreas, excepto en una subárea del diseño de muestras (relativa a la selección de beneficiarios del proyecto). • La metodología fue excelente o buena para: la definición de indicadores, la evaluación de productos y de resultados intermedios, y el análisis de la utilización de recursos. • La metodología fue satisfactoria para: la combinación de métodos cuantitativos y cualitativos, el uso de grupos de discusión, los instrumentos de recolección de información, el análisis del impacto global y el diseño general de la muestra. Enseñanzas extraídas y recomendaciones para evaluaciones futuras Los consultores y la DIPRES deben ser felicitados por un enfoque reflexivo y riguroso a una evaluación difícil. De este estudio se pueden extraer varias enseñanzas: a. Es importante acordar de antemano la prioridad relativa de las diferentes preguntas de la evaluación y, por consiguiente, en el modo más eficiente de utilizar el presupuesto de la evaluación. En el presente caso, se sostiene que se debió haber asignado más recursos a un número mucho mayor de entrevistas a beneficiarios en una submuestra de proyectos. El hecho de que sólo fueran entrevistados dos beneficiarios en cada uno de los proyectos seleccionados limitó severamente los tipos de análisis que pudieron realizarse. Esta es una cuestión de definición de prioridades y, para algunos fines, el actual diseño de muestra sería adecuado. b. A pesar de las dificultades metodológicas, es usualmente útil incluir un grupo de control representativo de toda la población-objetivo. En el presente caso, la falta de un grupo de control dificultó evaluar la efectividad del programa en cuanto a alcanzar a las familias pobres o comparar las características de los hogares que se beneficiaron o no con las inversiones. No obstante, se reconocen las dificultades prácticas de usar un grupo de control.3 3 Debido a que el PMU no posee un registro de sus beneficiarios, fue imposible seleccionar aleatoriamente un grupo de éstos. Por otro lado, debido a la naturaleza del proyecto de equipamiento comunitario que financia el programa y a la existencia de múltiples iniciativas de los gobiernos regionales y locales que 102 c. La metodología para el uso de los grupos de discusión debe ser fortalecida. Se requieren lineamientos para la selección de participantes, para la organización de las discusiones, para asegurar que los puntos de vista de todos los participantes sean capturados y para controlar parcialidades de parte del facilitador. financian construcción y/o mantención de equipamiento comunitario similares a lo realizado a través del PMU, es imposible identificar un grupo de no-beneficiarios a partir del cual construir un grupo de control. 103 I. INTRODUCCION 1. Propósito de la Evaluación de la Evaluación del PMU a. El presente informe es el primero de varios informes en preparación por el Banco Mundial de evaluaciones de impacto seleccionadas y realizadas como parte de la Evaluación del Programa de Evaluación de Programas coordinado por la Oficina de Presupuesto del Ministerio de Finanzas del Gobierno de Chile. Cada evaluación está siendo examinada en términos de los puntos fuertes y débiles de su metodología, y también en términos de la medida en que cada una sigue las normas de evaluación de impacto desarrolladas por la Oficina de Presupuesto.4 Se espera que este ejercicio proporcionará lecciones y recomendaciones para reforzar las normas de evaluación nacionales y también que otros países se beneficien con esta experiencia al desarrollar estrategias nacionales de evaluación similares. 2. El Programa de Mejoramiento Urbano a. El propósito general del Programa de Mejoramiento Urbano (PMU) fue mejorar la calidad de vida de la población urbana de bajos ingresos en las comunas mediante el acceso al empleo, la participación cívica, la socialización, la seguridad cívica y la provisión de servicios de emergencia mediante la financiación de proyectos de inversión. Los objetivos específicos fueron: i. Apoyar a las municipalidades a través de la provisión de fondos para la inversión local; ii. Reforzar la regionalización y la descentralización; iii. Proporcionar mecanismos para canalizar fondos especiales para responder a problemas locales específicos mediante programas especiales de corto plazo. b. Aunque no modificaron los objetivos del PMU, las dificultades económicas y el creciente desempleo que comenzaron alrededor de 1999 significaron que en muchas municipalidades se diese prioridad al financiamiento de proyectos que tenían la capacidad de generar empleo a corto plazo. En consecuencia, desde 1999 en adelante hubo un cambio en la composición general de los proyectos financiados con el PMU, aunque todos los proyectos continuaron siendo seleccionados del menú original de proyectos financiables. c. Entre 1996 y 2001, el PMU apoyó a 18.006 proyectos en las áreas de: i. Infraestructura comunitaria: incluyendo la construcción y reparación de centros sociales, campos deportivos multipropósito, campos de juego para niños y parques pequeños. 4 Términos de Referencia Técnicos “Evaluación del Programa de Evaluación de Programas” Oficina de Presupuesto, Ministerio de Hacienda de Chile, febrero 2004. 104 ii. Mejoramiento de servicios públicos: edificios para servicios públicos, reparación de equipo eléctrico, depósitos para equipo de construcción de carreteras, etc. iii Servicios básicos: agua potable, desagüe para agua de lluvias y desechos humanos, iluminación de calles, limpieza de canales de drenaje, muros de contención, etc. iv. Carreteras y caminos: pavimentación de calles, construcción y reparación de veredas y caminos, semáforos, puentes peatonales, puentes, etc. v. Seguridad comunitaria: construcción y reparación de instalaciones de policía y bomberos, iluminación de plazas, vallados de seguridad, etc. d. Una innovación del programa fue que los fondos fueron transferidos directamente a las municipalidades una vez que los proyectos fueron seleccionados para su funcionamiento, las cuales fueron responsables por el diseño e implementación de los proyectos, incluyendo la selección, supervisión y el pago de los trabajadores. Estas fueron nuevas responsabilidades que a menudo impusieron una carga pesada a los limitados recursos administrativos de las municipalidades. e. El programa tuvo como objetivo beneficiar familias de bajos ingresos. De hecho, la decisión de la selección de los proyectos específicos que postulan a financiamiento del PMU se dejó a las municipalidades. No hubo consulta formal con las comunidades. f. De 1996 a 1998 la concentración del Programa estuvo en el mejoramiento del ambiente urbano en las 5 áreas de subproyectos. A raíz de la crisis económica iniciada en 1999 y el dramático incremento del desempleo, el programa fue transformado en un programa de emergencia de creación de empleo, con el objetivo de crear empleo transitorio para el mayor número posible de trabajadores no calificados desempleados. 3. Propósito de la evaluación a. La evaluación tuvo como objetivo analizar los resultados e impactos del PMU como un medio de mejorar la calidad del ambiente urbano para la población de bajos ingresos y como un mecanismo de emergencia para la generación de empleo luego de la caída económica que comenzó alrededor de 1999. El tercer objetivo del PMU, el fortalecimiento de los gobiernos municipales, no ha sido examinado en la presente evaluación. 105 II. PRINCIPALES HALLAZGOS DE LA EVALUACION5 4. Eficacia del programa 4.1 Productos a. Eficacia a nivel de producto i. De 1996 a 2001 se implementaron un total de 18.006 proyectos. Las principales categorías fueron: Infraestructura comunitaria (34,1% de los proyectos), Carreteras y Caminos (29%) y Servicios Básicos (20,5%). ii. Durante el periodo 1999-2001, cuando la concentración cambió a la generación de empleo, la mayoría de los 6.057 proyectos estaban concentrados en las regiones más populosas: Región V (19%), Región VIII (18%) y la Región Metropolitana (18%).6 iii. Los tipos de proyectos que usaron más fuerza laboral fueron: reparación y mejoramiento de servicios públicos (47 puestos de trabajo por proyecto), carreteras y caminos (36,2) e infraestructura comunitaria (28,3). b. Cobertura: Esto no se pudo establecer debido a la falta de información de los beneficiarios. c. Objetivos: la inversión por municipalidad estuvo positivamente asociada con el número de habitantes, desempleo, e ingreso municipal. Si bien es claro que el programa estableció como objetivo las áreas con deficiente infraestructura municipal, no hubo asociación con niveles de pobreza o criminalidad. Por consiguiente, el programa sólo tuvo éxito parcialmente en sus objetivos de alcanzar a las áreas pobres y subatendidas. 4.2 Resultados intermedios a. De acuerdo con los TTR, los resultados intermedios del programa se deben evaluar en términos de (a) la condición física y la calidad de la infraestructura de la comunidad; (b) los sistemas usados por las municipalidades para la supervisión y el monitoreo de los proyectos; (c) determinar el tiempo promedio en que los trabajadores contratados con el proyecto permanecen empleados. Se debe observar que la evaluación informó sobre la satisfacción de los trabajadores en vez del tiempo en el empleo. b. Calidad técnica del diseño y la ejecución del proyecto: Se halló que el diseño y el trabajo de construcción y mantenimiento era, en la mayoría de los casos, de baja calidad. Los proyectos fueron, en su mayoría, muy pequeños y no se destinaron fondos para el mantenimiento. La falta de mantenimiento fue particularmente crítica para los canales de desagüe y proyectos similares, que pierden rápidamente su 5 Este es un muy breve resumen de las conclusiones. Para mayores detalles ver el Resumen Ejecutivo del informe final de la evaluación. 6 Sin embargo, antes de la generación de empleo también los proyectos se concentraron en estas regiones. 106 efectividad si no son mantenidos regularmente. En algunos casos (el informe no indica cuántos) la situación era incluso peor que antes de la implementación de los proyectos. c. Los sistemas usados por las municipalidades para la supervisión y el monitoreo de los proyectos: Fue sólo en 2000 que se pidió a las municipalidades que creasen equipos de supervisión y monitoreo, pero en muchos —si no en la mayoría— de los casos esto no se realizó debido a la falta de fondos. En 2001, SUDERE diseñó un formulario de monitoreo a ser completado por las municipalidades, pero la tasa de respuesta fue muy baja. El avance hacia la introducción de sistemas estandarizados ha sido lento, y los sistemas de supervisión han variado de acuerdo con el tipo de proyecto y los recursos y el interés de las municipalidades. En general, las municipalidades más pequeñas han avanzado menos, a menudo debido a la falta de recursos profesionales y financieros, que las municipalidades más grandes. La mayoría de las municipalidades no posee un sistema formal para la aprobación y aceptación de proyectos terminados. d. Satisfacción de los trabajadores: De acuerdo con los TTR, la evaluación debe considerar el tiempo en el empleo como uno de los indicadores intermedios. Sin embargo, los consultores, sin explicar los motivos para el cambio, realizaron un análisis de los determinantes de la satisfacción del trabajador pero no trataron la permanencia en el empleo. El 85 % de los trabajadores empleados en los proyectos del PMU dieron una evaluación positiva e indicaron su satisfacción con las horas, tipos de trabajo y condiciones generales. Sin embargo, esta cifra no captura el hecho de que los trabajadores más experimentados, quienes proporcionaron supervisión y capacitación durante el primer año, en 2001 ya no permanecían, dado que el PMU requería que todos los trabajadores recibieran el mismo salario sin considerar las diferencias en sus niveles de experiencia. Por consiguiente, las cantidades podrían sobreestimar los niveles de satisfacción de la población original de trabajadores del año 1999. 4.3 Impactos7 a. El 66% de los beneficiarios señaló que el proyecto contribuyó a solucionar un problema comunitario, y los porcentajes son significativamente más altos en los casos en los que ellos consideraron que el proyecto estaba enfrentando un problema de alta prioridad. Alrededor del 68% consideró que el proyecto había incrementado el valor comercial de las propiedades en la comunidad. Los beneficiarios consideraron también que los proyectos habían mejorado las relaciones entre vecinos (77%) y promovido la participación en actividades comunitarias (71%). 4.4 Evaluando la eficiencia y economía en la utilización de los recursos a. Economía: Más del 90% del presupuesto aprobado fue utilizado. 7 En el informe principal se proporcionan análisis detallados de opiniones en un amplio rango de declaraciones de actitud. 107 b. Eficiencia: Los costos administrativos variaron entre el 3,5% y el 6%, lo que se informó como bajo, en comparación con programas públicos similares. i. El cambio del objetivo del programa en 1999, de la inversión en un rango amplio de mejoras municipales hacia un programa de emergencia de generación de empleo se refleja en la distribución de recursos entre las 5 líneas del programa. Cuando se comparan los períodos 1999-2001 y 1996-1998, la proporción de recursos invertidos en carreteras y caminos, infraestructura comunitaria y servicios básicos cae en un 25%, 11% y 50% respectivamente; mientras la participación de la inversión en la reparación y mantenimiento de instalaciones públicas (limpieza de canales de drenaje y espacios abiertos, etc.) crece en un 33%. Los cambios se debieron a la mayor capacidad de generación de empleo de estos proyectos, más pequeños y simples, y a la mayor facilidad de manejarlos con una fuerza de trabajo menos calificada. ii. Al mismo tiempo la inversión promedio por proyecto se incrementó, tanto debido al incremento en el tamaño del proyecto para absorber más fuerza laboral como a que los métodos de construcción de uso intensivo de mano de obra son más caros. Por consiguiente, hubo una compensación entre la mayor generación de empleo y una menor eficiencia —definida en términos de inversión por proyecto—. iii. Una comparación de costos con proyectos similares financiados por el MINVU, expuso costos similares por m2 de construcción. Sin embargo, el hecho de que el PMU estuvo operando en una escala mucho mayor significa que allí debieron haber existido economías de escala de tal manera que los costos unitarios del PMU debieron ser menores, lo que sugiere que el PMU es menos eficiente. 4.5 Desempeño global del programa a. Las inversiones promedio en todos los tipos de proyectos fueron relativamente similares, con promedios variando entre un mínimo de 10,08 millones de pesos para infraestructura comunitaria a 13,09 millones para el mejoramiento de servicios públicos. Este relativamente estrecho rango se explica por la tendencia de las municipalidades a distribuir recursos de la manera más equitativa posible entre las diferentes comunidades. En consecuencia, el enfoque de la mayoría de las municipalidades es encontrar un proyecto al que se le pueda proporcionar una cierta suma de dinero, en vez de decidir cuál es el proyecto de más alta prioridad para una comunidad en particular y luego determinar cuánto costaría. b. Las presiones sobre el programa de emergencia de tener que generar el mayor número de empleos en cada proyecto, combinadas con el bajo nivel de calificación de la fuerza de trabajo deseosa de trabajar por los bajos salarios estipulados por el PMU significaron que el programa fuese forzado a concentrarse en proyectos técnicamente simples y con mano de obra intensiva, la mayoría de los cuales no abordaban las necesidades de mayor prioridad de las comunidades beneficiarias. 108 4.6 Justificación para recomendar la continuación del programa a. La evaluación encontró que a pesar de que el programa no fue muy efectivo en términos de costo y que la calidad de la mayoría de los proyectos fue pobre, el programa fue “relevante” para las necesidades de las comunidades de bajos ingresos y fue capaz de generar un número de puestos de trabajo significativo. Teniendo en cuenta estos factores, el informe recomienda que el programa debe continuar pero con su concentración limitada a aquellos tipos de proyecto que requieran un menor nivel de experiencia técnica en el diseño y una fuerza de trabajo menos calificada en sus implementaciones. b. El presente informe de evaluación no encontró estos argumentos muy lógicos o convincentes, particularmente dado que no se efectuaron comparaciones con estrategias de creación de empleo alternativas. 5. Recomendaciones de la evaluación a. El informe recomendó que el PMU se debe concentrar en proyectos de servicios básicos (drenaje, extensión de redes de agua potable, letrinas de pozo, limpieza de canales de desagüe, iluminación pública y parques públicos); el mejoramiento de espacios públicos y el mantenimiento de edificios que requiera bajos niveles de calificación laboral. b. Los proyectos viales y de infraestructura comunitaria sólo se deben aprobar si se pueden asegurar diseños técnicos y supervisión adecuados durante la ejecución. c. Los proyectos de seguridad comunitaria deben ser eliminados, ya que pueden ser financiados bajo otros programas. d. Se debe definir una determinación de costos unitarios estandarizada para todos los proyectos de un mismo tipo. e. Todos los proyectos que generen empleo deben incluir al menos un trabajador experimentado que pueda proveer supervisión y capacitación. Las municipalidades deben también tener criterios claros para la selección de los trabajadores. f. Se deben desarrollar mejores mecanismos de determinación de objetivos, a fin de asegurar que la selección de proyectos es consistente con los objetivos sociales del programa. g. Se debe producir una documentación mejor y más uniforme en todos los proyectos. Esto permitiría un mejor monitoreo y comparación entre proyectos, municipalidades y regiones. Se deben desarrollar unidades de medida estándar para todos los proyectos, a fin de facilitar la comparación de costos y eficiencia. 109 h. Se deben desarrollar metodologías de determinación de necesidades, a fin de asegurar que la selección de proyectos tenga en consideración las prioridades comunitarias. El rol de la comunidad en la supervisión y monitoreo de los proyectos debe ser también fortalecido. i. El instrumento de monitoreo desarrollado por SUBDERE en 2001 debe ser sistemáticamente aplicado. Las municipalidades deben ser provistas con los recursos necesarios que les permitan llevar a cabo este monitoreo. III. RESUMEN DE LA METODOLOGIA DE EVALUACION8 6. Niveles de análisis La evaluación integró las conclusiones de las encuestas realizadas en cinco diferentes niveles: 6.1 Análisis global del programa. Síntesis de datos disponibles sobre los resultados en los niveles de proyecto, intermedios y finales. Esto fue complementado por exhaustivas entrevistas con altos funcionarios de SUBDERE a fin de obtener información sobre el monitoreo, el seguimiento y los costos. 6.2 Análisis al nivel de la comuna (municipal). El análisis se basó en una muestra de 27 comunas en 3 regiones (Metropolitana, V y IX). Cada una de las 27 municipalidades fue visitada y se llevaron a cabo las siguientes actividades: i. Revisión de expedientes de 781 proyectos ii. Entrevistas con funcionarios municipales iii. Análisis de costos administrativos 6.3 Análisis de los proyectos. Para la evaluación de los impactos en las poblaciones objetivo (resultados finales) se seleccionó una muestra de 300 proyectos de las 27 municipalidades. En cada proyecto fueron entrevistados dos beneficiarios, de manera que hubo un total de 600 cuestionarios para beneficiarios. También se realizaron 15 grupos de discusión. 6.4 Análisis de los impactos en el empleo. Se entrevistó a una muestra de 300 trabajadores empleados en 2001 en proyectos del PMU en municipalidades seleccionadas. 6.5. Análisis de la calidad técnica. Especialistas técnicos visitaron y evaluaron una muestra de 60 proyectos para evaluar la calidad técnica de los trabajos, las condiciones actuales y la calidad del mantenimiento. 7. Definiendo los impactos y los resultados 8 Resumen Ejecutivo, páginas 2-3. 110 7.1 Se identificaron (y evaluaron) tres tipos de beneficios o impactos: a. Impactos finales en las comunidades beneficiarias. Definidos en términos de: (a) las opiniones de los beneficiarios sobre la selección de los proyectos, cuán bien éstos resolvieron problemas prioritarios y sus calidades, (b) el uso de la infraestructura y los servicios y (c) las mejoras en la calidad de vida. No se hicieron estimaciones directas de los beneficios económicos o sociales de los proyectos (excepto por una pregunta sobre el impacto de los proyectos en los valores de la propiedad). Esto, porque se trata de una evaluación de impacto y no de una evaluación social de proyectos. b. Impactos intermedios. Definidos en términos de referencia de (a) la condición física y la calidad de la infraestructura de la comunidad; (b) los sistemas usados por las municipalidades para la supervisión y el monitoreo de los proyectos; y (c) determinar la permanecia promedio en empleos generados y por las actitudes de los trabajadores. c. Resultados a nivel de producto en los trabajadores empleados en los proyectos. Estos fueron definidos en términos del número total de puestos de trabajo creados y su distribución por tipo de proyecto y región. 7.2 En la Parte IV de este informe se menciona el rango de indicadores definido en los TTR para medir los impactos y beneficios del PMU. Resultados como la mejora del ambiente físico, de salud, económico y social no fueron considerados. La DIPRES señaló que esta falta se debe a que estos aspectos no corresponden a resultados esperados del programa. Aunque éstas pueden ser difíciles de medir, en particular para los proyectos menores, estos indicadores parecerían ser dimensiones importantes de la calidad de vida y su inclusión podría haber sido considerada. También se sostiene que se depositó mucha confianza en las actitudes y opiniones de los beneficiarios y que éstas fueron complementadas con la observación directa y la evaluación de las condiciones físicas y de infraestructura de las comunidades beneficiarias.9 Si bien las actitudes son una importante fuente de información, existe siempre el riesgo de parcialidad (por ejemplo, los beneficiarios pueden temer criticar el proyecto) y es siempre útil emplear la triangulación para obtener estimaciones independientes.10 9 Esto se hizo a partir de los estudios de terreno de calidad técnica del proyecto mencionados en el punto 6.5 de este anexo. 10 Debe notarse, sin embargo, que durante las visitas sobre el terreno se obtuvieron estimaciones del uso de los proyectos mediante la observación y entrevistas de información. 111 Cuadro 1 Metodología de evaluación: Niveles, Muestra, Métodos de Recolección de Datos, Indicadores y Análisis. Niveles de Muestra Métodos de recolección de datos Indicadores Análisis Evaluación 1. Análisis -Documentación del -Revisión de documentos -Costo promedio de -Costo promedio de los proyectos global del Proyecto -Entrevistas Individuales cada tipo de proyecto por tipo, comunidad, y año. programa -Entrevista con -Generación de -Análisis de gastos administrativos funcionarios de la empleo de cada tipo -Porcentaje de recursos utilizados SUBDERE de proyecto -Comparación de costos de construcción con proyectos del Ministerio de Vivienda. -No hay comparación de costos para otros tipos de proyectos 2. -27 Comunas -Revisión de documentos -Compromiso del -Análisis descriptivo general Municipa- -Revisión de expedientes -Entrevista con funcionarios. PMU con la comuna lidades de 781 proyectos. -Criterios para la -Entrevistas con determinación de funcionarios municipales objetivos de los proyectos del PMU -Impacto en el empleo 3. Análisis -300 proyectos. 2 -Cuestionario estructurado con pocas preguntas abiertas. -Características -Distribución de frecuencias y cross de los beneficiarios por Muchas preguntas sobre percepciones de los beneficiarios. socioeconómicas de tabs. Proyectos proyecto. [600 -Cuestionarios ligeramente modificados para cada tipo de las unidades -Análisis multivariable incluyendo beneficiarios] proyecto pero con muy pocas preguntas específicas de cada familiares Logit y Tobit para las variables -Muestra estratificada por tipo o de sus impactos. -Participación en la dependientes dicotómicas. 5 tipos de proyectos -Grupos de discusión con lista de control de preguntas pero selección de -15 grupos de discusión sin instrucciones de cómo realizar el análisis y controlar los proyectos sesgos. -Satisfacción con los proyectos y su uso. 4. Impacto -300 trabajadores -Cuestionario -Cómo fue reclutado -Características socioeconómicas de en el -Registros municipales -Características los trabajadores empleo -Entrevistas con socioeconómicas de -Previa experiencia de trabajo. funcionarios municipales las unidades -No fue incluida información sobre familiares la duración de los trabajos. -Satisfacción con el trabajo 5. Calidad 60 proyectos [divididos -Observación directa -Cuán bien fue Calificado en cada dimensión en técnica en construcción de -Guías técnicas proporcionadas para la evaluación de cada completado términos de bueno, satisfactorio y edificios y obras civiles, tipo de proyecto -Calidad del diseño pobre. mantenimiento y -Estabilidad de renovación, y limpieza de construcción canales y lugares -Durabilidad públicos] 112 8. Análisis y presentación de los hallazgos a. Los proyectos fueron clasificados en 5 tipos11 y esta tipología fue usada a través del estudio para examinar diferencias entre los 5 tipos con respecto a: satisfacción, calidad, costo del proyecto, creación de empleo, etc. b. El análisis del impacto de los proyectos se basó en el análisis de 600 cuestionarios. Se usaron distribución de frecuencias y cross tabs para medir las diferencias entre, por ejemplo, los tipos de proyectos. Se usó análisis multivariado para estimar los impactos de grupos de variables independientes o variables intervinientes (por ejemplo: población municipal, inversión municipal total, niveles de desempleo, tipos de proyectos) en variables dependientes, como la creencia de que los proyectos habían resuelto o reducido importantes problemas comunitarios. c. La calidad técnica de los proyectos: sobre la base de determinaciones de un panel de expertos. Los proyectos fueron divididos en: construcción de edificios y obras civiles, reparación y renovación y limpieza de canales y espacios públicos. Cada uno fue calificado en términos de cuán satisfactoriamente fue completado el proyecto; la calidad del diseño; estabilidad de la estructura y durabilidad. d. Se realizó un análisis detallado de la generación de empleo por tipo de proyecto, región y año. IV. EVALUANDO LA METODOLOGÍA DE EVALUACIÓN 9. Evaluando la metodología de evaluación con las limitaciones del mundo real con las que fue realizada a. Al evaluar la metodología de evaluación es importante tener presente que los proyectos evaluados eran muy pequeños (costo promedio de alrededor de US$ 16.000), proporcionando una amplia variedad de servicios y algunas veces bastante difíciles de ubicar. Tampoco tenían un grupo beneficiario claramente definido. Todos estos factores significan que es probable que los impactos potenciales sean muy reducidos y, en consecuencia, difíciles de medir. La naturaleza de los proyectos hace también muy difícil considerar el uso de un grupo de control. Por consiguiente, la metodología de evaluación debe ser evaluada dentro de estas limitaciones del mundo real. b. Al tiempo que se reconocen plenamente estas limitaciones, una de las cuestiones que se deben abordar es si el sofisticado análisis econométrico fue el método más apropiado a emplear. Se puede formular la pregunta de si pudiesen haber sido más apropiados estudios rápidos de evaluación más simples, o si al menos pudiesen haber sido usados para complementar los métodos econométricos. 11 Infraestructura comunitaria, mejoramiento de los servicios públicos, seguridad comunitaria, servicios básicos y rutas y caminos. 113 c. No hay una respuesta simple para esta pregunta, ya que el intento de aplicar estos métodos más rigurosos ha demostrado ser una experiencia de aprendizaje muy útil que permitirá refinar estos métodos y adaptarlos a la disponibilidad de datos en estudios futuros. 10. Marco Conceptual a. Los términos de referencia técnica (TTR) indican que el diseño de la evaluación debe identificar y especificar las hipótesis del programa (el modelo teórico) concernientes a las conexiones esperadas entre los componentes del programa y los productos deseados. El enfoque utilizado para abordar esto es definir los resultados e impactos esperados en los niveles intermedio y final. Los indicadores de impacto a nivel de los beneficiarios conciernen a la calidad de vida (índices de delincuencia, participación ciudadana y socialización). El empleo generado se considera resultado a nivel de producto y se formulan preguntas acerca del impacto del proyecto sobre el valor de las propiedades, pero esto no se define claramente como un indicador de impacto. Un gran número de indicadores intermedios de satisfacción y participación se incluyen también en la encuesta y los grupos de discusión. b. Sin embargo, a pesar de la definición de indicadores de impacto del proyecto y del programa, la evaluación no desarrolla un marco conceptual o modelo de programa teórico que explique cómo se espera que las intervenciones del proyecto produzcan los efectos intermedios y los impactos finales. Por ejemplo, no hay explicación de cómo se espera que la provisión de infraestructura comunitaria afecte a las tasas de delincuencia o promueva la participación ciudadana o la socialización. Además, el diseño del proyecto otorga poca importancia a la participación de los residentes de la comunidad en la selección de los proyectos o en su implementación o sostenibilidad. Por consiguiente, no está claro porqué o cómo se espera que el proyecto afecte a la participación o socialización. c. A menudo, los análisis económetricos y otros tipos de análisis estadísticos son usados para desarrollar, probar y refinar hipótesis causales. No obstante, en el caso presente el análisis estadístico se usa principalmente de manera exploratoria para identificar asociaciones estadísticas y no se usa para probar hipótesis causales. d. Un modelo teórico del programa12 también se puede usar para definir indicadores empleados para medir los impactos buscados. No obstante, en el presente caso, el informe de evaluación final no incluye una explicación teórica de por qué fueron elegidos los indicadores de impacto particulares ni cómo se espera que los proyectos afecten a estos indicadores. Sin embargo, como se indicó en los TTR, la evaluación debió haber hecho un esfuerzo para desarrollar un modelo de programa teórico base o 12 Para un ejemplo de cómo se puede usar la teoría de programas en la evaluación de fondos sociales (que son similares en algunos aspectos al PMU) ver Carvalho y White. 2004. “Theory-based Evaluation: The Case of Social Funds”. American Journal of Evaluation Vol 25 No. 2. Este artículo también hace referencia a alguna de la literatura sobre la teoría de programas (por ejemplo, Weiss. 2001 Theory-based Evaluation: Theories of Change for Poverty Reduction Programs). 114 al menos identificar los resultados/impactos esperados. Existen varias metodologías para reconstruir modelos de programas teóricos.13 e. Dado el énfasis en la reducción de la pobreza, se puede preguntar si la evaluación debía haber considerado alguno de estos impactos sociales y económicos aun cuando el PMU no los hubiese especificado como objetivos. Sin embargo, podría argüirse que indicadores más específicos como los impactos de acceso a establecimientos de salud infantil serían difíciles de usar en esta clase de estudio, además que estos no son los resultados esperados del PMU considerando el tipo de proyectos que financia. Este es particularmente el caso, dada la amplia variedad de los diferentes proyectos, cada uno de los cuales podría haber requerido indicadores de impacto diferentes. Hay una significativa literatura sobre los beneficios sociales y económicos de las inversiones en infraestructura urbana a las que futuras evaluaciones urbanas y de vivienda podrían referirse y posiblemente tratar de probar. f. Esta falta de concentración en los impactos del programa explica lo que podría considerarse como debilidades en el diseño de la muestra (ver la sección siguiente). 11. Diseño de la muestra El diseño general de la muestra se resume en el gráfico 1. Las siguientes observaciones se hacen en cada etapa del diseño: 11.1 Selección de 3 regiones:14 a. Las 13 regiones fueron divididas en 3 grupos usando un análisis de varianza (los detalles de los análisis no son dados en el texto) basado en las siguientes variables: • La distribución porcentual de proyectos por tipología • La distribución porcentual de inversiones por tipología • El número total de proyectos • La inversión total en el programa b. Se seleccionó una región de cada grupo. No está claro cuán bien funcionó este procedimiento para la estratificación, dado que hubo sólo una región en el grupo 1 (Región Metropolitana), 2 en el grupo 2, y 10 en el grupo 3. Normalmente los procesos de agrupamiento buscan tener aproximadamente el mismo número de regiones en cada estrato. Sin embargo, la DIPRES confirmó que ello, no tiene sentido en este caso, debido a que el objetivo es tener una muestra representativa de los proyectos, dada la distribución poblacional de Chile, ésta se asemeja a la distribución de los proyectos. Podría plantearse la pregunta de si, dada la distribución por tamaño de las regiones, podría haberse usado un método más sencillo para elegir a las regiones. 13 Ver Bamberger, Rugh, Fort y Church, 2004 y Leeuw 2003 para procedimientos para reconstruir modelos teóricos de programa. 14 Anexo 1 (diseño de la muestra p. 2). 115 11.2. Selección de municipalidades (comunas).15 El plan original fue seleccionar 10 comunas de cada una de las 3 regiones haciendo la selección proporcional al número de proyectos y a la inversión total. Sin embargo, en la Región V sólo fue posible seleccionar 7 comunas, ya que dos comunas representanban más del 50% de los proyectos. El procedimiento de selección no introdujo sesgos en favor de la selección de las comunas más grandes, por tratarse de una muestra representativa a nivel nacional. 15 Anexo 1 (diseño de la muestra p. 5). 116 Gráfico 1: Resumen del diseño de la muestra de evaluación del PMU 3 Regiones seleccionadas 27 comunas Funcionarios Municipales – No se dieron detalles de la muestra 781 proyectos observados Una sub muestra de 150 proyectos 300 proyectos seleccionados de 2001 fueron seleccionados para un estudio en profundidad para la encuesta de empleo 2 trabajadores 60 proyectos 2 beneficarios 15 grupos de entrevistados seleccionados por proyecto discusión con por cada para la seleccionados beneficiarios proyecto: 300 evaluación para entrevista entrevistas técnica = 600 encuestas 11.3 Selección de proyectos a. La muestra sólo cubrió proyectos de 1998, 2000 y 2001. Se señala que estos tres años son representativos del período total 1996-2001, pero no está claro si se realizó algún análisis para establecer si hubo algún sesgo potencial. El informe contiene comparaciones detalladas de los proyectos de 1996-98 con la fase de emergencia de 1999-2001, de modo que es importante asegurar que los años en los que se basan las comparaciones son representativos de los respectivos períodos.16 b. El plan original fue seleccionar 10 proyectos de cada comuna, pero esto resultó ser muy complicado, de manera que la selección se hizo directamente de la lista de todos los proyectos en cada región. Por ejemplo, en la región V esto significó que 70/112 proyectos fueron seleccionados de 2 comunas, mientras que sólo 5 proyectos fueron incluidos de 2 de las comunas más pequeñas. Este sesgo potencial podría ser importante si el desempeño del proyecto o su impacto es comparado con el tamaño de la comuna (o el tamaño de la inversión del programa en cada comuna). Como se 16 La DIPRES aclaró que este tema había sido abordado y que los proyectos seleccionados eran una muestra representativa de los períodos respectivos. 117 indica en el párrafo 11.2, este tema ha sido abordado en la selección de la muestra y ésta no debería contener sesgo significativo alguno. c. Con respecto a la representatividad de la muestra se señala que: “la muestra es representativa por año, región, y por tipología, pero no es posible examinar por significatividad al nivel de sub-tipologías o tipos de proyecto específicos, ya que los números de la muestra se tornan muy pequeños”.17 Esto se debió a restricciones presupuestarias y no es un problema para los fines de la presente evaluación. 11.4. Muestra de trabajadores a. Se seleccionó una muestra de 150 proyectos de entre todos los proyectos implementados en 2001, y se entrevistaron 2 trabajadores de cada proyecto. La muestra fue estratificada por tipo de proyecto y región. La muestra fue seleccionada para ser proporcional al número de trabajos creados. Tres comunas donde se crearon muy pocos empleos fueron excluidas. b. Existe una inquietud respecto a la selección de sólo 2 trabajadores por proyecto. Esto hace imposible realizar un análisis al nivel de proyecto individual y así examinar asuntos tales como la efectividad de los objetivos. Aunque un análisis general de las características de los trabajadores puede ser evaluado de esta muestra, podría haber sido útil haber incluido un mayor número de entrevistas para una submuestra de proyectos. c. La falta de un grupo de control comprendiendo a todas las unidades familiares en las áreas del proyecto significa que no es posible comparar las características de los trabajadores contratados por el PMU con todos los trabajadores en las áreas objetivo. Sin embargo, la DIPRES aclaró que la evaluación no buscaba evaluar los impactos del programa de creación de empleo de emergencia, de modo que no se requería un grupo de control de los trabajadores. 11.5 Muestra de beneficiarios a. Se seleccionó a 2 beneficiarios de cada uno de los 300 proyectos. Los criterios de selección fueron los siguientes: • Deben vivir cerca de los proyectos, ya que proveerán más información. Las personas que vivían más lejos fueron excluidas. • 1 hombre y 1 mujer. • Mayores de 18 años. • Pregunta de calificación. “Conoce Usted el proyecto X?” Si NO, la persona era reemplazada. Hubiera sido interesante mantener un registro del número de entrevistados que respondieron “No”, de suerte de tener una estimación aproximada de la proporción de familias que se benefician de cada proyecto. Pero el informe no indica si se hizo esto. 17 Anexo 1, página 7. 118 b. A menudo fue difícil seleccionar a los beneficiarios, ya que los registros de los proyectos algunas veces no indicaban con precisión la ubicación del proyecto. c. La estrategia de muestreo tiene varias debilidades potenciales que limitan las clases de análisis e interpretaciones que se pueden hacer: i. Sólo fueron seleccionadas dos personas de cada proyecto. Este número es demasiado pequeño para permitir el análisis de las características de los participantes o sus actitudes hacia el proyecto18. ii. La muestra sólo incluyó personas expuestas al proyecto, haciendo imposible determinar la proporción de la población beneficiada o examinar las razones por las que otros no participaron o no tuvieron acceso. d. Al tiempo que reconoce las dificultades prácticas y financieras para seleccionar muestras representativas de beneficiarios y no beneficiarios, el informe observó que la estrategia de muestreo hizo imposible efectuar alguna de las siguientes importantes clases de análisis: • Comparación de las características de beneficiarios y no beneficiarios. • Determinación de los niveles de utilización. La proporción de familias en las comunidades-objetivo que realmente usaron/se beneficiaron de los diferentes tipos de proyectos. e. En sus observaciones, la DIPRES señaló la falta de un marco de muestreo que se pudiera usar para elegir una muestra al nivel comunitario. Indicó también que la existencia de proyectos similares organizados por otros organismos gubernamentales y privados y el reducido tamaño de los proyectos habría hecho muy difícil aislar los impactos de los proyectos particulares del PMU estudiados. Todas estas observaciones son muy importantes y, como siempre, no hay una respuesta correcta para este tema. ¿Viola esto alguno de los supuestos del análisis estadístico y crea una falsa sensación de precisión? f. Una opción que podría haberse considerado habría sido realizar un estudio de evaluación rápido con una muestra de 25 a 50 familias en una submuestra elegida aleatoriamente de los 300 proyectos. Una muestra aleatoria o por cuotas de los hogares en cada una de estas comunidades habría provisto información acerca de tasas de utilización, actitudes hacia los proyectos, características de los beneficiarios y no beneficiarios, etc. Claramente, los estudios de evaluación rápidos tienen también limitaciones metodológicas, pero aplicando los principios de triangulación unos cuantos de tales estudios podrían haber completado el análisis econométrico. 11.6 Muestra de los grupos de discusión. Doce grupos de discusión fueron seleccionados de acuerdo al peso relativo de cada tipo de proyecto y tres con 18 La DIPRES aclaró que se trata de una muestra representativa de proyectos, donde además los proyectos presentan características similares en términos de monto y tipología; no es claro que esta selección no se traduzca en una selección representativa de beneficiarios como sugiere este documento. 119 concentración en el empleo. Esto significó que sólo se realizaron 4 grupos de discusión en 3 de los tipos más pequeños, mientras que hubo 4 en cada uno de los 2 tipos más grandes. La forma de selección de participantes para los focus groups fue igual que en el caso de los beneficiarios de los proyectos que fueron encuestados. 11.7. Muestra de funcionarios municipales: No se dieron detalles en el informe. 12. Instrumentos de encuesta y procedimientos de recolección de datos 12. 1 Encuesta de beneficiarios: infraestructura comunitaria (equipamiento comunitario). a. El instrumento es muy comprensivo y diseñado cuidadosamente. b. Se hacen los siguientes comentarios y sugerencias sobre el cuestionario: i. El cuestionario es muy largo (11 páginas). La mayoría de la información no es usada en el análisis, de manera que el cuestionario pudo haber sido acortado significativamente. ii. La mayor parte de la información involucra declaraciones de actitud muy generales. Deberían haberse incluido más preguntas específicas sobre cada proyecto y sus impactos. iii. Habría sido mejor haber tenido una encuesta mucho más breve y haber entrevistado a más personas. iv. Habría sido útil haber incluido preguntas sobre los impactos diferenciales sobre hombres y mujeres. v. Alguna información adicional que podría haber sido incluida: • Verificaciones más específicas acerca de si el entrevistado conocía el proyecto • Incluir preguntas sobre la selección del objetivo: ¿quién se benefició? ¿Benefició a los grupos más pobres? • Preguntas más detalladas sobre impactos en el empleo: ¿a quién contrató? ¿Ayudó a la situación de desempleo? • Utilización del proyecto por los entrevistados. La evaluación casi no incluye información acerca de esto. 12.2. Encuesta de empleo a. Algunos comentarios y sugerencias: i. La encuesta es muy larga y la mayoría de la información nunca fue usada en el análisis. ii. No se dice nada sobre supervisión o calidad del trabajo. iii. No se dice nada sobre el nivel de calificación profesional. b. La DIPRES observó que la mayoría de estas preguntas no se requerían para la presente evaluación considerando los resultados esperados del PMU y la evaluación 120 de los impactos de los programas de empleo de emergencia no estaba incluida en los TTR. 12.3. Guía para entrevistas con funcionarios municipales: Esta es una lista de control satisfactoria para los fines del estudio, a pesar de que varias preguntas son muy generales y a menudo no muy claras. Por ejemplo: i. Pregunta 5: ¿Qué significa un “sistema computacional” para el monitoreo? ii. Pregunta 14: ¿Fueron los proyectos usados para el propósito deseado? El propósito de los proyectos no fue claramente definido, de manera que es muy difícil interpretar la respuesta. Se requiere una pregunta sobre qué entiende el entrevistado que fueron los objetivos del proyecto. iii. Debieron incluirse más preguntas sobre las estimaciones del número de individuos o unidades familiares que están usando cada proyecto. 12.4. Guías técnicas para el análisis de los servicios a. Las guías son claras y están bien estructuradas. Algunos comentarios sobre la sección de servicios básicos: i. No es claro si el porcentaje de defectos es un buen criterio para determinar la calidad ii. Es muy bueno que se haya dejado espacio para comentarios 12.5. Grupos de discusión en cada tipo de proyecto a. Se usó un formato similar para discutir cada tipo de proyecto, de manera que los comentarios cubren todas las tipologías. b. Es difícil determinar la contribución de los grupos de discusión en la evaluación porque: i. No se da información alguna sobre los procedimientos para la selección de los participantes en los grupos de discusión. ¿Cuáles fueron los criterios para la selección? ¿Cuál fue la subdivisión por edad, sexo, posición económica, etc.? ¿Cuántas personas participaron? ii. No se proporciona información acerca de cómo fueron organizados los grupos de discusión. ¿Qué procedimientos fueron usados para asegurar que los participantes participaran en las discusiones? ¿Qué procedimientos se usaron para asegurar que las opiniones reflejaran los puntos de vista del grupo y no sólo los de una persona? ¿Se usaron procedimientos para monitorear algún sesgo no deseado producido por el modo en que se hicieron las preguntas, cómo fueron las personas motivadas a participar, etc.? c. Las preguntas en la guía de entrevistas son generalmente buenas y apropiadas para el propósito del estudio. Sin embargo, hay comentarios: i. En la introducción se establece que las opiniones de los participantes de los grupos de discusión “permitirá mejorar o superar aquellas dificultades que han enfrentado los usuarios de los proyectos”. Esto podría introducir un sesgo o prejuicio al sugerir que existen problemas. 121 ii. En varios puntos la guía se refiere a “proyectos” en plural, de manera que no queda claro cuando la entrevista discutía un proyecto de PMU en particular y cuando era una discusión general de diferentes tipos de proyectos con los cuales los participantes estaban familiarizados. iii. El orden de puntos en la pregunta 1 parece confuso. La primera pregunta inquiere sobre qué problemas afectaron la implementación del proyecto (varios proyectos). Esta pregunta debería hacerse después. iv. No está claro si la pregunta 3 sobre experiencia en participación comunitaria es relevante para este estudio.19 De nuevo, el uso de esta información dependerá de cómo fueron registrados y analizados los datos. Si cada persona fuera interrogada por turno, entonces sería posible usar la información (incluso entonces no está claro cómo sería usada), pero si sólo una o dos personas contestaran entonces la información no tiene un valor claro para este estudio. d. Hay una pregunta adicional que se pudo haber incluido: si la discusión cubriera varios proyectos diferentes (y en la mayoría de casos proyectos es usado en plural), sería esencial indicar a cuáles proyectos se refieren los participantes cuando hacen sus comentarios. e. Debieron haberse incluido más preguntas sobre la calidad de los proyectos (diseño, ejecución y mantenimiento). 12.6 Grupos de discusión con los trabajadores a. Para los grupos de discusión de beneficiarios, existe una falta de información sobre los procedimientos para seleccionar participantes y realizar el grupo de discusión. Alguna de esta información está incluida en el informe inicial preparado por los consultores a fines del primer mes de la evaluación, pero este documento no está disponible en el sitio Web de la DIPRES, de modo que para los lectores que no tienen acceso a estos documentos internos es difícil evaluar la metodología del grupo de discusión. b. Todos los tópicos incluidos en la guía son pertinentes para el estudio. Sin embargo, muchas de las preguntas son más apropiadas para encuestas individuales que para grupos de discusión. Por ejemplo, la pregunta 2 pide información detallada sobre historia laboral, ingresos, tiempo de desempleo, características del último trabajo, etc. ¿Cómo puede toda esta información ser obtenida en un grupo de discusión? ¿Se pidió individualmente a cada persona que proporcionara la información? c. Hay varias preguntas o tópicos adicionales que debieron haberse incluido: i. Conocimiento de los criterios de selección del trabajador. ii. ¿Fueron éstos justos y se aplicaron imparcialmente en la contratación de todos los trabajadores? 19 La DIPRES aclaró que esta pregunta es importante, ya que uno de los objetivos del PMU es promover la descentralización de la toma de decisiones, incluyendo el fortalecer la participación de la comunidad en las decisiones acerca de la asignación de recursos. 122 iii. ¿Hubo otros grupos que debieron haberse incluido? iv. ¿Hubo algunos grupos que no debieron haberse incluido? v. Puntos de vista sobre la calidad y motivación de los trabajadores. vi. Puntos de vista sobre la calidad del trabajo. vii. Puntos de vista sobre la supervisión y organización del trabajo. viii. ¿Cuáles son las opiniones sobre la contratación de mujeres trabajadoras? V. ANÁLISIS E INTERPRETACIÓN DE LOS DATOS 13. Productos 13.1 Número y tipos de proyectos a. El equipo de evaluación hizo grandes esfuerzos para asegurar que la clasificación de los proyectos en las 5 categorías de la tipología fuera clara y consistente. La presentación de la información sobre el número y tipos de proyecto por año y por región parece clara. b. El informe también incluye un detallado y claro análisis de los efectos de la introducción del Programa de Emergencia en 1999 sobre el tipo y tamaño de los proyectos. c. El único punto a clarificar concierne al impacto en la generación de empleo: i. Algunas de las cifras en el número de empleos creados cada mes no parecen completamente claros y consistentes. ii. No hay información sobre la duración del empleo creado por el PMU, los ingresos totales y cómo se compara esto con fuentes alternativas de empleo. Esta es una omisión crítica, sin embargo no era objetivo de la evaluación del PMU el indagar respecto de fuentes alternativas de empleo, dado el carácter transitorio de este resultado esperado (ver nota al pie N°2) 13.2 Cobertura y focalización a. La capacidad de tratar la cobertura fue limitada por la falta de datos. b. Hubo problemas similares con respecto a la focalización. Sin embargo, fue posible comparar la inversión con respecto al número de habitantes, el ingreso municipal y el desempleo, pero no fue posible examinar la focalización en la pobreza. c. Se hizo un análisis completo sobre la medida en la cual los proyectos estuvieron dirigidos a estas categorías. Sin embargo, no hubo discusión sobre el significado de los hallazgos o cómo éstos se relacionaban con el éxito de los proyectos en alcanzar a los pobres. Parece probable que hubiera una fuerte asociación entre ingreso municipal, desempleo y pobreza, pero esta conexión no fue tratada en el análisis. d. Es posible que una aproximación a los impactos en la pobreza se pudiera haber hecho usando la información de la Ficha CAS (la cual provee un estimado del número de personas pobres en la comunidad), o con el uso de datos de los estudios CASEN. Sin 123 embargo, los municipios no registran información de ficha CAS de los beneficiarios de los proyectos.20 14. Resultados intermedios 14.1 Calidad técnica a. El análisis de la calidad técnica fue muy completo y proveyó un claro panorama respecto a las fortalezas y debilidades técnicas del diseño, construcción, mejora y mantenimiento para cada tipo de proyecto. b. Si bien el informe se refiere a los impactos del cambio hacia el programa de emergencia sobre la calidad técnica de los proyectos, parece que no se hizo ninguna comparación sistemática con la calidad de los proyectos anteriores a 1999. Esto pudo haberse hecho fácilmente, ya que la muestra de 60 proyectos estudiados incluyó proyectos que tenían 3 ó 4 años de antigüedad, pero la comparación no se hizo. En consecuencia, no está claro que el actual análisis pueda sustentar la afirmación de que la calidad de la construcción ha declinado. 14.2 Utilización a. No hay estimación de la verdadera población beneficiaria, y el estimado de utilización se basa en una pregunta muy imprecisa. Sin embargo, esto se debe a una falta de datos disponibles y no es una debilidad del diseño de la evaluación. b. La falta de información sobre la población beneficiaria no permitió un análisis de la utilización de los servicios por diferentes grupos de la población. 14.3 Satisfacción de los trabajadores a. En la encuesta se preguntó a los trabajadores acerca del grado de satisfacción con el empleo obtenido a través del PMU en una escala de 7 puntos. Las 7 posiciones fueron luego agrupadas en 3 categorías para facilitar el análisis estadístico y porque las puntuaciones del 1 al 4 representan reprobación en el sistema educativo chileno. b. El análisis muestra que la satisfacción con el empleo en el PMU está asociado con el tamaño de la comuna, el sexo del trabajador y el nivel de educación: i. Las mujeres, en general, están más satisfechas que los hombres. ii. La satisfacción decrece con mayores niveles de educación. iii. El nivel de satisfacción se incrementa con el tamaño de la población. c. Aunque estos hallazgos son interesantes, su valor analítico es limitado por la ausencia de un modelo teórico del programa o de alguna hipótesis definiendo las relaciones 20 Respecto de otros usos de la información proveniente de la encuesta CASEN, no fue posible su incorporación, tal como se señala en páginas 77 y 78 del informe final. Además, se realizó una evaluación del nivel socioeconómico de los beneficiarios (ver página 56 y 57 del informe final de la evaluación de impacto www.dipres.cl). 124 causales esperadas. Debido a esto, el informe no incluye ninguna explicación de por que fueron encontrados estos resultados o sus implicaciones de política. Similarmente, no hay explicación de por qué no se encontró relación entre satisfacción y edad, experiencia laboral, ingreso de la unidad familiar o la proporción de familias pobres en la comuna. Consecuentemente, los hallazgos no ofrecen ninguna guía clara de política para el diseño de futuros programas de empleo. d. Aunque la aplicación técnica del análisis econométrico es sólida, se pueden mencionar varios aspectos metodológicos: i. La utilidad en general del pseudo R-cuadrado puede ser cuestionada en este contexto, ya que el valor absoluto del R-cuadrado no está normalizado. Sin embargo, los autores trataron de superar esto usando el método Nagelkerkel, que es de hecho el método Cox-Snell normalizado. Entonces, usar uno u otro es esencialmente lo mismo, sólo que el método Nagelkerken proporciona un rango similar a un tipo de OLS normal R-cuadrado. ii. Un sorprendente resultado es que el McFadden R-cuadrado no es significativamente diferente de los otros métodos usados. Como la Medida McFadden es más rigurosa, debe ser significativamente inferior que el método Cox-Snell. Sin embargo, el método McFadden sólo toma en consideración los valores correctamente calculados. iii. Un mejor estimador podría ser el McKleavey y Zaviona, que esencialmente toma la suma de las razones 0 y 1 correctamente calculadas. 15. Impactos (resultados finales) 15.1 Impactos en los beneficiarios a. Sólo fue posible realizar un análisis relativamente superficial debido al diseño de la muestra y la información recopilada en la encuesta: i. La única información disponible de la encuesta se refiere a preguntas generales sobre la satisfacción y si el proyecto ayudó a resolver un problema. b. Los procedimientos estadísticos son apropiados. Las pruebas estándar como Chi- cuadrado y T-Test son usados para probar las diferencias entre tipologías. El análisis de varianza se usa para la construcción de las categorías de comunas. c. Se usa el análisis multivariado para identificar predictores del desempeño del proyecto (la posibilidad de que se considere que el proyecto contribuye a la resolución de los problemas comunitarios, etc.). Se usan Probit y procedimientos similares para las variables dependientes dicótomas y ordinales. d. Una de las limitaciones de gran parte del análisis multivariable es que el diseño de la evaluación no desarrolló un modelo de programa teórico o un grupo de hipótesis acerca de cómo la intervención de los proyectos afectaría los resultados y los tipos de impacto que podrían esperarse. Consecuentemente, mucho del análisis envuelve la 125 “pesca” de relaciones estadísticamente significativas entre las declaraciones de actitud particulares y los tipos de proyecto particulares. e. Como resultado, gran parte de la presentación simplemente informa sobre relaciones estadísticas significativas con muy poca explicación o discusión. Dado el gran número de indicadores, uno esperaría muchas asociaciones significativas sólo por las leyes de probabilidad. En consecuencia, es a menudo difícil saber cuán importantes o significativos son algunos de los hallazgos. f. Una de las técnicas potencialmente útiles que no se usó es la combinación de un grupo de variables (tales como las actitudes hacia el desempeño del proyecto) para crear un índice.21 g. La aplicación de métodos econométricos es, de nuevo, técnicamente sólida, pero pueden señalarse varias cuestiones técnicas: i. Los indicadores cualitativos son particularmente débiles para el análisis econométrico, ya que no pueden convertirse fácilmente en índices ordinales.22. iii. Las mismas cuestiones pueden suscitarse respecto al uso de X² (ver la Sección 10.3d). iv. Se creó una serie cronológica diferida usando preguntas “antes y después”. Aunque este método usualmente refleja una imagen cierta de la tendencia, no es suficiente, por sí mismo, para determinar los coeficientes. Esta limitación fue reconocida por el equipo de evaluación pero éste no tenía acceso a otra fuente de información sobre la situación previa al proyecto. v. Asumiendo que el modelo es correcto, la calidad de los datos y que los supuestos básicos son correctos y significativos, entonces la interpretación de los resultados está justificada. 15.2 Utilización de los recursos a. El análisis de los costos administrativos es directo y claro. b. El análisis de los cambios en la proporción relativa de la inversión en cada tipo de proyecto es también claro. c. La comparación con los costos de construcción del Ministerio de Vivienda (MINVU) es útil. El análisis encontró costos de construcción similares para proyectos comparables. Sin embargo, el argumento de que los costos del PMU debieron haber sido inferiores por estar operando en una mayor escala requiere fundamentación adicional. Ello simplemente se señala sin evidencia alguna. El análisis de este punto 21 La DIPRES aclaró que se agrupan los resultados de las variables en categoría, por ejemplo: La agrupación de las respuestas de satisfacción en notas en tres categorías se hizo para facilitar la estimación del modelo. En esta agrupación se consideró la distribución de las notas y el hecho que 1 a 4 corresponde a una nota insuficiente (reprobado en el sistema escolar chileno). 22 La DIPRES señaló que algunas de las variables cualitativas han sido transformadas en probabilidades mediante el análisis econométrico en dos etapas. Por ejemplo, la probabilidad de calificar a un proyecto como habiendo solucionado un problema comunitario. 126 debe tomar en consideración que el PMU tuvo que producir gran número de pequeños proyectos distribuidos en todo el país, trabajando a través de las municipalidades, muchas con limitada experiencia y capacidad de implementación, y teniendo que reclutar fuerza de trabajo local no calificada. En estas circunstancias es necesario realizar un análisis más cuidadoso antes de concluir que el PMU es menos eficiente. d. Hubiera sido muy útil haber incluido comparaciones de costos con otras organizaciones además del MINVU. Sin embargo, la información no estuvo disponible al momento de la evaluación. 15.3 Desempeño global del programa a. La conclusión de que los costos promedio de cada uno de los 5 tipos de proyectos son similares es interesante e importante. Sin embargo, hubiera sido útil incluir un cuadro con la distribución estándar a fin de comparar el rango y las medianas. b. Debió incluirse más documentación sobre los motivos para la similitud de costos. La afirmación de que esto es así porque las municipalidades trataron de distribuir recursos tan ampliamente como fuera posible entre las comunidades es plausible, pero no se presenta evidencia que apoye esta afirmación. VI. RECOMENDACIONES: ¿SON LOGICAS Y ESTÁN RESPALDADAS POR LOS HALLAZGOS DE LA EVALUACION? 16. Justificación para recomendar la continuación del programa 16.1 Esta sección debe empezar clarificando si las recomendaciones se basan en el supuesto de que el PMU es: i. Una manera costo/efectiva de generar empleo de emergencia. ii. Una manera costo/efectiva de proporcionar infraestructura urbana y servicios básicos a los pobres urbanos. iii. Ambos anteriores. Esto es importante porque el modo en el cual el programa debe ser evaluado y el criterio para juzgar si éste debe continuar son diferentes en cada escenario. 16.2. La lógica para recomendar que el programa debe continuar no es sólida ni convincente. Esta se resume como sigue:23 i. El programa es relevante porque las comunidades tienen necesidades importantes de infraestructura y servicios, y las municipalidades necesitan responder a estas necesidades. ii. Las municipalidades, los beneficiarios y los trabajadores contratados expresaron reconocimiento por el programa. iii. Se presenta un cuadro mostrando qué proporción de comunidades y/o familias carecen de diferentes servicios. 23 Informe principal, pp 143-144. 127 iv. Sin embargo, la evaluación encontró que el PMU tenía importantes problemas y limitaciones. No fue muy eficiente y las calidades del diseño, la ejecución y el mantenimiento fueron todas pobres. v. A pesar de estas limitaciones importantes y serias, el informe recomienda que el programa debe continuar, pero con varias modificaciones presentadas en la sección de recomendaciones. Esto se basa en que el problema que dió origen al PMU sigue vigente, tal cual se plantea en 16.2.i), ii) y iii). 16.3 A pesar de que el informe contiene 150 páginas de análisis, la justificación para la continuación se presenta en sólo una página (la segunda página es un cuadro mostrando el porcentaje de familias en diferentes grupos de ingreso que carecen de diferentes servicios) y no se basa en análisis alguno. Algunos de los asuntos que debieron haberse tratado en esta sección incluyen: i. Una evaluación del PMU como un método efectivo en términos del costo de proveer servicios urbanos. Esto debiera basarse en información del período 1996-1998, cuando la concentración estaba en la provisión de servicios; así como de información del período 1999-2001, cuando la concentración estaba en la generación de empleo. La evidencia de este último período sugiere que el PMU, la calidad y posiblemente el costo de la provisión de servicios no son muy buenos. Sin embargo, el análisis debería también determinar si la ejecución fue mejor en el período inicial, cuando había menos presión para generar empleo. ii. Para ambos períodos el análisis debe tratar de comparar la efectividad en términos del costo del PMU con otros modelos de provisión de servicios. Se hizo una comparación con el MINVU para un limitado grupo de proyectos, pero una comparación más amplia sería útil. Si se recomienda que el PMU continúe, sería importante comparar a éste con sistemas alternativos de provisión de servicios municipales. iii. Si la mayor justificación para el PMU es en términos de su capacidad de generación de empleo, entonces sería idealmente muy útil incluir comparaciones con el costo de estrategias de creación de empleo alternativas, a fin de poder evaluar sus puntos fuertes y débiles con información sobre otra opción que haya sido considerada en Chile (asumiendo que se disponga de tal información). Es por esta razón que en el 2004 se realizó una evaluación de impacto de todos los programas de empleo con apoyo fiscal. 17. Recomendaciones a. Como para la sección previa, ésta debe empezar por clarificar si las recomendaciones se basan en el supuesto de que el PMU es: • Un modo efectivo en términos del costo de generar empleo de emergencia. • Un modo efectivo en términos del costo de proveer infraestructura municipal y servicios básicos a los pobres urbanos. • Ambos anteriores. b. Parece implícitamente asumido, pero no está explícitamente establecido que si el PMU continúa, lo hará como un programa de emergencia de generación de empleo. Todas las recomendaciones parecen razonables, asumiendo que se ha hecho una 128 decisión de política para continuar el MPU como un programa de emergencia de generación de empleo. VII. PONIENDO LA EVALUACIÓN DEL PMU EN EL CONTEXTO DEL PROGRAMA NACIONAL DE EVALUACION 18. ¿Cumplió la evaluación con los términos de referencia técnicos (TTR)? a. El Programa de Evaluación de Programas proporciona guías con respecto al proceso, la cobertura y la metodología de las evaluaciones de impacto. El cuadro 3 resume el grado en que la evaluación del PMU cumple con las categorías bajo los encabezados de cobertura y metodología. Se usa una escala de calificación de 5 puntos donde: • 5 = completamente tratado • 4 = buena cobertura/tratamiento • 3 = adecuadamente tratado • 2 = cobertura limitada y • 1 = cobertura inadecuada o inexistente b. Se debe recalcar que donde la evaluación recibe una baja calificación, a menudo se debe a las dificultades de acceso a los datos u otros factores más allá del control del equipo de evaluación. c. Cobertura: La cobertura de los temas clave definidos en el TTR fue generalmente buena: i. Para el diseño del programa y la evaluación de la administración del programa la cobertura fue buena (4). ii. Productos, resultados intermedios y finales fueron todos completamente cubiertos (5). iii. La cobertura fue satisfactoria para la administración de recursos, recuperación de costos y movilización de recursos, justificación para la continuación y recomendaciones (3 a 3.5). d. Metodología: La calidad de la metodología fue generalmente más débil que la cobertura, con el tratamiento de sólo 10/17 áreas alcanzando un nivel satisfactorio: i. La metodología fue excelente o buena para: la definición de indicadores, la evaluación de productos y resultados intermedios, y el análisis de la utilización de recursos. ii. La metodología fue satisfactoria para: combinar métodos cualitativos y cuantitativos, uso de grupos de discusión, instrumentos de recolección de datos, análisis de impactos globales y el diseño general de la muestra. iii. La metodología no fue satisfactoria para: la identificación de hipótesis causales y la formación de un modelo teórico del programa; la determinación de impactos; el uso de grupos de control (ver nota al pie N°3); y la especificación de un caso hipotético. 129 19. Enseñanzas extraídas y recomendaciones para evaluaciones futuras 19.1 Si bien el equipo de evaluación y la DIPRES deben ser felicitados por un enfoque reflexivo y riguroso a una evaluación difícil, de este estudio se pueden extraer varias enseñanzas: a. Es importante acordar por adelantado la prioridad relativa de las diferentes preguntas de la evaluación y, consecuentemente, del más eficiente modo de utilizar el presupuesto de la evaluación. En el presente caso se sostiene que los recursos debieron haber sido reasignados para permitir que un mayor número de beneficiarios sea entrevistado en una submuestra de proyectos. b. A pesar de las dificultades metodológicas, es usualmente muy importante incluir un grupo de control24 representativo del total de la población-objetivo. En el presente caso, la falta de un grupo de control significó que no fuera posible evaluar la efectividad del programa para alcanzar a las familias más pobres o comparar las características de las unidades familiares que se beneficiaron o no de las inversiones. c. Cada encuesta de beneficiarios debió incluir más preguntas específicas sobre cada tipo de proyecto. Las encuestas incluyeron el mismo conjunto de preguntas para varios tipos de proyecto, de manera que la información obtenida fue muy general. A este respecto, la DIPRES señaló que las encuestas aplicadas a los beneficiarios finales son distintas para cada tipología de proyecto. Esto con el objeto de obtener información útil para el análisis multivariado y así explicar los resultados intermedios y finales del PMU.25. d. La metodología para el uso de grupos de discusión debió haberse fortalecido. Se requieren guías para la selección de participantes, para la organización de las discusiones, para asegurar que los puntos de vista de los participantes sean considerados y se controlen las tendencias del facilitador. Al preparar la lista de control de las preguntas es importante tener presente que las clases de preguntas usadas en grupos de discusión son diferentes de las usadas en los cuestionarios de encuestas. 24 Como se mencionó anteriormente, la DIPRES expresó que era imposible construirlo. 25 El cuestionario a los beneficiarios finales incorporó preguntas específicas del proyecto sobre el cual cada beneficiario fue encuestado. 130 Cuadro 2: Evaluando el cumplimiento de la Evaluación del PMU con los Términos de Referencia Técnicos Cumplimiento con los términos de referencia técnicos Calificación 1 = más baja 3 = satisfactoria 5 = más alta Ver nota al pie de pág 1. Metodología 1.1 Combinación de métodos cuantitativos El análisis es principalmente cuantitativo pero se usan grupos de 3.5 y cualitativos discusión (aunque la metodología es débil) y se empleó un panel para evaluar la calidad de la infraestructura.26 1.2 Uso de grupos de discusión, entrevistas Se usaron grupos de discusión, pero la metodología para la selección 3 de informantes clave y otros métodos de participantes y para controlar las tendencias del facilitador no se cualitativos explica. La lista de control de preguntas es más apropiada para una encuesta de unidad familiar que para grupos de discusión. 1.3 Identificación y determinación de Los indicadores de productos, resultados intermedios e impactos 3 hipótesis sobre relaciones de causa y efecto están claramente identificados. No obstante, hay sólo una limitada entre componentes e impactos discusión de las hipótesis que expliquen las relaciones causales entre las diferentes etapas del programa. 1.4 Definición de indicadores La elección de indicadores es apropiada. Hay alguna discusión sobre 4 cómo fueron desarrollados los indicadores. Hubiera sido útil haber combinado indicadores en índices. 1.5 Instrumentos de recolección de datos La cobertura es bastante completa, pero en el informe de evaluación 3.5 se discuten algunas brechas. Los grupos de discusión son menos adecuados. 1.6 Diferenciar impactos de corto, mediano Estos están definidos. 4 y largo plazo 1.7 Evaluación de productos Análisis riguroso. 5 26 La DIPRES aclaró que para esto se realizan focus groups y encuestas a beneficiarios, a través de los cuales se rescatan estos resultados y que la tercera sección del cuestionario aplicado a beneficiarios finales incorpora una serie de aspectos cualitativos del PMU. Posteriormente los principales resultados son analizados a través de un modelo econométrico, que permite construir indicadores cuantitativos, pero los aspectos analizados continúan siendo cualitativos. 131 1.8 Evaluación de resultados intermedios Análisis riguroso. 5 1.9 Evaluación de impactos Algunos impactos son evaluados, pero el análisis está limitado 3.0 porque la muestra es pequeña por comunidad.27 Mucha de la información sobre los impactos es obtenida de preguntas de opinión generales aplicadas a todas las intervenciones en vez de preguntas específicas adaptadas a cada tipo de intervención28 1.10 Análisis de la utilización de recursos Tratado con cierto detalle. 4 1.11 Análisis de impactos globales Análisis general en términos del costo promedio de cada 3 componente, lo que no dice mucho sobre el impacto global. El análisis de costo/beneficio no se usa y el único indicador de impacto es el empleo, lo cual ignora muchos aspectos importantes del programa. 1.12 Elección de indicadores para evaluar Sólo usó el empleo, que es un indicador válido, pero también se 3 los impactos globales requieren otros indicadores. 1.13 Discusión de la posibilidad de usar un Los motivos de no poder usar un caso hipotético fueron plenamente 3 caso hipotético explicados en el texto. 1.14 Diseño de la muestra El diseño de la muestra es completo. 3 1.15 Estimación del tamaño de la muestra La selección y estimación del tamaño de la muestra de los proyectos 2.5 y de trabajadores fue cuidadosa y rigurosa. Notas: 1. Calificación: 5 = completamente cumplido; 4 = buena cobertura/tratamiento; 3 = satisfactorio; 2 = cobertura limitada; 1 = cobertura inadecuada o inexistente. NI = No hay información 2. [ ] indica que la calificación se basa en la información limitada presentada en el informe y podría cambiar con información más completa. 27 La DIPRES aclaró que se trata de una muestra representativa y aleatoria de proyectos, donde además los proyectos presentan características similares en términos de monto y tipología. No es claro que esto signifique una muestra no representativa de beneficiarios. 28 A este respecto, la DIPRES señaló que las encuestas aplicadas a los beneficiarios finales son distintas para cada tipología de proyecto. Esto con el objeto de obtener información útil para el análisis multivariado y así explicar los resultados intermedios y finales del PMU, considerando las distintas tipologías de proyectos (ver anexo III. Instrumentos de recolección de informes). Además el cuestionario a los beneficiarios finales incorporó preguntas específicas del proyecto sobre el cual cada beneficiario fue encuestado. 132 ANEXO G. 2: EVALUACIÓN DE LA EVALUACIÓN DEL PROGRAMA DE RECONVERSIÓN LABORAL Y PRODUCTIVA DE LA ZONA DEL CARBÓN Diciembre del 2005. 132 CONTENIDOS Página Resumen Ejecutivo 3 I. Introducción 9 1 Propósito de la evaluación del Programa de Reconversión 9 2 Programa de Reconversión Laboral y Productiva 9 3 Propósito de la evaluación 11 4. Principales hallazgos y recomendaciones de la evaluación 11 II Resumen de la metodología de la evaluación 13 5 Cobertura y niveles de análisis 13 6 Definición de los productos y los impactos 14 7 Evaluación de la utilización de los recursos 14 8 Análisis y presentación de los hallazgos 17 III. Evaluación de la metodología de evaluación 17 9 El marco conceptual 17 10 Diseño de la muestra 18 11 Instrumentos de encuesta y procedimientos de recolección de 21 información 12 Análisis e interpretación de la información 24 13 Justificación para la continuación del programa 27 14 Recomendaciones 27 15 Organización del informe y presentación de los hallazgos 28 IV Cumplimiento de los Términos de Referencia 28 16 Objetivos de la evaluación 28 17 Desarrollo de un contra hecho para evaluar los impactos del 29 programa 18 Evaluación de los resultados del programa 29 19 Análisis de costos 30 20 Estimación del rendimiento global del programa 30 Cuadro 1 Metodología de la evaluación 15 Cuadro 2 Evaluación del cumplimiento con los términos de referencia 32 técnicos Gráfico 1 Resumen del diseño de la muestra 34 Apéndice Principales hallazgos de la evaluación 36 133 Resumen Ejecutivo Este es el segundo de una serie de informes que están siendo preparados por el Banco Mundial sobre evaluaciones de impactos seleccionadas, realizadas como parte del Programa de Evaluación coordinado por la Dirección de Presupuestos del Ministerio de Hacienda del Gobierno de Chile. La presente evaluación fue realizada sobre el Programa de Reconversión Laboral y Productiva de la Zona del Carbón. El Programa de Reconversión estaba orientado a proveer estabilidad económica a los ex-trabajadores del carbón destituidos a través de los programas de jubilación anticipada o de capacitación y reinserción laboral; y para promover nuevas fuentes de trabajo para todos los trabajadores de la Zona, mediante incentivos a la inversión y el subsidio de salarios. La evaluación abarca el período 1994-2002, durante el cual la meta era proveer la jubilación anticipada a más de 392 ex-trabajadores del carbón seleccionados, capacitar y reinsertar a 1157extrabajadores del carbón, por medio de subsidios salariales a 90 trabajadores y otros 5000 trabajadores, y proveer subsidios para la inversión a un número no específico de inversionistas potenciales. El contexto del mundo real en el que se realizó la evaluación Al evaluar la metodología utilizada en esta evaluación de impacto, es importante reconocer las realidades del contexto político y metodológico dentro de las cuales se realizó la evaluación. En el nivel político, había habido una historia de protestas contra los cierres de las minas. Esto, combinado con el deseo de los sindicatos de extraer máximos beneficios del Gobierno y la empresa, hizo muy difícil realizar entrevistas y obtener información objetiva. Por ejemplo, muchos miembros del sindicato tenían interés en criticar los servicios prestados y en restarle importancia a sus repercusiones beneficiosas ya que querían negociar beneficios adicionales. En el nivel metodológico es importante considerar que, aparte del pago continuo de las pensiones, todos los otros servicios habían concluido. En consecuencia, no fue posible observar los programas en operación. Además las limitaciones de los datos, por ejemplo sobre la población total de las empresas, dificultaron usar algunos de los tipos de grupo testigo que quizá hubiese sido teóricamente útil. Hallazgos y recomendaciones de la evaluación El Programa fue relativamente exitoso en alcanzar sus metas cuantitativas de producción: • Capacitación: Durante 1966-1997, el 95% de los 531 ex trabajadores de ENACAR que se les había garantizado capacitación la recibieron. Durante el mismo período 30% de los 626 ex trabajadores sin garantía de capacitación recibieron capacitación en el trabajo, en la empresa que los contrató. • Reinserción laboral: Durante 1996-1997, el 71% de los trabajadores que tenían garantía de acceso a capacitación obtuvieron empleo, principalmente como asalariados, pero un pequeño número se convirtieron en trabajadores por cuenta propia. Durante el mismo período el 47% de los 626 ex trabajadores sin garantía 134 de capacitación obtuvieron empleo, si bien en este caso el 36% se convirtieron en trabajadores por cuenta propia. De manera que el Programa ayudó al 58% de los trabajadores del carbón destituidos a encontrar trabajo. • Jubilación anticipada: Más del 97% del grupo objetivo recibió beneficios. • Subsidios salariales: La meta de 5000 trabajadores (tanto ex trabajadores de ENACAR y otros) a ser colocados en trabajos a través del programa de salario subsidiado fue superada. • Subsidios para inversión: 340 empresas recibieron subsidios para la inversión, resultando en un total de 115 inversiones. Con respecto a los impactos del programa: • Fue estimado que la capacitación y la reinserción laboral por medio de agencias profesionales, produjeran un aumento estadístico significativo en los ingresos, con un promedio de $10.000 pesos chilenos por mes.1 • No hubo un impacto estadístico significativo en los sueldos debido a la capacitación en el trabajo o al programa de subsidio de salarios, lo que sugiere que ninguno de estos produjo beneficios significativos en los ingresos. El análisis de eficiencia económica también encontró una baja efectividad en términos del costo y tasas sociales negativas de retorno: • El costo por trabajador empleado por medio de los diferentes programas de capacitación varió de 19 a 40 meses de salario mínimo, mientras que el costo del salario subsidiado fue de aproximadamente 17 meses. En el costo por trabajador del programa de empleo por cuenta propia fue de 8 meses de salario mínimo. • El costo por trabajador del programa de jubilación anticipada fue estimado a 15 años de salario mínimo (aunque CORFO reclamó que la cifra es significativamente más baja, por cuanto sólo el costo del suplemento de la pensión del Estado debería ser considerado como un costo). El equipo de evaluación recomendó que en programas futuros sería útil considerar también otras opciones que provean servicios y beneficios similares a un costo menor. • La capacitación y reinserción laboral, los subsidios de salario y el programa de jubilación anticipada, han tenido tasas sociales de retorno negativas. La evaluación concluyó que como el programa había alcanzado sus objetivos de proveer servicios a una población-objetivo definida y todos los componentes ya habían finalizado su ejecución2, no había justificación para recomendar su continuación. El informe también recomendó que cualquier programa futuro similar requeriría un rediseño significativo dado que ninguna de las actuales opciones, había probado ser efectivas en términos del costo o producido tasas sociales de retorno positivas. Las principales recomendaciones fueron que: los programas futuros deben centrarse mucho más en la eficiencia del ingreso y en las opciones de generación de empleo, debido a que las actuales opciones no eran efectivas en términos del costo; se debe hacer 1 Usando un tipo de cambio de US$ = 650 pesos (aproximadamente). 2 Salvo el Puente de Jubilación. 135 un análisis cuidadoso de cualquier opción de pensión suplementaria e indagar alternativas de solución de menor costo como señala el informe; la promoción del empleo propio parece ser una las opciones más efectivas en términos del costo; es necesario tener cuidado en la selección de los tipos de subsidios de inversión, ya que muchos resultaron no ser efectivos en términos del costo; y el sector privado podría ser consultado sobre el diseño del programa. Evaluación de la evaluación La evaluación fue diseñada de forma lógica desde el punto de vista técnico, los instrumentos de recolección de información fueron bastante integrales, las muestras fueron seleccionadas cuidadosamente (aunque hay ciertos cuestionamientos respecto a las fórmulas usadas para estimar el tamaño de la muestra), y se utilizaron procedimientos analíticos apropiados. Los términos técnicos de referencia (TTR) y el equipo de evaluación definieron claramente los resultados esperados al nivel de productos, efectos e impactos intermedios (resultados finales), y también presentaron indicadores para medir cada uno de éstos. Este marco funcionó bien para evaluar el grado en que el programa había logrado cada uno de estos resultados. Se recomienda que para las evaluaciones futuras similares sería útil considerar desarrollar aún más este marco analítico mediante el desarrollo de un modelo de teoría del programa que especifique los procesos (los nexos causales) mediante los cuales se espera se produzcan los efectos, identifique las hipótesis para probar estos nexos causales e identifique las variables contextuales (como el contexto económico, político y cultural de cada proyecto) que podría afectar los resultados y los impactos. El análisis se concentra principalmente en los impactos de las diferentes intervenciones sobre el ingreso y no se considera en absoluto otros posibles indicadores de impacto social o político. Si bien los términos de referencia se refieren directamente a los indicadores de ingreso y empleo, se cuestionó si se había considerado un margen más amplio de indicadores de impacto. Por ejemplo, los TTR se refieren a la evaluación de externalidades sin definir cuáles podrían ser éstas, y la comunicación de CORFO indica que el Programa de Transformación estaba dirigido a abordar el declive económico de la Zona debido al cierre de las minas y la resultante agitación política y social. Consecuentemente, para cualquier evaluación futura de programas similares se debe considerar la posibilidad de incluir un margen más amplio de indicadores de producción e impacto. Ejemplos de posibles indicadores, dependiendo claro de la naturaleza del programa que se está evaluando, podría incluir: la mejora de las relaciones laborales con los sindicatos, ayudar a los trabajadores a mejorar su nivel de vida (social y económico). Los términos de referencia establecen que el diseño de la evaluación debería combinar métodos de evaluación cuantitativa y cualitativa. Esto ya se hace, pero la evaluación depende mucho en los métodos cuantitativos de encuesta y análisis estadístico. Se reconoce que debido a que los programas habían terminado mucho antes de que se realizara la evaluación, hubiese sido difícil usar los tipos de métodos cualitativos (por ejemplo observación de los participantes) que se usan para evaluar programas en curso. Aunque el programa ya había terminado, hubiera sido útil traer a un panel de expertos 136 para evaluar la calidad de los programas de capacitación y de reinserción laboral así como la organización de los incentivos para la inversión. Se hicieron un número específico de observaciones técnicas: a. Diseño de la muestra: • La escogencia del 8,5% de intervalo de confianza es bastante inusual y hubiera sido útil haber explicado por qué fue seleccionado este intervalo. • La fórmula usada para estimar el tamaño de la muestra requerida, para lograr un específico intervalo de confianza es apropiada para la estimación de sólo una media (el ingreso). Sin embargo, el propósito principal de esta evaluación es la estimación de diferencias entre las dos medias (por ejemplo, trabajadores que recibieron o no-capacitación) y en este caso una fórmula diferente, como las dos muestras T-Estadística que probablemente debieron haber sido usadas para estimar el tamaño de la muestra. b. Poblaciones cubiertas: • La encuesta de los incentivos de inversión podría haber cubierto empresas que no utilizaron los subsidios al igual que las empresas que si los utilizaron3 c. Análisis: • El informe se basa casi exclusivamente en el análisis cuantitativo a pesar de lo especificado en los Términos de Referencia de combinar el análisis cuantitativo y cualitativo. • Hay muy poca discusión de las características de los diferentes grupos que no son trabajadores de ENACAR y se asume implícitamente que son homogéneos. • Cada componente del programa se trata de forma aislada y no se hace un análisis de los impactos globales del programa en todos los ex empleados de ENACAR o sobre la economía de la zona.4 d. Conclusiones: • Las conclusiones presentan un resumen claro y lógico del análisis estadístico. La definición del propósito está centrada en el resultado directo del programa sobre la reinserción laboral de los trabajadores y no en el efecto del programa sobre la disminución de la conflictividad política dentro de la cual se implementó el programa. Esta última es influida por numerosos otros factores además del programa evaluado. 3 Comentario DIPRES: No fue posible identificar a las empresas potenciales beneficiarias del programa, ya que podrían ser todas las empresas chilenas y también las extranjeras. 4 Comentario DIPRES: No se realiza un análisis agregado de los resultados finales del programa, debido a la distinta naturaleza del bien/servicio que se entrega a través de los distintos componentes. La evaluación se hace por separado para el componente de capacitación respecto del componente puente de jubilación, debido a que por la naturaleza distinta del servicio que se entrega, no existen resultados finales (impactos) similares. El componente capacitación implica una inversión en capital humano y por ende debería esperarse un efecto en los ingresos de los beneficiarios, mientras que el puente de jubilación es sólo una transferencia monetaria, que no tiene efectos de largo plazo. A nivel de resultados intermedios se evalúan empleos adicionales generados, permanencia de las inversiones, entre otros. 137 • En vista de las consideraciones anteriores, las conclusiones no consignan adecuadamente los objetivos sociales y políticos más amplios del programa. Esta opinión se reitera en las observaciones sometidas por CORFO. Sin embargo, según la DIPRES estos temas más amplios no estaban incluidos en los TTR y, en consecuencia, la evaluación no debe ser criticada por no haberlos incluido en el análisis. e. Recomendaciones • Todas las recomendaciones son claras y lógicas. La única cosa que se pudo haber agregado sería detalles más específicos sobre las guías para la selección y diseño de las intervenciones en cualquier futuro programa similar. Cumplimiento de los Términos de Referencia Los Términos de Referencia especificaron 3 objetivos para la evaluación. El siguiente párrafo indica hasta que punto la evaluación satisfizo cada objetivo: a. Conducir un análisis independiente de información cuantitativa y cualitativa para valorar si el programa ha logrado sus objetivos: La evaluación condujo a un análisis riguroso de información cuantitativa pero mucha menos atención fue dada a la generación y análisis de información cualitativa. Sin embargo, el uso más limitado de los datos cualitativos es comprensible dado que el programa había concluido antes de que se realizara la evaluación. b. Desarrollar y aplicar métodos cuantitativos y cualitativos para evaluar hasta que punto el programa ha logrado sus objetivos intermedios y finales, así como también las externalidades asociadas con la ejecución del programa: La evaluación se concentró en el éxito del programa en producir impactos de ingreso y no abordó los objetivos sociales y políticos más amplios del programa, tales como abordar los disturbios políticos y sociales que surgieron por el aumento del desempleo. La DIPRES no consideró que esos temas más amplios deberían haberse abordado en la evaluación, específicamente en los TTR, dada la dificultad metodológica de asignar este tipo de resultados al programa versus otros factores o políticas públicas que ocurrieron durante el período de evaluación. c. Presentar conclusiones identificando las debilidades y limitaciones específicas del programa, y presentar recomendaciones de cómo se puede lograr la ejecución del programa: La mayoría de las recomendaciones fueron relativamente generales y un análisis más detallado se debió haber hecho de los diferentes componentes del programa.5 Desarrollando un contra hecho para evaluar los impactos del programa: 5 Las recomendaciones son generales debido a las orientaciones que DIPRES entrega a los equipos evaluadores y al hecho que al momento de está evaluación particular, el programa en cuestión se encontraba finalizado. 138 Se realizó un análisis completo y sistemático de los programas de capacitación y subsidio salarial utilizando diseños cuasi-experimentales y grupos de control adecuadamente seleccionados. Sin embargo, para el análisis de los programas de incentivos a la inversión, el estudio idealmente debió haber incluido a todos los inversionistas potenciales en vez de sólo a las empresas que habían recibido el subsidio. No obstante, se reconoce que esto podría haber sido difícil de realizar debido a las limitaciones de los datos. Evaluando los resultados y los costos del programa. El análisis de producción, efectos intermedios e impactos fue conducido sistemática y detalladamente por cada uno de los cuatro componentes del programa. El análisis de los costos administrativos fue limitado por el hecho de que ninguna información comparativa para programas similares fue presentada. En este caso, por la particularidad de los beneficiarios del programa, no existen programas similares con los que fuese posible comparar el gasto administrativo6. Estimación de la ejecución global del programa La tasa social de retorno fue calculada para re-capacitar, reinserción laboral y subsidios salariales. Si bien la tasa social de retorno es apropiada para este tipo de evaluación, hay muchas preguntas concernientes a cómo fueron aplicados los análisis. Usando el ingreso salarial como el único indicador de beneficios, se podrían subestimar los beneficios totales producidos por el programa. Finalmente, un análisis de distribución podría haberse conducido para evaluar los beneficios diferenciales a los diferentes sectores de la ex fuerza laboral de ENACAR: por ejemplo, beneficios para los jubilados anticipadamente comparados con los trabajadores que fueron re-capacitados o contratados por medio del programa de subsidio salarial. 6 Se debe considerar que este gasto corresponde a una estimación, para la cual no siempre se utilizan los mismos supuestos entre un programa y otro. 139 I. INTRODUCCION 1. Propósito de la evaluación del Programa de Reconversión a. Este informe es el segundo de varios informes que están siendo preparados por el Banco Mundial sobre evaluaciones de impacto seleccionadas conducidas como parte del Programa de Evaluación del Programa de Evaluación coordinado por la Dirección de Presupuestos del Ministerio de Hacienda del Gobierno de Chile. Cada evaluación está siendo evaluada tanto en términos de las fortalezas como las debilidades de su metodología, y también hasta que punto cada uno sigue las guías de evaluación de impacto desarrolladas por la Dirección de Presupuestos.7 Se espera que este ejercicio proveerá lecciones y recomendaciones para fortalecer las guías nacionales de evaluación y también para que otros países se beneficien de esta experiencia en el desarrollo de estrategias de evaluación nacional similares. 2. Programa de Reconversión Laboral y Productiva de la Zona del Carbón 2.1. Antecedentes a. ENACAR comenzó a operar en 1975, siendo Lota la mina mayor. En la década de los 80 la empresa comenzó a tener un déficit y en 1991 un estudio mostró que la mina nunca volvería a ser rentable. Consecuentemente se propuso una estrategia para promover una transición gradual hacia un desarrollo más amplio, basado en el sector privado. b. En 1992 ENACAR comenzó a fomentar el retiro voluntario y en 1994 lanzó un programa de transformación (programa de reinserción laboral) con fondos para capacitación y para agencias de reinserción laboral y subsidios para las empresas donde los nuevos trabajadores serían capacitados. En 1994 se creó el Fondo para la Transformación Económica (FARCAR) para promover nuevas fuentes de empleo e inversión. c. En 1994 la mina Schwager fue cerrada dejando a 600 trabajadores desempleados. Trescientos fueron re-empleados en obras públicas y 200 se integraron al programa de reinserción de empleo. A pesar de estos esfuerzos el déficit de ENACAR continuó creciendo y en 1996 se hizo un recorte drástico que retiró a 424 trabajadores. La reestructuración no funcionó y no logró sus metas, por lo que se decidió cerrar la mina Lota en 1997. A partir de 1992, hubo un aumento de disturbios sociales como huelgas, demostraciones, marchas a Santiago, etc. Los trabajadores tenían el apoyo de la opinión pública, y el Gobierno se vio forzado a introducir generosos paquetes de compensación. 7 Términos de Referencia Técnicos de la “Evaluación del Programa de Evaluación de Programas”, Dirección de Presupuestos, Ministerio de Hacienda, Chile, febrero 2004. 140 2.2. Política global del sector a. El aumento de dificultades en la Zona Lota debe ser entendido dentro del contexto más amplio de la política gubernamental, que requiere que las empresas públicas se conviertan en empresas auto financiadas, que fue complementada por una política nacional de compensación al trabajador cuando las empresas fueran cerradas. b. El monto real de la compensación adicional negociada en cada caso, dependió de la importancia de la industria y de las presiones políticas y contextuales. El carbón tiene todas las condiciones para un trato especial: 1.900 trabajadores y sus familias fueron desplazadas; esta era una zona de alto desempleo; los trabajadores eran apoyados por un sindicato muy bien organizado; y los mineros del carbón tenían el apoyo de la opinión pública. 2.3 Componentes y objetivos del Programa a. El programa consistía de 4 componentes: i. Capacitación y reinserción laboral: Proveer capacitación y colocación a ex trabajadores de ENACAR ya sea en empresas existentes o como trabajadores independientes. ii. Jubilación anticipada: Proveer suplementos financieros para las pensiones normales de trabajadores elegibles de ENACAR para una jubilación anticipada en 1996-1997 y proveer un “puente” financiero para los trabajadores que serían elegibles para la jubilación en los siguientes años. iii. Incentivos de inversión a empresas para crear y expandir negocios en la región que generarían empleo. Los subsidios podrían ser utilizados para estudios de factibilidad de pre inversión, y para comprar o urbanizar tierras. No había poblaciones específicas en la mira ya que cualquier empresa, dentro o fuera de Chile, era elegible para aplicar. iv. Subsidios salariales a empresas que contrataran más fuerza laboral: La meta era estimular a las empresas para que contrataran 3000 trabajadores y más adelante 5000 adicionales. Este beneficio estaba disponible para todos los trabajadores de la zona. b. Durante la evaluación del programa es importante entender que éste fue creado en respuesta a un contexto político muy conflictivo causado por el colapso de la fuente principal de empleo en la región, y resultando en una gran escala de protestas y demostraciones, incluyendo una marcha a la capital. En su respuesta al primer borrador del informe de evaluación CORFO argumentó que el programa debería ser evaluado en términos de las opciones políticas disponibles a las autoridades en ese momento, en vez de hacerlo simplemente en términos de un análisis convencional de efectividad en términos del costo. 141 3. Propósito de la evaluación a. De acuerdo a los Términos de Referencia,8 la evaluación debía cubrir el período comprendido entre 1994 y 2002,9 y debía evaluar los resultados e impactos (eficacia) del programa para los trabajadores directamente afectados por los diferentes componentes. Los objetivos específicos fueron los siguientes: i. Conducir una evaluación independiente, usando información cuantitativa y cualitativa, del grado en que el programa ha producido sus productos esperados. ii. Desarrollar metodologías cuantitativas y cualitativas para evaluar si el programa ha logrado sus objetivos intermedios y finales (impactos) esperados y para evaluar como éstos han sido afectados por aspectos externos. iii. Identificar las debilidades y limitaciones del programa que afectan el logro de resultados e impactos esperados, y presentar recomendaciones sobre como la ejecución y los logros del programa pudieron haber sido mejorados. b. Los Términos de Referencia también especifican la metodología y los tipos de análisis a ser conducidos sobre los productos, resultados intermedios e impactos de cada componente. 4. Principales hallazgos y recomendaciones de la evaluación (Ver el Anexo 1 para un resumen más detallado de los hallazgos de la evaluación) 4.1. Principales hallazgos a. El programa fue relativamente exitoso en lograr sus metas de producción cuantitativa y resultados intermedios10: i. Re-capacitación: Durante 1996-1997, el 95% de los 531 ex trabajadores de ENACAR a los que se les garantizó la capacitación la recibieron. En el mismo período el 30% de los 626 ex trabajadores sin una garantía de capacitación recibieron la capacitación en el empleo en la empresa que los contrató. ii. Reinserción laboral: Durante 1996-1997, el 71% de los trabajadores con acceso garantizado a la capacitación obtuvieron empleo, principalmente como asalariados, pero con un pequeño número se convirtieron en trabajadores por cuenta propia. Durante el mismo período, el 47% de los 626 ex trabajadores sin garantía de capacitación obtuvieron empleo, aunque en este caso, el 36% como trabajadores por cuenta propia. Así, el programa ayudó al 58% de los trabajadores del carbón cesados, a encontrar empleo. iii. Jubilación anticipada: Más del 97% del grupo objetivo recibió beneficios. 8 Términos de Referencia Técnicos. Evaluación de Impacto del Programa de Reconversión Laboral y Productiva de la Zona del Carbón. Marzo 2003. 9 El Puente de Jubilación continúa vigente hasta que los ex-trabajadores de ENACAR cumplan la edad de 65 años para jubilar y acceder al sistema regular de pensiones; y la capacitación y los componentes de reinserción laboral finalizaron en 1998. 10 Para más detalles, ver la página 41 de este anexo- 142 iv. Subsidios salariales: 340 empresas recibieron subsidios para inversión, resultando en un total de 115 inversiones. b. Con respecto a los impactos del programa: i. Se estimaba que la capacitación y reinserción laboral por medio de agencias profesionales produjeran un aumento estadístico significativo de un ingreso promedio de $10,000 pesos chilenos por mes.11 ii. No hubo impacto estadístico significativo en los sueldos, tanto en la capacitación en el empleo, como en el programa de subsidio salarial, lo que sugiere que ninguno de estos produjo ningún beneficio de ingresos significativo. c. El análisis de eficiencia económica encontró baja efectividad en términos del costo y una tasa social de retorno negativa: i. El costo por trabajador empleado a través de los diferentes programas de capacitación varió de 19 a 40 meses de salario mínimo mientras que el costo del subsidio salarial fue de aproximadamente 17 meses de salario mínimo. Los costos más bajos por trabajo creado fue equivalente a 8 meses de salario mínimo por medio del programa de auto empleo. ii. Todos los programas de capacitación y reinserción laboral, subsidio salarial y jubilación anticipada han tenido tasas sociales negativas de retorno. d. La evaluación concluyó que como el programa había logrado sus objetivos de proveer servicios a una población definida y todos los componentes ya habían finalizado su ejecución (menos el puente de jubilación), no había justificación para recomendar su continuación. El informe también recomendó que cualquier programa futuro similar requeriría un rediseño significativo, ya que ninguna de las actuales opciones había probado su efectividad en términos de costo o habían producido tasas sociales de retorno positivas. 4.2. Recomendaciones principales a. Los programas futuros se deben centrar en la eficiencia de las opciones seleccionadas, particularmente considerando las grandes diferencias en los costos de diferentes opciones. b. Las jubilaciones anticipadas son una opción muy onerosa, y si se debe usar es importante poner atención a la composición de edad de la fuerza laboral y a las pensiones mínimas garantizadas, ya que el costo total es muy sensible a variaciones en estos factores. c. La creación de auto empleo parece ser la opción más económica. Se recomienda que programas futuros estudien esta opción cuidadosamente. 11 Utilizando el tipo de cambio de US$ = 650 pesos (aproximadamente). 143 d. La capacitación tradicional es más efectiva en términos de costo que la capacitación en el empleo. Las entrevistas a los trabajadores también demostraron que con frecuencia ésta no produce la capacitación prometida. e. Necesidad de mejor monitoreo de la implementación de diferentes programas. f. Se necesita tener cuidado en la selección de tipos de subsidios de inversión e incentivos. Hay que asegurarse que las opciones realmente generen empleo. Por ejemplo, los subsidios para inversión parece que lo logran, pero muchos tipos de subsidios para inversión no tienen un impacto claro en la creación de empleo. g. El sector privado debería ser consultado en el diseño de programas. II. RESUMEN DE LA METODOLOGÍA DE LA EVALUACIÓN (Ver el Cuadro 1) 5. Cobertura y niveles de análisis 5.1 Niveles de análisis a. El estudio examinó los productos e impactos del programa en 4 niveles: • Al nivel del componente del proyecto. • La población de ex trabajadores de ENACAR cubiertos por los protocolos de 1995 y 1996. • La zona. • Análisis de impactos en la economía nacional. 5.2. Componentes estudiados a. El análisis examinó los cuatro componentes del programa: i. Capacitación y reinserción laboral. Esto incluyó tanto la capacitación y la reinserción laboral provista por agencias especialistas y capacitación en el empleo provisto por las empresas. Inicialmente el programa únicamente cubría a trabajadores colocados en empresas pero luego fue ampliado para que también incluyera a los trabajadores independientes que abrieron sus propios negocios. ii. Programas de jubilación anticipada: Estos cubrían tanto a los trabajadores ya elegibles para una jubilación anticipada así como a aquellos que llegarían a ser elegibles entre 1996 y 2012. iii. Incentivos para inversión: Esto incluyó subsidios para estudios de pre factibilidad, compra de tierras y urbanización de tierras, y comisiones a los promotores que identificaban a los inversionistas. iv. Subsidios salariales: Pagados a empresas que contrataban trabajadores, fuesen estos o no ex-trabajadores de ENACAR, debiendo pertenecer a la zona geográfica del carbón. 144 5.3. Cohortes estudiados a. El estudio cubrió dos cohortes: i. Aquellos cubiertos por el protocolo de 1996. ii. Aquellos cubiertos por el protocolo de 1997. b. Los análisis separados de cada cohorte probaron ser importantes ya que se hicieron cambios significativos y mejoras durante el segundo año. 5.4. Período de tiempo cubierto a. El estudio cubre el período 1995-2002. 6. Definición de los productos y los impactos Se evaluaron tres niveles de efectos del programa: 6.1. Productos: i. El número de beneficiarios de cada componente: • Trabajadores capacitados y reinsertados en trabajos, • Trabajadores que reciben pensiones, • Número de cada tipo de subsidio aprobado y • Número de trabajadores contratados con subsidio salarial ii. Satisfacción del trabajador y del empleador 6.2. Resultados intermedios: i. Evaluación de los productos en términos de objetivos y calidad. Los indicadores incluyen: • Proporción de la población cubierta y reinsertada en el mercado laboral • Proporción de trabajadores contratados que permanecen en la empresa. • Número de inversiones resultantes de los subsidios. 7. Evaluación de la utilización de los recursos a. La utilización fue evaluada in términos de: i. Localización de recursos entre los diferentes componentes. ii. Evaluación de la eficiencia del programa: Esto se basa principalmente en una evaluación del costo por trabajador, definido en términos de número de meses equivalentes de salario mínimo, por la prestación de cada servicio. iii. Evaluación de costos administrativos: El gasto es estimado por cada una de las dos agencias responsables por la gestión y la implementación del programa. Ninguna información comparativa estuvo disponible para comparar los gastos con otros programas similares. iv. Evaluación del desempeño global del programa. Se computaron las tasas netas sociales de retorno de cada componente. 145 Cuadro 1: Resumen de la Metodología de Evaluación [las celdas sombreadas indican información importante no recolectada] Componente Muestra Método de Indicadores Análisis recolección de información Capacitación y • Ex-trabajadores • Cuestionario • Ingreso • Dos etapas del reinserción de ENACAR estructurado con • Información Modelo Heckman laboral participan en algunas preguntas recibida sobre el ajustadas a los capacitación y abiertas programa sesgos del grupo reinserción. • Revisión de • Opiniones testigo y compara a • Grupo testigo de información sobre la todos los ex trabajadores de secundaria organización del trabajadores que ENACAR que no manejada por el programa recibieron participaron. programa • Grado de capacitación con satisfacción de los aquellos que no lo beneficiarios con recibieron el componente • Diferencia de • Permanencia en los análisis de puestos de trabajo, diferencia compara rotación laboral el ingreso medio de trabajadores que recibieron y que no recibieron capacitación por cada uno de los 6 años. • Grupos de • Experiencia con discusión con el programa trabajadores recogida en pregunta de satisfacción de usuarios • Opiniones recogidas en pregunta de satisfacción de usuarios • Capacitación e • Grupos de • Experiencia con instituciones de discusión o los programas reinserción entrevistas recogida en informales. pregunta de satisfacción de usuarios • Opiniones sobre el programa recogida en pregunta de satisfacción de usuarios Jubilación • Ex trabajadores • Cuestionario • Ingreso • Proporción de la anticipada de ENACAR estructurado con • Información población elegible elegibles para la algunas preguntas recibida sobre el cubierta jubilación abiertas programa anticipada • Revisión de • Opiniones 146 Cuadro 1: Resumen de la Metodología de Evaluación [las celdas sombreadas indican información importante no recolectada] Componente Muestra Método de Indicadores Análisis recolección de información información sobre la secundaria organización del manejada por programa programa Empleo por • Ex trabajadores • Cuestionario • Ingreso • Comparación medio del de ENACAR estructurado con • Información con el grupo testigo subsidio salarial empleados por algunas preguntas recibida sobre el que no recibe medio del abiertas programa subsidio programa de • Revisión de • Opiniones subsidio salarial información sobre la • No trabajadores secundaria organización del de ENACAR manejada por programa empleados por programa • Grado de medio del subsidio satisfacción de salarial beneficiarios • Permanencia de las inversiones • Ampliaciones y proyectos nuevos • Muestra al azar • Encuesta o • Razones para de todos los grupo de discusión no participar en el trabajadores de la programa zona, incluyendo aquellos que no han sido empleados por medio del programa12 Subsidio para Empresas que No especificados Satisfacción inversión recibieron en el texto general con cada subsidios tipo de subsidio Muestra al azar de Encuesta o grupo Razones para no todos los de discusión participar en el inversionistas programa potenciales incluyendo aquellos que no recibieron incentivos de inversión13 . RESULTADOS GLOBALES Productos del Cada componente Datos de la Número de Número de componentes y del programa encuesta trabajadores o beneficiarios 12 La DIPRES aclaró que no es posible identificar estas personas (es decir tener un universo) sobre las cuales hacer una muestra representativa y luego ir a encuestar. 13 La DIPRES aclaró que no fue posible identificar a las empresas potenciales beneficiarias del programa (universo), ya que podrían ser todas las empresas chilenas y también las extranjeras, sobre el cual realizar una muestra representativa. 147 Cuadro 1: Resumen de la Metodología de Evaluación [las celdas sombreadas indican información importante no recolectada] Componente Muestra Método de Indicadores Análisis recolección de información efectos inversionistas comparado con la intermedios alcanzados población objetivo Proporción de la población objetivo Impactos del Cada componente Datos de la Impacto en el Modelo Heckman Componente del programa encuesta ingreso de los de dos escenarios trabajadores Diferencia de los Impacto en el análisis de número de diferencia inversionistas, cantidad invertida y empleo generado Utilización de los Componentes para Datos de la Meses de salario recursos trabajadores encuesta mínimo equivalente Componentes para Datos de la para generar un inversionistas entrevista empleo o proveer beneficios de pensión Gastos administrativos de las agencias del gobierno que administran el programa Beneficios de la Componentes para Tasa social neta de economía trabajadores retorno por cada componente de trabajador Ingreso Ingreso total e Empleo impacto del empleo Bienestar social y de todos los acceso a servicios componentes del Reducción del programa conflicto social y Impacto total en el político14 acceso a servicios Indicadores de conflicto social15 14 No se incluyeron estos resultados dada la dificultad metodológica de asignar este tipo de resultados al programa versus otros factores que ocurrieron durante el período de evaluación. 15 La evaluación se hace por separado para los componentes de capacitación y puente de jubilación, debido a la naturaleza distinta del servicio que se entrega, porque no existen resultados finales (impactos) similares. El componente capacitación implica una inversión en capital humano y por ende debería esperarse un efecto en los ingresos de los beneficiarios, mientras que el puente de jubilación es sólo una transferencia monetaria, que no tiene efectos de largo plazo. A nivel de resultados intermedios se evalúan empleos adicionales generados, permanencia de las inversiones, entre otros. 148 8. Análisis y presentación de los hallazgos a. Se presentaron análisis separados de productos, resultados intermedios e impactos de cada uno de los cuatro componentes (capacitación y reinserción laboral, jubilación anticipada, incentivos para inversión y subsidios salariales). III. EVALUACIÓN DE LA METODOLOGÍA DE EVALUACIÓN 9. El marco conceptual a. Si bien hay anexos que explican el diseño de la muestra y dados los instrumentos de la encuesta, el informe no incluye ninguna discusión de los objetivos de evaluación y no se hace referencia a la metodología descrita en los términos de referencia. No se tratan las preguntas clave o las hipótesis, y no se explica cómo se desarrollaron los instrumentos de la encuesta o cómo se definieron y probaron los indicadores. La evaluación no desarrolla un modelo teórico del programa o un marco conceptual para describir el proceso de la implementación del programa o las cadenas causales por medio de las cuales se espera que los impactos del programa serán logrados. b. Solamente se define un impacto del programa: los ingresos. Sin embargo, dado que los términos de referencia establecen la evaluación tanto de los impactos cuantitativos y cualitativos del programa y de evaluar su efectividad total, la encuesta debió haber desarrollado y examinado un margen de indicadores más amplio. c. En los comentarios adjuntos a la evaluación del Director Corporativo de CORFO se indica que los componentes y beneficios del programa se negociaron durante un período de agitación social y política, como también durante un período de declinación económica. Aunque no se indica específicamente en esta comunicación, es razonable asumir que además de los objetivos de creación de empleo, se esperaba que el programa contribuyera a reducir algunas de las causas de la agitación política así como darle un impulso a la economía de la región. Las frecuentes referencias al descontento de los ex trabajadores de ENACAR sugieren que quizá la evaluación debería haber examinado también los efectos del programa en el aumento de satisfacción y estabilidad general entre los ex trabajadores.16 d. Es común que al comienzo de una evaluación el evaluador a menudo tiene que “reconstruir” el modelo17 teórico del programa. 16 La DIPRES señaló que la evaluación analiza el grado de satisfacción de los beneficiarios, respecto de otro tipo de externalidades del programa; este análisis no se realizó dada la dificultad metodológica de asignar este tipo de resultados al programa versus otros factores que ocurrieron durante el período de evaluación, y por eso tampoco fueron incluidos en los TTR de la evaluación. 17 Para una discusión sobre maneras de reconstruir modelos teóricos de programa ver Leeuw, F. 2003. Reconstructing Program Theories: Methods Available and Problems to be Solved. American Journal Evaluation. Vol. 24 y Bamberger, M. et al, 2004, Shoestring Evaluation: Designing Impact Evaluations Under Budget, Time and Data Constraints. American Journal of Evaluation. Vol 25 No. 1. 149 e. La evaluación debió haber incluido adicionalmente algunos otros indicadores respecto de la calidad de servicios entregados por medio de los diferentes componentes del programa. Aunque existen indicadores de calidad en relación a la satisfacción de los beneficiarios con el servicio entregado, se requerirían otros indicadores cuantitativos. 10. Diseño de la muestra 10.1 Estructura de las muestras La totalidad del diseño de las muestras está descrita en el Gráfico 1.18 Tres poblaciones fueron muestreadas: a. Todos los ex trabajadores de ENACAR quienes perdieron sus trabajos cuando las minas cerraron en 1996. Esto incluye a 1807 trabajadores. Estos fueron divididos en 4 grupos: i. Trabajadores que participaron en capacitación y reinserción laboral. Esto cubrió dos sub-poblaciones: trabajadores a quienes se les garantizó capacitación y colocación y trabajadores que eran elegibles para participar, sujeto a la disponibilidad y demanda de las empresas. En ambos casos fueron entrevistados con el mismo instrumento (Encuesta 3). ii. Trabajadores elegibles para beneficios de jubilación. Esto incluye trabajadores que eran elegibles en 1996 o en 1997 (dos acuerdos separados) más los trabajadores que serían elegibles durante o antes de 2012. Todos fueron entrevistados utilizando la Encuesta 2. iii. Un grupo base de ex trabajadores de ENACAR quienes no participaron en la capacitación o la reinserción laboral. Estos fueron entrevistados usando la Encuesta 1. iv. Ex trabajadores de ENACAR empleados por medio del programa de subsidio salarial. Encuesta 4. b. Los trabajadores que no eran de ENACAR fueron empleados por medio del programa de subsidio salarial. El número total fue estimado en 5373. Encuesta 5. c. Empresas que recibieron uno o más subsidios para inversión. Estos incluyeron 4 diferentes tipos de subsidios: i. Estudios de pre inversión. ii. Comisiones para promotores que consiguieron nuevas inversiones. iii. Compra de tierras. iv. Preparación de las tierras para la construcción de fábricas y otras instalaciones. 18 La población y el tamaño de la muestra se tomaron del Anexo 11.4a “Marcos Muestrales”. Las cifras de la población varían de aquellos dados en el texto del informe de la evaluación. 150 Evaluando la totalidad de la estructura y el diseño de la muestra a. Se ha tomado un gran cuidado para identificar todos los diferentes sub grupos afectados por el proyecto y para asegurar que todos estos estén cubiertos por las diferentes muestras. La estructura total de las muestras parece lógica y completa. Sin embargo, existen varios aspectos potenciales que deberían ser considerados19: i. La encuesta actual de inversionistas únicamente incluye una muestra de aquellos que utilizaron uno o más incentivos. Esto es obviamente una muestra muy sesgada que no provee ninguna información en el número más grande de inversionistas potenciales que no usaron los incentivos. La presente encuesta no nos dice nada sobre las razones por las cuales otros inversionistas potenciales no usaron el programa. ¿Sabían acerca del programa? ¿Habían sometido su solicitud y no fueron aceptados? ¿Lo consideraron un paquete atractivo? Si bien siempre es difícil seleccionar una muestra representativa de sujetos que no hicieron algo, hay un número potencial de muestras opcionales que podrían haber sido consideradas. La opción más simple hubiera sido tomar una muestra de todas las empresas que han invertido en la zona desde 1995 (o una fecha apropiada) para averiguar las razones de por qué muchas de éstas. La DIPRES ha aclarado que, en el caso de la zona del carbón, no es posible conocer el universo de empresas que han realizado nuevas inversiones. ii. La evaluación también pudo haber considerado usar grupos de discusión con muestras de trabajadores participantes en los diferentes programas, así como con inversionistas y tal vez con los organizadores y/o gerentes de los diferentes componentes. Los grupos de discusión frecuentemente provocan tipos de información que no se obtienen de entrevistas estructuradas. iii. Finalmente, hubiera sido interesante haber considerado una encuesta de muestra rápida de trabajadores económicamente activos que no se beneficiaron de ninguna forma del programa. Esto tendría dos propósitos: primero, comprender mejor las características de la no-población ENACAR que se beneficiaron y no se beneficiaron del programa; y segundo, obtener información acerca de por qué otros sectores no se beneficiaron. ¿Recibieron éstos información acerca del programa? ¿Trataron ellos de participar y no tuvieron éxito? ¿Consideraron ellos que el programa no ofrecía beneficios interesantes para ellos? c. Sobre la base de discusión de la sección anterior, los siguientes son grupos que pudieron haber sido incluidos en el estudio: i. Trabajadores con empleo propio. ii. Estudios de casos/evaluación con detenimiento en algunas empresas que emplearon trabajadores. iii. Estudios de casos/evaluación con detenimiento que se pudieron haber conducido en algunas de las agencias que proveyeron capacitación. iv. Grupos de discusión con trabajadores que usaron los diferentes servicios. 19 Se deben considerar asimismo, las restricciones de tiempo y presupuesto del PE de la DIPRES. 151 10.3. La estimación del tamaño de la muestra a. Los procedimientos para el cálculo del tamaño de la muestra para la estimación del promedio del ingreso en un 95% de intervalo de confianza es claro y lógico. Sin embargo, se debe tener en cuenta que el propósito de las muestras no es para hacer estimados puntuales (como promedios), sino para estimar la importancia estadística de las diferencias entre dos promedios (por ejemplo trabajadores que recibieron y no recibieron capacitación y asistencia de colocación). Para este propósito se podría usar una formulación diferente como las dos muestras t-estadística20 T = x1 – x2 √ s12 + s22 N1 n2 b. Consecuentemente la ecuación Hansen, Hurwits y Madow puede ser que no garantice el intervalo de confianza requerida que es lograda para estimar la diferencia de las medias. c. La procedimientos de estimación para la muestra estratificada de ex trabajadores y no-trabajadores de ENACAR empleados bajo el programa de subsidio salarial es también claro y lógico para estimar el intervalo de confianza para un simple promedio. Sin embargo, sería más apropiado usar la fórmula para la diferencia de los promedios. d. Existen varios puntos que requieren mayor clarificación: i. La decisión de usar ≠8.5% intervalo de confianza requiere explicación ya que este es un intervalo inusual. En el texto se indica que este fue el “intervalo de confianza requerido”.21 Sin embargo, no hay referencia en los términos de referencia para este intervalo de confianza por cuanto sería útil explicar si el tamaño de la muestra fue determinado por una reducción del presupuesto o por algún otro criterio. ii. El Anexo 11.1 indica que el tamaño de la muestra para estimar proporciones y diferencia de proporciones también será estimada. Sin embargo, esto no se discute en el texto. iii. También se dice que la documentación del proceso de selección de la prueba (por ejemplo el número de unidades inapropiadas incluidas en el marco de la muestra) será usada para evaluar la adecuación del marco de muestreo. Sin embargo, esto no se discute en el texto. 11. Instrumentos de encuesta y procedimientos de recolección de información 11.1 Los instrumentos no se describen en los anexos. 20 Moore D. S. y P. McCabe 1999. Introducción a la Práctica de Estadísticas, capítulo 7 p. 555. 21 Anexo 11.1 p. 3 “De conformidad con lo solicitado, se procurara que las muestras, …. cumplan con el requisito de proporcionar estimaciones de medias aritméticas o totales con un margen de error muestral relativo prefijado de ± 8,5%. 152 a. Los anexos incluyen la mayoría de instrumentos de la encuesta pero ninguna información está incluida sobre lo siguiente. Consecuentemente, no es posible evaluar cómo fue recolectada la información sobre los instrumentos usados en la encuesta de inversionistas. 11.2. Encuesta 1: Grupo testigo22 (N = 970) a. Cobertura y propósito. La encuesta estudió a los empleados de ENACAR cubiertos por los protocolos de 1996-1997 que no recibieron capacitación y/o servicios de reinserción laboral, y aquellos cubiertos por el protocolo de 1997 que no fueron registrados con el programa de jubilación. b. El propósito de la muestra y del instrumento de la encuesta no está claramente definido en la metodología. Sin embargo, ha sido usado para evaluar el impacto de los programas de capacitación y de reinserción laboral, comparando cambios en el ingreso con aquellos que no los utilizaron. c. Evaluación del instrumento de la encuesta i. Existe muy poca información sobre las actitudes hacia los servicios de ENACAR. ii. Pregunta 1: Después de preguntar cuándo el que respondió dejó ENACAR, también se debió preguntar, ¿por qué se fueron? ¿Fue voluntario, fue debido al cierre? iii. Debería haber una pregunta sobre cuánto tiempo el que respondió trabajó en ENACAR. iv. ¿Debería haber también una pregunta sobre el historial de trabajo antes de entrar a ENACAR? v. Hubiera sido útil preguntar opiniones sobre la manera en que los que respondieron fueron cesados y el tratamiento recibido. vi. Pregunta 9: clarificar que esto se refiere a la pensión de ENACAR, y no de una empresa diferente. Por ejemplo, alguien puede tener derecho a la pensión de un empleo previo antes de entrar a ENACAR. vii. Pregunta 13: esto debería clarificar que la pregunta se refiere a beneficios recibidos de ENACAR y no de otras firmas. viii. La pregunta 13 debería ser seguida por una o más preguntas sobre opiniones acerca de los diferentes programas. Por qué los que respondieron no participan. ix. Pregunta 13: si el que responde participó en la capacitación y programa de colocación: ¿fue eliminado(a) de la muestra o transferido a la muestra de participantes? 22 Base universo. 153 11.3. Encuesta 2: Pensionados (N = 589) a. Cobertura y propósito: Esta encuesta estudia a los trabajadores de ENACAR cubiertos por el protocolo de 1997 que se inscribieron en el programa de jubilación anticipada o en el puente para programa de jubilación anticipada. El propósito de la encuesta no es específico pero está obviamente orientado a evaluar la satisfacción con el programa. b. El instrumento de la encuesta i. La encuesta esta bien enfocada y cubre con suficiente detalle las preguntas clave concernientes al programa de pensiones. ii. Siguiente pregunta 1: Incluir preguntas sobre las razones para dejar ENACAR. Voluntariamente, forzado a dejarlo por el cierre, etc. 11.4. Encuesta 3: Capacitación y programa de reinserción laboral (N = 248) a. Cobertura y propósito: La muestra cubre a todos los trabajadores de ENACAR que participaron en los programas de capacitación o reinserción laboral. b. El instrumento de la encuesta i. El instrumento de la encuesta es detallado y completo. ii. Después de la pregunta 1: Preguntar por qué el que responde dejó ENACAR. iii. Pregunta 10: Incluir un sondeo. ¿Por qué ellos piensan que el programa fue útil o no útil? iv. Pregunta 15: Incluir una pregunta sobre la utilidad de la capacitación para este trabajo. 11.5. Encuesta 4: Subsidio salarial (N = 90) a. Cobertura y propósito. La muestra cubre tanto a los ex trabajadores de ENACAR como a los no trabajadores que fueron empleados por medio de los programas de subsidio salarial. b. El instrumento de encuesta i. La cobertura es detallada y lógica. ii. Preguntas, posiblemente abiertas, se pudieron haber incluido sobre opiniones generales acerca del programa de los que respondieron. ¿Cuánto benefició a los trabajadores? ¿Cuánto benefició a la gerencia? iii. Habría sido útil incluir una o más preguntas sobre cómo se compara este trabajo con otros trabajos que había tenido el que respondió. 11.6. Encuesta 5: Encuestados no-ENACAR (N = 5.373) a. Cobertura y propósito. La encuesta cubrió a todos los no trabajadores de ENACAR que participaron en los programas de subsidio salarial. El texto no explica el 154 propósito de la encuesta pero las preguntas exploran la experiencia y actitudes hacia el programa de subsidios. b. El instrumento de encuesta: i. Pregunta 1.1. ¿Es necesario preguntar si la persona fue empleada por medio del programa de subsidios? Presumiblemente, las empresas emplearon trabajadores que no estaban cubiertos por el programa de subsidios. ii. Pregunta 7. ¿Es ésta pregunta sobre pensiones relevante para los no trabajadores de ENACAR? ¿Debería ser formulada de forma diferente para clarificar la naturaleza de la pensión? iii. Preguntas, posiblemente abiertas, se pudieron haber incluido sobre las opiniones generales de los encuestados del programa. ¿Cuánto benefició esto a los trabajadores? ¿Cómo benefició esto a la gerencia? iv. Podría haber sido útil incluir una o más preguntas de cómo se compara este trabajo con otros trabajos que el encuestado había tenido. v. Pudo haber sido interesante incluir una pregunta sobre las diferencias en el tratamiento, tanto de ex trabajadores de ENACAR como de no trabajadores de ENACAR. 12. Análisis e interpretación de la información 12.1. Comentarios generales sobre la estrategia del análisis a. El análisis podría haber sido fortalecido con el uso de la triangulación y la inclusión de verificación de consistencia. Ninguno de los hallazgos (por ejemplo actitudes, diferencias entre grupos) se cuestionan o verifican.23 b. El diseño y análisis incluyen muy poca información sobre la calidad de los servicios. c. También se asume implícitamente que todos los servicios (capacitación, colocación) son los mismos. En la práctica es más probable que hayan mayores diferencias en los verdaderos servicios recibidos por diferentes trabajadores. d. Hay muy poca discusión y análisis de los no trabajadores de ENACAR y ellos son tratados como una categoría homogénea. Se debería haber hecho un análisis de quien es elegible para el programa y quién verdaderamente participó. e. Casi no hay un análisis de los trabajadores de auto empleados, a pesar de que se indica que esta es una de las maneras más importantes y efectivas de generar trabajo e ingresos. f. Se debió haber incluido un análisis sobre las características de los diferentes grupos. 23 Comentario DIPRES: En relación al impacto en el ingreso, se realizan estimaciones distintas, incluyendo información de la encuesta CASEN e información proveniente de las encuestas a los ex-trabajadores. 155 12.2 Análisis de productos (y cobertura) a. El análisis debe explicar las mayores diferencias en producción y ejecución para 1996 y 1997. Las diferencias simplemente son informadas sin ninguna discusión. El análisis debería explicar si la diferencia en la ejecución del programa entre 1996 y 1997 fue debida al hecho de que los trabajadores desvinculados en el primer período poseían características distintas (antigüedad, experiencia laboral) a los desvinculados en 1997. b. CORFO sugirió que los hallazgos del componente de inversión deberían ser interpretados de forma diferente. Primero, la proporción de los estudios de preinversión a verdaderas inversiones es de esperarse y no debería ser interpretado para sugerir que esto no es efectivo en términos del costo. Segundo, otras inversiones fueron estimuladas por estos incentivos (por ejemplo emplear trabajadores por medio de subsidios) de forma tal que las tasas de ejecución pueden ser más altas.24 c. Se requiere un análisis de por qué la satisfacción de los trabajadores es tan baja. Esto se debe a: ¿los servicios eran inadecuados? ¿El programa fue mal implementado? ¿O fue porque los trabajadores tenían incentivos para criticar con el propósito de obtener más beneficios? d. Se debería haber creado una tipología de categorías diferentes de grupos objetivo (para trabajadores y empresas) y presentado un análisis comparativo de cómo cada uno se benefició del programa. ¿Quiénes fueron los ganadores y quiénes los perdedores?25 e. Se requiere más información sobre los trabajadores independientes. 12.3. Análisis de resultados intermedios a. Muchos de los análisis repiten las secciones previas sobre productos. ¿Se podrían combinar esas dos secciones? 12.4. Análisis de impactos a. Capacitación y colocación i. Se debió haber hecho un análisis sobre los problemas de adaptación de trabajadores de ENACAR. b. El modelo Heckman: i. ¿Debió Z representar los beneficios netos esperados en vez de los reales? ii. Hubiera sido útil incluir más discusión sobre las diferencias entre los grupos del proyecto y los de control. 24 Ver las observaciones presentadas por CORFO y adjuntos al informe. 25 Comentario DIPRES: El análisis de resultados intermedios y finales justamente lo que hace es para cada tipo de beneficiario, analizar sus resultados. 156 iii. El análisis econométrico pudo haber sido fortalecido si hubiera sido complementado por un análisis cualitativo de las diferencias entre los capacitados y los no capacitados. c. Diferencia de análisis de diferencia: i. ¿Cómo este hecho, de que no había diferencias en los 3 de los 6 años de observación, afecta la interpretación de los resultados? ¿Es válido reclamar, como lo hace el informe, que la capacitación efectivamente tuvo un impacto porque los sueldos promedio de los capacitados fueron más altos en los 6 años (pesar de que no había ninguna diferencia importante en 3 de los 6 años)? d. Subsidios salariales i. No hay información disponible sobre salarios antes del tratamiento, por cuanto no es posible usar diferencia de diferencias. 12.5. Impactos de las reformas del programa a. El informe debió haber incluido más discusión sobre los tipos de reformas de los programas y sus impactos. 12.6. Utilización de los recursos a. Existe la necesidad de información comparada de otros programas similares para evaluar los gastos administrativos. Sin embargo, por la particularidad de los beneficiarios del programa, no existen programas similares con los que fuese posible comparar el gasto administrativo y se debe considerar que este gasto corresponde a una estimación, para la cual no siempre se utilizan los mismos supuestos entre un programa y otro. b. ¿Son los meses de salario mínimo un criterio apropiado de medición para la evaluación de la efectividad en términos de costo? Se necesita una explicación de cómo evaluar esto. ¿Cuáles son las medidas alternativas que se podrían haber usado? 12.7. Rendimiento global a. La metodología para el análisis del beneficio en términos de costo no está explicada. 12.8. Análisis de conclusiones generales: Tomando todo en cuenta a. La mayoría del análisis es presentado por componente o por etapa (producto/intermedio/final) y no hay un resumen global del rendimiento de la totalidad del programa. Según las observaciones de DIPRES debido a que técnicamente no 157 corresponde hacer una evaluación de impacto global cuando la naturaleza de los componentes entregados posee distintos resultados esperados.26 b. La evaluación total necesita tomar en consideración los aspectos sociales y políticos como también los objetivos económicos de la evaluación. Los resultados sociales y políticos del programa no se mencionan en el informe a pesar de que su importancia fue enfatizada por CORFO en sus comentarios.27 c. Se requieren guías más claras para evaluar la efectividad total del programa de incentivos para inversión. d. El informe debería incluir la totalidad de las cifras sobre el total de los efectos del ingreso y del empleo del programa. e. El análisis del programa de incentivos de inversión es bastante débil y muy general. Esta observación está apoyada por los comentarios de CORFO. 13. Justificación para la continuación del programa a. El mensaje es claro y lógico. 14. Recomendaciones a. Muchas de las recomendaciones son muy generales, tales como indicar que programas futuros deberían concentrarse en enfoques más efectivos en términos de costo. Hubiera sido útil incluir una discusión más específica o cuáles son los componentes más efectivos en términos de costo o como podrían ser identificados por adelantado. b. Se hace referencia al hecho de que el empleo propio es una de las opciones más efectivas en términos de costo, pero no hay una evaluación de cómo se podría aplicar ampliamente.28 Presumiblemente, esto funciona únicamente con personas que cuentan con habilidades y experiencia previas. ¿Qué porcentaje representa esto de la población objetivo? 26 No es posible agrupar en un resultado global los resultados de cada componente, por cuanto éstos son de distinta naturaleza. En este sentido, la evaluación se hace por separado para el componente de capacitación respecto del componente puente de jubilación, debido a que por la naturaleza distinta del servicio que se entrega, no existen resultados finales (impactos) similares. El componente capacitación implica una inversión en capital humano y por ende debería esperarse un efecto en los ingresos de los beneficiarios, mientras que el puente de jubilación es sólo una transferencia monetaria, que no tiene efectos de largo plazo. A nivel de resultados intermedios se evalúan empleos adicionales generados, permanencia de las inversiones, entre otros. 27 La DIPRES no incorpora este tipo de resultados en los TTR de evaluación, los cuales estuvieron en conocimiento de CORFO, dada la dificultad metodológica de asignar este tipo de resultados del programa versus otros factores que ocurrieron durante el período de evaluación. 28 La DIPRES aclaro que se hace referencia a utilizar programas públicos existentes, donde existen otras instituciones públicas que se focalizan en la generación de este tipo de empleo. 158 15. Organización del informe y presentación de los hallazgos a. La organización global es generalmente clara y lógica. b. La presentación por productos, efectos intermedios e impactos es clara pero se vuelve muy repetitiva. c. Una síntesis de la totalidad de hallazgos, como se sugiere en la sección “Tomando todo en cuenta” habría fortalecido el informe. IV. CUMPLIMIENTO DE LOS TÉRMINOS DE REFERENCIA (Ver el Cuadro 2) 16. Objetivos de la evaluación Los términos de referencia para esta evaluación están basados en los términos estándar de referencia técnicos (TTR) para la “Evaluación del Programa del Programa de Evaluación” y sigue el mismo formato. Los Términos de Referencia especificaron 3 objetivos para la evaluación. Los siguientes párrafos indican hasta que punto la evaluación satisfizo los objetivos. El Cuadro 2 resume el cumplimiento en cada área y elemento de los TTR. 16.1. Conducir un análisis independiente de información cuantitativa y cualitativa para evaluar si el programa ha logrado sus objetivos. La evaluación condujo un análisis riguroso de datos cuantitativos que fue complementado por un análisis de datos cualitativos. El uso de datos cualitativos no fue tan completo pero esto se debió en parte al hecho que la mayoría de los componentes ya habían sido terminados antes del comienzo de la evaluación. 16.2. Desarrollar y aplicar métodos cuantitativos y cualitativos para evaluar hasta que punto el programa ha logrado sus objetivos intermedios y finales, así como también las externalidades asociadas con la ejecución del programa. Como se indica anteriormente, aunque se usaron métodos cualitativos, se les puso menos atención que al análisis cuantitativo (ver el punto anterior). La evaluación también se concentró en el éxito del programa de producir impactos sobre los ingresos y no abordó los objetivos sociales y políticos más amplios. Según la opinión de la DIPRES, estas dimensiones sociales y políticas no estaban incluidas en los TTR. Sin embargo, en sus observaciones CORFO indicó que esas dimensiones y el contexto político del proyecto deberían haberse analizado. Por otra parte, la DIPRES no consideró que esos temas más amplios deberían haberse abordado en la evaluación específicamente en los TTR, dada la dificultad metodológica de asignar este tipo de resultados al programa versus otros factores o políticas públicas que ocurrieron durante el período de evaluación. 16.3. Presentar conclusiones identificando las debilidades y limitaciones específicas del programa y presentar recomendaciones de cómo el desempeño del programa se podría mejorar. Se presentaron recomendaciones útiles. 159 17. Desarrollo de un contra hecho para evaluar los impactos del programa a. La evaluación usa un grupo de control como un contra hecho para evaluar los impactos de capacitación, reinserción laboral y subsidios salariales sobre los ingresos. El grupo testigo consta de ex trabajadores de ENACAR que no participaron es estos programas. Los datos de las encuestas de CASEN también se utilizaron para crear un grupo testigo representativo de toda la mano de obra de la zona. El modelo Heckman también se utilizó para controlar los sesgos debido a diferencias en las características de los trabajadores que participaron y no participaron en los diferentes programas. Este es un procedimiento adecuado para el análisis de los impactos. b. Para el análisis de los impactos de los programas de incentivos para la inversión, hubiese sido útil que el estudio hubiese incluido una muestra al azar de todos los inversionistas potenciales, en vez de sólo entrevistar a las firmas que habían recibido por lo menos un tipo de subsidio. Sin embargo, se tiene en cuenta que hubiera sido difícil haber creado tal grupo de control debido a la falta de datos. 29 18. Evaluación de los resultados del programa a. El análisis de los productos, efectos intermediarios e impactos fue conducido de forma sistemática y detallada para cada uno de los cuatro componentes del programa. 19. Análisis de costos: a. La evaluación estimó los costos administrativos de cada programa. Sin embargo, dado que no se presentó ninguna información comparativa de programas similares, es difícil evaluar si las proporciones de los costos administrativos son razonables. Nuevamente se tiene en cuenta que hubiera sido difícil identificar programas similares y obtener información sobre sus costos administrativos. También se tiene en cuenta que es difícil comparar costos administrativos, aún si se pudiera identificar organizaciones comparativas, dado que los costos tienden a ser definidos y medidos de distinta forma para cada organización. 20. Estimación del rendimiento global del programa a. Se ha calculado la tasa social de retorno de tres de los componentes del programa donde este se aplica. Si bien la tasa social de retorno ha sido usada ampliamente para este tipo de evaluación, surgieron muchas preguntas relativas a su uso como el indicador exclusivo de eficiencia económica: i. El ingreso salarial es tomado como el único indicador de beneficios y esto puede subestimar significativamente el total de beneficios producidos por el programa. 29 Para poder obtener una muestra al azar de la población potencial hubiese sido necesario identificar el universo de esta población, lo cual es imposible considerando las bases de datos existentes. 160 ii. Podría haber sido útil incluir un análisis de la distribución para evaluar los beneficios diferenciales devengados por diferentes sectores de la ex fuerza laboral de ENACAR (por ejemplo comparar los beneficios de los que se acogieron a una jubilación anticipada en comparación con aquellos que fueron re-capacitados o que obtuvieron empleo por medio del programa de subsidio salarial). 161 Cuadro 2: Evaluación del Cumplimiento de la Evaluación de la Reconversión con los Términos de Referencia Técnicos Evaluación de la Evaluación Tasa [Puntuación: 1= la más baja y 5 =la más alta] 1. Proceso: La parte 2 se refiere a cuán minuciosamente el punto del programa fue cubierto. La parte 3 (metodología) evalúa cuán adecuadamente se realizó el análisis. 1.1 Logro de productos/resultados Tratado minuciosamente 5 1.2 Resultados intermedios Tratados minuciosamente 5 1.3 Resultados finales (impactos) Tratados minuciosamente 5 1.4 Consideró los aspectos cuantitativos La evaluación utilizó tanto las técnicas cuantitativas como las cualitativas. El uso de datos cualitativos 4 y cualitativos del desempeño del no fue completo; pero esto se debió en parte al hecho que la mayoría de los componentes ya habían sido programa terminados antes del comienzo de la evaluación. 1.5 Gestión de recursos Se han estimado los costos administrativos pero no hay datos comparativos de programas similares, de 3,5 forma tal que es difícil evaluar si los costos son altos o bajos. Se tiene en cuenta que hubiese sido difícil obtener esta información comparativa. La evaluación condujo un análisis riguroso de datos cuantitativos que fue complementado por un análisis de datos cualitativos. El uso de datos cualitativos no fue tan completo pero esto se debió en parte al hecho que la mayoría de los componentes ya habían sido terminados antes del comienzo de la evaluación. 1.6 Recuperación de costos y La recuperación de costos no es aplicable. Se provee información sobre las inversiones movilizadas 4 movilización de recursos de terceros como resultado de los incentivos para la inversión. 1.7 Justificación para la continuación Explicación clara de por qué el programa no debe continuar. El programa estaba finalizado al momento 5 del programa de la evaluación. 1.8 Recomendaciones específicas sobre Las recomendaciones cubren casi todos los aspectos del programa y son útiles pero muchas de ellas son 3,5 cómo se puede mejorar el programa más bien de carácter general. 2. Metodología 2.1 Combinación de métodos Ver el punto 1.6 4 cuantitativos y cualitativos 2.2 Uso de grupos de discusión, Sólo se condujeron entrevistas de informantes clave para el componente de incentivos para la 2,5 entrevistas de informantes clave y otros inversión. No hubo grupos de discusión. métodos cualitativos 2.3 Identificar y evaluar hipótesis Los indicadores de productos, resultados intermedios e impactos finales están claramente definidos. 3 relativas a la relación causa-efecto entre Sin embargo, hay muy poca discusión de hipótesis que expliquen los enlaces causales entre las los componentes y los impactos diferentes etapas del programa. 2.4 Definición de indicadores Los indicadores cubren detalladamente los productos y los resultados intermedios. También cubren los 3,55 impactos finales de los diferentes componentes sobre los ingresos. Los indicadores de impacto no captan el impacto del programa sobre la capacidad futura de los ex trabajadores de generar ingresos o 162 la sostenibilidad de los ingresos (TTR, página 12). Se discutió con la DIPRES en relación a si el equipo de evaluación debiera y cómo medir las externalidades (ver la pág. 8 de los TTR) y si esto debiera haber incluido una evaluación de los impactos sociales y políticos. CORFO opinó que éstos sí se debieran haber cubierto y el Banco Mundial tiende a concordar, pero la DIPRES indicó que no estaban incluidos en los TTR, dada la dificultad metodológica de asignar este tipo de resultados al programa versus otros factores que ocurrieron durante el período de evaluación. 2.5 Instrumentos de recolección de La cobertura es bastante extensa. 4 datos 2.6 Diferenciar los impactos a corto, Estos están definidos. 4 mediano y largo plazo 2.7 Evaluación de los productos Análisis detallado. 5 2.8 Evaluación de los resultados Análisis detallado. 5 intermedios 2.9 Evaluación de los impactos Un diseño cuasi experimental se usó con el grupo testigo. Los impactos son estimados durante la etapa 4,5 Heckman 2 del modelo econométrico. 2.10 Grupos testigo El tema de los grupos testigo se abordó en todos los componentes. 4,5 2.11 Análisis de la utilización de Bastante detallado pero podría haber sido útil incluir datos comparativos (sobre costos administrativos 4 recursos y meses de salario mínimo equivalente) para ayudar a interpretar los hallazgos.30 2.12 Análisis de los impactos globales La tasa social de retorno es el procedimiento analítico apropiado. El análisis de la distribución podría 3,5 también haber sido incluido para evaluar los beneficios relativos para cada sub-grupo (pensionados, capacitados, inversionistas, etc.) 2.13 Selección de indicadores para El uso del ingreso como el único indicador de beneficios es cuestionable, por cuanto el programa tenía 3,5 evaluar los impactos globales objetivos políticos y sociales además del de ingresos. 2.14 Desarrollo de un contrafactual Atención detallada al desarrollo del contrafactual. Algunas preguntas sobre lo apropiado del grupo 4 adecuado testigo. Uso más amplio del análisis cualitativo pudo haber fortalecido la interpretación de los hallazgos. 2.15 Diseño de la muestra Muestras cuidadosamente seleccionadas y diseñadas 4.5 2.16 Estimación del tamaño de la Se le dio atención a la estimación del tamaño de la muestra. Sin embargo, no hay explicación del por 3,5 muestra qué se eligió el inusual 8,5% de intervalo de confianza. También se debió haber usado una fórmula diferente para estimar el tamaño de la muestra requerida para estimar las diferencias de los promedios. 2.17 Diseño de los grupos testigo Los grupos testigo son adecuados para el análisis de los trabajadores de ENACAR y el análisis 3,5 Heckman es apropiado para controlar los sesgos de la muestra. Notas: Puntuación: 5 = completamente tratado; 4 = buena cobertura/tratamiento; 3 = adecuado; 2 = cobertura limitada; 1 = inadecuado o no cubierto. 30 La DIPRES aclaró que no es posible encontrar comparaciones considerando la particularidad de los beneficiarios de este programa. 163 Gráfico 1: Diseño de muestra para la evaluación N = Universo y n = tamaño de la muestra Trabajadores Universos actuales y ex No trabajadores de Empresas que trabajadores ENACAR empleados invierten en la de ENACAR por medio del prog. Programa de subsidios Zona N = 1678 salariales de compon. Poblaciones Subsidios de Encuesta 3 Encuesta 2 Encuesta 1 Encuestas 4 y 5 inversion Capacitación Elegible para Grupo base: ex trabaja- Empleados por medio N = 150 y colocación beneficios de dores de ENACAR no del programa de N = 30 N = 248 jubilación participantes en capacita- subsidio salarial n = 165 anticipada o colocación de empleo. ENACAR Todas las sub- N (1996) + N = 970 n = 391 (Encuesta 4) poblaciones Subsidio N (1997) = 589 N1= 90 n1 = 40 cubiertas por la estudios de pre- n = 118 Non-ENACAR misma inversión (Encuesta 5) encuesta N2 = 5373 n2 = 314 Subsidio para compra de tierra Capacitación por agencias Sub-muestras tradicionales Subsidios para mejoramiento Capacitación de tierras en el trabajo Comisión para promotor de Reinserción inversión directa 164 Apéndice 1 Principales hallazgos de la evaluación i. EFICACIA DEL PROGRAMA 1. Resultados/Productos 1.1. Capacitación y reinserción laboral: a. 221 de los 244 trabajadores elegibles bajo el acuerdo de 1996 participaron en programas de capacitación. b. 105 (47%) fueron subsecuentemente empleados en una empresa y 15 se convirtieron en trabajadores por cuenta propia, por cuanto el 49% del total de la población objetivo obtuvo una nueva fuente de ingreso. c. De los 274 trabajadores cubiertos bajo el acuerdo de 1997, el 90% fue capacitado y encontró trabajo y 855 de éstos aún estaban empleados en junio de 1999. i. 41% de éstos eran trabajadores por cuenta propia, reflejando una modificación del programa para facilitar que los participantes se convirtieran en trabajadores por cuenta propia. Esta fue una de las razones de la tasa más alta de la cohorte de 1997. ii. Combinando las cohortes aproximadamente el 60% (544/907) de beneficiarios potenciales fueron colocados en empleos estables. 1.2. Jubilación anticipada a. En 1966, 221/229 trabajadores elegibles para recibir una pensión la recibieron. b. En 1996, 289/292 trabajadores elegibles recibieron pensiones. c. Esto representa una tasa total de éxito de casi 98%. 1.3. Incentivos para las inversiones a. No se establecieron metas para un número de subsidios de inversión por cuanto el estudio sólo puede informar sobre el verdadero número de subsidios y no hay una vara de medición contra la cual comparar el rendimiento: i. Se otorgaron 340 subsidios a 255 empresas para estudios de pre inversión. ii. Se pagaron comisiones a 51 promotores que facilitaron las inversiones. iii. Se otorgaron 20 donaciones para mejorar tierras. iv. Se otorgaron 14 donaciones para comprar tierras. v. Se hicieron un total de 115 inversiones en la creación o expansión de negocios. 165 1.4. Subsidios para emplear trabajadores Se pagaron 4.966 subsidios empresas que empleaban trabajadores adicionales. Esto se comparó a la meta de 5.000 (incrementado de una cifra anterior de 3.000), de manera que el 99% de la meta se logró. 1.5. Inversión adicional estimulada a. El informe indica que 115 empresas participantes fueron estimuladas a invertir un adicional de US $173,5 millones durante el período 1995-2002. Sin embargo, no se presentó ninguna evidencia para evaluar hasta que punto el programa contribuyó a que las empresas tomaran la decisión de hacer estas inversiones adicionales. 1.6. Cobertura y fijación de objetivos a. Capacitación y colocación: i. El 43% de cobertura de la población objetivo para 1996. ii. En 1997 el 86,4% de aquellos con colocación garantizada fue cubierto y el 47,3% de aquellos sin garantía. iii. Otros 162 participaron en el programa de “empleo puente”. b. Jubilación anticipada iv. Cobertura del 96,5% en 1996 y 99,2% en 1997. v. Aquellos no cubiertos se debe a razones voluntarias, por cuanto la cobertura fue casi del 100%. c. Incentivos para la inversión. No existe definición de la población objetivo, dado que cualquier inversionista fuera o dentro del país podía solicitarlo, de manera que no fue posible estimar la población objetivo o la cobertura. d. Subsidio salarial. La población objetivo potencial incluye a todos los trabajadores de la Zona (cerca de 200.000) por cuanto la cobertura es de alrededor del 2,5%. Virtualmente todos los beneficiarios del programa (tanto trabajadores y empresas estaban en la población objetivo definida, de manera que virtualmente no hubo “fuga” de beneficios para grupos no elegibles. 1.7. Satisfacción de los beneficiarios a. Satisfacción de los trabajadores. Se hizo un muestreo de 4 grupos de trabajadores: i. Capacitación y colocación: 165 ii. Jubilación anticipada: 118 iii. Muestra base: aquellos que no participaron en capacitación o jubilación anticipada: 391 iv. Subsidio salarial. La muestra incluye a 40 ex trabajadores de ENANCAR y 341 que no son de ENACAR. 166 v. El error del muestreo para la estimación del ingreso fue calculado en un margen del 8,5% y 9,1%. La satisfacción fue generalmente baja. • La más baja para la muestra base tanto con respecto a la información recibida como de la organización del programa. • El nivel más alto de satisfacción fue con los subsidios salariales para los no trabajadores de ENACAR. vi. Los organismos del gobierno consideraron que los ex trabajadores de ENACAR generalmente tenían la mayoría de las quejas y el menor nivel de satisfacción. Esto se esperaba ya que se usaron las protestas como instrumento de negociación para obtener beneficios más altos. 1.8. Satisfacción de la empresa: 16 empresas fueron entrevistadas. Estas en general expresaron un alto nivel de satisfacción. El programa de subsidio salarial fue particularmente popular. 2. Resultados intermedios 2.1. Capacitación y colocación a. Personas colocadas: i. 1996: El 54% de los trabajadores elegibles fueron colocados en trabajos. ii. 1997: El 90,5% de los capacitados fueron empleados, representando el 88,3% de la población objetivo. iii. El trabajo de las agencias de capacitación y colocación fue generalmente positivo en esa alta proporción colocada. Las críticas principalmente se refieren a: los fracasos de unas cuantas agencias; las reacciones negativas de trabajadores que no querían aceptar las posiciones ofrecidas; y las protestas de trabajadores que trataban de obtener pensiones por lesiones en el trabajo o efectos en la salud. iv. Las personas colocadas por medio del programa regular principalmente terminaron en trabajos regulares. Aquellos colocados directamente, terminaron principalmente en trabajos independientes. v. En 1997 el programa se amplió para centrarse más en la reinserción independiente que en trabajos regulares. vi. Empresas AR 189 y colocación directa 107. b. Permanencia en los empleos: i. El 62% de las personas colocadas por medio de agencias tradicionales de capacitación y colocación en 1996, aún continuaban en su empleo en julio de 1999. ii. El 91% de aquellos colocados por medio de agencias tradicionales de capacitación y colocación en empresas en 1997, permanecieron en sus trabajos. iii. El 58,9% de aquellos colocados directamente sin pasar por los programas de capacitación, permanecieron en sus trabajos. 167 c. Rotación de empleo: i. El 38% que no permaneció en 1996 fue por causa de: renuncia voluntaria (28%), despedidos (45%), y abandono del trabajo (27%). ii. Sugieren dificultades de que los trabajadores tuvieron que adaptarse a las nuevas condiciones de trabajo. iii. En 1997 hubo una rotación más baja entre aquellos que habían recibido capacitación que en aquellos directamente colocados. 2.2. Jubilación anticipada: Sin resultados intermedios. 2.3. Incentivos de inversión. a. Es muy difícil evaluar el impacto del programa ARAUCO sobre las decisiones de inversión, ya que este programa es sólo parte de una gama mucho más amplia de los factores que influenciaron la inversión. El equipo de la evaluación concluyó que el componente logró sus objetivos en términos de la cantidad de inversión atraída. El 41% de las inversiones fueron para la mejora de tierras. El subsidio era sólo el 3,8% de la inversión total, por cuanto se asume que hubo un efecto multiplicador muy alto (26,4). De las 69 empresas que reportaron en 2002, 50 empresas con 75 operaciones estarían aún operando y 19 empresas con 25 operaciones habían cesado operaciones en la Zona. La tasa faltante representó el 12% de la inversión total. i. 65 nuevas inversiones y 35 expansiones. De estas, 29 expansiones fueron proyectos múltiples, indicando que un número de empresas se estaban estableciendo permanentemente. ii. Los sectores más importantes fueron el forestal y la madera (41%), pesca (16,5%). Estos están basados en los recursos naturales de la región. • Sector primario 8%, secundario 74% y terciario 18% • Se considera positivo que el 74% de las empresas sean manufactureras, que es un sector dinámico. 2.4. Subsidio salarial-Arauco: i. El 21% del subsidio de empleo fue a empresas que habían cesado operaciones en 2002. ii. Las empresas aun en operación habían empleado un 45,5% más trabajadores que aquellos empleados por medio del subsidio. Esto sugiere que el subsidio pudo haber sido potencialmente exitoso en estimular más empleo. iii. La rotación de empleo fue del 36% de una muestra de 20 empresas. • Lota tenía las más altas cifras de rotación (56,6%) sugiriendo un ambiente de trabajo más conflictivo y difícil. Posiblemente una capacitación menos efectiva en adaptación al trabajo. iv. El subsidio representó el 64% del salario. 3. Resultados finales: Impactos Sólo hay resultados finales disponibles para la capacitación/colocación y los subsidios salariales. 168 3.1. Capacitación y colocación a. El modelo Heckman fue utilizado para evaluar el impacto en el ingreso de participación en cualquier programa de capacitación, ya que este puede ajustarse por sesgos (sin equivalencia) del grupo testigo. Este específicamente reconoce que la decisión de participar en la capacitación no es al azar. b. Después de ajuste por diferencias en los atributos31 de los trabajadores, el ingreso de los trabajadores que participaron en programas de capacitación y colocación es significativamente más alto que el ingreso para todos los trabajadores. c. Se llega a la misma conclusión cuando la muestra cubre sólo trabajadores activos, que es probablemente una comparación más válida, dado que no es muy probable que los trabajadores inactivos reciban capacitación. i. También se condujo una diferencia de análisis de diferencias. Los participantes en los programas de capacitación y colocación fueron comparados con el total de la muestra. Se hizo también una comparación entre los efectos de participación en programas formales de capacitación y capacitación en el empleo. d. Solamente se encontró un impacto positivo para el grupo que tomó la capacitación formal. El efecto fue significativo para 3 de los 6 años y no por los otros 3. Para los del grupo de capacitación en el empleo, las diferencias nunca son significativas. 4. Uso de recursos 4.1. Eficiencia a. Capacitación: i. El costo de las agencias tradicionales de capacitación/colocación fue de $2,2 millones por persona colocada, que es equivalente a 19 meses de salario mínimo. ii. Para la capacitación en el trabajo, el costo del subsidio por empleo creado fue de $4,9 millones, equivalente a 39 meses de salario mínimo. iii. El costo más bajo fue para la colocación de trabajadores independientes donde el subsidio fue de $870.000, equivalente a 8 meses de salario mínimo. b. Jubilación anticipada: i. Cada pensionado bajo el protocolo de 1996 costó $8,1 millones. ii. En 1997 el costo por pensionado se incrementó a $24,4 millones, indicando beneficios mucho más altos para 1997. Estos resultaron de pensiones mínimas más altas y de edad mínima más baja para los elegidos a pensión. c. Subsidios salariales: i. Cada empleo a través de Arauco costó $1.9 millones. 31 Educación, total de años trabajados. 169 ii. Si se suman los subsidios de inversión al costo por empleo, éste es de $2,83 millones. iii. Sin embargo, el costo promedio es más bajo si se toma en cuenta el número de trabajos adicionales creados sin subsidios. No hay cifras precisas sobre en cuánto se reduce el costo. iv. El costo más bajo por empleo es para el trabajador independiente y el más alto para las pensiones bajo el protocolo de 1997. 4.2. Costos administrativos: i. ENACAR manejó el componente de jubilación anticipada y tenía gastos administrativos del 7,1%. ii. No hay cifras comparativas con las cuales comparar estos costos administrativos. 5. Impactos del programa al nivel de la economía a. El Valor Neto Presente (VNP) fue negativo para: i. La capacitación laboral y colocación por medio de agencias tradicionales. ii. La capacitación en el trabajo. iii. Los subsidios salariales. b. Esto indica que ninguno de estos componentes tiene un retorno social positivo y consecuentemente no se pueden justificar en términos de su retorno económico. 170 ANEXO H SISTEMA DE EVALUACIÓN DE AUSTRALIA ⎯ASPECTOS CLAVE PARA COMPARAR CON CHILE 172 SISTEMA DE EVALUACIÓN DE AUSTRALIA ⎯ASPECTOS CLAVE PARA COMPARAR CON CHILE Como un insumo (INPUT) para la revisión del Banco Mundial del sistema de evaluación de Chile, esta nota analiza los temas claves relacionados con la “primera generación” del sistema de evaluación de Australia, que existió desde 1987 a 1997 1 . Principales Objetivos del Sistema de Evaluación Tres principales objetivos fueron articulados: para fomentar que los gerentes del programa, dentro de los departamentos, utilicen la evaluación para mejorar el desempeño de sus programas; para ayudar a la toma de decisiones y a las prioridades del Gabinete, particularmente en el proceso anual del presupuesto, cuando un largo número de propuestas competitivas son propugnadas por los Ministros; y para fortalecer la responsabilidad en un DEVOLVED ambiente proveyendo evidencia formal de la vigilancia (OVERSIGHT) de los gerentes del programa y del manejo de los recursos del programa. El segundo objetivo ⎯ toma de decisiones y prioridades del gobierno ⎯ fue logrado más fuertemente que los otros dos. La responsabilidad fue tradicionalmente vista en términos de responsabilidad de los Ministros y departamentos hacia el Parlamento. Pero otra relación de responsabilidad probó de hecho ser más poderosa: responsabilidad de los departamentos hacia el Departamento de Finanzas (DoF). Nivel de Involucramiento de los Ministros, Jefes de Departamento y Otros con el poder de decisión en la Evaluación. Su estrategia de primera generación de la evaluación fue CRAFTED por el DoF en bastantes etapas, y cada una de estas fue endorsada por el Ministro de Finanzas, que IN TURN puso las propuestas al Gabinete para una consideración formal para el endorso. La estrategia de la evaluación fue CRAFTED sobre la base de una revisión detallada del status quo (preparado por un grupo inter departamental), y ellos fueron entonces, sometidos a un proceso de comentario detallado por cada línea departamental; estos comentarios fueron reproducidos como un anexo a la propuesta enviada al Gabinete. Las propuestas de DoF fueron fuertemente apoyadas por las otras dos agencias centrales-el Departamento del Primer Ministro y del Gabinete, y la Tesorería – pero la línea departamental ganó (RANGED) un cauteloso apoyo a la oposición. Las propuestas DoF’s fueron endorsados por el Gabinete vía una serie de Decisiones formales del Gabinete, que en Australia tienen virtualmente fuerza de ley. Esta estrategia de evaluación fue basada en el principio que “las responsabilidades primarias para determinar las prioridades de la evaluación, preparación de los planes de 1 Discutido en detalle en K. Mackay, El Desarrollo del Sistema de Evaluación de Australia (OED 1998) and Dos Generaciones de la Evaluación del desempeño y el Sistema de Gestión en Australia (OED 2004), y disponible at www.worldbank.org/oed/ecd/ 173 evaluación y la conducta de las evaluaciones reposa (en la línea departamental)”. La pieza central fue la planeación de la evaluación, vía formal Planes de Cartera de la Evaluación (PEPs) (Portfolio Evaluation Plans), que habían sido sometidos anualmente por cada Ministro al Ministro de Finanzas 2 Estos tenían un rol de, 3 años de cobertura e indicado qué programas o sub programas podrían ser evaluados (es usualmente no significativo evaluar todos los aspectos de un programa) y cuándo. Hay un requisito formal que todo programa sería evaluado cada 3-5 años. Estas evaluaciones PEP fueron clasificadas como “grandes” evaluaciones. Se esperaba que los departamentos también iniciaran otras, mas pequeñas (“menores”) evaluaciones, puramente para propósitos de manejo interno. Los aspectos clave para los PEPs fueron la escogencia de programas para ser evaluados, y las preguntas específicas que cada evaluación consigne: así el ToRs por cada evaluación fue crucial. Estos aspectos fueron decididos vía un proceso de negociación entre DoF y la línea departamental. Para los departamentos más débiles, las prioridades de DoF prevalecerían mayormente. Para una más poderosa línea departamental, el balance de poder fue más 50:50. Disputas no resueltas concernientes a las prioridades de la evaluación escalarían al nivel de los Ministros, o aún al Gabinete si no se pudiera lograr un acuerdo. El Gabinete probó ser un STAUNCH partidario del valor de tener los hallazgos de la evaluación para apoyar sus debates – por ejemplo, el Gabinete comisionó las 60 mayores revisiones de los programas de gobierno en los presupuestos. 3 Hubo un número de instancias donde la línea de nuevas propuestas a la política de los ministros no fueron apoyadas por los hallazgos de la evaluación, a pesar de que DoF argumentó que ellos pudieron haber sido, y por lo tanto, el Gabinete exigió que una evaluación fuera conducida antes de considerar la propuesta. Y cuando quiera que haya una disputa entre DoF y la línea departamental concierne a la calidad/confiabilidad de los hallazgos de una mayor evaluación – un aspecto que probó certeza para atraer la ____ del Gabinete – el asunto hubiera sido tirado atrás a los funcionarios a resolver por medio de una nueva evaluación. Líneas departamentales crearon nuevos procesos para preparar y finalizar sus PEPs. Estos típicamente involucraron la creación del comité departamental – encabezado por el Secretario DEPUTY, contenía los Jefes de División y apoyados por una unidad central de planeación/coordinación o evaluación – identificar las prioridades de la evaluación, propuestas para colectar evaluaciones de áreas del programa, y preparar una evaluación detallada ToRs. 2 Se esperó también que los Departmentos prepararan unos planes de evaluación departmental, que incluyó la mayors evaluaciones de PEP evaluations más evaluaciones menores iniciadas por los departamentos. El contenido de estos planes departamentales no estaba basado en requerimientos detallados DoF, a pesar de que las guías de buena práctica si existió. 3 La mayoría de estas revisions se enfocaron en aspectos de afectividad y propiedad (appropriateness), y mucha información evaluative encuestada y resumida existente, en vez de conducir ellos mismos evaluaciones in-depth. 174 La estrategia de evaluación del Gobierno fue también mantenida en el spotlight vía su inclusión de tiempo en tiempo, en las agendas de las reuniones mensuales de las secretarías departamentales. El secretario de DoF presentaría, por ejemplo, los hallazgos de una revisión por parte de sucursal de evaluación de DoF (del cual fue la cabeza) en relación a la calidad de cada vuelta anual de PEPs. Su calidad fue evaluada de acuerdo a un grupo de relación de criterio a las guías formales de PEP, que DoF había preparado. PEPs individuales no serían identificados en la versión de la revisión dada a las secretarías departamentales, pero la secretaría DoF proveería bastante consejo a otras secretarías departamentales si esta lo piden. Y la secretaría DoF se reuniría con sus jefes de división para discutir los detallados rangos de los departamentos, en cuyo momento la buena práctica PEPs sería subrayada, y las explicaciones por la pobre calidad de los PEPs sería SOUGHT. Nivel de Interacción con el Parlamento El involucramiento fue sumamente pasivo, aunque uno de los dos comités parlamentarios ENQUIRIES sí ayudaron a apoyar un clima de reforma para la medida y manejo del desempeño. DoF informó al Parlamento sobre el sistema de evaluación del Gobierno, y los departamentos informaron al Parlamento sobre el desempeño de sus programas, vía sus formales Reportes Anuales, y vía los estados de la cartera presupuestario que acompanan las cuentas del presupuesto. Pocos parlamentarios tenían el tiempo, el interés o personal asesor para lograr algún escrutinio sustantivo del desempeño de los departamentos. Sin embargo, un gran cantidad de ENQUIRIES parlamentarios fueron establecidos de tiempo en tiempo, sobre tópicos específicos, y estos frecuentemente revisaron el desempeño departamental IN DEPH. Conducta de las Evaluaciones Como se anotó, esto fue la responsabilidad de las líneas departamentales. Para mayores evaluaciones (aquellos listados en PEPs) DoF procuraría no solo influenciar la escogencia de programas para ser evaluados y el preciso ToRs para cada evaluación, pero también procuraría – usualmente exitoso – ser un miembro de la evaluación del comité de iniciativas, que fue frecuentemente organizado en la naturaleza de un comité inter departamental incluyendo otra relevante línea departamental y otros ministerios centrales (e.g. PM&, Tesorería). Cada involucramiento dio a DoF la oportunidad de influenciar la conducta de la evaluación, incluyendo su calidad y conclusiones. Este también ayudó a asegurar que los oficiales DoF fueron fluidos en los hallazgos de la evaluación (y en su calidad y limitaciones), y podría usarlos para buen efecto en enmarcar su consejo de la política. Notar que los funcionarios de DoF involucrados de esta manera en evaluaciones individuales fueron oficiales de presupuesto – equivalente a las secciones del presupuesto de DIPRES. La unidad central de evaluación DoF usualmente no llegó a estar involucrado en evaluaciones individuales, mas que a través de una disposición de consejo metodológico si fuera requerido. Algunos de los departamentos más grandes (e.g. Empleo) tenía una sucursal de evaluación con un personal de 20-25 personas, responsable por la planeación de la evaluación, disposición de consejo sobre la metodología de la evaluación, participación en la evaluación del comité de iniciativas, y por la conducta de evaluaciones más grandes. 175 Otros departamentos tenía únicamente unidades pequeñas de evaluación, como parte de una planeación/coordinación sucursal, y traspasó la función de la evaluación a LINE áreas del programa – ellos en turno serían responsable ante la alta gerencia del departamento por la calidad y rigor de las evaluación (especialmente para evaluaciones más pequenas, que estuvieron frecuentemente en la naturaleza de las revisiones rápidas). Un número de evaluaciones fueron contratadas a consultores individuales o firmas consultoras. Un aspecto importante es la calidad de las evaluaciones resultantes de esta aproximación de traspaso para la conducta (como distintivo del planeamiento) de la evaluación. Una auditoría de desempeño de 1997, conducida por la Oficina Nacional de Auditoría de Australia encontró que más de una tercera parte de una pequeña muestra de todas (mayores y menores) la evaluaciones sufrieron de debilidad metodológica. DoF estaba advertido de que algunas de las evaluaciones publicadas eran de baja calidad, y su sospecha fue que estas fueron producidas por departamentos para servir sus propios propósitos, tales como proveer una justificación para la retención o expansión del programa. La experiencia de DoF de las evaluaciones fue que su calidad podría variar enormemente, pero DoF fue suficientemente confiable de sus propias habilidades de vigilancia (vía sus oficiales del presupuesto) que serían capaces de identificar las mayores evaluaciones de PEP, cuya calidad fue dudosa, y que serían capaces de también de persuadir a la línea departamental de revisar sus evaluaciones, o si no entonces DoF elevar el asunto para la consideración del Gabinete – una situación que las líneas departamentales estuvieron muy ansiosos de evadir. Para las menores evaluaciones menos importantes, la actitud de DoF fue “CAVEAT EMPTOR”. Dichas evaluaciones fueron producidas por los departamentos por sí mismos; si sus controles de calidad interna fueron inadecuadas entonces ese era su problema. Cobertura de la Evaluación de los Programas del Gobierno Ningunas estadísticas sobre este tema are READILY disponibles – es del todo cuestionable si es un concepto significativo. Una razón es la heterogeneidad de las aproximaciones de la evaluación en el sistema australiano, y así una divergencia en THE DEPH al cual cualquier programa fue evaluado: revisiones rápidas, revisiones de la política, auditorías de desempeño; rigurosas evaluaciones de impacto; etc. También no hubo una evaluación estándar ToRs o aspectos que cada evaluación consignaría. Así algunas evaluaciones se fijaron en aspectos de efectividad del programa, otros en la eficiencia del programa. Y algunas evaluaciones se fijaron en todo los programas, otros e todo y solo parte de un sub programa. Sin embargo, una indicación de la cobertura de la evaluación es que para mediados de los 1990s, alrededor de 160 grandes evaluaciones fueron UNDERWAY en cualquier momento. Y como 530 reportes de la evaluación fueron publicados entre 1993 y 1997. Una métrica mas significativa para DoF fue la proporción y el valor del dólar de las propuestas del Gabinete que fueron influenciados por los hallazgos de la evaluación (Ver abajo) . El enfoque de las estadística en la proporción del presupuesto que estuvo “en juego” cada año, e vez de en la cantidad total de las apropiaciones del presupuesto. 176 La auditoría de desempeño de ANAO en 1997, reviso una muestra de evaluaciones y encontró que como la mitad examinó la entrega de productos o servicios de clientes externos, y un mas adelante el 30% fue asociado con asuntos internos del departamento. Un tercio de las evaluaciones examinó lo apropiado de nuevos o establecidos programas (i.e., su consistencia con las políticas del Gobierno), y el 15% fue dirigido al desarrollo del consejo de política (POLICY ADVICE) por el Gobierno. Uso de la Evaluaciones en el Proceso de Presupuesto DoF condujo encuestas de su personal de presupuesto cada año TO ASCERTAIN la influencia de la evaluaciones en (1) las nuevas propuestas a la política de la línea de ministros, (2) las opciones de ahorro propuestas por DoF (o por la línea de ministros si ellos desearon encontrar nuevas políticas). En 1994-95, como US$1,750 millones (o 77%) de las nuevas propuestas a la política fueron juzgadas de haber sido influenciadas por los hallazgos de una evaluación, y en la mayoría de los casos la influencia fue juzgada para ser directa (en vez de indirecta). Las figuras correspondientes para opciones de ahorro fueron US$ 380 millones (65% del total). En únicamente pocos casos fueron programas terminados como resultado de una evaluación; y dado el énfasis y el proceso de presupuesto en cartera (portfolio) (definido como una línea departamental más las OUTRIDER agencias) sobres del presupuesto – en efecto, cartera presupuestaria (portfolio budgeting)- cualquier terminación del programa resultaría en una redistribución de gastos. Había mayores instancias donde los programas particulares fueron cortados significativamente como parte de una mayor re priorización de los programas, por ejemplo en las áreas del mercado laboral y seguridad social; esto reflejó el deseo de maximizar el valor-por-dinero dado a las prioridades de las políticas del Gobierno. (Cuaro 1). 177 Cuadro 1: UN EJEMPLO DEL USO DE LA EVALUACION PARA AYUDAR AL GOBIERNO A CORTAR Y RE PRIORIZAR SUS PROGRAMAS. En el Presupuesto de 1996-97 the 1996-97 el nuevo gobierno determinó tanto reducir como re priorizar los gastos del gobierno. Un enfoque particular fue dado para el mercado laboral y programas relacionados que ACCOUNTED para gastos de A$3,800 millones anualmente (como US $2,900m). El Ministro para empleo articuló la meta de toda la política del Gobierno (AS BEING) para proveer asistencia a empleo a largo plazo y a aquellos en riego de entrar a un desempleo de largo plazo. Este enfoque fue adoptado tanto para objetivos de equidad y eficiencia – el (LATTER) perseguido para lograr una mejor combinación de la oferta y demanda laboral. Al mismo tiempo, ella quiso lograr mejor valor por el dinero de los programas del mercado laboral en un estrecho ambiente presupuestario. Australia y los hallazgos de evaluación internacional fueron dibujados (ON HEAVILY) para ayudar a guiar las escogencias de la política hechas. Los ministros subrayaron el relativo costo-efectividad de los diferentes programas de los mercados laborales. Una medida clave de este fue estimado calculando el costo neto al Gobierno por cada reinserción de trabajo adicional de diferentes programas – como medido por la aumentada probabilidad de una persona asistida estando en un trabajo unos 6 meses después de que ellos habían participado en el programa del mercado laboral. (La vaselina fue una comparación combinada grupal de individuos que no participaron en el programa). Los hallazgos de la evaluación mostraron que el programa “JobStart”, que provee subsidios salariales, tenía un costo neto de A$4,900 por reinserción de trabajo adicional, WHEREAS los programas “Habilidades de trabajo” (“JobSkills”), que fue un programa de trabajo directo, tenía un costo neto de A$76,600. El Ministro anotó que “el Gobierno estará concentrado sus esfuerzos en aquellos programas que han probado más costo-efectividad en asegurar los verdaderos resultados del trabajo”. Como resultado, el programa JobStart fue retenido mientras que el programa Habilidades de trabajo (JobSkills) fue sustancialmente (SCALED BACK) y más estrechamente (TARGETED) de buscadores de trabajo que estuvieron particularmente en desventaja. Los ahorros totales para el Gobierno de su reducción y re priorización de los programas del mercado laboral fueron como de A$1,500 millones durante dos años. El Gabinete también comisionó una serie de evaluaciones grandes de sus nuevos programas del mercado laboral y de los nuevos arreglos para una total competencia entre los proveedores de servicios de empleo público y privado. Fuente: Senador Vanstone (1996); DEETYA (1996, 1997); Comunidad de Australia (1996). El común modus operandi para DoF cuando los problemas con el desempeño del programa fueron identificados, fue entrar dentro de un acuerdo de recurso con la línea departamental, involucrando el UP-FRONT disposición de recursos adicionales para mejorar el desempeño del programa, 4 y más que el (OFFEST por OUTYEAR) reducciones en las apropiaciones del programa. Este fue una manera en que los ahorros del presupuesto fueron hechos. 4 Program performance, or value-for-money, encompasses concepts of effectiveness and efficiency. 178 Uso de las Evaluaciones del Programa de Gestión La auditoría de desempeño de ANAO en 1997 reportó que el impacto o uso de las evaluaciones fue más significativa con respecto a las mejoras en la eficiencia operacional, y hasta cierto punto la decisión de la distribución del recurso (TO A LESSER EXTENT TO RESOURCE ALLOCATION DECISION) y el diseño de las mejoras en la calidad del servicio para el beneficio de clientes. Ninguna de las estadísticas están disponibles en estos diferentes usos. Sin embargo, una característica particular del sistema australiano es el gran volumen de evaluaciones iniciadas por las líneas departamentales por su propia cuenta, sobre y por encima de aquellos requeridos como parte del proceso PEP. Esto puede ser tomado como una reflexión del desempeño cultivado dentro del servicio público australiano. Esta experiencia contrasta a la de Chile, por cuanto nosotros hemos encontrado pocos ejemplos de las evaluaciones conducidas por las líneas departamentales. Este debe CAST duda sobre la existencia de una evaluación o desempeño cultivada en Chile. Esto también suena a advertencia contra cualquier movimiento hacia una aproximación (DEVOLUTIONARY) para evaluación dentro del Gobierno chileno. Evaluación de la Capacitación La sucursal de evaluación de DoF’s fue compuesta por 9 evaluadores, con un rango de antecedentes. La mayoría tenía títulos en ciencias sociales (especialmente en economía, estadísticas, sociología) con evaluación o experiencia en investigación. Esta sucursal proveyó capacitación introductoria de la evaluación, esencialmente proveer conceptos básicos para capacitar participantes, a 3,000 trabajadores del sector público entre 1991 y 1997 5 . La filosofía explícita en proveer este entrenamiento fue para ayudar a construir una advertencia en la evaluación. Pero no para buscar suplir las habilidades de la evaluación que las líneas departamentales necesitarían en la conducción de sus evaluaciones. En vez de esto, fue visto como ser el rol de la línea departamental para satisfacer sus propias exigencias del entrenamiento, por contratar personal calificado para evaluación, por utilizar consultores de evaluación (individuos, compañías, universidades) o por tomar ventaja de unos cursos de capacitación avanzada de evaluación que estuvieron disponibles. Sin embargo, la auditoria del desempeño de ENAO en 1997, mostró que el 20% de los departamentos continuaron estando preocupados sobre una (PAUCITY) de los cursos de capacitación de la evaluación, y este fue del todo un aspecto débil de este primer sistema de primera generación de la evaluación. DoF también emitió un rango de material de guía: cuaderno de notas para las evaluaciones del programa y para el análisis de costo-beneficio; resúmenes colectados de los resúmenes ejecutivos de la evaluación; material de defensa de los beneficios de la evaluación; etc. 5 Capacitación similar, enfocada en la información/indicadores, fue provista por DoF de alrededor de1995 (ONWARDS). 179 Estudio de Caso del Fondo de Promoción de Exportaciones ANEXO I.1. ESTUDIO DE CASO SOBRE LA UTILIZACIÓN DEL PROGRAMA DE EVALUACIÓN DE PROGRAMAS DEL GOBIERNO, MINISTERIO DE HACIENDA, CHILE. EVALUACIÓN DEL FONDO DE PROMOCIÓN DE EXPORTACIONES 15 de noviembre de 2005 180 Estudio de Caso del Fondo de Promoción de Exportaciones Prefacio Este es uno de tres estudios de caso sobre la utilización de las evaluaciones producidas como parte del Programa de Evaluación de la División de Control de Gestión (DIPRES) del Ministerio de Hacienda de Chile. Si bien los otros dos casos describen evaluaciones de desempeño (Evaluación de Programas del Gobierno), este caso trata la utilización de una evaluación de impacto. El Banco Mundial, en colaboración con la DIPRES, está completando un análisis exhaustivo de todo el sistema de evaluación1 y la finalidad de los estudios de caso fue documentar la utilización de tres evaluaciones desde la perspectiva del organismo de ejecución, la DIPRES y del Comité Parlamentario del Presupuesto. Para identificar algunos de los factores que afectan a la utilización, el proceso de evaluación también se describe brevemente. Los casos finalizan con una exposición de las enseñanzas extraídas de las maneras de asegurar la utilización eficaz del programa de evaluación. Los estudios de caso fueron preparados durante una misión de una semana en agosto de 2004 durante la cual se realizaron entrevistas con el Ministerio de ejecución y personal de la DIPRES. En el presente caso, dada la importancia de la metodología de evaluación como un factor potencial al determinar la utilización, también se entrevistó al Coordinador del equipo de evaluación. Las entrevistas fueron complementadas por informes sobre grupos de discusión y entrevistas individuales realizados durante dos misiones del Banco Mundial a comienzos de año y con un examen de los informes de evaluación y otra documentación disponible en los proyectos. La finalidad de los estudios de caso fue documentar el proceso de evaluación y cómo eran usadas las evaluaciones desde la perspectiva de los diferentes actores. El objetivo no era evaluar el sistema de evaluación en sí, ya que esto está cubierto exhaustivamente en la evaluación del sistema de evaluación de la DIPRES que el Banco Mundial está realizando. Es importante tener presente esta perspectiva cuando se leen las reacciones iniciales de parte del personal del organismo de ejecución sobre cómo se ejecutaron las evaluaciones. Los estudios de caso informan sobre estas reacciones como un factor posible que afecta el “sentido de propiedad” del organismo respecto a la evaluación y cómo se usaría posteriormente, pero los casos no están orientados a evaluar los puntos fuertes y los puntos débiles del propio sistema de evaluación. 1 Para evitar la repetición de la información documentada en el informe principal del Banco Mundial, los estudios de caso sólo presentan información pertinente para la comprensión de cómo el proceso de evaluación puede afectar a la utilización de los hallazgos y las recomendaciones. Para una exposición más completa del sistema de evaluación de la DIPRES véase el documento de Marcela Guzmán “Sistema de Control de Gestión y Presupuestos por Resultados: La Experience Chilena” División de Control de Gestión, Ministerio de Hacienda, octubre de 2003 y el documento del Banco Mundial “Chile – Estudio de Evaluación de Impacto del Sistema de Evaluación de Programas: Evaluaciones de Impacto y Evaluaciones de los Programas del Gobierno” 2004. 181 1. El proyecto del Fondo de Promoción de Exportaciones (FPE) El Fondo de Promoción de Exportaciones (FPE) es administrado por ProChile y financia las actividades de promoción de las exportaciones con el objetivo de diversificar las exportaciones y elevar el valor agregado de los bienes y servicios producidos en Chile. La meta máxima es fortalecer la competitividad de la economía chilena mediante la promoción de las exportaciones no tradicionales. Los objetivos específicos son ampliar la base de exportación, promover las exportaciones de las diferentes regiones y aumentar las oportunidades de exportación para las pequeñas y medianas empresas. El FPE financia la promoción de las exportaciones a través de dos actividades principales: (a) las competencias en las cuales los proyectos de exportación presentados por las empresas son seleccionadas, y que tienen cofinanciamiento privado, (b) actividades no competitivas apoyadas directamente por ProChile o en colaboración con un grupo de empresas. Estas últimas actividades pueden o no tener cofinanciamiento privado. La promoción de las exportaciones se convirtió en una parte de la estrategia nacional de desarrollo económico en los años ochenta, y el modelo de desarrollo económico se basó en la promoción de una economía exportadora. Algunos de los éxitos tempranos incluían la promoción de la exportación de vinos, salmón y frutas. Una de las cuestiones clave que se debate continuamente es el rol apropiado del gobierno. ¿Debe el gobierno intervenir activamente en la promoción de las exportaciones o será esto un proceso espontáneo? El FPE ha cambiado su modelo durante los últimos años y existía necesidad de evaluar cómo estaba funcionando el nuevo modelo.2 Se habían creado varios departamentos sectoriales especializados, apoyados por y en apoyo de intereses especiales, pero en años recientes esto había cambiado a un enfoque más regional. También había un cambio hacia un énfasis más claro en el apoyo de las empresas pequeñas y medianas. Uno de los cambios más importantes desde la perspectiva de la evaluación fue la introducción del concurso (competencia) para la selección de las empresas para recibir subsidios. 2. El proceso de evaluación Las razones para incluir al FPE en el Programa de Evaluación de Impacto de 20013 Aunque muchas de las evaluaciones se seleccionan para los programas que se consideran problema, el FPE fue incluido en el programa de evaluación porque este es un programa en el cual el Parlamento está muy interesado y hay presiones continuas para aumentar los fondos. En consecuencia, es importante evaluar cómo se están usando los fondos. 2 Fuente: Reuniones con ProChile y con el jefe del presupuesto del sector de relaciones externas. 3 Basado en las reuniones con ProChile y la DIPRES y el informe sobre las entrevistas del Banco Mundial con el grupo focal del personal de planificación y presupuesto del Ministerio. 182 Estudio de Caso del Fondo de Promoción de Exportaciones Se decidió realizar una evaluación de impacto del FPE, ya que en 1998 se había realizado una evaluación EPG.4 También fue necesario evaluar la efectividad y la función del programa porque la reciente firma de varios acuerdos comerciales bilaterales estaba desarrollando nuevas estrategias y oportunidades para la promoción de exportaciones, y éstas crearon una necesidad de reevaluar la función del FPE. En el criterio del Jefe del Presupuesto del Sector de Relaciones Externas de la DIPRES, la evaluación se seleccionó no porque el programa fuera visto como un problema sino debido a la necesidad de reevaluar su función, particularmente dada la presión para aumentar el financiamiento. Dada la sensible naturaleza política del programa (su gran popularidad) se consideró importante asegurar que la evaluación fuese imparcial e independiente. Otra cuestión importante a ser abordada era el hecho de que el FPE está en la frontera entre los sectores público y privado y se consideró importante evaluar si las inversiones del FPE creaban un bien público o si estaba financiando actividades que el propio sector privado podría o debería estar financiando. Oportunidad y costos (ver el cuadro 1) La lista propuesta de las evaluaciones de impacto y EPG para 2002 fue aprobada por el Congreso en noviembre de 2001, como parte de la aprobación de la Ley del Presupuestos. Los consultores para todas las evaluaciones de impacto y EPG se seleccionaron entre diciembre de 2001 y marzo de 2002. La preparación del informe de evaluación de los consultores duró un total de aproximadamente 9 meses (marzo a diciembre de 2002). La evaluación fue luego analizada y revisada por personal de la DIPRES y enviada al Congreso en junio de 2003. Los compromisos institucionales para poner en práctica las recomendaciones fueron discutidos en una serie de reuniones entre la DIPRES y ProChile y formalizados en octubre de 2003, y el primer informe de seguimiento del cumplimiento de los compromisos se emitió en marzo de 2004. Cuadro 1: Cronograma para la evaluación del FPE Actividad Fecha Comienzo de la evaluación Marzo de 2002 Informe final de evaluación aprobado Diciembre de 2002 Análisis de los resultados de la evaluación con el Director del Abril de 2003 Presupuesto, personal de presupuestos sectoriales y personal de Control de Gestión Informe de evaluación remitido al Congreso Junio de 2003 Compromisos institucionales formalizados Octubre de 2003 Primer informe de seguimiento del cumplimiento de los Marzo de 2004 compromisos institucionales 4 EPG = Evaluación de los programas gubernamentales. Esta es la evaluación de desempeño más corta y más barata, que depende principalmente de datos recolectados por el programa y entrevistas y es completado en un período de 3 a 4 meses. 183 Estudio de Caso del Fondo de Promoción de Exportaciones El costo total de la evaluación (sin incluir el tiempo del personal de la DIPRES) fue de aproximadamente $ 50 millones (US$ 83,000). Participación de los actores en las diferentes etapas de la evaluación DIPRES. Siguiendo la práctica corriente “A veces los funcionarios de las instituciones de la DIPRES, el oficial de presupuesto (responsables de los programas siendo responsable sugirió algunos de los temas a evaluados) pierden la perspectiva política ser abordadas en la evaluación, pero no se general, pierden la perspectiva intersectorial involucró directamente en la evaluación y sólo se preocupan de cumplir con los para evitar cualquier percepción que compromisos específicos de sus programas. amenazara su imparcialidad. La DIPRES ¿Cómo podemos abordar el resentimiento siempre procura mantener una postura del personal sectorial? Debemos ayudar al imparcial, asegurándose de que las desarrollo de una cultura de desempeño y evaluaciones sean objetivas y externas. evaluación de programas y a comprender Los programas se evalúan en términos de mejor la función de la evaluación y de los preguntas tales como: compromisos institucionales”. • ¿Se administra eficientemente? Comentario de un funcionario de presupuesto • ¿Está abordando un tema sectorial en un grupo focal del Banco Mundial, prioritario? junio de 2004. • ¿Está produciendo un retorno positivo social y/o económico en la utilización de los recursos públicos? • En años recientes la cuestión de si esta es un área apropiada para la inversión de los fondos públicos, o si la actividad debe dejarse al sector privado también se aborda a menudo. Según ProChile, la evaluación fue diseñada por la DIPRES y ProChile sólo tuvo conocimiento de la metodología una vez que la evaluación había sido completada y no tuvo gran participación en el diseño5. En este programa no se habían realizado evaluaciones de impacto (pues se había realizado una evaluación EPG) anteriores, de modo que la DIPRES tuvo que diseñar la evaluación desde cero. Según ProChile ellos participaron ayudando en la recolección de datos de las diferentes fuentes, pero no discutieron cómo se analizarían los datos hasta que recibieron el borrador del informe, sin embargo la opinión de DIPRES es distinta (ver nota al pie N° 5). Cuando se presentó el borrador del informe de evaluación, ProChile preparó 10 páginas de observaciones escritas que expresaban algunas de las inquietudes acerca de la metodología de evaluación y la interpretación de los resultados (ver la sección 3 de este estudio de caso). 5 De acuerdo con la DIPRES, en realidad ProChile había participado en la preparación de los términos de referencia, realizando además observaciones acerca de la sección que describía la metodología propuesta. También participó en la revisión del informe inicial, que incluía una explicación de los instrumentos propuestos para la recopilación de los datos. Posteriormente, participaron en la revisión de cada uno de los informes de avance e informe final de evaluación. 184 Estudio de Caso del Fondo de Promoción de Exportaciones En retrospectiva, ProChile cree que la DIPRES debería haberlos involucrado más activamente en la etapa de diseño de la evaluación y que la DIPRES y el evaluador no comprendieron plenamente la organización y las actividades de PROCHILE, de modo que el diseño de la evaluación y la identificación de los indicadores de impacto no fueron plenamente satisfactorios. Como el diseño de la evaluación está contenido en los TTR, DIPRES considera que ProChile si tuvo un rol en el proceso de trabajo de los Términos Técnicos de Referencia, en los cuales se analizaron en detalle cuáles eran los resultados esperados del programa. Además, después de la revisión de cada informe se realizó cuando menos una reunión entre PROCHILE, DIPRES y el equipo evaluador para analizar en detalle cada una de las observaciones, revisando cuáles eran pertinentes de incluir y cuales no. 3. La metodología de evaluación Los elementos principales de la metodología de evaluación fueron los siguientes: A. El diseño de la evaluación se basó en los Términos Técnicos de Referencia estándar preparados por la DIPRES. Estos proponían el diseño “ideal” de la evaluación y la primera tarea del equipo de evaluación fue realizar durante un mes una evaluación de la evaluabilidad en la cual el diseño “ideal” se adaptó al contexto de la situación real en la cual se realizaría la evaluación. Durante este período, el equipo de evaluación se reunió con personal del FPE y la DIPRES. Al final de un mes se preparó un diseño revisado de la evaluación, tomando en consideración la disponibilidad de datos, la posibilidad de construir un grupo testigo, etc. B. Se encontró que, antes de 2000, los datos sobre las empresas que participaban en el programa estaban desorganizados y eran incongruentes e incompletos. Gran parte de la información sólo estaba disponible en los archivos individuales de cada empresa o grupo de empresas, y esto tenía que compilarse en una base de datos integrada. Esto resultó una tarea muy lenta y el equipo de evaluación reconoció que, a pesar de sus mejores esfuerzos, los datos disponibles contenían varias deficiencias importantes desde la perspectiva de una evaluación de impacto. C. Las fuentes principales de datos fueron las siguientes: a. Las entrevistas con personal de ProChile y del FPE. b. El análisis de los datos secundarios (ver más arriba). c. La aplicación de un cuestionario a una muestra de empresas participantes y una muestra apareada de empresas no participantes usadas como grupo testigo. d. La base de datos de Aduanas entregada por el Banco Central (Depto. de Cuentas Nacionales). D. Las etapas principales del análisis fueron las siguientes: a. La descripción y cuantificación de los componentes del programa, usando las fuentes secundarias de datos. Esto incluía: 185 Estudio de Caso del Fondo de Promoción de Exportaciones i. La estimación del número de beneficiarios potenciales,6 usando datos secundarios sobre el número de empresas exportadoras entre 1996 y 2001. Esta población también se definió como el grupo destinatario, dado que el programa no había definido las metas en cuanto al número de empresas a ser apoyadas. ii. Estimación del número de beneficiarios reales usando los registros del FPE. iii. El análisis de la distribución regional y sectorial de los beneficiarios, y el volumen de las exportaciones, usando los registros del FPE. iv. El análisis de los recursos financieros invertidos en el programa durante cada año desde 1996 a 2001. b. La eficacia del programa se evaluó del siguiente modo: i. El producto se evaluó en términos de: (1) Las tendencias en el número de proyectos y el número de empresas beneficiarias por proyecto. (2) Cobertura: Esto definía tanto el número de empresas que exportaron durante el año en el cual el subsidio fue recibido (una definición más restringida) como a las empresas que exportaron en estos años o en los posteriores (una definición más amplia y realista considerando el tiempo necesario antes de que una empresa pueda comenzar a exportar). (3) Las actitudes y satisfacción de los beneficiarios se evaluaron mediante la aplicación de una encuesta muestral. A las empresas se les solicitó que clasificaran diferentes componentes del programa sobre una escala de 5 puntos. ii. Los resultados intermedios se evaluaron mediante la comparación de los beneficiarios y un grupo testigo. Los factores que determinaban la probabilidad de participación se modelaron y se usaron para crear un grupo testigo pareado. Los dos grupos se compararon en cuanto a las opiniones sobre una cantidad de variables diferentes incluidos: el contacto con los clientes potenciales, el conocimiento de la competencia extranjera, el contacto con los aliados estratégicos dentro y fuera de Chile, la comprensión de los puntos débiles de la empresa, la creación de una imagen de la empresa dentro y fuera de Chile, etc. iii. Se evaluaron los resultados finales (impactos) comparando a los beneficiarios y los grupos testigos en términos de los cambios en el volumen de exportaciones y nivel de las ventas durante el período 1995-2001. c. La eficiencia de la utilización de recursos se evaluó en términos de: i. Las variaciones interanuales en el costo por proyecto y porcentaje de gastos administrativos respecto del gasto total del programa. 6 El FPE define el grupo destinatario potencial como empresas que están exportando o lo han hecho y también a aquellas que potencialmente podrían exportar. Este último grupo, las empresas que potencialmente podrían exportar, no fue incluido en el análisis, más que nada debido a la falta de datos y los costos y las complejidades de tratar de identificarlos. 186 Estudio de Caso del Fondo de Promoción de Exportaciones d. Economía: i. El porcentaje del presupuesto aprobado realmente utilizado fue el indicador de la economía. e. Evaluación Global del Desempeño. i. La efectividad económica general del programa se midió calculando la tasa de rendimiento económico y el valor agregado. Usando datos sobre el subsidio promedio se calculó que las exportaciones, en promedio, deberían haber aumentado a US$ 11.000 y el aumento promedio real fue de alrededor de US$ 6.330. Evaluación de la metodología de evaluación Varios factores hicieron de ésta una evaluación difícil de diseñar y ejecutar. La calidad deficiente de los datos del FPE antes de 2002 fue una cuestión importante. Sin embargo, el tema de la calidad de los datos sólo concernía a los datos del FPE y no fue un problema con los datos del Banco Central, la Aduana y los datos tributarios internos. También se reconoció que el período de 6 años que la evaluación pudo abarcar era probablemente demasiado corto para evaluar plenamente la efectividad de los programas de promoción de las exportaciones.7 Dadas estas dificultades los evaluadores deben ser felicitados por un trabajo sumamente consciente, minucioso y creativo al construir una base de datos de 6 años partiendo de datos muy dispersos, incongruentes e incompletos. El informe de evaluación también ha revelado cómo se pueden usar clases de datos característicos que se encuentran para muchos programas para realizar un análisis económico y de políticas muy refinado. Este es verdaderamente un trabajo pionero que ofrece muchas lecciones valiosas para la DIPRES y para el diseño de los futuros estudios de evaluación de impacto. Sin embargo, se expresó inquietud acerca de si, considerando las importantes limitaciones de datos, estaba plenamente justificado sostener que el análisis no había encontrado ninguna evidencia de que el proyecto hubiese tenido una repercusión sobre el volumen de exportaciones o el nivel de las ventas de las empresas participantes. Si bien esta es una interpretación técnicamente correcta del análisis econométrico, podría haber sido más apropiado recalcar las limitaciones de los datos y haber presentado algunos indicadores de impacto potencial diferentes, de los cuales el análisis econométrico habría sido uno. Esta es una cuestión importante, ya que se cree que los resultados de la evaluación contribuyeron a la decisión del Comité Parlamentario del Presupuesto de reducir el financiamiento del FPE. Sin embargo, se debe tener presente que este tipo de decisiones no son uno a uno, y existen múltiples factores que influyen en la decisión de disminuir el presupuesto, como por ejemplo la firma de los acuerdos comerciales como se menciona más adelante en la página 12. 7 PROCHILE citó el éxito de la experiencia con la promoción de vinos, frutas y salmón para sugerir que se necesitan al menos 8 años antes de que se puedan evaluar los efectos totales de un programa de promoción de exportaciones. 187 Estudio de Caso del Fondo de Promoción de Exportaciones Las limitaciones de tiempo no permitieron realizar una evaluación minuciosa de la metodología de evaluación, de manera que las cuestiones anteriores sólo se plantean para una posible consideración si se lleva a cabo una evaluación futura de la metodología de evaluación. El anexo 1 propone una lista de los temas que deberían abordarse en tal evaluación. 4. Los hallazgos principales de la evaluación Los hallazgos principales de la evaluación fueron los siguientes: A. Entre 1996/99 y 2000/01 el número promedio de empresas por proyecto cayó de 4,1 a 3,2. Una de las razones principales de este cambio parece haber sido que, antes de 2000, los requisitos para la participación eran mucho menos estrictos. El informe señala, sin embargo, que las cifras pre-2000 pueden sobrestimar el número de empresas beneficiarias.8 B. La cobertura del programa de los beneficiarios potenciales se estimó en alrededor del 17%, tomando en cuenta todas las empresas que exportaban en cualquiera de los años posteriores a la recepción del apoyo del FPE. C. Las actitudes hacia el programa se modificaron extraordinariamente después de la introducción de la competencia por los fondos (concurso). Antes de 2000, la mayoría de las empresas estaban satisfechas con el programa y lo encontraban útil, pero después de la introducción de reglas más estrictas para la competencia por los fondos muchos sectores se quejaron de que los procedimientos se habían tornado engorrosos. Posiblemente como consecuencia, la cantidad promedio de beneficiarios por proyecto disminuyó. Los exportadores de bienes siguieron estando más satisfechos que los exportadores de servicios. D. También se encontró que la mayoría de los no participantes tenían información muy escasa sobre el programa del FPE y que, en promedio, expresaban un nivel más alto de desconfianza en los programas del gobierno. E. En comparación con el grupo testigo, los beneficiarios del proyecto tenían resultados intermedios más positivos en lo que se refiere a la introducción de productos y servicios nuevos, y al ingreso en el mercado externo. F. El análisis econométrico no encontró evidencias de que el programa hubiese tenido un impacto positivo sobre el volumen de exportaciones o el nivel de las ventas de los beneficiarios del proyecto comparado con el comportamiento de un grupo testigo pareado. 8 La calidad de los registros pre-2000 era deficiente y es posible que algunas de las empresas pre-2000 registradas como que habían aumentado las exportaciones como resultado del programa, pudieron en realidad no haberlo hecho aunque recibieron el subsidio. 188 Estudio de Caso del Fondo de Promoción de Exportaciones G. Para que el proyecto hubiera producido un valor agregado positivo, habría sido necesario que el beneficiario promedio hubiese aumentado las exportaciones en un promedio de US$ 11.000. Sin embargo, el aumento real sólo fue levemente superior a US$ 6.300. 5. Recomendaciones y seguimiento de los Compromisos Institucionales El informe de evaluación presentó las siguientes recomendaciones: 1. Se requería un período más largo antes de que pudiesen calcularse las repercusiones del programa y pudiese evaluarse la justificación de su continuación. 2. La inversión pública en la promoción de exportaciones sólo puede estar justificada si hay externalidades significativas en términos de bienes públicos. Esta información no existe actualmente y se recomienda que sea recopilada una mejor documentación por categoría de compañía para permitir esta clase de análisis en el futuro. 3. Se deben usar los incentivos para la inversión para estimular la inversión privada y el programa se debe rediseñar para identificar sectores o proyectos donde los subsidios del gobierno puedan potencialmente producir un efecto multiplicador en inversiones privadas altas. 4. El aumento en evaluaciones negativas por los beneficiarios del programa después de la introducción de la competencia (concursos) por las donaciones sugieren que el diseño, la presentación y la ejecución de los concursos se deben reevaluar y posiblemente revisarse. 5. El programa debería haber definido más claramente las metas, tanto para mejorar la planificación como también para permitir un seguimiento y una evaluación más eficaces. Específicamente, se deben establecer metas para el número de proyectos y sectores y metas específicas para cada proyecto. 6. Se debe reconstruir una base de información para los años anteriores a 2000 (en la medida de lo posible), usando el mismo formato que para los proyectos de 2000 en adelante. Definición de Compromisos Institucionales y cumplimiento de estos compromisos El cuadro 2 indica que las 6 recomendaciones incluidas en el informe de evaluación se tradujeron en 8 recomendaciones más enfocadas a la operación que también reflejan mejor las limitaciones presupuestarias y las prioridades de política. Después de extensas discusiones con ProChile, éstas se tradujeron en 32 compromisos institucionales. El cuadro también muestra que a diciembre de 2003: • 3 de los compromisos habían sido plenamente cumplidos. • 7 habían sido cumplidos parcialmente 189 Estudio de Caso del Fondo de Promoción de Exportaciones • 1 compromiso estaba no cumplido • El cumplimiento de los 21 compromisos restantes, estaba programado para fechas posteriores al 31 de diciembre de 2003. • En consecuencia, el cumplimiento total de los compromisos al 30 de diciembre del 2003 fue de un 27%, considerando sólo aquellos compromisos que a esa fecha tenían vencimiento. 6. Utilización e impactos de la evaluación Utilización por el Comité Parlamentario del Presupuesto: De acuerdo con la DIPRES, el Parlamento está muy interesado en el FPE y está recomendando continuamente que se deben aumentar los recursos. En consecuencia, había un alto nivel de interés en el informe de evaluación. La evaluación se clasificó como produciendo modificaciones en el diseño de algunos componentes del programa en los sistemas de gestión internos.9 Los siguientes cambios se aprobaron en la Ley del Presupuesto de 2004 como resultado de la evaluación: “Los cambios se aprobaron en lo que se refiere a la organización del programa para asegurar una mayor repercusión (resultados finales). Sobre la base de los hallazgos de la evaluación, el presupuesto se redujo para 2004. El presupuesto también incluye una reestructuración de las partidas presupuestarias para asegurar un mejor desempeño. El presupuesto de 2004 incluye 4 partidas: ProChile, Promoción de las Exportaciones por las Empresas, Promoción de la Imagen de Chile y el Fondo de Exportación Agrícola. El presupuesto basado en los costos efectivos se redujo de US$2.934.000 en el 2003 a US$986.000 en el 2004 y de MM$1.116 en el 2003 a MM$1691 en el 2004.10 Utilización por la DIPRES Según la división del presupuesto del sector de relaciones externas de la DIPRES, la evaluación no presentó hallazgos claros y planteó más cuestiones que las que resolvió. Sin embargo, el informe fue sumamente útil para la DIPRES y creó la base para mejoras significativas en los sistemas de planificación financiera, gestión y evaluación del desempeño del FPE. Uno de los hallazgos tentativos fue que el FPE no estaba produciendo impactos significativos. Sin embargo, en la opinión de la división de presupuesto sectorial este resultado sólo se debe considerar tentativo, puesto que la evaluación cubrió un período demasiado corto para realmente poder producir resultados firmes. Debe recalcarse, sin embargo, que no hay ningún fundamento teórico claro para especificar el período apropiado sobre el cual podrían evaluarse los impactos. 9 Las otras categorías de impacto son: Ajustes menores y rediseño sustantivo del programa. 10 Evaluaciones de Impacto. Proceso 2002-3003. Implicancias del Presupuesto 2004. El presupuesto se redujo de US$ 2.934.000 en 2003 a US$ 986.000 en 2004 pero los montos en Pesos Chilenos aumentaron de MM$ 1.116 en el 2003 a MM$ 1.691 en el 2004, por tanto la disminución en el presupuesto fue pequeña. 190 Estudio de Caso del Fondo de Promoción de Exportaciones ProChile expresó su insatisfacción con los hallazgos y cuestionó la validez de la metodología. Sin embargo, en la opinión de la DIPRES, las recomendaciones resultaron muy útiles a ProChile y ayudaron a fortalecer el programa. Una de las dificultades al usar los hallazgos de la evaluación es que el contexto ha cambiado enormemente desde que la evaluación se realizó en 2002, posiblemente haciendo a algunos de sus hallazgos mucho menos pertinentes de lo que lo habrían sido en 2002. Por ejemplo, los acuerdos comerciales bilaterales recientes han cambiado significativamente —y posiblemente reducido— la función del FPE. Debido a estas circunstancias cambiantes, Hacienda y el Parlamento ya estaban considerando la posibilidad de reducir el financiamiento del FPE. Así, los hallazgos de la evaluación sólo reforzaron esta decisión. Utilización por ProChile y el FPE ProChile reconoció que el proceso de evaluación, a pesar de algunas de sus críticas, era un proceso de aprendizaje importante para ellos. Las recomendaciones operativas fueron útiles y la mayoría de ellas ha sido puesta en práctica o está en el proceso de serlo. Una de sus primeras respuestas fue mejorar su tecnología de datos para comenzar a crear una base de datos más integral y congruente. También ha comenzado a incorporar y estandarizar los datos de años anteriores. Las recomendaciones también les ayudaron en la reestructuración. 7. Retroalimentación de los participantes principales ProChile ProChile estuvo en general de acuerdo con los hallazgos operativos de la evaluación y los encontró útiles para la identificación de algunos puntos débiles y temas clave. No obstante, envió a la DIPRES una nota de disentimiento que se envió al Congreso junto con el informe final de la evaluación (esto se refiere a la respuesta institucional, que usualmente se envía al Congreso junto al informe final de la evaluación y el informe de síntesis preparado por DIPRES) que indicaba algunas de sus áreas de preocupación respecto de los hallazgos y las recomendaciones de la evaluación (ver el Recuadro). También discreparon con la interpretación de que el FPE no hubiera tenido impacto alguno por las siguientes razones (la mayoría de las cuales no se trató en la carta): a. El diseño pasó completamente por alto los éxitos significativos anteriores en la promoción de la exportación de salmón, vinos y frutas. Como éstos ahora son todos completamente autosostenidos, no se mencionaron en el estudio. Además de mostrar los éxitos, estas experiencias señalaron que se requiere el transcurso de un período prolongado de tiempo antes de que se puedan identificar los impactos y también que es necesario evaluar diferentes etapas del proceso de exportación y no enfocarse exclusivamente en el volumen de exportaciones. De hecho la evaluación evaluó distintas etapas del proceso de exportación, de momento que se 191 Estudio de Caso del Fondo de Promoción de Exportaciones analizaron resultados a nivel de producto (corto plazo) y resultados intermedios (mediano plazo). Además los resultados esperados del programa a ser evaluados fueron trabajados con ProChile e incluidos en el Términos Técnicos de Referencia. b. El período abarcado por la evaluación era demasiado corto y no habría sido posible identificar los impactos.11 c. En su opinión, la evaluación debería haber incluido una evaluación de gestión (cualitativa) del programa entero y no haberse enfocado en sólo un indicador cuantitativo.12 También tenían ciertas inquietudes acerca de la interpretación de los datos: d. Es probable que los datos pre-2000 hayan sobrestimado a los participantes en el programa y los impactos. En consecuencia, la estimación de que ha habido una disminución desde 2000 puede no ser completamente válida, lo cual quedó explícito en el informe. e. Tienen algunas reservas acerca de la creación de un grupo testigo pareado, ya que cuestionan que haya datos suficientes para hacer una comparación válida.13 También opinaron que el análisis se realizó en un vacío e ignoró los importantes cambios en la economía chilena desde 1999. El impacto de estas dificultades en el programa de exportación debería haberse tomado en cuenta.14 Mencionaron que el nuevo sistema de Control de Mando Integral (“Balance Store Card”) que ellos están desarrollando proveerá indicadores de desempeño más fiables. 11 La DIPRES observó que no hay base teórica alguna para determinar el período correcto sobre el cual se pueden evaluar los impactos de los programas de exportación. 12 La DIPRES observó que ésta era una evaluación de impacto y no incluía una evaluación de los sistemas de gestión del FPE y el diseño de programas dado que el FPE había sido evaluado anteriormente a través de la metodología EPG que considera estos aspectos. 13 Esta era una observación general y no aportaron detalles específicos. Su inquietud principal era que los datos del FPE de las empresas durante los años anteriores a 2000 probablemente no eran lo suficientemente fidedignos como para proporcionar una base para comparar. 14 La DIPRES observó que el diseño del grupo testigo pareado, en principio, controlaría los efectos de estas clases de cambio en el ambiente económico, sobre todo considerando que se trata de una evaluación que utilizó el método de diferencias en diferencias. 192 Estudio de Caso del Fondo de Promoción de Exportaciones A. Resumen de las observaciones de ProChile sobre el informe de evaluación 1. La descripción del FPE fue demasiado breve y, en algunas áreas, confusa e inexacta. 2. Los objetivos del FPE deben definirse más claramente. 3. Hay algunas inexactitudes en la descripción de los componentes del programa. 4. La definición de la población destinataria no es completamente exacta y el informe de evaluación no reconoce que las metas operativas y poblaciones destinatarias se redefinen en cada programa de trabajo anual. 5. Parece haber un sesgo en la selección de los entrevistados a la encuesta de actitudes, ya que la muestra incluye principalmente a beneficiarios previos a 2000, quienes están menos predispuestos a los nuevos procedimientos para los concursos y el manejo de los subsidios que fueron implantados en 2000. 6. ProChile no está de acuerdo con la interpretación de la evaluación de que los beneficiarios directos han descendido como resultado de la introducción de los concursos en 2000. La definición de beneficios antes de 2000 estaba mucho menos claramente definida, de modo que no es apropiado hacer una comparación directa entre los datos sobre los beneficios previos y posteriores a 2000. 7. La evaluación no toma plenamente en cuenta el cambiante clima de exportación de los últimos años y los nuevos mecanismos de promoción de exportaciones, como los acuerdos comerciales bilaterales que se están desarrollando. También tiende a confundir las funciones del sector privado y del Estado en la promoción de las exportaciones. 8. Cuando se evalúan los impactos, se deben considerar las repercusiones del programa entero de exportación de ProChile y no sólo los impactos directos del FPE. 9. Es necesario un grupo testigo para evaluar las repercusiones del FPE. [Nota del autor: de hecho, en la evaluación se usó un grupo testigo pareado.] Fuente: Comentarios y Observaciones al Informe Final de Evaluación por Parte de la Institución Responsable. Carta del Director General de relaciones económicas internacionales a la DIPRES. Junio de 2003. 8. Enseñanzas extraídas en cuanto a la utilización de las evaluaciones ProChile hizo las siguientes recomendaciones al proceso de evaluación de DIPRES: • La DIPRES debe asegurar un nivel mucho más alto de participación del organismo evaluado en las diferentes etapas de la evaluación.15 • La DIPRES debe asegurarse de que esté actuando de una manera “constructiva” y debe ser plenamente consciente de las consecuencias potencialmente negativas de los hallazgos y las recomendaciones de la evaluación. • El evaluador debe emplear más tiempo trabajando con el organismo para asegurar que comprende plenamente cómo trabaja la organización y para asegurar que se desarrolla un conjunto significativo de indicadores de resultado e impacto. • Las evaluaciones deben abarcar un período más prolongado y tomar en cuenta la perspectiva histórica, reconociendo la influencia del contexto político y económico cambiante dentro del que el programa opera.16 15 La DIPRES comentó que en realidad el FPE había participado en todas las etapas principales de la evaluación (ver nota a pie de página 5). 193 Estudio de Caso del Fondo de Promoción de Exportaciones • El organismo debe involucrarse más activamente al explicar los puntos fuertes y los puntos débiles de los datos disponibles y cómo se pueden usar. • El período sobre el cual se evaluarán los impactos se debe considerar cuidadosamente. • Las recomendaciones al Congreso deben ser más matizadas. Es inevitable que una declaración de que no se ha logrado impacto alguno conducirá a reducciones presupuestarias. En consecuencia, las limitaciones de los datos deben declararse con claridad y se debe presentar un conjunto más amplio de indicadores. • Una recomendación estratégica importante es que, en algunos casos, se debe considerar la posibilidad de presentar y tratar la evaluación en dos etapas: o Una discusión interna con el organismo, durante la cual las críticas pueden ser mucho más fuertes. o La presentación al Parlamento, en la cual los hallazgos y las recomendaciones deben ser más matizados (e implícitamente, no tan fuertemente críticos).17 La sugerencia anterior está destacando el punto de que la evaluación puede potencialmente ser usada de diferentes maneras por el organismo de ejecución del proyecto y por las autoridades presupuestarias.18 Las siguientes recomendaciones adicionales fueron hechas por el jefe sectorial de la DIPRES: • Las evaluaciones siempre se realizan con presiones de tiempo. Los hallazgos del FPE estuvieron disponibles casi en el momento en que el Parlamento estaba aprobando el presupuesto. Sería útil encontrar una manera de aumentar el tiempo disponible para los estudios, aunque es difícil ver cómo se podría hacer esto. • Lograr esto requerirá la elaboración de programas de capacitación. 16 La DIPRES observó nuevamente que la finalidad del diseño del grupo testigo pareado es precisamente el control de estas clases de sucesos externos. 17 La DIPRES observó que han habido otras evaluaciones de impacto presentadas al Congreso donde no había ningún impacto estadísticamente significativo, y esto no condujo automáticamente a una reducción de presupuestos. Además el Sistema de Evaluación de DIPRES se basa en el principio de transparencia, por tanto los resultados de las evaluaciones son públicos. 18 La DIPRES señaló que este proceso en dos pasos es ya la manera estándar conque se examinan los resultados de evaluación. 194 Cuadro 2. Traducción de los resultados de la evaluación en los Compromisos Institucionales y el estado de cumplimiento de cada compromiso Recomendaciones Compromisos institucionales Seguimiento (la calificación corresponde a presentadas al Congreso Diciembre del 2003) (resumen) 1. Diseño 1.1 Crear fuentes de datos para 1. Preparar la nueva clasificación de los proyectos 1. Parcialmente cumplido. Se indicó que se requirió evaluar las externalidades (diciembre de 2003) aclaración adicional en varios puntos. Además se aclara creadas por las actividades que se debe aludir a los gastos operacionales del FPE y financiadas por el FPE1 no de cada proyecto. 2. Preparar borrador del nuevo formato para la 2. Cumplido presentación de las propuestas, incluyendo el nuevo sistema de clasificación, la definición de beneficios directos e indirectos, el sector, los métodos para aplicar los resultados (diciembre de 2003) 3. Presentar la versión finalizada de lo anterior 3. Pendiente (Corresponde calificar más adelante (junio de 2004) pues su vencimiento es posterior al 31 de diciembre del 2003) 4. Aplicar el nuevo formato a los sectores 4. Parcialmente Cumplido (a diciembre de 2003). seleccionados en los concursos (diciembre de 2003) Debido a reducciones presupuestarias, que resultaron en parte del informe de evaluación, no fue posible organizar un concurso nacional (sólo tuvo lugar un concurso interno) de modo que no todos los nuevos formatos pudieron ser aplicados y probados. 5. Aplicar el nuevo formato a todos los sectores 5. Pendiente (Corresponde calificar más adelante, (junio de 2004) pues su vencimiento es posterior al 31 de diciembre del 6. Presentar la base de datos para los proyectos de 2003) 2004. Esto debe incluir las variables requeridas para el 6. Pendiente (Corresponde calificar más adelante, nuevo sistema de evaluación (Ver compromiso 3.1 pues su vencimiento es posterior al 31 de diciembre del abajo) (junio de 2004) 2003) 7. Incorporar los nuevos criterios de selección en la 7. Cumplido evaluación de los proyectos (diciembre de 2003) 195 Estudio de Caso del Fondo de Promoción de Exportaciones Cuadro 2. Traducción de los resultados de la evaluación en los Compromisos Institucionales y el estado de cumplimiento de cada compromiso Recomendaciones Compromisos institucionales Seguimiento (la calificación corresponde a presentadas al Congreso Diciembre del 2003) (resumen) 8. Presentar la metodología para la difusión de los 8. Cumplido resultados de los proyectos (diciembre de 2003) 9. Implementación de la metodología para la 9.Pendiente (corresponde calificar más adelante, pues difusión de los resultados (junio de 2004) su vencimiento es posterior al 31 de diciembre del 2003) 1.2 Alentar a los exportadores 1. Presentar los criterios de selección de nuevos 1. Parcialmente Cumplido. A la fecha la respuesta al a involucrarse más en el proyectos que den más peso a la cofinanciación compromiso era poco clara. Al 31/6/2005 el proyecto1 (diciembre de 2003) compromiso fue calificado como cumplido. 2. Definir los porcentajes decrecientes de 2. Pendiente (Corresponde calificar más adelante, cofinanciación que será provista por sector o mercado pues su vencimiento es posterior al 31 de (diciembre de 2004). Diciembre del 2003) 3. Aplicar la cofinanciación descendente en el 3. Pendiente (Corresponde calificar más adelante, concurso de 2005 (diciembre de 2004) pues su vencimiento es posterior al 31 de Diciembre del 2003) 2. Planificación y gestión 2.1 Elaborar una metodología 1. Presentar los planes de acción preparados por 1. No cumplido—ya que resultó imposible estándar para definir las metas cada sector responsable (diciembre de 2003) cuantificar las metas anuales de los programas. La 2. Informe sobre los progresos realizados sobre el 2. Pendiente (Corresponde calificar más adelante, información debe publicarse plan de acción (junio de 2004) pues su vencimiento es posterior al 31 de anualmente en las políticas y Diciembre del 2003) metas del FPE para las 3. Puesta en práctica del plan de acción completo 3. Pendiente (diciembre de 2004) (Corresponde regiones y sectores (diciembre de 2004) calificar más adelante, pues su vencimiento es particulares1. posterior al 31 de Diciembre del 2003) 196 Estudio de Caso del Fondo de Promoción de Exportaciones Cuadro 2. Traducción de los resultados de la evaluación en los Compromisos Institucionales y el estado de cumplimiento de cada compromiso Recomendaciones Compromisos institucionales Seguimiento (la calificación corresponde a presentadas al Congreso Diciembre del 2003) (resumen) 2.2 Revisar el proceso para la 1. Presentar los resultados del sistema operativo 1. Parcialmente cumplido. Faltó evaluar el presentación y revisión de las revisado para el concurso de 2003 (diciembre de funcionamiento operativo y administrativo del propuestas presentadas al 2003) concurso tradicional cuando este sea realizado. FPE1. 2. Evaluar la utilidad de los nuevos procedimientos 2. Pendiente. (Corresponde calificar más adelante, para presentarse en el concurso de 2004 (junio de pues su vencimiento es posterior al 31 de 2004) Diciembre del 2003). Fue calificado como cumplido a Junio del 2005. 3. Aplicar los cambios en el concurso de 2005 3. Pendiente. (Corresponde calificar más adelante, (diciembre de 2004) pues su vencimiento es posterior al 31 de Diciembre del 2003). Fue calificado como cumplido a Junio del 2005. 4. Presentar los resultados de un estudio de 4. Pendiente. (Corresponde calificar más adelante, evaluación de necesidades para los beneficiarios pues su vencimiento es posterior al 31 de potenciales del sector de servicios (junio de 2004) Diciembre del 2003). Fue calificado como cumplido a Junio del 2004. 5. Presentar el diseño de los instrumentos nuevos 5. Pendiente. (Corresponde calificar más adelante, para el sector de servicios (diciembre de 2004) pues su vencimiento es posterior al 31 de Diciembre del 2003). Fue calificado como cumplido a Junio del 2004. 6. Informe sobre los resultados de los cambios 6. Pendiente. (Corresponde calificar más adelante, propuestos para el sector de servicios (diciembre de pues su vencimiento es posterior al 31 de 2004) Diciembre del 2003). Fue calificado como cumplido a Junio del 2004. 2.3 Incorporar los indicadores 1. Presentar el diseño de los nuevos indicadores de 1. Parcialmente cumplido: Esto no puede realizarse de desempeño en el sistema de desempeño (diciembre de 2003) plenamente hasta que haya sido completada la información PMG2 nueva ronda de planificación estratégica. 197 Estudio de Caso del Fondo de Promoción de Exportaciones Cuadro 2. Traducción de los resultados de la evaluación en los Compromisos Institucionales y el estado de cumplimiento de cada compromiso Recomendaciones Compromisos institucionales Seguimiento (la calificación corresponde a presentadas al Congreso Diciembre del 2003) (resumen) 2. Presentar los indicadores cuantitativos para el 2. Pendiente . (Corresponde calificar más adelante, sistema SIG (junio de 2004) pues su vencimiento es posterior al 31 de Diciembre del 2003) 3. Evaluación 3.1 Desarrollar una base de 1. Presentar la metodología propuesta de 1. Pendiente (Corresponde calificar más adelante, información y metodología seguimiento y evaluación (junio de 2004) pues su vencimiento es posterior al 31 de para evaluar las repercusiones Diciembre del 2003) del FPE por diferentes sectores y tipos de empresa2 2. Aplicar la metodología a la evaluación de los 2. Pendiente. (Corresponde calificar más adelante, proyectos del concurso de 2004 (diciembre de 2004) pues su vencimiento es posterior al 31 de Diciembre del 2003) 3. Presentar los resultados de los proyectos en los 3. Pendiente. (Corresponde calificar más adelante, que se aplicó la nueva metodología (diciembre de pues su vencimiento es posterior al 31 de 2004) Diciembre del 2003) 4. Sistema de información 4.1 Fortalecer la base de datos 1. Definir la información histórica para que esta 1. Parcialmente cumplido. Algunos avances se han de los años anteriores a 20001 información pueda incorporarse en la evaluación final logrado en todas estas actividades mediante un de los proyectos (diciembre de 2003) sistema de seguimiento que está siendo desarrollado por el Departamento de Planeamiento y Presupuesto. Falta la definición de variables relevantes para posterior reconstrucción de archivos históricos. 2. Presentar un estudio de factibilidad sobre la 2. Pendiente (Corresponde Calificar más adelante, pues reconstrucción de los datos de empresas previos a su vencimiento es posterior al 31 de Diciembre del 2000 (junio de 2004) 2003) 3. Presentar la base de datos histórica y evaluar su 3. Pendiente (Corresponde Calificar más adelante, pues utilidad para la evaluación de los proyectos futuros. su vencimiento es posterior al 31 de Diciembre del (Diciembre de 2004) 2003) 198 Estudio de Caso del Fondo de Promoción de Exportaciones Cuadro 2. Traducción de los resultados de la evaluación en los Compromisos Institucionales y el estado de cumplimiento de cada compromiso Recomendaciones Compromisos institucionales Seguimiento (la calificación corresponde a presentadas al Congreso Diciembre del 2003) (resumen) 4.2 Estimar la proporción de 1. Presentar una metodología para estimar los costos 1. Parcialmente cumplido. En la opinión de la los gastos de administración de de administración del programa (diciembre de 2003) DIPRES, la metodología propuesta no logra el ProChile correspondiente al objetivo de permitir la estimación de los gastos FPE2. administrativos. 2. Aplicar las estimaciones al programa de 2004 2. Pendiente (Corresponde calificar más adelante, pues (junio de 2004) su vencimiento es posterior al 31 de Diciembre del 2003) 3. Presentar los gastos de administración estimados 3. Pendiente (Corresponde calificar más adelante, pues para 2004 (diciembre de 2004) su vencimiento es posterior al 31 de Diciembre del 2003) Nota sobre las revisiones a las recomendaciones incluidas en el informe de los consultores. 1 Estas recomendaciones no se cambiaron salvo por cambios menores en la redacción. 2 Estas recomendaciones fueron agregadas por DIPRES. Las siguientes recomendaciones en el informe de evaluación de los consultores no fueron incluidas en las recomendaciones presentadas al Parlamento • Se requiere un período prolongado antes de que se puedan evaluar la fuerza de las repercusiones y la justificación de la continuación del programa. 199 Fuentes consultadas Personas entrevistadas Sr. Cristian Maturana, Jefe de Planificación y Presupuesto, ProChile. Sra. Marcela Arevena, Jefe de Control Administrativo. Sra. Bernadita Escobar, Investigadora, Universidad Alberto Hurtado. Consultora Principal de la Evaluación de Impacto del FPE. Sra. Heidi Berner, Coordinadora de la evaluación de impacto, DIPRES. Sr. Juan Carlos Manosalva, Jefe, Sector de Relaciones Exteriores, DIPRES. Documentos consultados 1. Evaluación de Impacto del Programa Promoción de Exportaciones. Junio de 2003. 2. Informe de Síntesis. Evaluación de Impacto del Programa Promoción de Exportaciones. 3. Comentarios y Observaciones al Informe Final de Evaluación por Parte de la Institución Responsable. Carta del Director General de relaciones económicas internacionales a la DIPRES, junio de 2003. 4. Síntesis Ejecutiva No. __. Programa Promoción de Exportaciones. Ministerio de Relaciones Exteriores. Ministerio de Hacienda. Periodo de Evaluación 2002. 5. Documento Base de Compromisos Institucionales. Programa de Promoción de Exportaciones. 6. Informe de Cumplimiento de Compromisos al 31 de Diciembre de 2003. Programa de Promoción de Exportaciones. 7. Recomendaciones - Implicancias. Evaluaciones de Impacto Año 2002. 8. Ley de Presupuesto 2002 y 2003. Partida 06/Capítulo 02/Programa 01. Página en el presupuesto para el Programa de Promoción de Exportaciones. 9. También se incluyeron referencias de los grupos focales y de las entrevistas individuales realizadas durante las misiones del Banco Mundial en marzo y julio de 2004. 200 Estudio de Caso de Equipamiento Comunitario ANEXO I.2 ESTUDIOS DE CASO SOBRE LA UTILIZACIÓN DEL PROGRAMA DE EVALUACIONES DE PROGRAMAS DEL GOBIERNO, MINISTERIO DE HACIENDA, CHILE. EVALUACIÓN DE EQUIPAMIENTO COMUNITARIO 15 de noviembre de 2005 201 Estudio de Caso de Equipamiento Comunitario Prefacio Este es uno de 3 estudios de caso sobre la utilización de las evaluaciones producidas como parte del Programa de Evaluación de la División de Control de Gestión (DIPRES) del Ministerio de Hacienda de Chile. El Banco Mundial, en cooperación con la DIPRES, está completando un análisis exhaustivo de todo el sistema de evaluación.1 La finalidad de los estudios de caso fue evaluar la utilidad y utilización de 3 evaluaciones desde la perspectiva del organismo de ejecución, la DIPRES y el Comité parlamentario del Presupuesto. Para identificar algunos de los factores que afectaron a la utilización de las evaluaciones, el proceso de evaluación también se describe brevemente. Los casos finalizan con una exposición de las enseñanzas extraídas acerca de las maneras de asegurar la utilización eficaz del programa de evaluación. Los estudios de casos fueron preparados durante una misión de una semana en agosto de 2004, durante la cual se realizaron entrevistas con el Ministerio de ejecución y el personal de la DIPRES. Éstas fueron complementadas por informes sobre grupos focales y entrevistas individuales realizadas durante dos misiones del Banco Mundial a comienzos de año y mediante un examen de los informes de evaluación y otra documentación disponible en los proyectos. La finalidad de los estudios de casos fue documentar el proceso de evaluación y cómo fueron usadas las evaluaciones desde la perspectiva de los diferentes participantes. La finalidad fue no evaluar las evaluaciones y no duplicar el análisis detallado del sistema de evaluación realizado por el Banco Mundial. Es importante tener presente esta perspectiva cuando se leen las reacciones iniciales de parte del personal del organismo de ejecución de cómo fueron realizadas las evaluaciones. Por ejemplo, en cada uno de los tres estudios de caso los organismos se quejaron de que el Análisis de Marco Lógico hasta cierto punto les había sido impuesto por la DIPRES, y de que era demasiado rígido y no captaba plenamente las dimensiones cualitativas de sus programas. Los estudios de caso informan sobre estas reacciones como un factor posible que afecta a la “identificación” del organismo con la evaluación y a la manera en que se usaría posteriormente, pero los casos no intentan evaluar los puntos fuertes y los puntos débiles de los marcos lógicos. Siglas: MINVU Ministerio de Vivienda Urbana MML Matriz de Marco Lógico PEC Programa de Equipamiento Comunitario SERVIU Servicio de Infrastructura Urbana ond 1 Para evitar la repetición de la información documentada en el informe principal del Banco Mundial, los estudios de caso sólo presentan información pertinente para comprender cómo puede afectar el proceso de evaluación a la utilización de las conclusiones y las recomendaciones. Para una exposición más completa del sistema de evaluación de la DIPRES, véase “Sistema de Control de Gestión y Presupuestos por Resultados: La Experiencia Chilena”, -Marcela Guzmán, División de Control de Gestión, Ministerio de Hacienda, Octubre de 2003 y el documento del Banco Mundial “Chile: Estudio de evaluación de impacto del sistema de evaluación de programas: Evaluaciones de impacto y evaluaciones de los programas gubernamentales”, 2004. 202 Estudio de Caso de Equipamiento Comunitario 1. Proyecto de Equipamiento Comunitario Antecedentes Con el retorno al gobierno democrático, la vivienda se convirtió en un sector prioritario, no sólo en términos del presupuesto sino también en términos de la necesidad de experimentar con diferentes enfoques y de evaluar cuáles fueron más eficaces en alcanzar los objetivos sociales, tanto económicos como políticos. El sector de vivienda aceptó desde el principio que estaría sujeto a un proceso constante de cambio y que la investigación y posterior evaluación se convertirían en elementos esenciales de sus actividades. Esto llevó al reconocimiento del valor de la evaluación y a la aceptación de que los programas serían modificados con frecuencia o aun eliminados. Por lo tanto la evaluación, aunque diera lugar a la eliminación de programas favorecidos, fue un instrumento valioso y no una amenaza. El Ministerio de Vivienda Urbana (MINVU) empezó a centrarse en la vivienda de bajo costo en 1989 mediante sus “programas urbanos urgentes”. La primera evaluación de estos programas se emprendió en 1999 mediante una evaluación interna. Este estudio fue útil pero tenía varios puntos débiles. Esto fue complementado por el estudio de 2001 de la DIPRES, que el Ministerio vio como una oportunidad de abordar muchas de las cuestiones no abarcadas en su estudio interno pero de las que el Ministerio estaba consciente. En esta época, el Ministerio hizo una distinción importante entre los programas de vivienda existentes, donde tenían que realizarse mejoras por partes y ad hoc y los programas nuevos, donde se introdujo un enfoque programático sistemático. Para 2001, el Ministerio ya estaba comenzando a desplazarse de la construcción directa de la vivienda hacia la modalidad de la financiación de la vivienda a través de las propuestas competitivas (“concursables”), la mayoría de las cuales fue administrada a través de los niveles regionales y municipios, como parte de una política de descentralización más amplia. 203 Estudio de Caso de Equipamiento Comunitario Proyecto de Equipamiento Comunitario La finalidad del Proyecto de Equipamiento Comunitario (PEC), que empezó en 1995, era mejorar la calidad de vida de las familias que recibían nuevas unidades habitacionales urbanas básicas, al incorporar en el programa básico áreas para la recreación y socialización e instalaciones para capacitación. Esto fue también para asegurar que la provisión de la vivienda no aumentase el déficit de los servicios complementarios. La población destinataria para el año 2000 fue definida como el 60% de los hogares urbanos de bajos ingresos —representando a unas 618.000 familias—. No se dispone de cifras precisas acerca del número de beneficiarios reales, pero el informe calculó a unos 443.000 beneficiarios. El PEC es ejecutado por el Ministerio de Vivienda y opera nacionalmente a través de la División de Desarrollo Urbano. El PEC fue diseñado como un programa complementario del programa de Vivienda Básica (PVB) y está destinado a atender a las familias de PVB, proporcionando infraestructura urbana complementaria. Los estudios de pre-inversión son realizados por SEREMI y la gestión del programa de inversiones es la responsabilidad de SERVIU (Servicios de Infraestructura Urbana). El sector privado participa en la construcción de las unidades habitacionales mediante licitaciones competitivas. SERVIU supervisa la construcción y administra los pagos a los contratistas. El PEC abarca la construcción de la infraestructura complementaria como las plazas y miniplazas con áreas de juegos para niños; los campos de deportes, los centros sociales y las instalaciones multipropósito; los jardines de infancia y los jardines de la comunidad; los edificios para los servicios de salud primarios, y los edificios para los servicios policiales y de bomberos; y las instalaciones para otros servicios públicos como los teléfonos, las paradas del autobús y los negocios comerciales. 2. El proceso de evaluación La DIPRES recalcó que el sistema de evaluación de Hacienda es todavía nuevo y está todavía siendo desarrollado y refinado. En consecuencia, los ministerios y otros organismos están todavía aprendiendo el sistema. Muchos ministerios sienten aún cierta aprensión cuando se enteran de que sus programas serán evaluados, ya que no están seguros de lo que está involucrado o cuáles podrían ser las consecuencias de la evaluación. También debe recalcarse que el propio concepto de la evaluación es todavía muy nuevo en Chile y no hay muchos especialistas en evaluación. Las razones de la inclusión del PEC en el programa de evaluación de 2001 A pesar de la novedad relativa del concepto de Lo que es aún más importante que la capacidad técnica es la actitud y la voluntad para aceptar una la evaluación en Chile, la vivienda es uno de cultura de medición y un enfoque de evaluación los sectores en los que mejor se comprende y del desempeño. Cómo ir más allá de los requisitos acepta el concepto y hasta la fecha se han presupuestarios para procurar asegurar la calidad en el uso de los recursos presupuestarios. evaluado 11 programas de vivienda. Fuente: Observación de un funcionario del MINVU en el grupo focal I del Banco Mundial, junio de 2004. 204 Estudio de Caso de Equipamiento Comunitario Revirtiendo el modelo encontrado en muchos otros sectores, el MINVU sostiene que a menudo ha tomado la iniciativa para alentar a la DIPRES para presionar a los organismos a adoptar un criterio sectorial más amplio y luego a implementar las recomendaciones de políticas que surgen de las evaluaciones. En lo que se refiere a la evaluación del PEC, el Ministerio había realizado su propia evaluación interna en 1999. Si bien ésta había identificado varias cuestiones clave para el programa, el MINVU reconoció las limitaciones técnicas de su estudio y acogió con beneplácito la oportunidad para una evaluación independiente y externa. Oportunidad y costos (Ver el cuadro 1) El cuadro 1 resume el cronograma para una evaluación de EPG característica. Una vez seleccionados los consultores a mediados de enero, éstos tienen un máximo de 4 meses para completar su evaluación y presentar el informe final. Durante este período también tienen que presentar un informe inicial y un borrador de informe final y obtener observaciones sobre los mismos. La DIPRES luego tiene un mes para revisar el informe con la institución y para preparar el resumen ejecutivo que debe presentar al Congreso a más tardar el 30 de junio. Hay luego un período de 3 meses (septiembre a noviembre) durante el cual se negocian los compromisos institucionales mediante los cuales se pondrán en práctica las recomendaciones. El proceso entero tuvo que ejecutarse bajo limitaciones de tiempo muy ajustadas que llevaron con frecuencia a quejas de la institución de que hay muy poco tiempo para discutir el diseño de las evaluaciones o informar a los consultores sobre el programa sujeto a evaluación y el contexto de organización dentro del cual opera. Aunque todos están de acuerdo en que sería ideal aumentar la duración de la evaluación, también se reconoce que sería difícil hacerlo, dado que la evaluación tiene que insertarse en el ciclo anual del presupuesto. Una evaluación de EPG típica cuesta entre US$ 10.000 y US$12.000. 205 Estudio de Caso de Equipamiento Comunitario Calendario Proceso de Evaluación ACTIVIDAD PLAZO* GRUPO 1 GRUPO 2 1. PREPARACIÓN MARCO LÓGICO Y FICHAS DE 9 DICIEMBRE – 7 ENERO ANTECEDENTES 2. CAPACITACIÓN SERVICIOS 12 – 13 DICIEMBRE 3. CONVOCATORIA PANELES DE EVALUACIÓN - 9 – 10 ENERO CAPACITACIÓN 4. REUNIONES DE CONSTITUCIÓN PANELES DE 13 – 22 ENERO 22 – 31 ENERO EVALUACIÓN 5. PANEL ENTREGA INFORME DE AVANCE 14 MARZO 28 MARZO 6. INSTITUCIÓN RESPONSABLE/DIPRES ENTREGAN 24 MARZO 07 ABRIL OBSERVACIONES A INFORME AVANCE 7. PANEL ENTREGA INFORME FINAL PRELIMINAR. 14 ABRIL 28 ABRIL 8. INSTITUCIÓN RESPONSABLE/DIPRES ENTREGAN 28 ABRIL 12 MAYO OBSERVACIONES A INFORME FINAL PRELIMINAR. 9. PANEL ENTREGA INFORME FINAL 14 MAYO 28 MAYO 10. PANEL ENTREGA INFORME FINAL CORREGIDO 23 MAYO 6 JUNIO 11. RESPUESTA DE LA INSTITUCIÓN RESPONSABLE AL 30 MAYO 13 JUNIO INFORME FINAL 12. ENVÍO DE INFORME FINAL AL CONGRESO 30 JUNIO 30 JUNIO 13. ESTABLECIMIENTO DE COMPROMISOS ENTRE SEPTIEMBRE – SEPTIEMBRE – LA INSTITUCIÓN RESPONSABLE Y LA DIPRES, EN BASE NOVIEMBRE NOVIEMBRE A RECOMENDACIONES DEL PANEL. * Las fechas pueden variar levemente dependiendo del proceso de que se trate. No obstante, el período del año en que se realizan estas evaluaciones no varía. Participación de los diferentes actores en el diseño, la ejecución y la revisión de la evaluación La Dirección de Presupuesto (DIPRES) del Ministerio de Hacienda tiene la responsabilidad primaria de la identificación de los programas a incluir en la EPG anual. Se asigna prioridad a los programas que tienen problemas o donde tienen que tomarse decisiones importantes acerca de reorganización, continuación, etc. También se les asigna prioridad a los programas que incluyen un alto nivel de gasto público Ver Minuta que se adjunta al final de este documento respecto de “Criterios de Selección de Programas”. Los programas a evaluar se seleccionan en septiembre/octubre, considerando la propuesta de la SEGPRES y MIDEPLAN. La lista propuesta se presenta al Congreso para su aprobación y posible modificación. La selección de consultores se realiza durante el mes de diciembre. En la práctica, la iniciativa para la selección de las evaluaciones surge de la DIPRES y el nivel de la consulta con las instituciones respecto de la identificación de los programas potenciales para evaluar parece variar, en parte según el interés de diferentes organismos en la evaluación. Según la DIPRES, muchos organismos señalaron que habrían preferido que la evaluación se realizara un año después, cuando el programa estuviera más elaborado, pero no se mencionaron casos en los que un Ministerio hubiese objetado firmemente la evaluación siendo realizada. 206 Estudio de Caso de Equipamiento Comunitario Una vez seleccionados los consultores, se celebran un par de reuniones con la DIPRES y la institución evaluada para examinar la metodología y tratar la recopilación de datos. Al preparar el Marco Lógico del Programa se establece participativamente con la institución la forma en que se va a evaluar el programa y se identifican los indicadores a través de los cuales se evalúa su desempeño. Ya desde el principio, el equipo de evaluación tiene fechas de entrega muy ajustadas y hay muy poco tiempo para probar o revisar la metodología, de modo que ésta es más o menos aceptada como se entrega. El MINVU se involucró activamente en la planificación de la evaluación del PEC y se consideró a ésta como un seguimiento a su propia evaluación de 1999. Ya estaban pensando en la combinación del PEC con su programa de vivienda y en consecuencia dieron mucho apoyo al foco de la evaluación. Siguiendo el procedimiento estándar de la DIPRES, el MINVU no se involucró directamente en la selección de los consultores, aunque tenía el derecho de objetar a cualquier candidato si considerase que había un conflicto de intereses o cualquier cuestión pendiente legal o contractual de estudios anteriores. Sin embargo, en este caso el MINVU estuvo completamente satisfecho con las credenciales de los consultores.2 El Ministerio de Vivienda es uno de los organismos más evaluados ya que ha experimentado varios cambios radicales en su misión y programas. Cambió de ser un organismo de construcción de vivienda en gran escala en los años ochenta y principios de los años noventa a un organismo cuya misión es atender a los grupos pobres y vulnerables. El MINVU también se ha desplazado gradualmente de la construcción a la financiación de la construcción de viviendas –de manera creciente, a través de las autoridades regionales y los municipios. En consecuencia, el MINVU está relativamente familiarizado con el uso de los estudios y las evaluaciones y dieron la bienvenida a la evaluación del proyecto de Equipamiento Comunitario como una ayuda para redefinir sus políticas y estructura orgánica. El compromiso del MINVU con la realización de los estudios y la búsqueda de maneras de mejorar la eficiencia y de reducir los costos de sus programas le ha ganado considerable apoyo en el Parlamento. El MINVU tuvo muy poca participación en el diseño de la evaluación pero estuvo muy satisfecho, ya que estuvo de acuerdo con las cuestiones a abordarse. No estuvo tan satisfecho con las revisiones al marco lógico, ya que opinaron que el marco lógico revisado había sido, hasta cierto punto, impuesto por la DIPRES. El programa no tenía un marco lógico plenamente articulado, pero habían comenzado a trabajar en esto en 2000. El MINVU tiene reservas acerca del uso de los marcos lógicos 2 Un grupo focal del Banco Mundial reveló que MINVU había quedado insatisfecho con uno de los consultores en una evaluación anterior porque consideraron que esa persona no tenía conocimiento suficiente del sector. 207 Estudio de Caso de Equipamiento Comunitario porque tienden a ser rígidos y a perder actualidad. Tampoco son muy eficaces para medir los programas cualitativos y no reflejan las dimensiones políticas de los programas. Sin embargo, los Marcos Lógicos pueden ser actualizados en la medida que los programas se modifican. En general, durante el desarrollo de la evaluación la matriz de marco lógico se perfecciona a la luz de nuevos antecedentes y conocimiento del programa, con el objeto de reflejar su diseño. Asimismo, y con posterioridad a la evaluación, en la instancia de trabajo de seguimiento de los compromisos institucionales, las matrices se analizan y actualizan incorporando, si corresponde, los cambios que pueden ocurrir entre la finalización de la evaluación y el año en que se realiza el seguimiento de compromisos. El MINVU opinó que el diseño de la evaluación estuvo demasiado enfocado en el centro y no reflejó las políticas de descentralización del Ministerio o la necesidad de evaluar las diferencias regionales. También opinó que la evaluación debía haber incluido más trabajo sobre el terreno para evaluar las actitudes de las familias hacia los programas de vivienda. Estas opiniones fueron expresadas, pero no fue posible incorporar estas inquietudes debido a restricciones de tiempo y presupuestarias. Aunque hubo un buen proceso de consulta, y se incorporaron algunas de sus inquietudes, el MINVU opinó que el diseño de la evaluación no reflejó plenamente sus necesidades. Sin embargo, durante la sesión hubo una discusión entre el personal del Ministerio acerca de las diferencias entre una evaluación realizada por el Ministerio y una evaluación externa. Se planteó la cuestión de que una evaluación interna debe entrar en detalles más específicos (como diferencias regionales) y que una evaluación externa debe proporcionar un panorama más general. Sin embargo, todavía se opinó que el valor de la evaluación externa fue limitado seriamente por su concentración “centralista” y por no abordar las diferencias regionales. 3. Metodología de evaluación La metodología de evaluación incluía los siguientes elementos principales:3 • La revisión y la actualización del marco lógico para que los indicadores de todos los componentes clave estuviesen incluidos y que, donde fuese posible, los indicadores de desempeño fueran cuantificados. • Se organizaron grupos de discusión con personal central y regional del programa. • Se realizaron entrevistas con personal del programa. • Se enviaron cuestionarios a personal del programa • Revisión de los documentos del proyecto. 4. Principales hallazgos de la evaluación La evaluación confirmó que el PEC estaba proporcionando una gama muy amplia de infraestructura de una manera desorganizada, en respuesta a las demandas de las 3 El informe no incluye una descripción específica de la metodología de evaluación, pero ésta puede deducirse de las referencias a diferentes actividades de evaluación descritas en diferentes partes del informe y en las notas a pie de página. 208 Estudio de Caso de Equipamiento Comunitario autoridades locales y, a veces, de los grupos comunitarios. No había ningún control de los costos de construcción y muchos de los servicios no respondían a una necesidad claramente definida. La evaluación también mostró que había considerable repetición entre el programa de construcción de viviendas y el PEC y que podría haber un considerable ahorro de costos si ambos se combinaran. A. Limitaciones de datos a. Monitoreo y evaluación muy limitados b. Datos limitados para la evaluación de las repercusiones y cobertura c. Imposibilidad de evaluar el alcance a la población objetivo d. La amplia variedad de tipologías de equipamiento significa que muchas estadísticas agregadas tienen poco sentido.. B. Diseño a. Diseño no adecuado para alcanzar los objetivos b. Falta de una visión global de los enlaces entre la vivienda, el equipamiento y las condiciones y el contexto locales. c. Amplia variedad de trabajos sin ningún criterio de selección lógico. d. Comunidad no involucrada en la selección de las obras (con unas pocas excepciones regionales). C. Organización y ejecución a. Los mecanismos de organización no son adecuados para alcanzar los objetivos. b. El programa está descentralizado y la coordinación entre diferentes organismos es débil. i Entre diferentes divisiones del MINVU. ii Entre SERVIU y SEREMI regional. D. Eficacia y calidad a. Información no disponible para calcular el desempeño global o el logro de las metas. b. Criterios o mecanismos inadecuados para evaluar la calidad. c. Imposibilidad de evaluar las relaciones entre la construcción de viviendas y la provisión de la infraestructura social. d. Ninguna encuesta catastral disponible para evaluar los déficit. e. Programa logrado en 3 regiones, pero 0 resultados en 5 regiones. f. La mayoría de los proyectos completados son para deportes y recreación y, hasta cierto punto, centros comunitarios. Menos progreso con la seguridad, la salud y otros servicios. E. Utilización de recursos a. La utilización de recursos varía entre un mínimo del 76% en 1998 y un máximo del 94% en 1999. (No está claro si hay datos para otros años). b. Las razones para la baja utilización de recursos. 209 Estudio de Caso de Equipamiento Comunitario i Los retrasos en el proceso de adquisiciones. ii La baja prioridad, comparada con otros programas de SERVIU y de SEREMI. F. Gastos generales de administración a. Aumentaron del 1,5% a 3,9%. 210 Estudio de Caso de Equipamiento Comunitario Recomendaciones y seguimiento de los Compromisos Institucionales Recomendaciones incluidas en el informe de evaluación El informe de evaluación hizo una distinción entre las recomendaciones que no implican recursos adicionales y las recomendaciones que sí los requieren. Esta distinción se suprimió del resumen presentado al Parlamento porque la DIPRES consideró que los consultores no estaban en posición de juzgar las implicaciones de recursos de sus recomendaciones. La distinción entre las recomendaciones con y sin implicaciones de recursos se retiene aquí para mostrar cómo se transforman las recomendaciones de los consultores en las recomendaciones presentadas al Congreso y luego en los compromisos institucionales para poner en práctica las recomendaciones. Recomendaciones que no implican recursos adicionales: 1. Incorporar al PEC en el Programa de Vivienda Básica. a. Esto evitará proporcionar casas sin servicios. 2. La recreación del paquete básico de equipamiento, incorporando una plaza central a escala de la comunidad y diseñada para usos múltiples que estaría iluminada e incluiría equipo sólido. a. Los recursos estarían concentrados en estos servicios y se proporcionarían antes de que las viviendas fuesen ocupadas. b. La responsabilidad de otros servicios le sería transferida al PMC u otros organismos que consultarían con las comunidades para la selección y la organización de otros servicios después de que las viviendas fuesen ocupadas. 3. Reducir el tamaño de los proyectos al nivel vecinal, de modo de fortalecer las comunidades locales. a. Las plazas servirían de centro para el fortalecimiento de la organización vecinal. 4. El programa debería ser transferido a la División de Política Habitacional dentro del Programa de Vivienda Básica. a. Deben evaluarse las implicaciones presupuestarias de la reorganización. Recomendaciones que implican recursos adicionales 5. Fortalecer el Programa de Mejoramiento Comunitario (PMC) en cuanto a la capacidad del presupuesto y del diseño, para responder a los requisitos adicionales de las familias una vez que las casas nuevas sean ocupadas. 6. Las obras comunitarias actualmente con el PEC deben ser transferidas al PMC. Definición de compromisos institucionales y monitoreo del seguimiento El cuadro 2 muestra que las 6 recomendaciones incluidas en el informe ejecutivo de la evaluación fueron traducidas por la DIPRES y la institución en 14 compromisos institucionales Respecto de las recomendaciones, éstas pueden ser agrupadas por área temática, de manera que el número de recomendaciones del informe final puede ser 211 Estudio de Caso de Equipamiento Comunitario distinto al número de recomendaciones consignadas en la matriz de recomendaciones y compromisos. Respecto de los compromisos institucionales establecidos, cabe aclarar que a veces no todas las recomendaciones se traducen en compromisos, y las explicaciones sobre esto quedan documentadas en el Documento de Trabajo de Compromisos Institucionales. También puede ocurrir que una recomendación dé lugar a más de un compromiso, o bien un compromiso puede abarcar más de una recomendación. El MINVU aceptó 11 compromisos institucionales para implementar 6 de estas 8 recomendaciones.4 De los 11 compromisos, para diciembre de 2003, 10 se habían cumplido completamente y 1 se había logrado parcialmente. 6. Utilización e impactos de la evaluación Utilización por el Comité Parlamentario del Presupuesto El Comité Parlamentario del Presupuesto tiene un subcomité de vivienda que comprende a 8 miembros que son versados y muy activos en el área de la vivienda. Ellos leen los informes de evaluación y a menudo formulan muchas preguntas. Alientan al MINVU a realizar evaluaciones y aprecian los esfuerzos para mejorar la eficacia en función de los costos. Sobre la base de las recomendaciones de la evaluación, este se clasificó como un programa que se reorganizaría sustantivamente. En realidad, la Ley del Presupuesto de 2002 reorganizó al PEC en dos partidas presupuestarias: La primera fue el programa de vivienda de SERVIU que incluía (en conformidad con las recomendaciones) infraestructura social básica para los nuevos programas de vivienda. Las tipologías y los tamaños de los programas a ser definidos por el MINVU antes de que fuera iniciado el proceso de licitación para el programa de 2002. La segunda partida presupuestaria comprendía la infraestructura comunitaria complementaria y los servicios a subcontratarse sobre una base competitiva a través de contratos administrados por las dependencias gubernamentales regionales. Como resultado de estos cambios, el presupuesto para 2002 se redujo a 1.501 millones de pesos, comparado con 2.681 millones en 2001. Utilización por la DIPRES La evaluación fue sumamente útil para la DIPRES. Confirmó los hallazgos de la evaluación preliminar realizada por el MINVU y apoyó su idea de la necesidad de integrar al PEC en el programa de construcción de viviendas. La definición de un paquete estándar de servicios y la estimación de costos unitarios estándar mejoraron enormemente la eficiencia del programa. Esto fue muy valioso tanto desde una perspectiva presupuestaria como de planificación. Ahora todos sabían qué implicaba el programa y cuánto costaba. 4 No estuvieron de acuerdo en contraer compromisos para organizar la capacitación en monitoreo y evaluación para el personal de PEC, ni para definir los estándares para la instalación de la infraestructura. La razón en ambos casos fue la falta de recursos. 212 Estudio de Caso de Equipamiento Comunitario La reorganización produjo considerables ahorros presupuestarios mediante la integración de la construcción de viviendas y de servicios y por la eliminación de servicios que no se habían requerido o no debían prestarse mediante este programa (como comisarías de policía y consultorios). El énfasis en los sistemas y procedimientos estándar también facilitó enormemente el proceso de descentralización y de provisión de instrumentos operativos y lineamientos sencillos a las autoridades locales, que ahora administran gran parte del programa. Utilización por el Ministerio de Vivienda El MINVU también quedó muy satisfecho con los resultados, ya que éstos estaban en línea con las prioridades de vivienda y desarrollo urbano del nuevo gobierno. Los hallazgos de la evaluación confirmaron los propios criterios del MINVU sobre la necesidad de reestructurar el programa y fue muy útil haberlos confirmado de “Hoy el Ministerio está administrando sus manera independiente. programas bien y probablemente no necesitamos realmente evaluaciones externas. Sin embargo, con la decisión de la A pesar de la resistencia inicial al marco DIPRES de iniciar el programa de lógico, éste ahora es aceptado como un evaluación externo, el MINVU se ha instrumento de planificación esencial, y acostumbrado gradualmente a la idea. Nos ha las diversas evaluaciones han ayudado a incorporar sangre e ideas nuevas. contribuido a esa aceptación. Un La aceptación del cambio es sólo una funcionario del MINVU dijo: “Hoy, todo cuestión de tiempo”. programa que presentamos para el financiamiento requiere un marco lógico Fuente: Observación del funcionario de y lo preparamos antes de iniciar el MINVU en el grupo focal del Banco diseño del programa”. Una de las quejas Mundial. Junio de 2004. del MINVU sobre varias de las evaluaciones fue que los consultores a menudo sólo se involucran para evaluar los objetivos específicos del programa particular y a menudo no colocan al programa en el contexto más amplio de la vivienda y el desarrollo urbano o rural. 7. Retroalimentación de los participantes principales Tanto el MINVU como la DIPRES informaron que habían encontrado al informe de evaluación sumamente útil (ver discusión anterior). La DIPRES también informó que el Subcomité Parlamentario del Presupuesto había encontrado muy útil al informe. 8. Enseñanzas extraídas sobre las maneras de promover la utilización de las evaluaciones 1. La calidad de una evaluación depende en gran medida de la calidad de la información existente y del apoyo recibido del ministerio responsable. Si no tienen buenos datos, es difícil producir una buena evaluación. 213 Estudio de Caso de Equipamiento Comunitario 2. Hay necesidad de una mayor flexibilidad en la elección de las metodologías de evaluación. En muchos casos la disponibilidad limitada de la información significa que sólo se pueda realizar una evaluación sencilla y más cualitativamente orientada. 3. Un estudio rápido preevaluación sería útil para evaluar la factibilidad del diseño propuesto de la evaluación (esto es similar a una evaluación de la evaluabilidad). Este estudio preevaluación involucraría activamente al ministerio y aumentaría su participación en la definición de cuestiones y la elección del diseño. Esto evitaría quejas posteriores de que no se había consultado al ministerio o que la evaluación no había abordado las cuestiones clave. 4. Una de las cuestiones más difíciles para abordar en estas evaluaciones rápidas es el impacto de la descentralización y el papel cada vez más importante de los municipios y otras autoridades locales en la gestión de la vivienda y los programas relacionados. Hay compensaciones potenciales entre la descentralización, la equidad y la eficiencia que son difíciles de abordar en una evaluación rápida y económica.5 5 En estos casos en los que la información no es suficiente para evaluar determinados aspectos del programa, muchas veces la evaluación sugiere la realización de una evaluación en profundidad o de impacto. 214 Estudio de Caso de Equipamiento Comunitario Cuadro 2 – Recomendaciones, Compromisos Institucionales y Estado de los Compromisos (junio de 2004) Recomendaciones presentadas al Congreso Compromisos institucionales Seguimiento (resumen) 1. Redefinir al PEC e integrarlo en el programa de 1. Reestructurar el PEC e integrarlo en el programa de • Cumplido vivienda de SERVIU y transferir la responsabilidad vivienda de SERVIU (diciembre de 2001) del programa a la División de Política de Vivienda. 2. Las inversiones necesarias se incorporarían en el Esto eliminaría la política anterior de proveer Sistema Nacional de Inversiones como una única • Cumplido unidades habitacionales sin infraestructura social partida con el Programa de Vivienda de SERVIU complementaria.1 (junio de 2002) 2. Definir un paquete básico de infraestructura 1. Diseñar el paquete básico de infraestructura social • Cumplido social para las unidades habitacionales nuevas. según el tamaño de la comunidad y enviar Esto comprendería una plaza multipropósito instrucciones a las regiones en cuanto a los nuevos sólidamente construida y adecuadamente requisitos y las características del programa iluminada, funcionando como un centro (diciembre de 2001) comunitario. Esto podría ser complementado por instalaciones para deportes y otros servicios a ser proporcionados después que sean ocupadas las casas. El diseño debe adaptarse al tamaño y características de cada comunidad.1 3. Reducir el tamaño de los complejos de vivienda 1. Definir el tamaño máximo y las características de • Cumplido a una escala comunitaria, o dividir los programas los proyectos de vivienda para promover la mayores en unidades más pequeñas, a escala de la interacción social. Preparar normas especificando comunidad.1 los estándares (diciembre de 2001). 2. Preparar normas sobre cómo aplicar los estándares a nivel regional (junio de 2002) • Cumplido 4. El personal del MINVU involucrado en el ™ No se contrajeron compromisos institucionales ™ No se contrajeron compromisos programa de PEC debería recibir capacitación en para esta recomendación. institucionales para esta monitoreo y evaluación.2 recomendación. 5. Integrar un sistema de monitoreo en el PEC con 1. Revisar el marco lógico e incorporar los • Cumplido indicadores de desempeño cuantificables. Realizar indicadores de desempeño (junio de 2002) estudios periódicos de la satisfacción de los 2. Preparar un informe sobre el desarrollo de beneficiarios. Revisar el marco lógico y calcular indicadores cuantitativos y cómo medirlos. Estos los indicadores de desempeño.2 indicadores deben estar incluidos en los seis informes mensuales de avance presentados a DIPRES (junio de 2002) 215 Estudio de Caso de Equipamiento Comunitario Cuadro 2 – Recomendaciones, Compromisos Institucionales y Estado de los Compromisos (junio de 2004) Recomendaciones presentadas al Congreso Compromisos institucionales Seguimiento (resumen) 6. (a). Definir los precios estándar para los costos 1. Calcular los costos unitarios para cada tipo de • Cumplido de la infraestructura. Los valores deben ajustarse a infraestructura sobre la base del informe de 2000 las variaciones regionales.2 (diciembre de 2001). 6. (b). Calcular las necesidades de inversión 1. Calcular los costos unitarios basados en la • Cumplido requeridas sobre la base de (a) la cobertura del información actual para 2002 (junio de 2003) 100% de los nuevos programas de vivienda de bajo 2. Planificar el programa para que el 100% de las costo, (b) valores de referencia para el costo de la unidades habitacionales nuevas cumplan con la infraestructura social basados en una unidad tipo.2 Dinámica Social sin modelo de deuda (diciembre de 2001) 7. Definir las normas para la instalación del ™ No se contrajeron compromisos institucionales ™ No se contrajeron compromisos equipamiento de modo que pueda evaluarse lo institucionales adecuado de la ubicación y de los m2de construcción por área y por habitante. 8. Deben fortalecerse las actividades de promoción 1. Llegar a un acuerdo con FOSIS acerca de la puesta • Cumplido social para los nuevos proyectos de vivienda. Se en práctica de un programa piloto en 9 proyectos de recomienda desarrollar convenios cooperativos con vivienda en 3 regiones (diciembre de 2001) organizaciones, como FOSIS, que tengan 2. Diseñar un programa de extensión social para los conocimientos técnicos especializados en estas períodos previo y posterior a la ocupación de las • Cumplido áreas.2 casas nuevas (junio de 2002) 3. Informe sobre los progresos realizados en estas actividades (diciembre de 2002). • Parcialmente cumplido Comparación de los compromisos contraídos en el informe de consultores e incluidos en los compromisos institucionales 1 Estas recomendaciones, a veces con redacción algo diferente, estaban incluidas en el informe de los consultores. 2 Estas recomendaciones no estaban incluidas en el informe de los consultores. 216 Estudio de Caso de Equipamiento Comunitario Fuentes: Entrevistas Sr. Jaime Silva, División de Política de Vivienda, Ministerio de Vivienda y Urbanismo Carmen Gloria Ponce, Marcela Cucurella Anteojo, Cecilia Heiva. División de Política de Vivienda, Ministerio de Vivienda y Urbanismo Sr. Claudio Martínez. Jefe, Sector de Vivienda. DIPRES. Sra. María Teresa Hamuy. Jefe, División de Gestión. DIPRES. Documentos consultados 1. Resumen Ejecutivo Programa de Equipamiento Comunitario, Ministerio de Vivienda y Urbanismo. Ministerio de Hacienda. Período de Evaluación 2001. 2. Informe Final de Evaluación. Programa de Equipamiento Comunitario. Junio de 2001. 3. Documento Base de Compromisos Institucionales. Programa de Equipamiento Comunitario. 4. Informe de cumplimiento de compromisos al 31 de Diciembre de 2003. Programa de Equipamiento Comunitario. 5. Se incluyeron también referencias de los grupos de discusión y entrevistas individuales realizadas durante las misiones del Banco Mundial en marzo y julio de 2004. 6. Recomendaciones - Implicancias. Evaluación de Programas Gubernamentales, Proceso 2002. 217 Estudio de Caso de Equipamiento Comunitario APENDIX A- OBSERVACIONES DE LA DIPRES DE LOS ESTUDIOS DE CASO I. Observaciones Generales EL PROCESO DE EVALUACIÓN 1. Cabe tener presente que el análisis del diseño del sistema de evaluación y el análisis del proceso de evaluación está siendo desarrollado en profundidad en otros capítulos de la evaluación a través de la revisión de un conjunto amplio de información y la aplicación de otras técnicas, por lo que se sugiere que el estudio de casos se centre en el análisis respecto del uso que los diferentes actores institucionales le han dado a las evaluaciones. Oportunidad y costos 2. En la línea de EPG las evaluaciones tienen una duración aproximada de 4 meses y se desarrollan en un período que es estándar para todas las evaluaciones (comienzan en el mes de Enero y terminan en el mes de Junio de cada año), de modo que la información de los resultados de las evaluaciones sea oportunamente incorporada en la preparación y discusión del presupuesto. 3. Para describir las principales actividades del proceso de evaluación y sus respectivos plazos (Timetable), se sugiere revisar el calendario del proceso EPG 2003 entregado. 4. Los costos de la evaluación también son estándar y varían entre US$ 11.000 y US$ 12.000 aproximadamente por evaluación. La diferencia de costos entre una evaluación y otra depende de que se realice estudio complementario. II. Observaciones específicas Programa de Equipamiento Comunitario (Primer borrador) 1) Pág. 2. Párrafo 2. Los 443.000 beneficiarios estimados del programa corresponden a personas (individuos) y no a familias. 2) Pág. 4. Con relación a la participación de los diferentes actores en el diseño y en el proceso de evaluación, se sugiere revisar la descripción de los roles y funciones que cumple cada uno dentro del proceso y que están claramente definidos en los documentos entregados al Banco. El análisis de estos aspectos y las observaciones fueron discutidos en el marco de la revisión del Informe de Avance. 3) Página 4, Párrafo 1. Respecto de los criterios establecidos por la DIPRES para seleccionar los programas a evaluar, éstos han sido explicados y entregados en una minuta al equipo evaluador del Banco Mundial. 4) Página 4, Párrafo 2. La propuesta de programas a evaluar se trabaja entre septiembre y noviembre de cada año para su presentación a la Comisión Especial Mixta de Presupuesto del Congreso. 218 Estudio de Caso de Equipamiento Comunitario 5) Página 4, Párrafo 3. No queda claro qué actor institucional es el que emite el comentario. 6) Página 5, Párrafo 3. No queda claro lo que se quiere señalar. Además el ejemplo utilizado corresponde, al parecer, a otro programa y no al PEC. Con relación a la percepción de la institución respecto de que la MML es rígida y tiende a volverse obsoleta, se debe tener presente que la matriz inicial de evaluación refleja, de un modo preliminar, el estado del programa en el año de evaluación. En general, durante el desarrollo de la evaluación esta matriz se perfecciona a la luz de nuevos antecedentes y conocimiento del programa, con el objeto de reflejar su diseño de mejor forma. Asimismo, y con posterioridad a la evaluación, en la instancia de trabajo de seguimiento de los compromisos institucionales, las matrices se analizan y actualizan incorporando, si corresponde, los cambios que pueden ocurrir entre la finalización de la evaluación y el año en que se realiza el seguimiento de compromisos. Los resultados principales de la evaluación 7) Página 6, Párrafo 1 – d. Se solicita aclarar en este punto si “componentes” se refiere a las distintas tipologías de equipamiento. 8) Página 6, Párrafo 4 – a. La palabra debería ser eficacia y no eficiencia. Recomendaciones incluidas en el informe de evaluación 9) Página 7, Párrafo 1. La razón por la cual los resúmenes ejecutivos no incorporan una distinción entre las recomendaciones que implican recursos adicionales respecto de las que no implican recursos adicionales, dice relación con la primera razón expuesta en el párrafo pero no con la segunda referida a la Comisión de Presupuesto del Congreso. Ver documento enviado al Banco “Orientación para elaborar las recomendaciones”. 10) Se sugiere eliminar dicha distinción del análisis. Cumplimiento de los compromisos institucionales 11) Página 7, Párrafo 1. Respecto de los compromisos institucionales establecidos, se debe aclarar que a veces no todas las recomendaciones se traducen en compromisos, y las explicaciones sobre esto quedan documentadas en el Documento de Trabajo de Compromisos Institucionales. También puede ocurrir que una recomendación dé lugar a más de un compromiso, o bien un compromiso puede abarcar más de una recomendación. Enseñanzas extraídas 12) Página 9, Párrafo 5. Se solicita aclarar cuál es la hipótesis que se plantea en este punto. 219 Estudio de Caso de Equipamiento Comunitario APENDIX B. MINUTA Selección de Programas a Evaluar El proceso de selección de programas a evaluar cada año considera los elementos o aspectos que se detallan: i) antecedentes de desempeño de los programas de que dispone la Dirección de Presupuestos con motivo de sus funciones, tanto presupuestarias como de control de gestión. ii) situación de los programas respecto de si han sido objeto de evaluación en el marco del Programa de Evaluación de la Dirección de Presupuestos u otros procesos de evaluación, y su año de ocurrencia. iii) horizonte de ejecución de los programas y su prioridad programática. iv) sugerencias del Ministerio Secretaría General de la Presidencia (SEGPRES) y Ministerio de Planificación (MIDEPLAN) de acuerdo a solicitud que se efectúa. v) sugerencias surgidas en las Subcomisiones de Presupuestos durante el proceso de tramitación del Proyecto de Ley de Presupuestos. Considerando el conjunto de aspectos y elementos recién descritos la Dirección de Presupuestos elabora una propuesta de programas a evaluar. Dicha propuesta es analizada con los miembros de la Comisión Permanente de Presupuestos del Congreso Nacional, en el marco de la elaboración del Protocolo de Acuerdo que acompaña a la aprobación del Proyecto de Ley de Presupuestos. En esta etapa se incorporan modificaciones a la propuesta de acuerdo a las solicitudes de la Comisión estableciendo el listado de programas definitivo, el que pasa a formar parte del Protocolo señalado 220 Estudio de Caso de Telecentros Comunitarios ANEXO I.3. ESTUDIOS DE CASO SOBRE LA UTILIZACIÓN DEL PROGRAMA DE EVALUACIONES DE LOS PROGRAMAS DEL GOBIERNO, MINISTERIO DE HACIENDA, CHILE. EVALUACIÓN DE LOS TELECENTROS COMUNITARIOS 15 DE NOVIEMBRE DE 2005 222 Estudio de Caso de Telecentros Comunitarios Prefacio Este es uno de 3 estudios de caso sobre la utilización de las evaluaciones producidas como parte del Programa de Evaluación de la División de Control de Gestión (DIPRES) del Ministerio de Hacienda de Chile. El Banco Mundial, en cooperación con la DIPRES, está completando un análisis exhaustivo del sistema entero de evaluación.1 La finalidad de los estudios de caso era evaluar la utilidad y utilización de 3 evaluaciones desde la perspectiva del organismo de ejecución, la DIPRES y el Comité Parlamentario del Presupuesto. Para identificar a algunos de los factores que afectaban a la utilización, el proceso de evaluación también se describe brevemente. Los casos finalizan con una exposición de las lecciones extraídas acerca de las maneras de asegurar la utilización eficaz del programa de evaluación. Los estudios de caso fueron preparados durante una misión de una semana en agosto de 2004, durante la cual se realizaron entrevistas con personal del Ministerio de ejecución y la DIPRES. Éstas fueron complementadas por informes sobre grupos focales y entrevistas individuales realizadas durante dos misiones del Banco Mundial a comienzos de año y mediante un examen de los informes de evaluación y otra documentación disponible en los proyectos. La finalidad de los estudios de caso fue documentar el proceso de evaluación y cómo fueron usadas las evaluaciones desde la perspectiva de los diferentes participantes. El propósito no era evaluar las evaluaciones o duplicar el análisis detallado del sistema de evaluación que estaba realizando el Banco Mundial. Es importante tener presente esta perspectiva cuando se leen las reacciones iniciales de parte del personal del organismo de ejecución sobre cómo fueron realizadas las evaluaciones. Por ejemplo, en cada uno de los tres estudios de caso los organismos se quejaron que el Análisis de Marcos Lógicos hasta cierto punto les había sido impuesto por la DIPRES, y de que era demasiado rígido y no captaba plenamente las dimensiones cualitativas de sus programas. Los estudios de caso informan sobre estas reacciones como un factor posible que afecta al “sentido de propiedad” del organismo con la evaluación y a la manera en que se usaría posteriormente, pero los casos no intentan evaluar los puntos fuertes y los puntos débiles de los Marcos Lógicos. Acrónimos TLCC Telecentros Comunitarios FDT Fondo para el Desarrollo de las Telecomunicaciones TIC Tecnología de la Información y Comunicación MML Matriz de Marco Lógico SSTC Subsecretaría de Telecomunicaciones del Ministerio de Transporte y Comunicaciones 1 . Para evitar la repetición de la información documentada en el informe principal del Banco Mundial, los estudios de casos sólo presentan información pertinente para comprender cómo puede afectar el proceso de evaluación a la utilización de los hallazgos y las recomendaciones. Para una exposición más completa del sistema de evaluación de la DIPRES, véase “Sistema de Control de Gestión y Presupuestos por Resultados: La Experiencia Chilena”, Marcela Guzmán, División de Control de Gestión, Ministerio de Hacienda, Octubre de 2003 y el documento del Banco Mundial “Chile: Estudio de evaluación de impacto del sistema de evaluación de programas: Evaluaciones de impacto y evaluaciones de los programas gubernamentales”, 2004. 223 Estudio de Caso de Telecentros Comunitarios 1. Proyecto de Telecentros Comunitarios (TLCC) La finalidad del Proyecto de Telecentros Comunitarios (TLCC) era promover el acceso de los sectores más vulnerables a la tecnología de información y comunicación (TIC), mediante la creación de una red de telecentros comunitarios. El programa se organizó mediante el otorgamiento de subsidios a los proveedores de servicios de TIC2 sobre la base de la presentación competitiva de propuestas (concursos) para instalar y administrar TLCC locales durante un período de 5 años. El programa se administró a través de la División para Promover el Acceso Universal a la Sociedad de Información de la Subsecretaría de Telecomunicaciones (SSTC) del Ministerio de Comunicaciones. El Consejo para el Desarrollo de las Telecomunicaciones supervisa el programa y define anualmente los criterios que la SSTC debe usar para evaluar el progreso del TLCC y también aprueba cada año los proyectos seleccionados para recibir subsidios mediante los concursos. El TLCC se lanzó en 2001, por un período de 10 años,3 como parte del Segundo Fondo de Desarrollo de las Comunicaciones. El primer concurso fue dirigido a las zonas rurales, en tanto que los criterios para el segundo concurso se ampliaron para abarcar todas las comunas (distritos) en el país. En los comienzos del programa, los requisitos para participar en los concursos eran muy generales. Los únicos requisitos eran que las empresas debían estar registradas legalmente, que tuvieran alguna experiencia en el sector de telecomunicaciones y que acordasen operar los telecentros durante un mínimo de cinco años. Normalmente, una empresa recibiría aprobación para operar un mínimo de 7 telecentros, dado que no era económico operar un número menor. En los primeros concursos, el monto total de los 5 años de subsidio se le entregaba a la empresa tan pronto su propuesta era aprobada, y casi no había supervisión una vez que un telecentro comenzaba a operar. La justificación principal del programa era la inquietud de que Chile se estaba quedando a la zaga de otros países en lo que se refiere a la integración en la sociedad de la información, y la creencia de que esta brecha creciente tendría importantes repercusiones económicas y sociales.4 2. El proceso de evaluación Los programas anuales de evaluación EPG y EI de la DIPRES El Protocolo que se firma anualmente en el Congreso al mismo tiempo que se aprueba la Ley de Presupuestos incluye varias evaluaciones de desempeño rápidas y económicas 2 Permisarios. 3 Como se exige que todos los proyectos aprobados operen durante un mínimo de 5 años, el proyecto entero podría teóricamente tener una vida de hasta 15 años. 4 Ver el Informe final de la Evaluación del Fondo de Desarrollo de las Telecomunicaciones – Telecentros Comunitarios, junio de 2003, Sección I, para una exposición más detallada del programa y su justificación. 224 Estudio de Caso de Telecentros Comunitarios (EPG),5 que son completadas dentro de los seis meses desde la emisión de la Solicitud de Propuestas hasta la presentación del informe final y que cuestan entre US$ 10.000 y US$ 12.000 cada una; y un número menor de evaluaciones de impacto más exhaustivas (EI) que pueden llevar hasta 10 meses para completarse6 y que cuestan un promedio de alrededor de US$ 80.000. El Proyecto de Telecentros Comunitarios (TLCC) fue aprobado por el Subcomité Parlamentario del Presupuesto para su inclusión en el programa de evaluación de EPG de 2003. Normalmente, los proyectos son seleccionados para su inclusión en el programa de evaluación de EPG por una o más de las siguientes razones: se considera que están afrontando problemas, representan un importante gasto público, corresponden a prioridades programáticas o porque deben adoptarse decisiones concernientes a su reorganización, cambio de enfoque o rediseño sustantivo.7 . Justificación de la inclusión del Proyecto TLCC en el programa de evaluación de 2003 Según la información proporcionada por la DIPRES y la SSTC, las razones principales de la inclusión del TLCC en el programa de evaluación de 2003 fueron las siguientes: • La SSTC se dio cuenta de que una considerable proporción de los subsidios estaba apoyando la creación de telecentros en comunidades de ingresos medianos y que una proporción relativamente pequeña de los recursos estaba beneficiando a las áreas más pobres y más remotas, a las que el programa estaba destinado a servir. • La DIPRES y la SSTC empezaron a recibir evidencias informales respecto a posibles abusos y mal manejo de los fondos por algunos proveedores de servicios. Ninguna de estas denuncias informales se habían confirmado, de modo que el Sector de Infraestructura de la DIPRES recomendó que la evaluación del programa de TLCC fuese incluida en el programa de EPG de 2003. La SSTC estuvo de acuerdo con esta decisión. • Además se reconoció que el sector de TIC estaba evolucionando muy rápidamente, y que varios servicios nuevos se estaban haciendo disponibles y nuevos proveedores de servicios (públicos y privados) estaban empezando a ofrecer servicios similares al TLCC. En consecuencia, se acordó que era un momento apropiado para revisar la experiencia hasta la fecha y reevaluar las áreas de ventaja comparativa para la SSTC. 5 Evaluación de Programas del Gobierno. 6 Desde 2000 se han realizado un promedio de 15 EPG por año y desde 2002 se han realizado entre 2 y 3 evaluaciones de impacto por año. 7 Para mas detalles sobre los criterios de selección de programas ver minuta que se anexa al final del documento. 225 Estudio de Caso de Telecentros Comunitarios Oportunidad (ver el cuadro 1) El Parlamento aprobó la lista propuesta de evaluaciones EPG y EI a fines de 2002 y la selección de los consultores para realizar la Todas las partes involucradas en la evaluación fue completada en enero de 2003. Los evaluación estuvieron de acuerdo consultores luego pasaron aproximadamente un en que tenía que conducirse bajo mes en reuniones preliminares y orientaciones de considerables presiones de tiempo la SSTC y la DIPRES así como examinando la que limitaban la oportunidad para documentación disponible. Los consultores la discusión total entre los aprovecharon un fondo complementario pequeño consultores, la DIPRES y la SSTC. (aproximadamente US$ 1.000) que les permitió Sin embargo, aunque todos realizar una encuesta rápida de salida en varios estuvieron de acuerdo en que idealmente el tiempo para realizar telecentros para obtener información sobre las la evaluación debe extenderse, características de los usuarios de TLCC y los también se reconoció que esto servicios que usaban. El análisis de los datos, las sería difícil, ya que la oportunidad entrevistas y las visitas en el terreno se está acotada por el cronograma del completaron durante un período de Presupuesto Anual. En aproximadamente 4 meses y el informe final de consecuencia, la evaluación no evaluación se presentó en mayo de 2003. La puede iniciarse hasta que éste haya DIPRES presentó luego su Resumen Ejecutivo al sido aprobado por el Parlamento, y Parlamento el 30 de junio y los Compromisos es esencial que sea completada a Institucionales se negociaron entre la DIPRES y la tiempo para que los hallazgos sean SSTC y se formalizaron en noviembre de 2003. El incorporados en el presupuesto. primer informe de avance sobre el cumplimiento de los Compromisos se hizo circular en mayo de 2004. Las implicaciones presupuestarias del informe de la evaluación se reflejaron en la Ley del Presupuesto de 2004. 226 Estudio de Caso de Telecentros Comunitarios Calendario Proceso de Evaluación ACTIVIDAD PLAZO * GRUPO 1 GRUPO 2 1. PREPARACIÓN MARCO LÓGICO Y FICHAS DE 9 DICIEMBRE – 7 ENERO ANTECEDENTES 2. CAPACITACIÓN SERVICIOS 12 – 13 DICIEMBRE 3. CONVOCATORIA PANELES DE EVALUACIÓN – 9 – 10 ENERO CAPACITACIÓN 4. REUNIONES DE CONSTITUCIÓN PANELES DE 13 – 22 ENERO 22 – 31 ENERO EVALUACIÓN 5. PANEL ENTREGA INFORME DE AVANCE 14 MARZO 28 MARZO 6. INSTITUCIÓN RESPONSABLE/DIPRES 24 MARZO 07 ABRIL ENTREGANOBSERVACIONES A INFORME AVANCE 7. PANEL ENTREGA INFORME FINAL PRELIMINAR. 14 ABRIL 28 ABRIL 8. INSTITUCIÓN RESPONSABLE/DIPRES ENTREGAN 28 ABRIL 12 MAYO OBSERVACIONES A INFORME FINAL PRELIMINAR. 9. PANEL ENTREGA INFORME FINAL 14 MAYO 28 MAYO 10. PANEL ENTREGA INFORME FINAL CORREGIDO 23 MAYO 6 JUNIO 11. RESPUESTA DE LA INSTITUCIÓN RESPONSABLE AL 30 MAYO 13 JUNIO INFORME FINAL 12. ENVÍO DE INFORME FINAL AL CONGRESO 30 JUNIO 30 JUNIO 13. ESTABLECIMIENTO DE COMPROMISOS ENTRE LA SEPTIEMBRE – SEPTIEMBRE – INSTITUCIÓN RESPONSABLE Y LA DIPRES, EN BASE A NOVIEMBRE NOVIEMBRE RECOMENDACIONES DEL PANEL. * Las fechas pueden variar levemente dependiendo del proceso que se trata. No obstante, el período del año en que se realizan estas evaluaciones no varía. Costos de la evaluación El costo total de la evaluación, incluido el financiamiento complementario de la encuesta de usuarios (pero sin incluir el tiempo del personal de la DIPRES) fue de aproximadamente US$ 12.000. Participación de los diferentes actores en el diseño, la ejecución y la revisión de la evaluación La SSTC estuvo involucrada activamente en todas las etapas de la evaluación. Consideraron que asociados de pleno derecho y estaban completamente satisfechos con el nivel y la forma de participación. La evaluación se difundió ampliamente en el Ministerio y se aportaron sugerencias. Se involucraron activamente en el análisis y la interpretación de los resultados e informaron que había a menudo discusiones acaloradas, pero positivas. La única área en la cual no estaban completamente satisfechos fue en la preparación del marco lógico usado para la evaluación. Opinaron que aquél fue hasta cierto punto impuesto por la DIPRES y aunque el marco lógico no tergiversó el programa, era 227 Estudio de Caso de Telecentros Comunitarios demasiado rígido y no fue capaz de adaptarse al velozmente cambiante mundo de la información.8 Opinaron que el marco lógico presentó una cierta perspectiva sobre el programa que, aunque no incorrecta, quizás no fue la más apropiada. La DIPRES se encargó de la administración de la selección de los consultores, la revisión de los términos de referencia, la revisión del marco lógico, la coordinación con la SSTC y los consultores, la coordinación de la revisión del informe de la evaluación y la preparación del Resumen Ejecutivo presentado al Comité Parlamentario del Presupuesto. La DIPRES se encargó también de concordar con la SSTC los Compromisos Institucionales para poner en práctica las recomendaciones y para monitorear el progreso en el cumplimiento de los compromisos. Los consultores se encargaron del diseño y la ejecución de la evaluación9, incluida la revisión del marco lógico (ver arriba). Sin embargo, su responsabilidad concluyó con la presentación de su informe y no estuvieron involucrados en el proceso de difusión o utilización de la evaluación. El Comité Parlamentario del Presupuesto es responsable del examen de todos los informes y recomendaciones de la evaluación y de la aprobación de los proyectos de presupuesto de 2004 del Ministerio de Hacienda que incorporan las recomendaciones. El Resumen Ejecutivo de la evaluación, junto con el comentario y las observaciones de la SSTC están incluidos en la Propuesta de Ley del Presupuesto de 2004 y fueron proporcionados al Comité del Presupuesto y a todos los miembros del Parlamento interesados. Según la DIPRES, no se recibió retroalimentación o pregunta alguna del Comité del Presupuesto sobre la evaluación, pero los proyectos de presupuesto fueron aprobados. 3. La metodología de evaluación Como esta era una evaluación de EPG, fue realizada con una fecha de entrega ajustada y un presupuesto moderado y en consecuencia hubo sólo una oportunidad limitada para las visitas al terreno y la colección de los datos primarios. Los componentes principales de la metodología de evaluación eran los siguientes: ƒ El examen de la documentación incluida en el Sitio Web de la SSTC. ƒ Se encontró que el marco lógico existente,10 que había sido preparado por la SSTC al comienzo del proyecto, era deficiente. En consecuencia, los consultores trabajaron con la DIPRES, y en un grado más limitado con la SSTC, para revisar el marco lógico 8 Un ejemplo fue que algunos de los telecentros originales estaban cerrados. Sin embargo, en la mayoría de los casos éstos estimularon a otras organizaciones a que abrieran telecentros nuevos, de modo que la meta de la promoción de la instalación de los telecentros se alcanzó, aunque esto se registrara como una falla en el marco lógico. 9 El Panel es responsable de la ejecución de la evaluación aplicando la metodología establecida por el Programa para esta línea de evaluación. No obstante, el Panel puede aplicar metodologías e instrumentos específicos para recolectar, analizar y/o sistematizar información que no esté disponible 10 Matriz de Marco Lógico (MML). 228 Estudio de Caso de Telecentros Comunitarios para la evaluación. Esto aclaró algunos de los conceptos e incluyó otros objetivos y actividades que estaban implícitos en los documentos del programa pero no estaban especificados en el marco lógico.11 La finalidad de las revisiones era aclarar los conceptos y los consultores no propusieron indicadores u objetivos adicionales. ƒ Se realizaron seis entrevistas con representantes de la SSTC, el Ministerio de Educación (incluida la DIBAM) y el Ministerio de Economía. ƒ Se realizó una encuesta rápida que abarcó a aproximadamente 80 personas en 4 telecentros en la Región Metropolitana. Se entrevistó a la gente que salía de los telecentros para obtener información sobre su sexo, edad, estado laboral, educación y conocimiento de las computadoras y de la TIC. También se obtuvo información sobre el tiempo de uso de los telecentros y el uso de los diferentes servicios (correo electrónico, Internet, juegos, etc.) e indicadores generales de satisfacción. ƒ Los resultados de la encuesta se usaron para hacer un cálculo inicial de la capacidad instalada de los telecentros para satisfacer la exigencia potencial. ƒ Se usó documentación financiera para evaluar los costos promedio de la prestación de los servicios. 11 Algunas de las actividades incluidas en el marco lógico revisado eran estudios de demanda, actividades de promoción y pago de los subsidios (ver página 34 del informe de los consultores). 229 Estudio de Caso de Telecentros Comunitarios 4. Principales hallazgos de la evaluación Los resultados clave de la evaluación fueron los siguientes: A. Población destinataria: • La máxima población que podría alcanzar el programa se estimó en 233.600. Sin embargo, no había datos disponibles para calcular el número de familias realmente alcanzadas. B. Diseño: • El problema que el programa pretendía abordar (falta de acceso a la TIC por las comunidades rurales y de bajos ingresos) fue identificado claramente. • El programa tuvo un impacto significativo sobre el aumento del acceso a la TIC. • Sin embargo, el programa ahora cubre todo el país y ha perdido su concentración en las áreas vulnerables e inaccesibles. • Una parte significativa de los recursos del TLCC va ahora a áreas relativamente adineradas. C. Organización y gestión: • Se detectaron abusos y malversación de los fondos por algunos proveedores de servicio (ver observaciones posteriores por la DIPRES sobre hallazgos importantes). • Hubo alguna duplicación de esfuerzos con otras dependencias gubernamentales. • Hay alguna superposición de la presentación de propuestas con programas de otros organismos, de manera que los recursos de TLCC fueron a veces usados como fondos de contrapartida para apalancar donaciones y recursos de otros programas de TIC del gobierno. • El subsidio máximo se ha fijado en un nivel tal que cubra sólo los costos de puesta en marcha, en el supuesto de que los costos de operación pueden cubrirse con las tarifas a los usuarios y posiblemente el apoyo de otros organismos. • El análisis encontró una concentración de los subsidios en un número pequeño de proveedores de servicio: 5 han recibido un 70% de los subsidios y 2 han recibido un 40%. D. Eficacia: • El TLCC ha tenido un impacto importante sobre la prestación de servicios de TIC: El TLCC representaba el 22% del acceso público a la TIC y un 39% de las horas disponibles y cubría 292 del total de 342 comunas. • Un estudio exploratorio rápido identificó algunos problemas potenciales concernientes a la selección de los presuntos beneficiarios. Se encontró que la mayoría de los beneficiarios eran: o Hombres (72%) o Menores de 25 años (68%) 230 Estudio de Caso de Telecentros Comunitarios o Educación secundaria completa (72%) o Empleados (37%) o Estudiantes (41%) o Conocimiento previo de computación (96%) E. Utilización de los recursos: El financiamiento de contrapartes representó menos del 3,4% del presupuesto total del TLCC. Sin embargo, no hubo ninguna exposición acerca de si esta baja cifra era un problema potencial para la sostenibilidad del programa. Tampoco hubo una evaluación de la capacidad del TLCC para autofinanciarse a través de las tarifas a los usuarios. 5. Recomendaciones y seguimiento de los Compromisos Institucionales El informe de evaluación ofreció 8 recomendaciones principales. De acuerdo con su procedimiento estándar, las recomendaciones fueron revisadas por la DIPRES para reflejar consideraciones operativas, presupuestarias y de políticas y las siguientes 7 recomendaciones fueron incluidas en el Resumen Ejecutivo presentado al Comité Parlamentario del Presupuesto. 1. Revisar la concentración del programa para dejar la operación e instalación de los telecentros a otras organizaciones. El TLCC debe concentrarse en la conectividad, ya que ésta es su área de ventaja comparativa. 2. Revisar el mecanismo para el pago de los subsidios para que los proveedores de servicio no reciban el subsidio entero al comienzo del programa, para evitar el riesgo de que algunos proveedores no cumplan el compromiso de continuar el servicio durante 5 años completos. 3. La supervisión y el monitoreo deben continuar durante los 5 años del proyecto. 4. Examinar la posibilidad legal de usar los fondos del FDT para establecer un sistema para monitorear el desempeño del programa. 5. La SSTC debe seguir promoviendo la cooperación con otros organismos. 6. Revisar las normas para los telecentros para adaptarlos a las condiciones y necesidades locales, en particular para las comunidades pequeñas y aisladas. 7. Revisar el marco lógico e introducir indicadores nuevos que permitan un más completo monitoreo y evaluación del desempeño del programa. Definición de Compromisos Institucionales y seguimiento del monitoreo La DIPRES trató cada una de las recomendaciones con la SSTC y se acordaron Compromisos Institucionales en 6 de las 7 recomendaciones (ver el cuadro 2). Para una de las recomendaciones no se contrajeron Compromisos Institucionales: ƒ Recomendación 4: Examinar la posibilidad legal de usar los fondos del FDT para establecer un sistema de monitoreo del desempeño del programa. Después de la consulta de la SSTC con la Dirección del Presupuesto se decidió que no sería legalmente apropiado usar los fondos del FDT para esta finalidad. Sin embargo, la 231 Estudio de Caso de Telecentros Comunitarios SSTCA aprobó en 2004 los recursos necesarios para que los supervisores financieros que habían estado trabajando a tiempo parcial fueran nombrados como personal de tiempo completo para que pudieran dedicar más tiempo a la supervisión financiera. Así, el problema identificado mediante la evaluación fue abordado, pero sin el compromiso institucional formal. El cuadro 2 también presenta el avance en el logro de cada uno de estos compromisos. Puede apreciarse que la mayoría de los compromisos acordados durante diciembre de 2003 habían sido cumplidos y todos habían sido al menos parcialmente cumplidos. 6. Utilización y repercusiones de la evaluación Utilización por el Comité Parlamentario del Presupuesto La DIPRES informó que en este caso, como para la mayoría de las evaluaciones, no recibieron ninguna retroalimentación directa, como preguntas o recomendaciones del Comité Parlamentario del Presupuesto, de manera que es difícil saber cómo se usan los resultados de la evaluación. Sin embargo, las siguientes acciones propuestas por la DIPRES fueron aprobadas por el Comité del Presupuesto: • El Comité Parlamentario del Presupuesto pudo usar los compromisos para incorporar los cambios recomendados en la Ley del Presupuesto de 2004. • Como resultado de la evaluación se decidió no aprobar nuevas inversiones en el programa después de 2005. Durante 2004 los fondos se redujeron a 510 millones, comparados con 2.006 millones en 2003. Sin embargo, la SSTC fue autorizada para comprometer hasta 4.000 millones durante 2005-6 para las iniciativas reestructuradas relacionadas con problemas de conectividad y para extender las redes a las zonas rurales remotas. • Esto contribuyó a aumentar la eficiencia de la utilización de los recursos, al reducir el uso de los fondos de Telecomunicación para actividades que otros organismos podrían proporcionar y enfocar los recursos en el aumento de la conectividad para las comunidades de bajos ingresos y aisladas que los organismos privados y otros organismos públicos probablemente no alcanzarían. • Los cambios en el desembolso de los subsidios fortalecieron las medidas financieras preventivas y redujeron el peligro de la malversación de los fondos públicos. Utilización por la DIPRES La evaluación fue sumamente útil, ya que documentó y confirmó sistemáticamente las inquietudes anteriores (tratadas en la Sección 2 anterior) por los abusos de algunos proveedores de servicio y el desvío de los fondos a grupos de ingresos medianos y a áreas más pobladas. Proporcionó recomendaciones sistemáticas sobre cómo podría reestructurarse la operación del TLCC para mejorar su eficiencia y lograr su misión. En la opinión de la DIPRES, algunos de los hallazgos clave fueron los siguientes: 232 Estudio de Caso de Telecentros Comunitarios o No había selección de objetivos y la mayoría de los servicios no estaban llegando a las zonas rurales remotas y urbanas pobres. o La mayoría de los telecentros se establecieron en las tres regiones más populosas y muy pocos servicios estaban llegando a las áreas prioritarias. o Algunos proveedores de servicio seleccionados (adjudicatarios) vendieron los telecentros una vez que recibieron el subsidio. o Algunos telecentros cerraron y fue imposible recuperar los subsidios ya pagados. o Los adjudicatarios sólo fueron supervisados durante la construcción y el lanzamiento de los telecentros. o Se introdujeron los cargos por servicios estándar y estos fueron demasiado altos para las comunidades rurales pobres. o La disposición de un paquete estándar de servicios a todas las comunidades no fue eficaz, ya que había muy pocas computadoras y otros equipos para las comunidades grandes mientras el equipo estaba subutilizado en las comunidades pequeñas. Se requería mayor flexibilidad. • La evaluación resultó sumamente útil para la confirmación de estas inquietudes y para la propuesta de acciones específicas a tomar. Estas mejoraron enormemente el desempeño del programa. • Las recomendaciones implantan un sistema para fortalecer a la MML (matriz de marco lógico) como un instrumento de gestión así como de monitoreo. Esta experiencia puede repetirse para otros programas. • Todas las recomendaciones fueron incluidas en la propuesta de la Ley del Presupuesto de 2004.12 • La evaluación también colocó los cimientos para la reestructuración del TLCC en 2005, en la que el programa se reorganizará alrededor de 3 temas: o Fortalecer la conectividad para todas las zonas rurales y remotas o Conectividad para 222 escuelas rurales o El programa piloto para la interconectividad completa en una región montañosa donde se requiere tecnología de punta de microondas. • En la opinión del personal de presupuesto sectorial de la DIPRES, la evaluación tuvo un impacto importante sobre el programa de TLCC, pero como ha habido tan pocos programas evaluados en este sector es muy difícil juzgar cuánta repercusión ha tenido la evaluación en el presupuesto para años venideros. Utilización por la SSTC • La reacción inicial de una parte del personal de la SSTC fue la inquietud de que el presupuesto del programa podría ser eliminado como resultado de la evaluación. Sin embargo, finalmente se aprobó un presupuesto por dos años pero exigiendo que el programa cambiase significativamente su foco. De modo que finalmente la 12 Proyecto de Ley de Presupuestos para el año 2004, pp. 59-66. 233 Estudio de Caso de Telecentros Comunitarios evaluación tuvo un resultado positivo, ya que alentó al programa a moverse en direcciones nuevas y más eficaces.13 • La evaluación fue también sumamente útil para la SSTC, ya que demostró al Congreso que estaban realizando serios esfuerzos para mejorar el desempeño y, en consecuencia, ayudó a apoyar sus peticiones presupuestarias futuras. El documento de Proyecto de Ley de Presupuestos es ampliamente estudiado en el Congreso y la SSTC hizo referencia frecuente a la evaluación en su defensa de su presupuesto. • La SSTC señaló que la evaluación no contenía sorpresas, pero que fue útil para proporcionar confirmación independiente de los hallazgos de sus propios estudios. • La SSTC creía que la evaluación habría sido más útil si pudiera haberse realizado un año después, dado que, debido a algunos retrasos de iniciación, el programa estaba todavía en la etapa de desarrollo, de modo que varios de los hallazgos eran aún preliminares. Recalcaron que la oportunidad real habría sido apropiada si el programa hubiera cumplido con su cronograma original. • Opinaron que los consultores hicieron demasiado hincapié en la accesibilidad relativa de los telecentros a grupos de diferente edad, sexo y educación, ya que ésta no es una cuestión que incumba a la SSTC. La responsabilidad de la SSTC es asegurar la conectividad a las comunidades pobres y remotas y las cuestiones de la accesibilidad de grupos particulares conciernen a otros organismos, como el Ministerio de Educación y las ONG. • Hubo alguna insatisfacción porque las cuestiones de la evaluación se estructuraran alrededor del marco lógico, que en gran parte fue desarrollado por la DIPRES y que no tenía la flexibilidad para reflejar plenamente las inquietudes y las prioridades de la SSTC. A pesar de esto, la SSTC reconoce que la evaluación les obligó a definir más claramente los objetivos y la estrategia de ejecución del programa. 7. Retroalimentación de los actores principales SSTC Los siguientes son algunos de los puntos clave planteados en la entrevista con la SSTC: • Con la excepción de la preparación del marco lógico (ver abajo), la SSTC consideró que tenían una participación plena y satisfactoria en todas las etapas de la evaluación y opinaron que eran asociados de pleno derecho. • Opinaron que la versión revisada del marco lógico desarrollada para la evaluación fue diseñada en gran parte por la DIPRES. Aunque los indicadores nuevos eran técnicamente correctos, opinaron que los indicadores no captaban plenamente las prioridades del programa y que el instrumento eran demasiado rígido para reflejar los cambios que tenían lugar en el muy dinámico campo de la información. Debe observarse que esta fue la reacción en el momento en que se introdujo el sistema revisado. El alcance del presente estudio de casos no incluía un seguimiento de las posteriores experiencias y actitudes hacia el marco lógico, pero se tiene entendido que el marco lógico revisado está ahora siendo usado por la SSTC. 13 Informe sobre el grupo focal del Banco Mundial. 234 Estudio de Caso de Telecentros Comunitarios • La SSTC consideró que los consultores estaban bien calificados y que desarrollaron una buena relación de trabajo con la SSTC. Sin embargo, opinaron que los consultores no comprendieron plenamente que el programa involucraba a cinco organizaciones diferentes y que la SSTC no tenía autoridad sobre estos otros organismos. En consecuencia, algunas de las recomendaciones en cuanto al monitoreo y la coordinación se consideraron como no completamente realistas. • El proceso de difusión funcionó bien y hubo una muy completa discusión de los resultados. • Estuvieron en general de acuerdo con los hallazgos de la evaluación y los encontraron útiles, al proporcionar confirmación independiente de los propios estudios de la SSTC. • La evaluación habría sido más útil si pudiera haberse realizado un año después, ya que el programa habría estado más plenamente desarrollado para ese entonces. • El proceso de preparar los compromisos institucionales funcionó bien, dado que casi todas eran áreas en las cuales la SSTC ya estaba trabajando. DIPRES En la opinión de la División de Infraestructura de la DIPRES, la evaluación fue sumamente útil pues documentó y confirmó sistemáticamente las inquietudes y proporcionó recomendaciones sistemáticas sobre cómo podría reestructurarse la operación del TLCC para mejorar su eficiencia y lograr su misión. La evaluación resultó sumamente útil para la confirmación de estas inquietudes y para la propuesta de acciones específicas a tomarse. Éstas mejoraron enormemente el desempeño del programa. La DIPRES cree que la evaluación fue también sumamente útil para la SSTC, ya que demostró al Congreso que ésta estaba realizando serios esfuerzos para mejorar el desempeño y en consecuencia ayudó a apoyar sus peticiones presupuestarias futuras. El documento del Proyecto de Ley de Presupuestos es ampliamente estudiado en el Congreso y la SSTC hizo referencia frecuente la evaluación en defensa de su presupuesto. Todas las recomendaciones fueron incluidas en la propuesta de ley del presupuesto de 2004.14 La evaluación también colocó los cimientos para la reestructuración del TLCC en 2005, en la que el programa se reorganizará alrededor de tres temas: a. El fortalecimiento de la conectividad para todas las zonas rurales y remotas. b. La conectividad para 222 escuelas rurales. c. El programa piloto para la interconectividad completa en una región montañosa donde se requiere tecnología de punta de microondas. 14 Proyecto de Ley de Presupuestos para el año 2004, pp. 59-66. 235 Estudio de Caso de Telecentros Comunitarios 8. Enseñanzas extraídas en la utilización de los hallazgos y recomendaciones de la evaluación La efectividad general del proceso de evaluación Todos los actores estuvieron de acuerdo en que el proceso de evaluación había funcionado bien y el mecanismo para definir y ejecutar los compromisos fue considerado como eficaz y útil. Utilización de los hallazgos de la evaluación Los hallazgos de la evaluación fueron usados por el Comité del Presupuesto del Congreso, la DIPRES y la SSTC. Los últimos encontraron que la evaluación fue útil al confirmar sus propios resultados y al forzarlos a repriorizar el programa para centrarlo en su misión y sus áreas de ventaja comparativa. La SSTC reconoció que la evaluación efectuó una contribución importante para la redefinición de los objetivos, el foco y la organización de su estrategia de TIC. El proceso de consulta La SSTC estuvo en general satisfecha con el proceso de consulta y opinó que había sido plenamente involucrada. Las únicas dos cuestiones concernían a las revisiones al marco lógico, en las que la SSTC consideró no haber sido plenamente involucrada, y la oportunidad de la evaluación (que habría sido más útil si pudiera haberse demorado un año). Oportunidad Se recomendó que el tiempo para la evaluación debería aumentarse para dar más tiempo para hacer planes y para incorporar la retroalimentación recibida en el proyecto de informe. Sin embargo, todas las partes reconocieron que sería difícil extender la duración de la evaluación, dado que debe ajustarse al ciclo anual de preparación de presupuestos. 236 Estudio de Caso de Telecentros Comunitarios Cuadro 2: Comparación de las recomendaciones en el informe de consultores y las recomendaciones presentadas al Congreso Recomendaciones presentadas al Convenios institucionales Seguimiento Congreso (resumen) 1. Revisar el foco del programa para dejar la • Reorientar los recursos para resolver los • Cumplido para diciembre de 2003. operación e instalación de los telecentros a problemas de conectividad (diciembre de otras organizaciones. El TLCC debe 2003) concentrarse en la conectividad, ya que ésta • Realizar un estudio para evaluar la • Cumplido para junio de 2004 es su área de ventaja comparativa.1 penetración de Internet al nivel local (junio de 2004) • Revisar los términos de la competencia de adquisiciones para reflejar los nuevos requisitos (junio de 2004) • Lanzamiento del nuevo proceso de • Pendiente (diciembre de 2004) adquisiciones (diciembre de 2004) 2. Revisar el mecanismo para el pago de los • Modificar los mecanismos de pago Se contrató a los consultores financieros y subsidios para que los proveedores de fueron preparadas las propuestas. Éstas se servicio no reciban el subsidio entero al presentaron al Congreso, pero hasta comienzo del programa, para evitar el riesgo diciembre de 2003 aún no habían sido de que algunos proveedores no cumplan el aprobadas. compromiso de prestar el servicio durante el • Incorporar garantías en el proceso de • Logrado parcialmente para diciembre total de 5 años.1 nuevas adquisiciones e informar sobre los de 2003. resultados (junio de 2004) • ______________________________ 3. La supervisión y el monitoreo deben seguir Desarrollar un sistema de supervisión y • Cumplido para diciembre de 2003. a lo largo de los 5 años del proyecto.1 realizar monitoreo a distancia del desempeño de los centros. 4. Examinar la posibilidad legal de usar La SSTC consultó con la Dirección del No se contrajeron compromisos fondos del FDT para establecer un sistema Presupuesto y se decidió que no sería para monitorear el desempeño del programa. apropiado usar los fondos del FDT para esta finalidad 5. La SSTC debe seguir promoviendo la • Informar sobre las actividades de • Cumplido para diciembre de 2003 cooperación con otros organismos.1 coordinación (diciembre de 2003) 237 Estudio de Caso de Telecentros Comunitarios • Preparar un segundo informe sobre las • __________________________ actividades de coordinación (junio de 2004) • Preparar un tercer informe de • __________________________ coordinación (diciembre de 2004) 6. Revisar los estándares para los telecentros • Modificar los estándares para las • Cumplido parcialmente para para adaptarlos a las condiciones y comunidades pequeñas y aisladas diciembre de 2003 necesidades locales, en particular para las (diciembre de 2003) comunidades pequeñas y aisladas.2 • Iniciar acciones para reducir los costos • ____________________________ fijos de los telecentros y hacerlos más sostenibles (junio de 2004) • Desarrollar cooperación con otras • ____________________________ instituciones que puedan prestar apoyo a los telecentros o administrarlos (diciembre de 2004) 7. Revisar el marco lógico e introducir nuevos • Trabajar con la DIPRES para revisar el • Cumplido para diciembre de 2003 indicadores que permitan monitorear y marco lógico (diciembre de 2003) evaluar más completamente el desempeño del • Identificar los aspectos del Sistema de • Pendiente para diciembre de 2004 programa.3 Información para el Desarrollo que deben incorporarse (diciembre de 2004) Notas a las revisiones a las recomendaciones en el informe de los consultores. 1 Estas recomendaciones no se cambiaron, salvo por revisiones menores a la redacción. 2 La recomendación para evaluar si se requieren inversiones en equipo especial para garantizar el acceso a los minusválidos se eliminó de esta recomendación. 3 Esta recomendación fue agregada por la DIPRES. 238 Estudio de Caso de Telecentros Comunitarios Fuentes: Entrevistas Sr. Andrés Guzmán. Jefe de División. Acceso Universal a la Sociedad de la Información. Subsecretaría de Telecomunicaciones, Ministerio de Transporte. Sra. Marcela Guzmán. Jefa, División de Control de Gestión DIPRES. Ministerio de Hacienda Sr. César Manríquez. Jefe del Sector de Infraestructura. DIPRES. Ministerio de Hacienda. Sra. Maria Teresa Hamuy. Jefa Departamento de Evaluación. División de Control de Gestión. DIPRES. Ministerio de Hacienda. Documentos consultados 1. Resumen Ejecutivo No. 11. Programa de telecentros comunitarios. Subsecretaría de Telecomunicaciones. Ministerio de Hacienda. Período de Evaluación 2002. 2. Informe Final de Evaluación. Fondo de Desarrollo de las Telecomunicaciones Telecentros Comunitarios. Junio de 2003. 3. Proyecto de Ley de Presupuesto para el año 2004. Partida 19. Ministerio de Transporte y Telecomunicaciones. Ministerio de Hacienda. Dirección de Presupuestos. 4. Documento Base de Compromisos Institucionales. Programa de Telecentros Comunitarios. 5. Informe de cumplimiento de compromisos al 31 de Diciembre de 2003. Fondo de Desarrollo de las Telecomunicaciones. Telecentros Comunitarios. 6. La información del sitio Web (en español) sobre las adquisiciones de servicios para la conexión de las escuelas rurales a la Internet, 17 de agosto. www.lasegunda.com 7. También se incluyeron referencias de los grupos de discusión y las entrevistas individuales realizadas durante las misiones del Banco Mundial en marzo y julio de 2004. 8. Recomendaciones - Implicancias. Evaluación de Programas Gubernamentales, Proceso 2003. 239 Estudio de Caso de Telecentros Comunitarios A– OBSERVACIONES DE LA DIPRES A LOS ESTUDIOS DE CASO I. Observaciones Generales EL PROCESO DE EVALUACIÓN 1. Cabe tener presente que el análisis del diseño del sistema de evaluación y el análisis del proceso de evaluación está siendo desarrollado con detenimiento en otros capítulos de la evaluación a través de la revisión de un conjunto amplio de información y la aplicación de otras técnicas, por lo que se sugiere que el estudio de casos se centre en el análisis respecto del uso que los diferentes actores institucionales le han dado a las evaluaciones. Oportunidad y costos 2. En la línea de EPG las evaluaciones tienen una duración aproximada de 4 meses y se desarrollan en un período que es estándar para todas las evaluaciones (comienzan en el mes de enero y terminan en el mes de junio de cada año), de modo que la información de los resultados de las evaluaciones sea oportunamente incorporada en la preparación y discusión del presupuesto. 3. Para describir las principales actividades del proceso de evaluación y sus respectivos plazos (Timetable) se sugiere revisar el calendario del proceso EPG 2003 entregado. 4. Los costos de la evaluación también son estándar y varían entre US$ 11.000 y US$ 12.000 aproximadamente por evaluación. La diferencia de costos entre una evaluación y otra depende de si se realiza estudio complementario. II. Observaciones específicas Programa Telecentros Comunitarios (Segundo borrador) El proceso de evaluación 1) Página 3, párrafo 3. El primer concurso de telecentros se realizó en febrero de 2002 y el segundo concurso en junio del mismo año. 2) Página 4, párrafo 2. Respecto de los criterios establecidos por la DIPRES para seleccionar los programas, éstos han sido entregados en una minuta al equipo evaluador del Banco Mundial. 3) Página 4, párrafo 1. Respecto de los datos solicitados para completar el calendario de actividades y los plazos del proceso de evaluación. Se solicita extraer dicha información del Calendario del Proceso EPG 2003. 240 Estudio de Caso de Telecentros Comunitarios 4) Página 5, párrafo 1. Cabe aclarar que el proceso considera la entrega de un informe de avance (2ª quincena de marzo), un informe preliminar final (2ª quincena de abril) y el informe final (2ª quincena de mayo). Participación de los diferentes actores en el diseño 5) Página 6, párrafo 2. No queda claro porqué se considera rígido al Marco Lógico. No se entiende bien el ejemplo y su vinculación con el Marco Lógico del programa. 6) Página 6, el (panel) de consultores. Cabe aclarar que el Panel es responsable de la ejecución de la evaluación aplicando la metodología establecida por el Programa para esta línea de evaluación. No obstante, el Panel puede aplicar metodologías e instrumentos específicos para recolectar, analizar y/o sistematizar información que no esté disponible. La metodología de evaluación 7) Página 7, párrafo 1. Con relación a que el informe de evaluación no contiene una descripción de la metodología, cabe recordar lo señalado en las observaciones al Anexo F. (Calidad de los Informes EPG). Al respecto es importante aclarar que el Programa ha considerado por “metodología de evaluación” el uso de la MML complementándolo con el formato único de evaluación, el que permite analizar aspectos no considerados en dicha matriz, tales como: Organización y Gestión, Justificación, Sostenibilidad y Aspectos Innovadores.15 Por tanto, considerando que las evaluaciones siguen una metodología estándar, con un formato único y otros documentos de apoyo técnico, no se entiende la necesidad de incorporar una descripción de la metodología. Definición de Compromisos Institucionales y monitoreo del seguimiento 8) Página 9, párrafo 2. Los fiscalizadores de SUBTEL que se encontraban con contratos a “honorarios” cuando se realizó la evaluación del programa, experimentaron —producto de las recomendaciones— un cambio de contrato de acuerdo al carácter de función exclusiva de su trabajo. Esto le otorga a la labor de fiscalización una función de carácter más permanente y regular permitiendo resolver el problema sin tener que recurrir a los Fondos FDT. Retroalimentación de los actores principales 9) Página 12, párrafo 2. Se solicita aclarar qué quiso plantear la institución. No queda claro. 15 Ver el documento en la página Web www.dipres.cl en Control de Gestión, publicaciones “Sistema de Control de Gestión y Presupuestos por Resultados. La Experiencia Chilena”. 241 Estudio de Caso de Telecentros Comunitarios MINUTA Selección de Programas a Evaluar El proceso de selección de programas a evaluar cada año considera los elementos o aspectos que se detallan: i) antecedentes de desempeño de los programas de que dispone la Dirección de Presupuestos con motivo de sus funciones, tanto presupuestarias como de control de gestión. ii) situación de los programas respecto de si han sido objeto de evaluación en el marco del Programa de Evaluación de la Dirección de Presupuestos u otros procesos de evaluación, y su año de ocurrencia. iii) horizonte de ejecución de los programas y su prioridad programática. iv) sugerencias del Ministerio Secretaría General de la Presidencia (SEGPRES) y Ministerio de Planificación (MIDEPLAN) de acuerdo a solicitud que se efectúa. v) sugerencias surgidas en las Subcomisiones de Presupuestos durante el proceso de tramitación del Proyecto de Ley de Presupuestos. Considerando el conjunto de aspectos y elementos recién descritos la Dirección de Presupuestos elabora una propuesta de programas a evaluar. Dicha propuesta es analizada con los miembros de la Comisión Permanente de Presupuestos del Congreso Nacional, en el marco de la elaboración del Protocolo de Acuerdo que acompaña a la aprobación del Proyecto de Ley de Presupuestos. En esta etapa se incorporan modificaciones a la propuesta de acuerdo a las solicitudes de la Comisión estableciendo el listado de programas definitivo, el que pasa a formar parte del Protocolo señalado 242