81256 v1 Chile: análisis del programa de evaluación del gasto público Chile: análisis del programa de evaluación del gasto público Volumen I : informe principal Volumen II : anexos (cd adjunto) Fernando Rojas Keith Mackay Yasuhiko Matsuda Geoffrey Shepherd Azul del Villar Ariel Zaltsman Philipp Krause Banco Mundial Unidad de Reducción de la Pobreza y Gestión Económica América Latina y el Caribe © 2006 Banco Internacional de Reconstrucción y Fomento/Banco Mundial 1818 H Street, NW Washington, DC 20433, EE.UU. Telephone: 202-473-1000 Internet: www.worldbank.org E-mail: feedback@worldbank.org Todos los derechos reservados Impreso en Perú por LEDEL SAC Diagramación y diseño de carátula: Ana María Origone Documento preparado como parte del Asesoramiento del Banco al Sistema de Control de Gestión y Presupuesto por Resultados de Chile. Reporte No. 34589-CL. Este documento tiene una distribución reservada y puede ser usado por los receptores sólo en el cumplimiento de sus funciones oficiales. Sus contenidos no pueden de otro modo revelarse sin la autorización del Banco Mundial. Índice Lista de siglas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix Tasas de Cambio Monetario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi Reconocimientos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii Miembros del Equipo de esta Evaluación de Impacto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii A. RESUMEN EJECUTIVO........................................................................................................... 1 Descripción del programa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Análisis y Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 Recomendaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 B. EL PROGRAMA DE EVALUACION (PE) EN EL MARCO DEL DESARROLLO DEL SISTEMA DE CONTROL DE GESTIÓN Y PRESUPUESTO POR RESULTADOS (SCG) DE LA DIPRES .................................... 23 C. EL INFORME TÉCNICO SOBRE EL PROGRAMA DE EVALUACIÓN ............................................................ 29 C.1. Descripción del programa: antecedentes, diseño y gestión . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 Los objetivos del programa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 El desarrollo del PE en el contexto de la reforma del Estado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 Descripción de los roles y las actividades de los Actores Institucionales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 Los procesos operativos de los dos componentes del Programa de Evaluación (EPG y EI) y la gestión del PE . . . . . . . 35 C.2. Metodología de esta Evaluación del PE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Para evaluar la calidad de las EPG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Para evaluar la metodología de Marco Lógico de las EPG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 Para evaluar la Calidad y la Metodología de las Evaluaciones de Impacto (EI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 Entrevistas y Grupos Focales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 Estudios de caso de la influencia de las evaluaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 Encuestas anuales del Proceso de Evaluación (2001-2003) y Encuesta de Resultados Intermedios-Finales (enero del 2004) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 C.3. Resultados del programa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 Balance cualitativo de los objetivos del PE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 Apéndice. El Marco Lógico del PE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 Balance cualitativo del papel de los actores del PE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 La metodología del PE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 Balance cualitativo de los procesos operativos (EPG y EI) y gestión del PE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 v a) Dentro de la División de Control de Gestión . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 b) En la selección de programas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 c) En la selección de los evaluadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 d) En los Informes de Evaluación y sus usos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Perfil del personal de la División de Evaluación de la DCG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 Indicadores de producción del PE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 Indicadores de resultados intermedios del PE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 Indicadores de resultados finales del PE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 Eficiencia y economía en el uso de los recursos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 C.4. Análisis y Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 C.5. Recomendaciones. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 Bibliografía . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 Lista de Cuadros, Recuadros y Gráficos Cuadros Cuadro A.1. Distribución de Programas por categorías 2000-2003 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Cuadro A.2. Evaluación de Programas (EPG y EI) 2000 y 2003 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 Cuadro A.3. Costo Anual de la Evaluación como Porcentaje del Gasto Evaluado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Cuadro C.1.1. Los objetivos del Programa de Evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 Cuadro C.1.2. El desarrollo de los Instrumentos de Control de Gestión de la DIPRES, 1993-2003 . . . . . . . . . . . . . . . . 31 Cuadro C.1.3. Número de evaluaciones por Año 1997-2004 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 Cuadro C.3.3.1. Cambios en el marco lógico para las EPG en el transcurso del tiempo, 1997-2003 . . . . . . . . . . . . . . . . . . 56 Cuadro C.3.6.1. Programas evaluados dos veces, 1997-2003 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 Cuadro C.3.6.2. Evaluaciones por Ministerio, por Año, 1997-2004 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 Cuadro C.3.6.3. Programas Evaluados 1997-2003 por Clasificación Funcional del Gasto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 Cuadro C.3.6.4. Seguimiento de Cumplimiento de Compromisos, Programas Evaluados (EPG y EI), 1999-2003 . . . 70 Cuadro C.3.8.1. Distribución de Programas por Consecuencias de la Evaluación 2000-2003 . . . . . . . . . . . . . . . . . . . . . . . . . 71 Cuadro C.3.8.2. Presupuesto Año (t+1) como porcentaje de presupuesto Año (t) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 Cuadro C.3.8.3. Evaluaciones de Programas 2002-2003 según su categoría (EPG y EI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Cuadro C.3.9.1. Gasto efectivo del programa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 Cuadro C.3.9.2. Presupuesto y Gasto Efectivo Desglosado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 Cuadro C.3.9.3. Gasto directo en producción de componentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 Cuadro C.3.9.4. Costo promedio de producción de componentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 Cuadro C.3.9.5. Gastos de Administración del PE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 Cuadro C.3.9.6. Costo Anual de la Evaluación como Porcentaje del Gasto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 Cuadro C.4.1. Resultados de los Acuerdos Organizativos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 vi Gráficos Gráfico 1 Diagrama de Flujo y Riesgos de las EPG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Gráfico 2 Diagrama de Flujo y Riesgos de las EI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Gráfico 3 Programa de Evaluación (PE) - Resultados y Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 Recuadros Recuadro No. 1 Estructura administrativa en Chile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 Recuadro No. 2 Capacitación en Evaluación en Australia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 Recuadro No. 3 “Next Steps Reform” en las Agencias del Reino Unido de la Gran Bretaña . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 Recuadro No. 4 La Ley de Gerencia Pública (23 de Junio del 2003) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 Índice de Anexos Volumen II (CD adjunto) Anexo A: El Sistema de Evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 Anexo B: Análisis del Marco Lógico del Programa de evaluaron de Programas Gubernamentales (EPG) en Chile . . . . . . . . . . . 11 Anexo C: Algunas Lecciones de los Estados Unidos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 Anexo D: Matriz de la Evaluación con Entradas de Notas Sumarias de la Primera y Segunda Misión a Chile . . . . . . . . . . . . . . . . 40 Anexo E: Actores Institucionales en el Sistema de Evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Anexo F: Meta Evaluación de la Calidad de las Evaluaciones de Programas del Gobierno de Chile . . . . . . . . . . . . . . . . . . . . . . . . . . 71 Anexo G.1: Evaluación de la Evaluación del Programa de Mejoramiento Urbano – PMU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 Anexo G.2: Evaluación de la Evaluación del Programa de Reconversión Laboral y Productiva de la Zona del CARBÓN ..... 132 Anexo H: Sistema de Evaluación de Australia – Aspectos Clave para Comparar con Chile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 Estudios de Caso sobre la Utilización del Programa de Evaluación de Programa de Evaluación de Programas de Gobierno, Ministerio de Hacienda, Chile Anexo I.1: Evaluación de Fondo de Promoción de Exportaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 Anexo I.2: Evaluación de Equipamiento Comunitario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201 Anexo I.3: Evaluación de los Telecentros Comunitarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 vii Lista de siglas AML Análisis del Marco Lógico ANAO Oficina de Auditoría Nacional Australiana (Australian National Audit Office) BGI Balance de Gestión Integral BM Banco Mundial CASEN Encuesta de Caracterización Socioeconómica Nacional CI Contrapartes Institucionales (Institutional Counterparts) CLAD Centro Latinoamericano de Administración para el Desarrollo CORFO Corporación de Fomento de la Producción DCG División de Control de Gestión DE Definiciones Estratégicas DEETYA Departamento de Educación, Capacitación y Asuntos Juveniles DIPLAP Dirección de Planificación y Presupuesto DIPRES Dirección de Presupuestos DF Departamento de Finanzas ECG Evaluación Comprensiva del Gasto ECU Asesores de la DIPRES para Capacitación en Metodología del Marco Lógico EI Evaluación de Impacto EP Evaluación en profundidad EPG Evaluación de Programas Gubernamentales FMI Fondo Monetario Internacional FONASA Fondo Nacional de Salud GF Grupo focal GPRA de EE UU Ley de Desempeño y Resultados del Gobierno de los Estados Unidos IC Contrapartes Institucionales MIDEPLAN Ministerio de Planificación y Cooperación ix CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO MM Metas Ministeriales MML Matriz de Marco Lógico MN Metas Nacionales NGP Nueva Gestión Pública OED Departamento de Evaluación de Operaciones del Banco Mundial (Operations Evaluation Department) OCDE Organización de Cooperación y Desarrollo Económico OLS Mínimos Cuadrados (Ordinary Least Squares) PE Programa de Evaluación PEC Plan de evaluación de la cartera PGTR Programa de Gestión Territorial y Social de la Regularización PMG Programa de Mejoramiento de Gestión PM&C Programa de Mejoramiento y Control de Gestión PME Programa de Mejoramiento Educativo PMU Programa de Mejoramiento Urbano PROFOS Programa Proyectos Asociativos de Fomento PRYME Proyecto de Reforma y Modernización del Estado SBO Funcionarios de alto nivel del presupuesto SCG Sistema de Control de Gestión y Presupuesto por Resultados (incluye el Programa de Evaluación en sus dos componentes, EPG y EI) SEGPRES Secretaría General de la Presidencia SyE Seguimiento y evaluación SUBDERE Subsecretaría de Desarrollo Regional y Administrativo TDR Términos de Referencia TTDR Términos Técnicos de Referencia 10 x Tasas de Cambio Monetario (Diciembre 30, 2005 - Tasa de Cambio Monetario) Unidad monetaria = Peso Chileno (Ch$) Ch$586.2 = US$1 Vicepresidente : Pamela Cox Director Pais : Axel van Trotsenburg Director Sector : Ernesto May Lider del Sector : James Parks Gerente del Sector : Ronald Myers Task Manager : Fernando Rojas xi Reconocimientos E L EQUIPO DEL BANCO MUNDIAL QUE PARTI- relativo a la aplicabilidad o no aplicabilidad de las leccio- CIPÓ en esta Consultoría hace un especial nes de la experiencia internacional al contexto específico del reconocimiento a la muy profesional cola- Programa de Evaluación de la DIPRES. boración recibida del personal de la División Especial reconocimiento es debido a Mario Marcel, Di- de Control de Gestión y, más generalmente, rector de Presupuesto de Chile, Marcela Guzmán, Jefa de la de la Dirección de Presupuesto de Chile. Gracias al apoyo División de Control de Gestión (DCG) de esa Dirección y de esta Dirección, el equipo del Banco Mundial se benefició Heidi Berner y María Teresa Hamuy, responsables respecti- también de la generosa colaboración de funcionarios de va- vamente de los componentes de EI y EPG que constituye- rios niveles de gobierno, de distintos ministerios y agencias ron el objeto específico de esta evaluación. Mario Marcel ejecutoras, de evaluadores particulares y de universidades expuso la gran visión del Programa de Evaluación con clari- y centros de estudio. La DIPRES aportó irrestrictamente dad meridiana; las líderes de la DCG revisaron celosamente toda la información documentaria que tuvo disponible y versiones anteriores de este reporte e hicieron observaciones contribuyó con innumerables conceptos, informaciones de fondo y recomendaciones de organización, sin menoscabar sobre prácticas internas y orientaciones en general, todos en ningún momento la independencia técnica del equipo del los cuales enriquecieron el estudio, particularmente en lo Banco Mundial. xiii Miembros del Equipo de esta Evaluación de Impacto E L EQUIPO DEL BANCO MUNDIAL estuvo diri- dos casos de EI y tres casos de uso y apropiación de las evalua- gido por Fernando Rojas, Especialista Líder ciones. Para asegurar la consistencia interna del Informe, el del Sector Público, e integrado por Keith equipo del Banco Mundial seleccionó las partes y las conclu- Mackay del Departamento de Evaluación de siones o recomendaciones de los informes de Universalia y de Operaciones, Yasuhiko Matsuda, Especialis- Michael Bamberger que fueron incluidos en el Reporte, par- ta Senior, Jonas Frank, Especialista y Wolfgang Koehling, ticularmente en el texto principal del Reporte. Naturalmente, Economista del Sector Público, y Geoffrey Shepherd, la selección de los textos y las ideas que de los aportes de Azul del Villar, Ariel Zaltsman, Philipp Krause y Ruxandra los consultores se incorporaron en el Informe de Evaluación Burdescu, Consultores. Este equipo contó con la valiosa son responsabilidad exclusiva del equipo del Banco Mundial asistencia de Patricia Méndez. y no comprometen de ninguna manera a los consultores ni El equipo del Banco Mundial fue reforzado por dos desdicen del rigor o la consistencia interna de sus informes. consultorías externas para el análisis comparado de los usos Este Informe se ha beneficiado de numerosos aportes y de la calidad de las evaluaciones. El Banco contrató con la suplementarios y de los comentarios y las críticas de los firma consultora canadiense Universalia, especializada en eva- managers y de otros especialistas del Banco Mundial. Cabe luación, un análisis de la calidad de una muestra de diez EPG hacer un reconocimiento especial a David Shand y Paul Sisk bajo patrones internacionales para informes de evaluación de por sus orientaciones durante las misiones del equipo de esta alcance similar al de las EPG de la DIPRES. Asimismo, el evaluación a Chile, y a Roberto Panzardi por sus aportes y Banco contrató con Michael Bamberger, especialista en eva- los de su equipo en lo relativo al sistema de manejo finan- luación con experiencia en numerosos países, el análisis de ciero de Chile. xv Introducción E STE ES UN INFORME ESPECIAL DE CONSUL- y las conclusiones y 5) las recomendaciones que se conside- TORÍA, producido a solicitud de la Dirección ran pertinentes para el fortalecimiento del programa y su de Presupuestos del Ministerio de Hacien- consolidación en el tiempo. Los Anexos, (Volúmen II) con da de Chile (DIPRES) y bajo los Términos información o análisis detallados que sirven de fundamento de Referencia que comúnmente indica esta Dirección para o de suplemento al Informe Técnico. evaluaciones de programas, en este caso el Programa de Adviértase que el Resumen Ejecutivo es más extenso Evaluación (PE) de la propia Dirección de Presupuesto. que lo usual puesto que busca dar cuenta por sí mismo del Este Informe de Evaluación de Impacto consta de dos programa evaluado hasta el punto que su lectura puede ser volúmenes: el reporte principal y los anexos. El Reporte suficiente para aquellos lectores que sólo busquen los hechos Principal (Volúmen I) consta a su vez de tres partes: A) el y las conclusiones principales del informe. En atención a su Resumen Ejecutivo, con la presentación del Programa de propósito de ser un documento autosuficiente, el Resumen Evaluación y sus Resultados y una breve elaboración de las Ejecutivo incluye literalmente algunos de los principales principales conclusiones y recomendaciones; B) la presenta- párrafos del texto del Informe Técnico de la evaluación ción del papel del Programa de Evaluación en el marco más (parte C de este Informe).1 Adviértases también que los amplio del Sistema de Control de Gestión y Presupuesto Anexos contienen discusiones técnicas, con pros y cons de por Resultados de la DIPRES (SCG, para subrayar que el la experiencia de la DIPRES y de otras experiencias interna- Programa de Evaluación, que es objeto particular de este cionales, las cuales sólo son generalmente de interés para los Informe, hace parte de un sistema más amplio. El SCG especialistas o los participantes en el SCG. eleva el potencial del PE conectándolo con otras podero- sas herramientas para la efectividad y la eficacia del gasto público); C) el Informe Técnico, que constituye el cuerpo Notas principal de este Informe y que incluye: 1) el diseño y la gestión del PE, 2) la metodología de evaluación aplicada al 1. Una versión esencialmente igual de este Resumen Ejecutivo PE, 3) los resultados observados, 4) el análisis de resultados fue presentada en el Seminario, Santiago de Chile, Mayo del 2005. xvii A. Resumen Ejecutivo E Descripción del programa varias leyes que contribuyeron a consolidar y fortalecer el L LUGAR DEL PE. EL Programa de Evaluación programa de evaluación.2 es uno de los seis instrumentos del Sistema En cuanto al desarrollo de los procedimientos y la me- de Control de Gestión y Presupuesto por todología, la Evaluación de Programas Gubernamenta- Resultados (SCG) de la DIPRES. Los otros les (EPG) se inició en 1997, con base en la metodología instrumentos complementarios del SCG de Marco Lógico. La EPG consiste, a grandes rasgos, en son: i. Las Definiciones Estratégicas (DE); ii. El Programa identificar los objetivos de los programas y determinar la de Mejoramiento de Gestión (PMG); iii. Los Indicadores consistencia de éstos con su diseño y resultados. El marco de Desempeño; iv. El Balance de Gestión Integral, y v. lógico es la armazón que amarra el problema con su solu- El Fondo Concursable. Tomado en su conjunto, el SCG ción, a través de objetivos, componentes y actividades o busca orientar la gestión gubernamental hacia los resultados acciones, y hace explícitas las condiciones bajo las cuales el y elevar la efectividad1 y la eficiencia del gasto. En cuanto programa alcanzará sus objetivos, y los riesgos que acechan instrumento, la Evaluación es de tres tipos: Evaluación de el alcance de ese objetivo. Programas Gubernamentales (EPG), Evaluación de Impacto En un principio estas evaluaciones se llevaban a cabo por (EI), y Evaluación Comprensiva del Gasto (ECG). Los dos un panel de evaluadores conformado tanto por funciona- primeros tipos de evaluación son los componentes del rios del sector público como expertos de fuera del gobierno. Programa de Evaluación (PE) del cual se ocupa la presente Desde 1998 este panel está integrado únicamente por Evaluación de Impacto. evaluadores externos, seleccionados a través de concurso La trayectoria del PE. El Gobierno lanzó originalmente público; ello con el fin de garantizar transparencia, obje- el programa de evaluación después de un acuerdo con el tividad e independencia en las evaluaciones. A partir del Congreso en 1996, el cual tuvo por finalidad enriquecer año 2001 la DIPRES incorporó la Evaluación de Impacto la información suministrada para las decisiones presupuesta- (EI) en la cual se utiliza una metodología más compleja de rias. Como tal, la creación del PE responde en parte a la recolección y análisis de la información y busca, como su demanda del Congreso de información de calidad que nombre lo indica, evaluar el cambio ocasionado por el permita al Legislativo tener mas influencia en las decisiones programa en la situación original que el Gobierno pretende del presupuesto. En un principio las evaluaciones fueron corregir o mejorar. exclusivamente del tipo evaluación rápida o de escritorio Los objetivos del PE. La ley anual del presupuestos (EPG), es decir, basada primordialmente en fuentes proporciona el marco legislativo para la evaluación; los secundarias. Más adelante se agregaron las evaluaciones de objetivos del Programa están señalados en el documento impacto y de profundidad (EI). En el 2003 se promulgaron Sistema de Control de Gestión y Presupuestos por Resultados. 1 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO La Experiencia Chilena 3, el cual señala como objetivos la • Los evaluadores. Son expertos individuales que con- eficiencia en la asignación de recursos, el mejoramiento de forman un panel de evaluación de tres personas, las políticas y de la gestión de los programas y la rendición en el caso de las EPG, y son firmas consultoras o de cuenta pública. entidades especializadas (como lo pueden ser las Los actores y sus roles. Cinco son los principales grupos de universidades), en el caso de las EI. Los evaluado- participantes en el PE: res desempeñan un papel puramente técnico, en cumplimiento de los precisos términos de referencia • El Comité Interministerial. Corresponde a este Co- y formatos de las EPG y EI, o de las notas técnicas mité “… asegurar que el desarrollo de las evaluacio- más amplias que siguen las evaluaciones. Se pretende nes sea consistente con las políticas gubernamentales; asegurar su competencia e independencia median- que las conclusiones que surjan de este proceso sean te un proceso de selección competitivo, diseñado conocidas por las instituciones que lo conforman; de acuerdo a pautas objetivas pre-establecidas. La y que se disponga de los apoyos técnicos y coor- DIPRES monitorea el cumplimiento de la tarea de dinaciones necesarias para el buen desarrollo del los evaluadores y les presta apoyo técnico y entrena- mismo, especialmente en los procesos de selección miento en materia de marco lógico. de programas y selección de consultores.”4 Este • Las contrapartes institucionales participan en el Comité está conformado por un representante del proceso de evaluación mediante el aporte de la Ministerio Secretaría General de la Presidencia, información necesaria y la discusión del diseño y del Ministerio de Planificación y Cooperación y de los resultados del programa. Tienen oportunidad del Ministerio de Hacienda, a través de la Dirección de expresar sus observaciones a los diferentes informes de Presupuestos, siendo presidido por el representan- que se producen durante el proceso de evaluación, así te de esta última cartera. como su disentimiento si al término de la evaluación • La Dirección de Presupuestos del Ministerio de no estuvieren de acuerdo con la misma. Finalmente Hacienda. La DIPRES tiene la responsabilidad de participan en el análisis de las conclusiones y reco- la ejecución adecuada de todas las líneas de evalua- mendaciones de la evaluación una vez finalizada. ción. Le corresponde especialmente “llevar a efecto el • Los congresistas y sus equipos técnicos pueden proceso de selección de programas a evaluar; defi- indicar programas a ser evaluados, reciben la síntesis nir los diseños metodológicos y operativos; proveer y los informes finales de las evaluaciones y la infor- los recursos para su funcionamiento; administrar su mación sobre el cumplimiento de los Compromisos operación; analizar y aprobar los informes de avance Institucionales (en el Informe de Ejecución Presu- y final señalando las observaciones que estime con- puestaria anual) y pueden valerse de esta información venientes; recibir y enviar los informes de evaluación y de toda la información producida por el SCG para al Congreso Nacional e instituciones públicas…; discutir decisiones programáticas y presupuestales integrar los resultados de la evaluación al ciclo pre- con el Ejecutivo. supuestario y establecer Compromisos Instituciona- les5 de mejoramiento de los programas evaluados.”6 Los procesos operativos de los dos componentes del Progra- El personal de la DIPRES a cargo de los presupues- ma de Evaluación (EPG y EI). Los gráficos 1 y 2 presentan el tos sectoriales tiene un papel clave puesto que está diagrama de flujo de la EPG y de la EI respectivamente. El llamado a inyectar un mayor conocimiento sectorial ciclo de evaluación se ha estructurado con relación al ciclo al PE y a utilizar inmediatamente los resultados de del presupuesto. La selección de los programas a evaluar y de las evaluaciones y los Compromisos Institucionales7 los evaluadores, la iniciación de la evaluación, la duración y en su seguimiento a la ejecución presupuestaria y en el procesamiento de las evaluaciones, como también el segui- sus discusiones de preparación del presupuesto con miento a los Compromisos Institucionales, cada una de estas los sectores. etapas tiene fechas límites relacionadas con las fechas de las 2 A. RESUMEN EJECUTIVO decisiones presupuestarias, tanto en el Ejecutivo como en el presupuesto y, en este sentido, de la DIPRES; del otro lado, se Congreso. El proceso todo tiene una relación dual o de doble vale del proceso presupuestario para apalancar los Compromi- dirección con el presupuesto: de un lado está al servicio del sos de mejoramiento o de finalización de los programas. GRÁFICO 1 Diagrama de flujo de las EPG 3 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO GRÁFICO 1 Diagrama de flujo de las EPG (continuación) 4 A. RESUMEN EJECUTIVO GRÁFICO 2 Diagrama de flujo de las EI 5 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO GRÁFICO 2 Diagrama de flujo de las EI (continuación) 6 A. RESUMEN EJECUTIVO Selección de los programas a evaluar. La DIPRES conside- la oferta a uno basado en la demanda o las cuestiones de ra generalmente los siguientes elementos para la selección de recuperación de costos). programas a evaluar cada año: i) antecedentes de desempeño Los Compromisos Institucionales los prepara la DIPRES de los programas de que dispone la Dirección de Presupues- en un trabajo conjunto con la institución, con base en las to con motivo de sus funciones, tanto presupuestarias como recomendaciones, los informa a la agencia y los monito- de control de gestión, ii) situación de los programas respecto rea tanto tiempo cuanto sea necesario, hasta asegurar su de si han sido objeto de evaluación en el marco del Programa cumplimiento. de Evaluación de la Dirección de Presupuesto u otros proce- sos de evaluación, y su año de ocurrencia, iii) horizonte de Resultados ejecución de los programas, de manera que los programas a Esta sección de Resultados presenta, primeramente, un evaluar hubieran tenido tiempo suficiente para producir los balance cualitativo del nivel de de los objetivos del PE, el resultados de ellos esperados; iv) sugerencias del Ministerio papel de los actores, la metodología y la aplicación de los Secretaría General de la Presidencia (SEGPRES) y Ministe- procedimientos del PE. Enseguida presenta los indicadores rio de Planificación (MIDEPLAN) de acuerdo a solicitud de resultado del Programa. que se efectúa; y v) sugerencias surgidas en las Subcomisio- Balance cualitativo de los objetivos del PE. El PE cumple nes de Presupuestos durante el proceso de tramitación del con cada uno de los objetivos para los cuales fue creado. Proyecto de Ley de Presupuestos.8 En primer lugar, enriquece la información para las decisio- Selección de los evaluadores. La selección es guiada por nes presupuestarias. Si bien los resultados de la evaluación criterios técnicos y es ejecutada mediante un proceso trans- no se traducen necesariamente en una variación en los re- parente y competitivo. A partir del 2000 la División de cursos destinados por el presupuesto al programa evaluado, Control de Gestión (DCG) cambió substancialmente ni orientan forzosamente el presupuesto hacia un aumen- la Pauta para la selección de evaluadores, misma que ha to o una reducción de las asignaciones al programa con un continuado siendo mejorada con base en la experiencia y el desempeño positivo o negativo, lo que está claro es que aprendizaje que resulta de la ejecución del PE. los reportes de evaluación y los Compromisos Institucio- En el caso de las EPG, una vez hecha la selección de nales son tenidos en cuenta en todas las etapas del proceso los tres panelistas (sobre la base de la Pauta), la DCG elige de preparación y asignación presupuestaria, tanto dentro al coordinador del panel de entre aquellos que se compro- del Ejecutivo como en los análisis del Congreso y en las meten a ser coordinadores, otorgando un considerable peso discusiones entre el Ejecutivo y el Legislativo. relativo a la experiencia en evaluación. En el caso de la EI se En segundo lugar, el PE mejora la gestión de los progra- selecciona mediante concurso o licitación; la propuesta me- mas mediante la determinación de los Compromisos Insti- todológica recibe grande peso en la definición del concurso. tucionales y el seguimiento a los mismos. En tercer lugar, el El informe de evaluación. El informe de evaluación se PE hace accesible toda la información de los procesos y de presenta en tres etapas (informes de avance, preliminar los resultados de las evaluaciones en página Web, con lo cual final y final) a un examen crítico, tanto por parte de la permite la posibilidad de acceso por parte de cualesquier DIPRES cuanto de la institución responsable del programa. El ciudadano interesado. informe final especifica las recomendaciones centrales para No existen aún indicadores que conecten directamen- la mejora del programa evaluado. te el PE con el logro de su fin u objetivo final, cual es el Las recomendaciones cubren una amplia gama de áreas: mejoramiento de la calidad del gasto público. Estos indi- las prácticas de gestión, los arreglos institucionales (incluidas cadores de fin son muy difíciles de aislar de la influencia de las funciones y responsabilidades y la estructura interna de otros programas del gobierno y aun factores exógenos, fuera gestión del programa), los recursos humanos (necesidades del control del gobierno, que tienen efectos en la calidad de capacitación) y las pautas de financiación del progra- del gasto. Sin embargo, esta evaluación sí encontró eviden- ma (como el cambio de un esquema financiero basado en cia de las contribuciones del PE a las decisiones presupues- 7 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO tarias, al mejoramiento de la gestión y a la rendición de hace apenas poco tiempo, el personal de presupues- cuentas públicas, todas las cuales llevan a inferir que el to estaba sólo filosóficamente identificado con el PE está contribuyendo al objetivo final de mejoramiento PE; en los últimos años se observa mayor apropia- de la eficacia y la eficiencia del gasto público. ción y compromiso con el Programa. Es importante Además, el PE produce también otros resultados o observar, en este contexto, que los Servicios9 deman- beneficios que podrían considerarse subproductos, externa- dan generalmente una mayor especialización sectorial lidades o resultados indirectos de este Programa. Entre esos en las evaluaciones y que los especialistas sectoriales resultados cabe enumerar: i) la formación de una cultura de la DIPRES pueden enriquecer los términos de creciente de evaluación dentro de la administración pública, referencia y los contenidos mismos de las evaluacio- incluido especialmente el fortalecimiento de los ministerios nes contribuyendo con asistencia, documentación y los organismos en la metodología de marco lógico, en el y discusión de las materias sectoriales o específicas mejoramiento de indicadores de resultado y en la produc- del programa. ción de la información necesaria para la evaluación; ii) una • Las contrapartes institucionales en los Servicios y contribución limitada a la formulación de políticas. En este Ministerios se interesan y se involucran considerable- respecto, las EPG y las EI arrojan luz sobre la factibilidad, mente en la evaluación desde el momento mismo en los costos y la efectividad de los programas que desarrollan que su programa es seleccionado y deben preparar las políticas actuales y sobre las conexiones lógicas entre la información básica requerida por los evaluadores. programas y políticas; las EI son, además, un insumo Pero el nivel de interés y participación, manifiesto en fundamental para juzgar si los resultados finales de un el nivel del programa, se debilita en la medida en que programa y, a través del programa, de la política misma, se asciende hacia cargos superiores de los Servicios y se han logrado o no, o si se necesitan o no políticas o ins- de los Ministerios. trumentos complementarios o alternativos para conseguir • Los congresistas están llamados a observar y discutir el cambio deseado; iii) una contribución al fortalecimiento los fundamentos, las conclusiones y las recomenda- de la transparencia gubernamental, y iv) un aporte al ciones producidas por el PE. Sin embargo, el uso de monitoreo y al control de la efectividad y la eficiencia de los la evaluación por parte del Congreso parece haber programas del gobierno. sido, en la práctica, limitado. Desde el punto de vista Balance cualitativo del papel de los actores públicos de su participación en el Programa de Evaluación, el del PE: Congreso se ha limitado generalmente a recomendar muy pocos programas para ser evaluados. Los con- • La Secretaría de la Presidencia y el Ministerio de gresistas, si bien celebran la calidad y la prontitud Planificación limitan generalmente su participación de la información producida por el PE, y apoyan a las discusiones de orientación del PE. En cuanto el Programa, no parecen utilizar esta información a los procedimientos mismos del PE, estas dos im- ni aportar creativamente al PE (por ejemplo, con portantes entidades del Ejecutivo se circunscriben más propuestas de programas que ellos consideran a proponer programas para evaluar y a participar que debieran ser evaluados o con opiniones sobre la en la selección de panelistas junto con la DIPRES. calidad de los programas evaluados) en la medida en De manera que la visión y la gestión del PE estriban que están posicionados para hacerlo. fundamentalmente en la DIPRES. • Respecto a los especialistas sectoriales de la DIPRES. La metodología del PE. La sencilla y estandarizada La cultura orientada a resultados está apenas cre- metodología de marco lógico de la DIPRES, así como los ciendo entre ellos, en la medida en que este personal formatos que se utilizan para las EPG, han sido sumamente se involucra en las evaluaciones y adquiere conoci- valiosos para lograr evaluaciones objetivas y sistemáticas de miento adicional de la interacción con la División un gran número de programas año tras año. La DIPRES de Control de Gestión de la misma DIPRES. Hasta requiere que cada evaluación de EPG contenga un marco 8 A. RESUMEN EJECUTIVO lógico para el programa evaluado; sin embargo, no todos los pesos relativos de la selección han cambiado, y podrían los programas evaluados en realidad contaron con un mar- volver a cambiar con el tiempo, los participantes involucra- co lógico en su inicio o no todos tienen un marco lógico dos en el proceso de evaluación reconocen que la selección adecuado. Esta deficiencia de los programas era más evi- es guiada solamente por criterios técnicos y es ejecutada dente durante los primeros años del Programa; se ha venido mediante un proceso transparente y competitivo. reduciendo desde que, en 1999, la DIPRES exige ese marco En el caso de las EPG, cuando menos uno de los miem- lógico en los programas y lo aplica sistemáticamente durante bros del panel debe ser experto en el sector del programa la evaluación. según los requisitos de la DCG. Todos los evaluadores se- Balance cualitativo de los procesos operativos: a) dentro de leccionados en el PE están basados en Chile y la DCG es- la División de Control de Gestión. El personal de evaluación tima que en los últimos años han contratado a evaluadores de la DIPRES inicia el proceso de evaluación programa que corresponden aproximadamente al nivel de competen- por programa; imparte capacitación y presta apoyo a los cia promedio de los evaluadores de programas disponibles Servicios y los evaluadores durante el proceso; recibe, en el país. Aunque la “Pauta” de selección privilegia a los revisa y trata uno por uno los informes de avance, prelimi- profesionales que tienen experiencia anterior con evaluación nares finales y finales; discute los resultados con las insti- en general (no necesariamente con las propias evaluaciones tuciones o ministerios participantes, como también los del PE), cada año aproximadamente el 30% de los eva- resultados y las posibles implicaciones presupuestarias en luadores seleccionados son nuevos al proceso de la DCG. reuniones internas de la DIPRES; prepara acuerdos sobre los El desempeño de los evaluadores contratados para ejercicios Compromisos Institucionales para el perfeccionamiento anteriores, medido según las opiniones de las encuestas de los programas evaluados; prepara también informes de realizadas a los mismos,13 se tiene en cuenta para mejorar síntesis para el Congreso y sostiene discusiones con miem- el proceso de selección de evaluadores para el futuro. bros del Congreso cuando éstos lo requieren; mantiene Balance cualitativo de los procesos operativos: d) el Infor- un sitio Web público completo y lleva los indicadores me de Evaluación y sus usos. Esta evaluación indica que los de desempeño del PE. Monitorean el desempeño del PE, términos de referencia de las evaluaciones son suficientes revisan el diseño de procesos y realizan seminarios de para asegurar que se preparen recomendaciones específicas capacitación dentro y (ocasionalmente) fuera de Chile.10 como para servir de base a los (muy concretos) Compromi- Todo lo anterior con una dotación de una Jefa de la DCG, sos Institucionales. Aunque no todas las recomendaciones dos gerentes especialistas en evaluación (uno para EPG, uno se formulan con el mismo nivel de especificidad y claridad, para EI), cinco profesionales y un asistente administrativo siempre proporcionan un rango de puntos de acceso para que también comparte la responsabilidad de las tres líneas mejorar el programa. de evaluación EPG, EI y ECG y, en el caso de la Jefa de la DCG, tiene además la responsabilidad de todo el Sistema de Cuando se evaluó la calidad de los informes de EPG Control de Gestión y Presupuesto por Resultados. con relación a los estándares internacionales generalmente Balance cualitativo de los procesos operativos: b) Selec- aceptados para evaluaciones de escritorio14, se encontró ción de programas. Ni el Congreso ni los otros ministerios que los reportes no alcanzaron a veces dichos estándares. participantes11 parecen tener criterios de selección ni para Cuando se buscaron las causas de esta debilidad, se encon- identificar el universo de los programas susceptibles de tró que, cuando ella ocurre, no se debe a la metodología ser evaluados, ni para la selección de los programas que prescrita por la DIPRES (la cual sí está generalmente habrán de evaluarse en un año dado.12 Así las cosas, la se- conforme con los estándares de las mejores prácticas inter- lección de programas continuará obedeciendo flexiblemente nacionales) sino a la naturaleza del programa evaluado, a las a necesidades de producción de información de evaluación debilidades de diseño del programa o a la disponibilidad identificadas anualmente por el Comité Interministerial o de información para la evaluación. por el Congreso. En cuanto a la calidad de los informes de EI, se encontró Balance cualitativo de los procesos operativos: c) Selección que los evaluadores cumplen esencialmente, hasta donde les de los evaluadores. Aunque los factores de ponderación o es posible dadas las restricciones de tiempo y de información 9 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO disponible, con los términos de referencia estándar indica- Indicadores de producción del PE: b) Seguimiento y cum- dos por la DIPRES para todas las evaluaciones de impacto. plimiento de Compromisos institucionales. Sobre un univer- El marco conceptual de las EI, definido en los Términos Téc- so de 77 programas que hasta junio de 2004 contaban con nicos de Referencia, enfatiza los productos, los resultados seguimiento, las instituciones respectivas han cumplido (resultados intermedios) y el impacto (resultados finales) completamente con el 70% de los Compromisos estableci- de los programas. Nuevamente se encontraron falencias con dos; parcialmente con el 20% de ellos; mientras que un 10% relación a los requerimientos decantados por las mejores no se han cumplido aún. prácticas internacionales. Y, otra vez, se encontró que la Indicadores de resultados intermedios del PE. Los resulta- deficiencia de los informes no se debía a los Términos dos de la Encuesta Anónima a funcionarios públicos Senior, Técnicos de Referencia preparados por la DIPRES para conducida por la DIPRES en enero de 200416 (correspon- las EI sino a limitaciones estructurales o de diseño de los diente a los programas evaluados en el período 2000-2003) programas evaluados. muestran que: Por lo tanto, en ambos informes, EPG y EI, hay ocasio- nes en las que existe una desconexión entre las preguntas • En cuanto al fortalecimiento de la capacidad de de la evaluación, reflejadas en los TDR, y la habilidad de los evaluación de los responsables de programas, el 75% equipos de evaluadores de contestarlas, dadas las limitacio- de los responsables de programas y el 73% de los nes de los datos, así como de la naturaleza de algunos de los coordinadores ministeriales consideran que dichas programas evaluados. capacidades han mejorado en la mayoría o en la Indicadores de producción del PE: a) Reportes de evalua- totalidad del equipo del Programa, como resultado ción. Entre 1997 y 2004 se han evaluado 172 programas de las evaluaciones efectuadas. públicos, 158 a través de EPG y 14 de EI; 90% de los • En cuanto a la apropiación de los resultados de programas evaluados corresponden a funciones sociales. evaluación por las contrapartes institucionales, el 84% En los primeros años del Programa, el número promedio de los responsables de los programas y el 73% de los de evaluaciones anuales fue de alrededor de 20;15 en los Coordinadores Ministeriales afirman que los resulta- últimos tres años ese promedio se ha venido reduciendo para dos de la evaluación fueron difundidos y analizados situarse actualmente en 17 programas evaluados por año. con la mayoría o con todo el equipo a cargo del Esta tendencia refleja la creciente carga de trabajo de la programa. Al respecto, el 92% de los Jefes de DCG al realizar nuevas Evaluaciones Comprehensivas del Dirección de Planificación y Presupuesto (DIPLAP) Gasto (ECG) y al dar seguimiento al cada vez mayor núme- o cargos similares en los Servicios y el 70% de los ro de Compromisos Institucionales. responsables de programas evaluados indican que la Aproximadamente 2.540 millones de dólares del mayoría o todos los resultados fueron difundidos y gasto presupuestario fueron sujetos a evaluaciones EPG o EI analizados con el nivel directivo. Por otro lado, entre los años 1997 y 2003. Esto es equivalente a un 64% un 16% de los responsables de programa señala que del gasto presupuestario total para el periodo 1997-2004, excepcionalmente ocurre que los resultados de la tomando en cuenta que no todo el gasto público es suscep- evaluación sean difundidos y analizados con el nivel tible a ser evaluado bajo una EPG o una EI. directivo del Servicio. Esta misma observación La distribución de evaluaciones en el periodo 1997- (débil apropiación de las evaluaciones por parte del 2004, por sector o ministerio, presenta una moderada nivel directivo del Servicio o del Ministerio) fue concentración en los ministerios de Educación (26), corroborada en las entrevistas y los grupos focales Planificación (20), Economía (19) y Salud (16). En cambio, realizados para esta evaluación. cuando se mide la concentración por el valor presupuestario • En cuanto a los usos de las evaluaciones para las del programa evaluado, se encuentra una altísima concentra- decisiones presupuestarias por el Servicio, el 56% de ción en los programas de la función social (89,6%) frente a los responsables de programas evaluados y el 61% los de función económica (8,7%) o de función general. de los Jefes de DIPLAP o cargos similares de las 10 A. RESUMEN EJECUTIVO Agencias señalan que los resultados de las evalua- presupuesto y en el mejoramiento de los programas, la tabla ciones fueron utilizados en el análisis de asignación siguiente evidencia que las evaluaciones están asociadas en de recursos durante el proceso de preparación de la un altísimo porcentaje con modificaciones importantes o propuesta de presupuesto de la Agencia respectiva. rediseños sustantivos de los programas. • Respecto al uso de las evaluaciones para la toma de El Cuadro A.1. presenta la evolución del gasto asignado decisiones de los Ministerios a las cuales pertenecen los en el presupuesto a programas que han tenido una evalua- programas, el 49% de los responsables de programas ción en los últimos dos años (2002 y 2003), distinguiéndose evaluados, el 47% de los coordinadores ministeria- tres grandes grupos según la naturaleza de las recomenda- les y el 60% de los Jefes de DIPLAP de los Minis- ciones de los evaluadores: A) programas que no requieren terios señalan que la información ha servido para modificaciones o que sólo requieren ajustes menores en el analizar la asignación de recursos en este nivel de diseño de algún componente, en los procesos de gestión in- coordinación de las políticas sectoriales. Nuevamen- terna o la generación de información o de reubicación ins- te, las encuestas y los grupos focales realizados para titucional; B) programas que requieren de rediseños sustan- esta evaluación confirmaron que los ministerios tivos para alcanzar sus objetivos; y C) programas que deben hacen un uso limitado de las evaluaciones para sus ser descontinuados. 17 decisiones presupuestarias. Respecto a la mane- El resultado de las evaluaciones producidas entre 2002 ra como influyen las evaluaciones en las decisiones y 2003 indica que, de un total de 30 programas evaluados, presupuestarias de los ministerios, los coordinadores 22 programas se ubicaron en el grupo A, 7 programas se ministeriales y los Jefes de DIPLAP de los Ministe- ubicaron en el grupo B y 4 programas se ubicaron en el rios observaron que los resultados de las evaluaciones grupo C. Las asignaciones de recursos a estos programas en se utilizan para: redistribuir recursos al interior del el presupuesto del año siguiente a su evaluación indican que programa en alrededor del 25% de los casos, para los programas que fueron evaluados favorablemente o que justificar la asignación de recursos existentes del requirieron ajustes menores en el diseño o en los procesos programa en alrededor del 30% de los casos; y para de gestión interna, incrementaron su presupuesto en 1% realizar cambios en los procesos del programa en un en el año posterior al que fueran evaluados; los programas promedio de alrededor del 30% de los casos. que requirieron rediseño sustantivo experimentaron una re- ducción equivalente al 11% de su presupuesto previo; y los Indicadores de resultados finales del PE: a) En cuanto a programas a los que se recomendó su terminación redujeron la utilización de los resultados de evaluación en el ciclo del sus recursos en 57% de su presupuesto previo.18 CUADRO A.1. Distribución de Programas por categorías 2000-2003 Año (t)* Año (t) Año (t+1) Año (t+1) Categorías presupuesto presupuesto presupuesto presupuesto - Efecto de la evaluación (MM Pesos) (%) (MM Pesos) (%) Ajustes menores 56.772 9,10% 52.696 8,50% Modificaciones importantes 211.961 33,80% 211.622 34,20% Reubicación Institucional 17.157 2,70% 17.237 2,80% Rediseño sustantivo 321.979 51,40% 329.746 53,20% Finalización del programa 18.325 2,90% 8.080 1,30% Total 626.194 100% 619.381 100% Nota: * Año (t) es el año de la evaluación. Fuente: Estimaciones Banco Mundial con base en datos de la DIPRES. 11 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO CUADRO A.2. Evaluación de Programas (EPG y EI) 2002 y 2003 (En millones de pesos de 2004) EVALUACIONES 2002 EVALUACIONES 2003 TOTAL Presupuesto Programas Presupuesto Programas Presupuesto Programas Categorías 2002 Diferencias 2003 Diferencias 2002+2003 Diferencias Tasa de 2003-2002 2004-2003 Variación A. Ajustes Menores, modificaciones en el diseño de algunos componentes y/o procesos de gestión 88.956 1.967 71.043 (570) 160.000 1.398 0,9% interna y/o reubicación institucional 1/ B. Rediseño sustantivo del 33.303 (616) 15.092 (4.583) 48.395 (5.199) -10,7% programa 2/ C. Finalización 3/ 4.523 (2.105) 5.577 (3.640) 10.100 (5.745) -56,9% 1/ Los programas evaluados el año 2002 incluyen: Generación de Capacidades en Localidades Pobres, Establecimiento y Desarrollo de una Política Cul- tural de Visión Global Exterior, Actividades Especificas en el Exterior, Programa de Mejoramiento Educativo, Programa Explora, Subsidio al transporte Regional, Chile Barrio, Asistencia Técnica, Chile Compras, Fondo de Fomento de la Pesca Artesanal, Programas de Promoción Deportiva y Consejo Nacional de Protección de la Ancianidad. Los programas evaluados en el año 2003 incluyen: Vacaciones Tercera Edad, Fortalecimiento de la Capacidad Fiscalizadora, Textos Escolares Educación Básica y Media, prestamos Médicos, Seguridad y Participación Ciudadana, Programa de Asistencia Jurídica (CAJ_PAJ), Proyectos Asociativos de Fomento (PROFOS), Fondo de Promoción de Exportaciones, Programa de Mejoramiento Urbano, y Programa de Relaciones Familiares. 2/ Los programas evaluados el año 2002 incluyen: Salud mental y Fondo de Tierras y Aguas Indígenas. Los programas evaluados el año 2003 incluyen: Educación de Adultos EFA y ETEA, Centros de Atención Integral y Prevención de la Violencia Intrafa- miliar, Centros de Información y Difusión Juvenil, Telecentros Comunitarios y Programa de Fomento a la Pequeña y Mediana Minería. 3/ Los programas evaluados en el añ0 2002 incluyen: Perfeccionamiento Fundamental de Docentes y Prorural. Los programas evaluados el año 2003 incluyen: Fomento a la Inversión Privada y Segmentación Penitenciaría. Fuente: DIPRES Indicadores de resultados finales del PE: b) En cuanto al reformas en los componentes del programa y en sus siste- uso de la evaluación por el Congreso Nacional. La Comisión mas de gestión. La Ley de Presupuestos del 2004 acogió las Mixta de Presupuesto del Congreso tiene subcomités que recomendaciones de reorganización y redujo consecuente- se ocupan de la discusión de las asignaciones para progra- mente los recursos asignados. En efecto, el presupuesto del mas sectoriales específicos. Estos subcomités sectoriales aco- programa del Fondo de Promoción de Exportaciones, que gen generalmente los reportes de las evaluaciones. Respecto cuenta con recursos en pesos chilenos y dólares, pasó de de la formulación y aprobación de la Ley de Presupuestos, MM$ 1.116 y US$ 2.934.000 en 2003 a MM$ 1.691 y en el caso de la evaluación del Programa de Equipamiento US$ 986.000 en 2004. Comunitario, las recomendaciones apuntaron a una reorga- Indicadores de resultados finales del PE: c) en cuanto al nización sustancial, que determinó su división en dos pro- mejoramiento de la gestión de las instituciones, como resulta- gramas. Estas recomendaciones fueron recogidas en la Ley de do de aspectos tales como el aprendizaje institucional de los Presupuestos del 2002 que abrió dos líneas presupuestarias gerentes o de las personas responsables de la ejecución de las para financiar la bifurcación del programa en las dos nue- políticas y programas, conceptualmente e instrumentalmen- vas líneas. Como resultado de estos cambios, el presupuesto te. El PE contribuye a fortalecer la gestión de las institucio- del 2002 para el programa se redujo a 1.501 millones de nes gracias al proceso de aprendizaje institucional iniciado pesos, comparados con 2.681 millones en 2001. Consecuen- por la evaluación. Al final de la evaluación del Fondo de cias semejantes tuvo la evaluación del Fondo de Promoción Promoción de Exportaciones, por ejemplo, Pro-Chile estuvo de Exportaciones, caso en el cual la evaluación recomendó en capacidad de presentar sus propias conclusiones y nego- 12 A. RESUMEN EJECUTIVO ciarlas en pie de igualdad con la DIPRES.19 Otro tanto ocu- Cuadro A.3. rrió con MINVU en el caso de la evaluación del programa Costo Anual de la Evaluación como Porcentaje del Gasto Evaluado (miles de pesos, 2004) de Equipamiento Comunitario. De hecho, esta evaluación confirmó y consolidó las ideas que tenía MINVU respecto Gasto anual del programa, lo cual coadyuvó a que este Ministerio aco- Año Presupuesto Gasto PE/ Gasto Programas evaluados EPG y EI programas giera rápidamente las recomendaciones de la evaluación evaluados para el mejoramiento de su gestión. Asimismo, el Programa 2000 194.649.791 272.457 0,14% de Telecentros Comunitarios fue sometido a un rediseño 2001 286.887.692 474.955 0,17% completo como resultado de la evaluación. 2002 125.963.156 480.511 0,38% Eficiencia y economía en el uso de los recursos. El costo del 2003 81.715.422 412.520 0,50% Programa (incluido el personal del programa, los honora- Fuente: DIPRES rios de EPG y EI y los bienes y servicios de consumo del programa) pasó de 272,4 millones de pesos en el 2000 a 475 Un análisis internacional comparado de costos de millones en el 2001, 480,5 en el 2002 y 412,5 en el 2003 producción de evaluaciones similares, proporcionadas por (pesos del 2004). El presupuesto asignado para el 2004 fue organizaciones públicas o privadas, difícilmente arrojaría de 481,9 millones. El salto del costo del Programa entre el 2000 y el 2001 se debió principalmente a la introducción pautas válidas de eficiencia. Sucede que el costo absoluto de las EI. A partir del 2001 se han aumentado los recursos de las evaluaciones depende en gran medida de la manera para las EI mientras que para las EPG éstos han disminui- como cada país comisiona y paga las evaluaciones (en el caso do regularmente. El personal del Programa se ha mantenido de Chile, por ejemplo, involucra una licitación competitiva esencialmente el mismo desde el 2001 (un jefe, un coordi- para la contratación de evaluadores externos, mientras en la nador para EI y cinco analistas permanentes) no obstante el mayor parte de los países la evaluación la realizan entida- crecimiento en el número de Compromisos que deben ser des del propio gobierno, muchas veces de manera asociativa establecidos y monitoreados. entre varias entidades) y de la estructura de costos de la El costo promedio por programa evaluado en la línea producción de la evaluación —demanda y oferta de eva- EPG ha aumentado ligeramente, de 6,8 millones de pesos luadores y honorarios en campos similares o relacionados en el 2001 a 7,1 millones en el 2003. La mayor parte de este (por ejemplo, análisis estadístico)— la cual es exclusiva de incremento se debe a un ligero aumento en los honorarios cada país.21 El costo relativo de un programa de evaluación de los evaluadores y, en menor medida, a la nueva práctica depende también del número de programas evaluados y de financiar estudios complementarios (generalmente activi- de la proporción que éstos representan dentro del gasto dades expeditas para la recolección de información primaria) total. Asimismo, los requerimientos o la estrategia de en los casos de ciertas EPG que así lo requieren. El número y levantamiento de datos varían de un país al otro. Por las el valor total de estos estudios complementarios varían cada anteriores razones, resulta más apropiado comparar el año. El costo promedio de una EI se ha mantenido en alre- porcentaje de presupuesto que se asigna generalmente a dedor de 55,5 millones de pesos entre el 2002 y el 2003. Monitoreo y Evaluación.22 Por los años en los cuales La siguiente tabla presenta la relación entre el costo Australia tuvo un sistema de evaluación centralizado en el anual de las evaluaciones y el valor presupuestario de los Ministerio de Finanzas (que son los años más comparables programas evaluados. La cifra del valor total de los progra- con el PE de la DIPRES), ese país dedicaba alrededor de mas evaluados debe tomarse con cautela por cuanto algu- 0.8% de su gasto a la evaluación. Chile dedica proporción nos de los programas evaluados tienen costos dispersos en el muchas veces inferior, lo cual es, en principio, un indicio (no presupuesto y resulta difícil identificar el total exacto de su una prueba contundente) de la eficiencia del Programa de valor presupuestario.20 Además, ha de tenerse en cuenta que la DIPRES en términos internacionales. El costo promedio el valor presupuestario de un programa no es, en el caso de de una EI (alrededor de US $90.000) parece en todo caso Chile, criterio determinante (aunque si un factor) para ser bajo ante los estándares de costos de similares evaluaciones seleccionado para evaluación. de impacto auspiciadas por organismos internacionales; 13 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO EI realizadas por el Banco Mundial, por ejemplo, cuestan ocasionales (como sucede, por ejemplo, con evaluaciones típicamente entre US $200.000 y US $900.00023 sectoriales auspiciadas por organismos internacionales), que pueden ser más experimentales o novedosas; pero que no tienen la regularidad industrial que interesa a la DIPRES Análisis y Conclusiones para que el PE sirva a sus objetivos. De todas maneras, el PE Esta sección de Análisis y Conclusiones resume y analiza las de la DIPRES no excluye sino que es compatible con otras características particulares del PE de la DIPRES y sinteti- evaluaciones sectoriales y, de hecho, se apoya en ellas cada za sus principales fortalezas y debilidades, tanto respecto de vez que existen. las etapas avanzadas de desarrollo del Programa cuanto con El Programa opera mediante la comisión de evaluaciones relación a los desafíos perceptibles en el futuro próximo. externas, realizadas por agentes independientes al programa La Sección concluye con una síntesis de las principales y a la entidad responsable del mismo. Esta externalidad conclusiones. es prenda de objetividad y transparencia y es el pilar de Las características del PE. El PE de la DIPRES tiene la credibilidad del PE. En esto el PE de la DIPRES se dis- elementos constitutivos que lo distinguen de otros progra- tingue de programas de auto-evaluación o de evaluaciones mas o sistemas de evaluación que se desarrollan tanto en efectuadas por otras agencias del Gobierno. Por otro lado, Chile como en el exterior. la comisión de evaluaciones externas hace visibles los El Programa es manejado por la DIPRES, como parte costos del PE y crea desafíos especiales en materia de del proceso de análisis para la formulación presupuestaria interés, asimilación y apropiación por parte del Servicio o con el objeto de contribuir a la discusión y toma de decisio- del Ministerio respectivo. nes dentro del Ejecutivo y también en el Congreso. El uso El PE busca producir información útil sobre progra- de las evaluaciones para decisiones presupuestarias es una mas o actividades de gasto que pueden ser mejorados o característica especial del PE, que le da mayor poder a eliminados valiéndose de la palanca de las decisiones los resultados de las evaluaciones y a los Compromisos presupuestarias. Por esta razón, el PE no sigue un orden de Institucionales. No todos los países con sistemas de evalua- prioridades rígido ni una regla fija para aplicar los criterios ción similares a Chile logran una conexión tan ajustada y descritos anteriormente para seleccionar los programas a oportuna entre los resultados de la evaluación y el proceso evaluar. Múltiples agencias y actores indican o recomiendan presupuestario, tanto para la preparación del presupuesto programas a ser evaluados y, al final de cuentas, la DIPRES cuanto para su discusión y aprobación en el Congreso. flexibiliza el concepto de programa para atender las necesi- El manejo del PE es altamente centralizado, disciplinado dades que el Ejecutivo o el Legislativo tienen de indicadores y rutinario y los términos de referencia de las evaluaciones de resultados de un programa de gasto (o aún de una unidad ofrecen poca discreción a los evaluadores en cuanto al en- de la Administración Pública o de una actividad o conjunto foque de la evaluación. Estas características están diseñadas de actividades de ésta). En este sentido, la DIPRES sigue un para asegurar estándares de cantidad, de calidad, de costos y esquema pragmático con tal de producir información útil, de tiempos de cumplimiento de las evaluaciones. DIPRES contribuir al fortalecimiento de los programas y estimular ve estos estándares como esenciales para relacionar el PE con la producción de información que siente las bases para que el ciclo presupuestario y para asegurar la sostenibilidad de la Chile pueda fortalecer progresivamente los estándares de evaluación y su acumulación de una cobertura de gasto cada desempeño del sector público. vez mayor. La armonización de los tiempos de la evalua- La calidad de las evaluaciones depende de: i) la calidad ción con los tiempos del presupuesto también es vista como de diseño del programa, ii) la información disponible (EPG crucial para la eficacia y la eficiencia del PE. Los métodos y EI) o susceptible de ser producida (EI), iii) la independen- estandarizados y los tiempos de entrega monitoreados cuida- cia técnica de los evaluadores, iv) la dedicación o el tiempo dosamente le permiten a la DIPRES reunir oportunamente de esfuerzo efectivo de los evaluadores y v) los conocimientos el número proyectado de informes de evaluación año tras técnicos especializados, tanto en metodología de evaluación año, al que también se compromete públicamente. En ello, cuanto en el tema o sector del programa, de los evaluadores el PE de la DIPRES se distingue de sistemas de evaluaciones externos. Los factores i) y ii) sólo pueden ser parcialmen- 14 A. RESUMEN EJECUTIVO te controlados por la DIPRES mediante la selección de los Las EPG siguen metodologías sencillas, con énfasis en la programas; los factores iii), iv) y v) quedan en gran medida producción expedita de resultados; los recursos son limi- bajo el control de la DIPRES a través de sus procedimientos tados y los informes se producen rápidamente. Una EPG y de la selección y evaluación de los evaluadores.24 Si bien puede llevar a la conclusión de que no existe suficiente las evaluaciones necesitan del concurso de las agencias información para una evaluación propiamente dicha y, responsables de los programas, principalmente para el por ende, llamar a la producción de esa información. suministro de información, en términos generales la cali- Adicionalmente, una EPG puede llevar a la conclusión dad de las EPG y las EI es relativamente independiente de de que conviene realizar una evaluación de impacto o de factores controlados por los ministerios o los Servicios. Esta profundidad. De manera que la EPG produce, de todas característica asegura independencia y fomenta objetividad maneras, una información útil. pero crea desafíos de interés y apropiación por parte de los El hecho de que algunas de las EI no cumplan con los Servicios y los Ministerios, especialmente en los niveles altos cánones internacionales generalmente aceptados no se debe de unos y otros. a falencias en los Términos Técnicos de Referencia prepara- La realización del valor agregado por el proceso de eva- dos por la DIPRES, sino a limitaciones estructurales o de luación, mediante la utilización de las recomendaciones de la diseño de los programas evaluados o a la falta de informa- evaluación, es fuertemente fomentada por los procedimien- ción indispensable para una completa evaluación. tos seguidos por la DIPRES para que las recomendaciones Los resultados de evaluación alimentan sistemáticamen- de las evaluaciones informen las decisiones del Ejecutivo en te las decisiones presupuestarias y los Compromisos para el materia de mejoramiento de la gestión. mejoramiento de la gestión de los programas (los llamados La debilidad observada en algunas de las EPG no se Compromisos Institucionales). Estos últimos son acordados debe al grado de especificidad o a la calidad técnica de las entre la DIPRES y las instituciones y a ellos da seguimiento recomendaciones en sí mismo consideradas sino a limita- el Ejecutivo y toma las medidas a que hubiere lugar. Cuando ciones en la calidad de la información en que se basan los se hace necesario, porque los Compromisos Institucionales reportes de evaluación. Cuando se buscaron las causas de involucran reformas o decisiones legislativas, se someten las esta debilidad se halló que ellas no se encuentran en la correspondientes propuestas a consideración del Congreso. metodología prescrita por la DIPRES (la cual sí está gene- Las Recomendaciones de la Evaluación y los Compromisos ralmente conforme con las mejores prácticas internacio- Institucionales incluyen, típicamente, el mejoramiento de nales) sino en la naturaleza del programa evaluado, en las los marcos lógicos, de los indicadores de desempeño y del debilidades de diseño del programa o en la imposibilidad sistema de planificación y control de los programas. de obtener la información indispensable para una evalua- Las recomendaciones de las evaluaciones y los Compro- ción completa. En algunos casos el Congreso o el Comité misos Institucionales, contribuyen a orientar el presupuesto Inter-ministerial solicitan la evaluación de una unidad a la producción de resultados. En palabras de los propios administrativa o de un consejo asesor, los cuales no se gestores del PE, “Necesario es tener presente que todos los ajustan, por razón de su propia naturaleza, al marco de sistemas de presupuesto tienen tres objetivos: mantener la un programa; ni tampoco permiten que se les aplique disciplina fiscal; eficiencia en la asignación de los recursos estrictamente la metodología de evaluación de programas. distribuyéndolos de acuerdo con las prioridades de gobier- En otros casos, el programa no contó en su origen con no y la efectividad de los programas; y eficiencia operacio- un marco lógico sino que éste debió ser construido, ex nal promoviendo la eficiencia en la entrega de los servicios. post como parte del proceso de evaluación. Y ocurre que, Una gestión presupuestaria basada en resultados es necesaria la DIPRES ha optado deliberadamente por privilegiar la para el logro de los tres objetivos.”25 Como lo muestra la producción de información y recomendaciones útiles para experiencia internacional, el camino hacia un presupuesto las decisiones presupuestarias y para el mejoramiento del por resultados es de aproximaciones sucesivas, hasta el punto programa o de la unidad gubernamental evaluados, por de que ningún país del mundo ha llegado completamente al encima de las dificultades metodológicas y de información soñado presupuesto por resultados. Dada la fase actual de que algunas evaluaciones en particular puedan enfrentar. desarrollo en el diseño de programas y en la identificación y 15 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO mantenimiento de indicadores, el PE de la DIPRES utiliza de sus conclusiones26; ii) las debilidades en la apropiación todavía muchísimos indicadores de proceso; pero aumenta del PE por parte de los altos mandos de Servicios y Minis- poco a poco los indicadores de resultados y apunta a llegar terios, y iii) la todavía débil conexión lógica (o de diseño algún día hasta los indicadores de propósito u objetivo final del programa) y empírica (indicadores) con las definicio- del PE (el mejoramiento de la calidad del gasto). nes estratégicas de los Servicios, las políticas sectoriales y Dentro del marco del SCG, el PE está ligado especial- las prioridades gubernamentales. Los siguientes párrafos mente con las Definiciones Estratégicas, los Indicadores sintetizan las conclusiones del Informe con respecto a las de Desempeño, el Programa de Mejoramiento de Gestión fortalezas y a las debilidades del PE. y el Balance de Gestión Integral. Los vínculos entre estos Los objetivos y sus indicadores. En primer lugar, las EPG instrumentos del SCG se han venido reforzando año tras y las EI tienen un bien definido conjunto de objetivos, año. Estos vínculos son especialmente importantes en las lo que le ha permitido definir y refinar gradualmente sus siguientes fases de desarrollo del PE, las cuales requerirán indicadores de resultado. No obstante sus avances, el PE no de indicadores de resultados cada vez mejores y de conexio- consigue aún demostrar la manera específica o el grado en nes cada vez más explícitas entre el programa evaluado y las el cual contribuye a la elevación de la eficacia y eficiencia definiciones y los productos estratégicos de las entidades y del gasto público. Esta evaluación reconoce que la conexión las políticas y prioridades gubernamentales. entre los resultados del Programa y su fin u objetivo final El seguimiento del cumplimiento de los Compromisos es técnicamente difícil; pero es un desafío que acecha la Institucionales sucede dentro de un conjunto de actividades justificación última del PE y, como tal, merece dedicación integradas, rutinarias y controladas centralmente (durante de esfuerzos. la formulación del presupuesto y la elaboración del Balance La eficacia y la capacidad de gestión. En segundo lugar, de Gestión Integral (BGI) en junio y diciembre de cada año el PE ha auto-desarrollado capacidad de gestión en un correspondientemente) para proveer información sobre el área relativamente inédita. Los gestores del Programa han desempeño de los programas y por lo consiguiente, ayudar desarrollado, para sus dos componentes, procedimien- a mejorar su diseño y resultados. Como el cumplimiento de tos altamente regulados que promueven fuertemente la los Compromisos es evaluado y reportado sistemáticamente, objetividad y el fundamento de las evaluaciones.27 Los el PE propicia el uso de la evaluación por parte de las insti- dos instrumentos, aplican metodologías y observan pro- tuciones responsables del programa y prolonga el monitoreo cedimientos estandarizados, con requerimientos precisos con posterioridad al reporte mismo de evaluación. En esto de información a las agencias responsables, con procesos también se distingue el PE de la DIPRES de otros programas competitivos de selección de evaluadores y con acompa- de evaluación: las recomendaciones inspiran Compromisos ñamiento técnico y controles de calidad que respaldan la cuyo cumplimiento es vigilado y asegurado por la agencia credibilidad alcanzada por el PE. Personal altamente que tiene la responsabilidad (y el poder) de proponer al especializado, formado en la misma División de Control de Congreso los recursos que se asignan a cada programa. Gestión de la DIPRES, aplica los procedimientos, brinda El carácter público de la información facilita la vigilancia asistencia técnica, acuerda y monitorea los Compromisos de ciudadana relacionada con los resultados de los programas. mejoramiento de programas con las agencias responsables y Las fortalezas y las debilidades del PE. Conviene pre- comunica los resultados de las evaluaciones a la Dirección sentar las fortalezas y las debilidades de manera simultánea y a los analistas sectoriales de la DIPRES para que ellos por cuanto ellas están ligadas dialécticamente: la fuente de los hagan valer en las decisiones presupuestarias. La las fortalezas crea, al mismo tiempo, vulnerabilidades en el centralización del PE en la DIPRES ha permitido mon- Programa. Las conclusiones sientan las bases para que las tar un programa simple, expedito, económico y confiable. recomendaciones puedan consolidar las fortalezas del PE Estas son fortalezas únicas, que constituyen un caso de mientras se corrigen o controlan las principales debilidades “buena práctica” de sistema de monitoreo y evaluación del identificadas en el PE: i) las debilidades de los programas gobierno y un precedente en el plano mundial y deben ser evaluados y de la información disponible, lo que afecta la preservadas aún a costa de las debilidades de las EPG y las calidad intrínseca de las evaluaciones y los fundamentos EI que se vienen examinando. 16 A. RESUMEN EJECUTIVO La calidad y el valor agregado de las evaluaciones. Con La conexión de la evaluación con los productos estratégi- respecto a la calidad, las evaluaciones se hacen competente- cos, las políticas sectoriales y con prioridades gubernamentales. mente y proporcionan valor agregado, tanto por su capacidad Una evaluación puede demostrar hasta qué punto los de enmarcar los programas dentro una lógica de objetivos, objetivos del programa del gobierno son consistentes con medios y resultados (gracias al Marco Lógico), cuanto por las prioridades estratégicas –conocido como lo adecuado del sus análisis y recomendaciones específicas, particularmente programa. Una evaluación también puede demostrar hasta las recomendaciones para hacer más efectiva o más eficiente qué punto el programa alcanza las prioridades de política la gestión. del gobierno – por ejemplo, la eficacia del programa. Sólo No obstante la afirmación general del párrafo anterior, haciendo estas preguntas se puede asegurar la coherencia la calidad de las evaluaciones sufre de las deficiencias del entre el programa y el sector o la contribución del programa diseño de programas y de información. Sin embargo, el a las metas superiores de política (objetivos estratégicos). En Programa agrega valor aun en aquellos casos en los cuales el caso del PE, esa conexión se da a través de instrumen- la evaluación concluye identificando estas carencias. A tos (EPG, por ejemplo), mediante los cuales la DIPRES partir de allí la DIPRES prepara y monitorea Compromisos demanda de los Servicios y los Ministerios una mejor Institucionales para mejorar el programa evaluado e informa definición de sus estrategias28. Las evaluaciones, sin em- de estas necesidades para las decisiones presupuestarias que bargo, siguen siendo débiles en lo que respecta a los vín- se van a tomar sobre ese programa. Este objetivo pragmático culos causales que ligan las acciones del programa con los puede ser interpretado como que ha llevado a subordinar objetivos estratégicos y, por esta vía, con las prioridades el concepto puro o normativo de evaluación a la urgencia programáticas del Gobierno. Si se subsanara esta debili- de elevar la calidad del gasto. Según se dijo anteriormente, dad, el PE reforzaría la cohesión del gasto público con las la DIPRES ha optado deliberadamente por la aplicación prioridades gubernamentales. flexible de estándares de evaluación a programas y situacio- Los costos y la eficiencia del PE. Son innegables los nes que no satisfacen todos los requisitos teóricos de una buenos resultados del PE en términos de su efectividad. evaluación de marco lógico o de una evaluación de im- También existen bases para concluir que sus costos son muy pacto. Y lo ha hecho a conciencia de que la evaluación no bajos frente a sus resultados. Las comparaciones preliminares constituye un fin en sí mismo sino que está al servicio de con los costos promedio de evaluaciones con sistemas de regir el gasto por sus resultados. Cuando ha sido necesa- evaluación en Australia o Canadá indican que el Progra- rio ofrecer información sobre el probable impacto de un ma chileno opera a un costo total sustancialmente más programa que no cuenta con requerimientos técnicos bajo. Además, las investigaciones hechas para este Informe, ideales, tales como la línea de base o el grupo de control, la sobre los resultados y los usos de evaluaciones individuales, DIPRES ha flexibilizado los estándares de evaluación de im- permiten concluir que el PE contribuye a mejorar la calidad pacto con el fin de informar las decisiones presupuestarias; del gasto público, aunque no sea posible cuantificar en qué cuando el gobierno ha necesitado de información sobre la medida esta mejoría pudiera demostrar que un incremento calidad de gasto de los programas, la DIPRES ha aplicado en el tamaño del PE de Chile sea costo efectivo. el esquema de marco lógico para ayudar a responder los El indicador para el que en el momento de la revisión asuntos relacionados con el diseño y la gestión del progra- había una estimación preliminar es de cobertura y consis- ma con el fin de que la evaluación resulte relevante. En uno te en la proporción que el gasto de programas evaluados y otro caso la DIPRES ha provisto la mejor evaluación representa respecto del gasto total evaluable. Este indica- posible, ha mejorado el diseño de los programas y ha dor resulta de particular importancia para el PE. Si bien es comprometido a las agencias responsables a cumplir con cierto que el valor de la asignación presupuestaria no ha requisitos que mejoren el concepto, la ejecución o las sido en Chile el único criterio de selección de programas posibilidades de evaluación futura de esos mismos progra- (y en algunos casos ni siquiera el criterio más importante), la mas. La pureza de la evaluación ha quedado subordinada relación que existe en Chile entre evaluación y presupuesto a la urgente necesidad de información y al mejoramiento exige que se tenga un indicador, sólidamente documentado, gradual de los programas de gobierno. de la magnitud del presupuesto susceptible de evaluación, 17 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO de la proporción que representa el presupuesto evaluado DIPRES, consistente en afianzar los fuertes víncu- con respecto al universo evaluable y de la relación entre los actuales entre el PE y las decisiones presupuesta- los costos del programa y la proporción del presupuesto rias y en vincular gradualmente el PE con las metas evaluado. Consecuente con ello, la DCG produjo en de las políticas del gobierno. El Informe confía en diciembre del 2004 la metodología para el cálculo y la que ese camino ayudará tanto al mejor diseño de los estimación inicial de la cobertura del PE bajo el Indica- programas objeto de evaluación y, por ende, a la dor “Porcentaje de Presupuesto Evaluado en Relación al calidad de las evaluaciones mismas, cuanto a una Presupuesto Evaluable”29. mayor apropiación del PE por parte de los secto- En síntesis: res responsables de la planeación de las políticas, especialmente de los Ministerios Sectoriales. Por • Este Informe concluye que Chile cuenta con un Pro- este camino, la evaluación se erigirá en instrumento grama de Evaluación (PE) robusto que ha alcanzado medular de un presupuesto informado no sólo por y continúa alcanzando resultados impresionantes. resultados sino por metas y prioridades de gobierno. El PE proporciona un ciclo continuo de mejora en • El PE de la DIPRES es ya un logro notable. La la evaluación del desempeño de los programas del experiencia de otros países, indica que las prácticas gobierno. Se le aconseja al Gobierno mantener el sistemáticas de evaluación no han sido fáciles de Programa de Evaluación, conservando su propósito implantar y sólo en algunos casos han efectuado principal de control y mejoramiento de la gestión una contribución importante (demostrable) para gubernamental y manteniendo el vínculo íntimo un mejor gobierno. La experiencia de la DIPRES que existe entre el Programa de Evaluación y las de Chile, descrita y analizada en este estudio, indica decisiones presupuestarias. Al mismo tiempo, el In- que sí se ha conseguido establecer, en relativamen- forme concluye que es posible continuar mejorando te corto tiempo cuando se lo compara con países el PE sin amenazar la preservación de los logros alcan- desarrollados de mayor trayectoria histórica en zados hasta ahora mediante las EPG y las EI. El PE evaluación orientada a elevar la calidad del gasto, tiene todavía debilidades que pueden ser superadas, un programa complejo y eficaz y que, según la bien sea para conectar mejor el programa con los percepción de los participantes en el mismo, el objetivos superiores, bien para depurar sus indica- número y la calidad de las evaluaciones y, sobre todo, dores costo-eficiencia resultado, o para mejorar la sus usos prácticos, produce buenos resultados y se calidad de sus productos (EPG y EI) o para refor- asegura que se apliquen. En cuanto demostración zar la apropiación por parte de entidades distintas internacional de desarrollo exitoso, sistemático y a la DIPRES y garantizar aún más la sostenibilidad sostenido, en un mar de muchos fracasos, de expe- del Programa. riencias interrumpidas, o de éxitos sólo parciales, • En segundo lugar, la revisión de este Informe, la comunidad internacional, y especialmente los llega a la conclusión de que las ventajas del mane- países de desarrollo relativo similar, miran con jo centralizado de la DIPRES son mayores que esperanza y esperan aprender de la continuidad y los beneficios que se derivarían del traslado de la la profundización del PE de la DIPRES. responsabilidad de la gestión del PE a otras entida- des o de la división de la gestión entre la DIPRES y otras entidades. En este sentido, valdría la pena Recomendaciones que la DIPRES explorara los mecanismos y los En primer lugar, se recomienda mantener todos los ele- incentivos para una mayor participación de las mentos centrales del Programa, que son los que han contrapartes institucionales o las consultas con los asegurado que la evaluación en Chile funcione, es decir, beneficiarios de los programas. que produce sistemáticamente evaluaciones sobre las que • El Informe llega a la conclusión de que es conve- se actúa y –aparentemente– sobre una altísima relación be- niente seguir el camino estratégico ya trazado por la neficio-costo, debido a elementos particulares del diseño del 18 A. RESUMEN EJECUTIVO programa y condiciones externas favorables. A continuación • Las condiciones políticas particulares de Chile que se identifican esos elementos: favorecen la aplicación de expertos neutrales a los problemas de gestión y de política. • La rutina de producción bien diseñada, de las EPG y EI: Chile ha creado una “fábrica” de evaluaciones, Dados los gigantescos logros alcanzados mediante las que incluye una administración competente, per- EPG y las EI, sería equivocado focalizar la agenda pendiente sonal comprometido, líderes visionarios, procesos para el desarrollo del PE en las debilidades de EPG o de EI eficientes y transparentes y tecnología actualizada. en cuantos instrumentos de evaluación propiamente dichos. En opinión de esta evaluación, los tiempos para la Sin embargo, las siguientes recomendaciones contribuirían preparación de las EPG, si bien breves, deben man- a subsanar las debilidades del Programa identificadas más tenerse. Sólo así se garantizará el servicio de las EPG arriba en la Sección de Conclusiones. a la preparación y aprobación del presupuesto anual. Avanzar en la construcción de indicadores que liguen los Por lo demás, no parecería que el mejoramiento de la resultados con los objetivos superiores del Programa. Como se calidad que se recomienda más adelante dependiese anotó, hoy por hoy, la matriz de marco lógico del PE no de una extensión del tiempo de la evaluación. contiene supuestos ni considera factores de riesgo para la • Las EI están diseñadas de una manera lógica. relación entre el propósito y el fin. En el largo plazo sería • El balance y la complementariedad entre EPG y EI muy útil tener un mejor entendimiento de la contribución • El apoyo de la DIPRES en cuanto a la capacitación precisa del programa al objetivo más amplio de mejorar la en los métodos de marco lógico y otros elementos asignación de recursos públicos y de los factores que podrían conceptuales de las evaluaciones durante la prepara- poner esta contribución en riesgo. Desarrollar indicadores ción de éstas. adecuados para esta conexión es necesariamente difícil y • El uso de evaluadores externos para asegurar indepen- tomará tiempo conseguirlo. Empero, esta es un área clave dencia técnica y reforzar la credibilidad del Programa. para el desarrollo del PE en los próximos años y donde la • Un sistema para asegurar que hay resultados (es decir, utilidad del instrumento marco lógico puede aumentarse que los resultados se usan) y que fuerza sistemática- considerablemente. mente la integración de los resultados de evaluación Robustecer la apropiación del PE por parte de los actores en las decisiones de gestión, incluidas las decisiones institucionales. Es necesario desarrollar un compromiso más presupuestarias. genuino y más proactivo de las instituciones y los ministe- rios con el PE. El Congreso suele reaccionar positivamente La recomendación de continuar con los pilares del a las propuestas que hace la DIPRES con base en los re- PE actual se basa en el supuesto de que se mantengan las sultados de las evaluaciones; pero parece hacer un uso muy condiciones externas favorables que han posibilitado los limitado de las evaluaciones. Cabe continuar intensifican- resultados que está produciendo el PE.30 Las principales de do la comunicación de doble vía entre el PE y el personal estas condiciones externas son: sectorial de presupuesto de la DIPRES (jefes y analistas de sector presupuestario); el desafío inmediato de este personal • Fuertes y comprometidos campeones de la evalua- consiste en aportar más sistemáticamente su conocimiento ción –basados en la oficina de presupuesto. sectorial especializado al proceso de evaluación y en utilizar • Una oficina de presupuesto extraordinariamente las conclusiones de las evaluaciones en la preparación y en potente. el seguimiento del presupuesto. Estos funcionarios pueden • Buena gestión financiera, capaz de conciliar los obje- aportar insumos claves al diseño de las evaluaciones y a la tivos de equilibrio fiscal y calidad de resultados. supervisión de los Compromisos Institucionales; de otro • Un alto grado de profesionalismo de los funciona- lado, ellos mismos pueden enriquecer grandemente su tarea rios públicos chilenos, que están empezando a estar si profundizan en el uso de las evaluaciones. imbuidos de elementos de una cultura basada en Para elevar la participación y la apropiación por par- el desempeño. te del nivel de las políticas ministeriales o sectoriales, sin 19 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO perder las ventajas de la centralización del PE, o del grado en la gestión cuando quiera que alguno de los funcionarios de objetividad que se asegura con las evaluaciones exter- responsables se vea en la necesidad de faltar a su trabajo. nas, se recomienda que la DIPRES realice y evalúe pilotos Una posible solución a estas presiones consiste en formar de evaluaciones que involucren al personal de los Servicios “back-ups” o personal capacitado que pueda ser contrata- y, especialmente, de los Ministerios, en un mayor grado do de manera ocasional en los períodos de concentración de participación en las etapas de planeación, ejecución, del trabajo. reporte y diseminación de resultados de la evaluación. Para proteger la calidad intrínseca de las evaluaciones, se Esta participación podría lograrse, por ejemplo, mediante la recomienda que los programas elegibles para una EPG o conformación de un comité conjunto de dirección (steering una EI sean sólo aquellos que corresponden efectivamente committee) o un panel de líderes o asesores de evaluación al concepto de programa y cuentan con un marco lógico para cada evaluación individual. En particular, conven- idóneo antes de que se inicie la evaluación. Hacia allá han dría que los analistas de política del nivel superior de las avanzado y continúan avanzando las exigencias que hace agencias y los ministerios participasen conjuntamente con la DIPRES a los programas elegibles. De no reunirse este los analistas sectoriales de la Dirección de Presupuesto en requisito, la DIPRES podría todavía evaluar el supuesto una EI que pusiera especial énfasis en las relaciones causales programa, con el fin de contribuir a identificar las nece- (la llamada theory-based evaluation). Esta EI focalizada en sidades de estructuración y de información del mismo. las relaciones causales serviría a su vez de insumo para la EI Pero convendría que lo hiciera subrayando explícitamente integral que realizan los evaluadores externos y estimularía la las limitaciones del objeto de evaluación, de manera que participación creativa del aporte del alto nivel técnico de las los usuarios de la evaluación fueran concientes de los instituciones en los puntos que requieren el más alto grado débiles fundamentos de algunas de las conclusiones o de de especialización sectorial. las restricciones para llegar a conclusiones más ambiciosas. Consolidar instrumentos para medición de impacto de los Así se preservaría también la credibilidad en las EPG y las programas. Dos de las medidas más inmediatas que podría EI y se evitaría el uso distorsionado o inadecuado de estos tomar la DIPRES para avanzar en el camino de medición poderosos instrumentos. de los resultados del PE son: i) incluir en las bases de da- Como medida adicional a las acciones que viene adop- tos de marcos lógicos de la DIPRES, datos sobre las líneas tando la DIPRES para mejorar la calidad del diseño y de la de base relacionados con la cobertura y la calidad de los información disponible en los programas a ser evaluados, programas en el momento de la evaluación. De esta manera este Informe recomienda que la DIPRES: a) contrate perió- se tendrán líneas de base confiables para futuras evaluacio- dicamente evaluaciones externas, ex-post, de la calidad de nes; ii) mantener e institucionalizar la práctica de incluir en muestras de sus propias evaluaciones seleccionadas al azar, y la programación de evaluaciones casos piloto de evaluaciones b) mantenga y aún eleve la frecuencia con la que los progra- repetidas de un mismo programa (o de evaluaciones multi- mas individuales son periódicamente reevaluados. anuales) que permitan comparar la variación en efectividad Respecto de la adecuación gradual de las EI a los reque- o eficiencia imputable al PE. rimientos metodológicos más estrictos de este instrumen- Mantener actualizado y utilizar regularmente el indica- to, además de flexibilizar los requisitos de los TTR en la dor de cobertura (eficacia) del PE con relación al presupuesto. propuesta metodológica definitiva cuando quiera que apa- Conviene actualizar la metodología del indicador de rezca que los TTR estándar no son aplicables al programa en cobertura del presupuesto evaluable cada vez que sufra cuestión (principalmente por falta de información en el modificaciones la estructura del presupuesto. Asimismo, momento de iniciación del programa), se recomienda: conviene asegurar que el indicador, estimado inicialmente i) promover e inducir metodologías de evaluación idóneas hacia fines del 2004, se lleva regularmente año por año. para el trabajo que habrá de realizarse con datos limitados; Proteger la capacidad de gestión del PE. La División de ii) incluir, en los términos técnicos de referencia un ma- Control de Gestión, DGC, opera con el mínimo número yor enfoque sobre temas sectoriales específicos, y sobre te- de personal requerido y con cargas de trabajo onerosas y mas que hacen explícita la teoría o la lógica del programa, fechas límites ineludibles. Todo ello siembra vulnerabilidad así como los riesgos del programa, y iii) registrar separada- 20 A. RESUMEN EJECUTIVO mente, para el conocimiento público, las evaluaciones que y se distingue de la acepción común de “servicio” (con minúscula en contaron con la información más indispensable para una el texto). EI, de aquellas que hubieron de realizarse con deficiencias 10. La demanda por presentaciones internacionales del PE de la DIPRES, sea para fines de capacitación, de intercambio de buenas notorias de información. prácticas o de referente internacional, ha estado creciendo en los últimos años. 11. La SEGPRES y el MIDEPLAN pueden también participar Notas en la identificación de programas para la evaluación, en su condición de miembros del Comité Interministerial. Por ejemplo, en el 2003 1. Este Informe emplea indistintamente los términos “efectividad” la SEGPRES propuso 15 programas para incluir en el Protocolo (sin y “eficacia”. criterio explícito de selección más allá de un problema por resolver) 2. Las leyes 19.875 y 19.896; la primera hace permanente a la de los cuales se aceptaron 4. Comisión Mixta de Presupuestos y la segunda enmienda un Decreto 12. La DCG estableció en diciembre del 2004, una metodología anterior de la Gestión Financiera (1.263). Con anterioridad a la Ley para calcular la proporción de presupuesto evaluado bajo el PE. 19875 existía el Comité Especial del Congreso, el cual tenía era Según se plantea más adelante, este indicador es necesario para temporal, se formaba cada año y operaba durante un corto período ayudar a medir la eficacia del Programa. La pauta metodológica de inmediatamente después de la introducción del proyecto de Ley de diciembre del 2004 no se extendió de la identificación de la lista de Presupuestos del gobierno. Desde julio del 2003, este Comité del aquellos programas del gobierno que han sido diseñados y ejecutados Presupuestos ha sido institucionalizado como uno de los comités de acuerdo con el concepto y la estructura de programa y que permanentes del Congreso y por consiguiente opera durante todo podrían, por ende, ser evaluados con todos los requisitos estándares el año. Asimismo, desde las primeras iniciativas de evaluación, con de la evaluación de programas. Cf. “Cobertura del Programa de motivo de la aprobación de la Ley Anual de Presupuestos se firma un Evaluación. Indicador Porcentaje del Presupuesto Evaluado en acuerdo entre el Congreso Nacional y el Ministerio de Hacienda. Este Relación al Presupuesto Evaluable” Diciembre del 2004. acuerdo fue institucionalizado a partir del 2004, con la Ley 19.896 que establece la obligación del Ministerio de Hacienda de llevar a 13. ”Informe Evaluación Proceso” DIPRES, DCG, Encuesta cabo evaluaciones de los programas incluidos en el presupuesto de los realizada anualmente al final de cada proceso de evaluación de Servicios Públicos. La institucionalización de todo el PE fue también programas gubernamentales, que incluye una sección sobre el robustecida con la promulgación del Decreto 1.177 de diciembre del desempeño del panel de evaluadores. 2003 que es el Reglamento del Programa de Evaluación. 14. Incluyeron la organización y la claridad de los informes, la 3. Guzmán, Marcela “Sistema de Control de Gestión y racionalidad del programa, la lógica del programa, el enfoque de la Presupuestos por Resultados. La Experiencia Chilena” Ministerio evaluación, la metodología de la evaluación, la calidad de los hallazgos de Hacienda, Dirección de Presupuestos, División de Control de y la calidad de las conclusiones y recomendaciones. Gestión, octubre de 2003. (Disponible en www.dipres.cl) 15. Con la sola excepción de 1998, cuando se evaluaron 40 4. Extracto del texto del Art. 5º. del Decreto 1.177 de diciembre programas. de 2003 16. Para asegurar que la encuesta fuera anónima, ésta se realizó 5. Este Informe emplea con mayúscula la expresión “Compromisos por vía electrónica en un sitio Web. La tasa de respuesta total fue Institucionales” o “Compromisos” para subrayar que se trata de un de 62%, es decir 84 de 136 (94 de Agencias y 42 de Ministerios) término técnico, propio del Programa de Evaluación de Chile. En encuestados respondieron. el PE, los “Compromisos” corresponden a los acuerdos que para el 17. Minuta DIPRES Efectos Presupuestarios 2002 y 2003. mejoramiento del Programa celebra la DIPRES con el Servicio o agencia respectivo. 18. Cuando se ha mantenido una asignación de recursos es porque existen gastos de arrastre generados en períodos anteriores. 6. Ídem. 19. Ver Anexo I. 7. Los compromisos institucionales se celebran entre DIPRES y la institución responsable del programa evaluado. Son el resultado del 20. El gasto total de los programas evaluados podría no incluir análisis conjunto que ambas entidades (DIPRES e institución) hacen en algunos casos la totalidad de sus costos, por ejemplo algunos de las recomendaciones de los reportes de evaluación y constituyen la costos relacionados con gastos administrativos, no obstante estos son base de seguimiento del desempeño de los programas. marginales respecto del gasto total del programa identificado en las evaluaciones. 8. Estos criterios fueron comprobados, grosso modo, por la práctica de los tres estudios de caso incluidos en el Anexo sobre uso 21. Saber que una EPG costaría, por ejemplo, un 50% más en los de las evaluaciones (ver Anexo I). EE.UU. que en otro país tiene poca o ninguna importancia, puesto 9. Este Informe emplea indistintamente los términos de que el sistema es único para cada país. “Servicios” y de “agencias” para referirse a las unidades de ejecución o 22. En este sentido, se tiene que, en promedio, los países OECD de prestación de servicios dentro de la estructura de la administración asignan 3% del presupuesto total al monitoreo y evaluación del pública del Gobierno. En este respecto, la expresión “Servicio” o programa. Estimación provista por Universalia, firma especializada “Servicios”, con mayúscula, es reservada para las agencias ejecutoras en evaluaciones de gasto y basada en Canadá. 21 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO 23. OED. Monitoring and Evaluation; Some Tools, Methods del SCG desarrollado por la DIPRES. La ECG no es objeto de esta and Approaches, Second Edition, The World Bank, 2004. evaluación. 24. Bajo el supuesto, demostrado en la práctica de la DIPRES, 28. Las EPG y las EI evalúan el vínculo del programa con las de que ya existe suficiente masa crítica de evaluadores en el mercado definiciones o productos estratégicos del Servicio. chileno. 29. “Cobertura del Programa de Evaluación. Indicador Porcentaje 25. Guzmán, Marcela “Sistema de Control de Gestión y Presupuestos del Presupuesto Evaluado en Relación al Presupuesto Evaluable” por Resultados. La Experiencia Chilena” Ministerio de Hacienda, Ministerio de Hacienda, Dirección de Presupuestos, División de Dirección de Presupuestos, División de Control de Gestión, octubre Control de Gestión, Santiago, Diciembre de 2004. de 2003. (Disponible en www.dipres.cl) pp. 6. 30. En el mismo sentido, la posibilidad de replicar el PE de Chile 26. En algunos casos no se concluye sobre algunos aspectos en otros países estará determinado, hasta cierto punto, por la similitud por falta de información, en cambio en otros no se advierte que las de las condiciones que ahí existan. Se espera que la falta de estas conclusiones son con base en información incompleta. condiciones tenga como consecuencia modificaciones importantes en 27. A estos dos componentes habría que agregar la Evaluación el “Modelo Chileno” si éste es aplicado en otros países. Éste habrá de Comprensiva del Gasto, ECG, si se quisiera completar el paquete ser un punto central en los programas de diseminación y capacitación de instrumentos de evaluación propiamente dicha que hacen parte que varios países solicitan hoy de la DIPRES. 22 B. El Programa de Evaluación (PE) en el marco del Desarrollo del Sistema de Control de Gestión y Presupuesto por Resultados (SCG) de la DIPRES E L PROGRAMA DE EVALUACIÓN (PE) es uno En cuanto a las evaluaciones, la DIPRES aplica tres tipos de los seis instrumentos del Sistema de Con- de evaluación: Evaluación de Programas Gubernamentales trol de Gestión y Presupuesto por Resultados (EPG), Evaluación de Impacto (EI), y Evaluación Compren- (SCG) de la DIPRES. A continuación se siva del Gasto (ECG). Los dos primeros tipos de evaluación presentan brevemente los otros cinco instru- son los componentes del Programa de Evaluación (PE) de mentos que hacen parte del SCG y se continúa ensegui- que se ocupa la presente Evaluación de Impacto. da con la presentación de las evaluaciones propiamente dichas. Resulta imperativo hacer una breve presentación del a) Definiciones Estratégicas (DE). Proveen el marco SCG por cuanto el conjunto del Sistema eleva el potencial estratégico particular del programa de Gobierno de cada del PE al poner a éste al servicio de otros poderosos instru- institución. Son definiciones que estimulan la revisión mentos de mejoramiento de la gestión. A su vez, algunos de objetivos, de productos, y de estructura de cada institu- de estos otros instrumentos aportan valiosa información ción y que orientan el conjunto de los otros instrumentos al PE y desarrollan sinergias con éste, o atienden algunos de gestión para que entre todos contribuyan a lograr la de los desafíos que de otra manera tendría el PE en los misión, los objetivos estratégicos y generar los productos próximos años. Y, en todo caso, es indispensable contar con que corresponde a cada institución. Estas DE son elabo- un entendimiento básico de cada uno de los instrumentos radas por cada institución y generalmente proponen del SCG para captar el andamiaje lógico y las restricciones objetivos superiores que no están definidas como metas del conjunto del Sistema. En otras palabras, la DIPRES ha cuantitativas. Su carácter general hace de estas DE desarrollado hasta ahora un paquete de seis instrumentos una herramienta idónea para vincular gradualmente los especializados y complementarios entre sí, hasta el punto marcos lógicos de los programas con las DE de la institu- de que no se puede captar todo el valor agregado de los ción y, finalmente, con las prioridades gubernamentales. instrumentos de evaluación si no se los lee como parte de, o Las DE se utilizan principalmente para para la prepara- al servicio de, o reforzados por los demás instrumentos que ción del presupuesto2, y se actualizan y perfeccionan a constituyen ese paquete complejo que es el SCG. través del Sistema de Planificación y Control de Gestión El SCG incluye los siguientes instrumentos comple- de los Programas de Mejoramiento de Gestión (PMG) mentarios al PE: i. Las Definiciones Estratégicas (DE); ii. El descritos más adelante. La DIPRES mejora la definición, Programa de Mejoramiento de Gestión (PMG); iii. Los In- es decir apoya con la nomenclatura, conceptualización dicadores de Desempeño; iv. El Balance de Gestión Integral y metodología para identificar objetivos y productos y (BGI); y v. El Fondo Concursable. Tomado en su conjunto, los vínculos entre unos y otros; pero no interviene en la el SCG busca orientar la gestión gubernamental hacia los definición de política. Todo este proceso se realiza en resultados y elevar la efectividad1 y la eficiencia del gasto. línea para agilizar el procedimiento. 23 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Los productos estratégicos son parte de las DE y ción estratégica en los ministerios sectoriales e indicado- tienen un vínculo claro con éstas. Son un conjun- res de desempeño y metas en el proceso presupuestario. to de bienes o servicios, y su identificación depen- El cumplimiento del PMG incluye un bono o remune- de de cada institución. El vínculo de un programa ración adicional para funcionarios del Gobierno Central con el producto estratégico es en algunas ocasiones basado en el desempeño organizacional de la agencia. muy claro, porque el producto corresponde a un Tiene como objetivo mejorar los procesos de gestión con programa; pero en otras es sólo parte de un producto base en un marco general preparado por el Ministerio estratégico más amplio. de Hacienda que contiene áreas, sistemas y etapas. Los b) Programa de Mejoramiento de Gestión (PMG). Este organismos acuerdan con el Comité Interministerial6 programa salió a la luz por primera vez en 1998, con la etapa de cada sistema a alcanzar durante el siguiente la implementación de la ley No. 19.5533; el programa año, y contra las cuales se medirá el desempeño. se originó en un acuerdo con las asociaciones de fun- A partir de su aplicación en el 2001 la remuneración cionarios del sector público celebrado en 1997. Durante asociada al incentivo institucional se desvinculó del los primeros años del PMG, éste operó sobre la base de cumplimiento de metas definidas para un conjunto comprometer metas para indicadores de desempeño; sin de indicadores y se vinculó al cumplimiento de objetivos embargo, las instituciones no estaban preparadas para de gestión, comunes a todas las instituciones, definidos medir estrictamente su desempeño institucional con en las etapas de desarrollo de los sistemas de gestión. indicadores del ámbito de resultados sino más bien Para alcanzar las etapas de desarrollo de cada sistema, comprometieron indicadores de procesos con metas cada institución hace un programa de implementación que no significaban dificultades para su cumplimien- para cumplir con sus requisitos técnicos. Desde en- to. Quedaban áreas de gestión débiles, que producían tonces en algunos sistemas se han agregado etapas (en indicadores de mala calidad, muy difíciles de monitorear principio sólo eran IV). “Los principios que orientan las o controlar. “Un importante porcentaje de los indicado- modificaciones introducidas al PMG en el 2001 son los res se refería a actividades rutinarias de las instituciones, siguientes: Pertinente, Simple y Comprensible, Exigente centrados en procesos y con metas poco exigentes… y Comparable, Participativo, Flexible y Verificable“7. provocando que desiguales niveles de esfuerzo obtuvie- Las etapas a cumplir de cada sistema son cumulativas, sen igual retribución, situación no deseable para efectos en el sentido de que cada vez agregan nuevos requisitos de un incentivo de carácter monetario.”4 Por ello, casi técnicos de fortalecimiento de la capacidad de gestión, todas las instituciones recibieron el beneficio monetario. sin que sea dado a las instituciones retroceder a una A partir del 2000 se reformó el marco legal del PMG etapa inferior; sólo pueden avanzar hacia un objetivo con el fin de establecer los procedimientos comunes a final, como en un sistema de certificación. Con todo, seguir y para identificar las áreas de mejoramiento de el PMG ofrece cierta flexibilidad puesto que admite la gestión que darían lugar al incentivo ofrecido por el excepciones en los casos en que un cierto sistema y/o programa. Así, se incorporaron al PMG áreas de ges- requisito no sea aplicable exactamente a una institución. tión, a saber: Recursos Humanos, Calidad de Atención Uno de los sistemas del PMG, el Sistema de Planifica- de Usuarios, Planificación y Control de Gestión; Ges- ción y Control de Gestión, define, en la primera etapa, tión Territorial Integrada5, Administración Financiera y el desarrollo de las Definiciones Estratégicas, DE, y, Enfoque de Género. Respecto de ellas existían ya instruc- en su segunda etapa, la identificación de los centros de ciones presidenciales, guías metodológicas y leyes por lo responsabilidad institucional respecto de cada uno de los que no eran nuevas para el sector público. En el interior productos estratégicos. La DIPRES, por ejemplo, tiene de las áreas se definieron once sistemas. El sistema de como producto estratégico el programa de evaluación. Planificación y Control de Gestión del PMG también La segunda etapa de este sistema contempla la definición surgió de la experiencia de un plan de pilotos efectuado de un sistema de información gerencial y los indicado- entre 1993 y 1996 para modernizar la gestión en cinco res de desempeño asociados a cada producto estratégico organismos, que incluían la formulación de la planifica- incluido en las DE. De esta forma han reforzado las DE 24 B . E L P R O G R A M A D E E VA L U A C I Ó N ( P E ) E N E L M A R C O D E L D E S A R R O L L O D E L S I S T E M A D E C O N T R O L D E G E S T I Ó N Y P R E S U P U E S T O P O R R E S U LTA D O S ( S C G ) D E L A D I P R E S y al mismo tiempo las han hecho más realistas. Por este de nuevos indicadores y mejores indicadores. medio el SCG obliga a las instituciones a articular un Los indicadores de desempeño se han desarrollado con sistema de información asociado a cada uno de los cen- base en las definiciones de la OCDE. El gobierno está tros de responsabilidad y se logra que cada institución interesado en desarrollar gradualmente indicadores de cuente con indicadores de monitoreo más detallados que resultado; pero ésta no es tarea fácil y todavía la mayo- se pueden incluir en el BGI. ría de indicadores siguen siendo indicadores de proce- El Comité Interministerial del PMG acuerda los pro- so o de producto. Las agencias que están en la etapa VI gramas de mejoramiento de gestión anuales y evalúa el del sistema de Planificación y Control de Gestión del cumplimiento de las etapas comprometidas. Antes de la PMG deben presentar obligatoriamente a DIPRES un formulación del PMG de cada año la DIPRES trabaja informe con el grado de cumplimiento de los indicadores con una red de expertos del sector público que fue cons- de desempeño presentados en la formulación presupues- tituida en el 2000 y que tiene a su cargo cada uno de los taria del año anterior. sistemas. Esta red trabaja durante el año con las insti- Se requiere que los indicadores de desempeño cumplan tuciones. Asimismo, la DIPRES provee durante el año con algunos requisitos, entre los cuales están: pertinen- asistencia técnica y existen procesos de pre-validación cia, independencia de factores externos a la gestión, para apoyar a los Servicios para la etapa de validación del comparabilidad, información a costos razonables, confiables, simples y comprehensivos, y con información cumplimiento de los Compromisos. de carácter público. El PMG es herramienta poderosísima, no sólo para el Se busca que las metas captadas por los indicadores estén fortalecimiento de la capacidad de gestión sino para vinculados con los recursos, hasta el punto de que la rela- conseguir que los Servicios sean candidatos para lograr ción entre recursos e indicadores puede llegar a cambiar la flexibilidad presupuestaria indispensable para elevar la la meta. Sin embargo, debe advertirse que las relaciones eficiencia en la asignación de los recursos. En el 2003 entre metas y recursos no son lineales ni resultan de una se creó el incentivo colectivo descentralizado en el servi- fórmula matemática. De hecho, la información histórica cio por áreas de trabajo y se sugirió vincularlo al PMG. acumulada es también tenida en cuenta para enriquecer En el Protocolo del 2004 se acordó vincular el incen- el análisis de los indicadores. tivo institucional PMG con una mayor flexibilidad Los indicadores se diferencian según el uso que se espera presupuestaria. Por ejemplo, se decidió que todas las hacer de ellos. Son mediciones con objetivos de gestión o instituciones que hubiesen cumplido hasta la etapa IV monitoreo cuando están destinados al uso interno de las y comprometido hasta la VI, en los sistemas de planifi- instituciones; y se enfocan en productos claves y orienta- cación y control de gestión, y administración financiera dos a resultados, intermedios o finales, cuando están des- y algunos criterios adicionales, recibirían autorización tinados al uso externo con fines de rendición de cuentas para hacer uso de los saldos finales de caja y para tener y/o para utilización en el proceso presupuestario. flexibilidad dentro del subtítulo de inversión (dos enti- El número creciente de instituciones que participan en la dades ya lo obtuvieron). El próximo paso que la DIPRES elaboración de indicadores ha permitido disponer de un está considerando es un sistema de certificación externo conjunto significativo de metas de desempeño. La infor- al sector público, tipo ISO. mación del cumplimiento de dichas metas ha sido uti- c) Indicadores de Desempeño. Fue el primer instrumen- lizada en el proceso presupuestario, en particular en las to que se desarrolló. Se inició de manera voluntaria Evaluaciones Internas de la DIPRES, cuando se analiza en 19948, se suspendió en 1999 y 2000 y se reinició dicha información en conjunto con otros antecedentes en 2001 reafirmando su objetivo original. Los Indi- disponibles.9 De esta forma los indicadores contribuyen cadores de Desempeño son utilizados por los otros a los objetivos de eficiencia en la asignación y eficiencia instrumentos del Sistema, incluida la Evaluación, operacional que se definen para el sistema presupuesta- con la cual tienen grandes sinergias ya que a su vez la rio.10 Además, a los indicadores de desempeño compro- Evaluación contribuye frecuentemente con la propuesta metidos se les da seguimiento en el Balance de Gestión 25 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Integral (BGI). La base de la información está incluida de facilitar la construcción de la pirámide coherente de en el Balance pero no concluye ahí; la DIPRES hace un marcos lógicos que ordene el accionar del gobierno des- análisis mucho más complejo incluido en otro formato de las grandes prioridades gubernamentales y sectoriales que agrega información para la discusión interna de for- hasta los programas y los proyectos. mulación del Presupuesto y que expande la información Una sinergia adicional entre el PE y los indicadores de del BGI. desempeño se deriva del hecho de que los indicadores El informe consolidado completo se envía al Congreso que se envían a la institución y al Congreso incluyen y al jefe del Servicio. Como ya se mencionó, los Indi- indicadores adicionales que la DIPRES toma de las cadores de Desempeño están muy vinculados con la evaluaciones (EPG y EI) y del Sistema de Planificación y evaluación de programas; el proceso analítico propio de Control de Gestión del PMG. la evaluación va dejando aprendizaje en la institución y La DIPRES trabaja actualmente en el desarrollo de la esto nutre los indicadores, no tanto en número como en base de datos de la Matriz de Marcos Lógicos, MML, su calidad. con el fin de mantenerlos actualizados hasta el punto de En este momento se cuenta con 12 indicadores en que puedan ser utilizados en decisiones de coyuntura. promedio por institución; 1.684 indicadores en total Las decisiones de coyuntura, al igual que las de reforma en el 2004. Existen aproximadamente 3 indicadores de políticas, podrían entonces consultar los indicadores por producto relevante (economía, eficiencia, eficacia). de desempeño incorporados en las MML. Esa base de Se distingue entre aquellos indicadores que se conside- datos estaría disponible para uso intensivo por quienes ran en el presupuesto y el resto que son propiamente tengan interés, durante todo el año, y reforzaría el cam- de gestión. bio cultural hacia un uso generalizado de la evaluación. En el 2004, 31% de los indicadores fueron de proce- d) Balance de Gestión Integral. Los balances fueron so, 46% de producto (output indicators en inglés) y el creados en 1997 pero se les dió un nuevo impulso en el resto de resultados (outcome indicators), la mayoría de año 2000. Son concebidos como mecanismo de transpa- ellos de resultados intermedios. Aunque es muy difícil rencia y como base de organización institucional. Son in- producir y muy costoso monitorear los indicadores de re- formes de gestión que contienen en general el desempeño sultados finales, la DIPRES los considera muy importan- de la institución, sus leyes, sus Definiciones Estratégi- tes y está enfocándose a incorporar progresivamente un cas, así como los resultados de su gestión durante el año mayor porcentaje de indicadores finales. Como los indi- anterior: la cuenta pública de los resultados de los indi- cadores de resultado apuntan gradualmente a conectar cadores de desempeño, los Compromisos Institucionales las instituciones con sus objetivos superiores, la DIPRES de los programas evaluados, los avances en procesos de reunirá gradualmente la información necesaria para gestión, los resultados de las evaluaciones, los proyectos identificar los objetivos superiores de cada institución de ley, los proyectos de inversión y las transferencias. y para ligarlos, hacia abajo, con los programa evalua- DIPRES utiliza el BGI como base para las evaluaciones dos y sus indicadores y, hacia arriba, con las prioridades internas de presupuesto. de gobierno. Ello sentará las bases para la construcción e) Fondo Concursable. Se creó en el 2001 y se utili- gradual de la jerarquía de marcos lógicos de programas za como Fondo Central de Recursos para Prioridades y políticas de gobierno que muchos países han buscado Gubernamentales al cual pueden acceder los ministerios pero ninguno ha producido hasta ahora. a través de propuestas de nuevos programas o extensio- Asimismo, DIPRES está mejorando su base de datos para nes-reformulaciones de programas existentes. El Fondo analizar más fácilmente las sinergias entre Ministerio y es un instrumento de revisión ex-ante para reducir la Servicio. Esta relación es central a la orientación actual inercia presupuestal mediante la distribución de nue- de la administración pública chilena la cual, busca, entre vos recursos; pero a la vez introduce incentivos en los otros objetivos, restablecer la capacidad de coordinación organismos para utilizar formalmente la matriz de marco y orientación que de los Servicios hacen los ministerios. lógico con los indicadores de desempeño y las metas que El fortalecimiento de los ministerios sectoriales habrá les son correspondientes. La DIPRES determina anual- 26 B . E L P R O G R A M A D E E VA L U A C I Ó N ( P E ) E N E L M A R C O D E L D E S A R R O L L O D E L S I S T E M A D E C O N T R O L D E G E S T I Ó N Y P R E S U P U E S T O P O R R E S U LTA D O S ( S C G ) D E L A D I P R E S mente si existen o no recursos disponibles para alimen- por Resultados de Chile, específicamente a las EPG y a tar el Fondo y abrir el concurso para el presupuesto del las EI. siguiente año. Por ejemplo, en el año 2004 no hubo Fon- Origen y trayectoria del PE. El Gobierno lanzó original- do Concursable debido a restricciones fiscales. mente el Programa de Evaluación después de un acuerdo Las propuestas de programas o de extensiones de éstos político con el Congreso en 1996. Como tal, su creación se someten en un formato estándar11 y “constan en su responde en parte a la demanda del Congreso de infor- mayoría de los elementos utilizados en la metodología mación de calidad que permita al Legislativo tener más de marco lógico que utiliza la Evaluación de Programas influencia en las decisiones del presupuesto.15 Las eva- Gubernamentales (EPG) descrita más adelante, y son la luaciones se basaron en fuentes secundarias y usaron la base para el análisis y selección de iniciativas para finan- metodología del Marco Lógico (EPG). “A partir del año ciamiento.”12 Además, las propuestas, incluyen los ob- 2001 la DIPRES incorporó la Evaluación de Impacto jetivos y los componentes principales de los programas, (EI) en la cual se utiliza una metodología más comple- sus indicadores de desempeño, sus metas y resultados ja de recolección y análisis de la información y busca, esperados y las contribuciones relevantes del programa como su nombre lo indica, evaluar el cambio ocasionado a las metas y productos estratégicos del organismo. Las por el programa en la situación original que el Gobier- sinergias entre el Fondo Concursable y el PE o los demás no pretende corregir o mejorar. Otra diferencia de la EI instrumentos del SCG contribuyen también a la organi- respecto de la EPG es que los evaluadores contratados zación jerárquica de los marcos lógicos y los mandatos o son firmas consultoras y/o unviersidades y no consulto- las prioridades del gobierno en su conjunto y de los or- res individuales independientes.”16 ganismos y los programas del gobierno individualmente En el 2003 se promulgaron varias normas para fortale- considerados. cer el programa de evaluación: las leyes 19.875 y 19.896 El Ministerio de Planificación y Cooperación (MIDE- y el Decreto 1177. La primera de esas leyes hizo PLAN) provee asistencia técnica a los organismos en permanente a la Comisión Mixta de Presupuestos y la metodología de marco lógico a partir del convenio la segunda enmendó un Decreto anterior de la Gestión inter-institucional firmado en 2001. Y al final del pro- Financiera (1.263). Con anterioridad a la Ley 19.875 la ceso evalúa y califica las propuestas para determinar si Comisión de Hacienda del Congreso funcionaba apenas éstas serán incluidas o no en la propuesta presupuestal de temporalmente, esto es, se formaba cada año y operaba la agencia. La capacitación realizada por MIDEPLAN durante un corto período inmediatamente después de ha constituido un proceso de entrenamiento para las la introducción del proyecto de Ley de Presupuestos del instituciones, útil para mejorar la gestión interna de gobierno. Desde julio de 2003, esta Comisión ha sido programas existentes.13 institucionalizada como una de las comisiones perma- f ) Las evaluaciones. Tipos de evaluación. En cuanto ins- nentes del Congreso y por consiguiente opera durante trumento, la Evaluación desarrollada por la DIPRES todo el año. Asimismo, desde las primeras iniciativas es de tres tipos (o sub-instrumentos): Evaluación de de evaluación, con motivo de la aprobación de la Ley Programas Gubernamentales (EPG), Evaluación de Anual de Presupuestos se firma un protocolo de acuerdo Impacto (EI) que incluye la Evaluación en Profundidad entre el Congreso Nacional y el Ministerio de Hacienda. y el Módulo de Impacto14, y Evaluación Comprensi- Este protocolo fue institucionalizado a partir del 2004, va del Gasto (ECG). Los dos primeros tipos de evalua- con la Ley 19.896 que establece la obligación del ción constituyen el PE, programa del cual da cuenta la Ministerio de Hacienda de llevar a cabo evaluaciones presente Evaluación de Impacto. El presente informe de los programas incluidos en el presupuesto de los seguirá la terminología normalmente empleada en la Servicios Públicos. La institucionalizacicón de todo el literatura especializada, “Programa de Evaluación (PE)”, PE fue también robustecida con la promulgación para referirse al instrumento de evaluación que hace del Decreto 1.177 de diciembre del 2003 que es el parte del Sistema de Control de Gestión y Presupuesto Reglamento del Programa de Evaluación. 27 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO En cuanto al desarrollo de los procedimientos y la 5. Esta última incluida en el 2004 para recoger el fortalecimiento metodología (este panorama se amplía sustancialmente en el de la gestión demandado específicamente por la descentralización. Anexo A), la Evaluación de Programas Gubernamentales 6. El Comité Interministerial del PMG está conformado por representantes de los ministerios de Interior, Hacienda y Secretaría se inició en 1997, con base en la metodología de Marco General de la Presidencia. Lógico y se centra en “identificar” los objetivos de los 7. Guzmán, Marcela 2003 pp 59-60 programas y determinar la consistencia de éstos con su 8. Esta iniciativa también tiene su origen en el Plan Piloto diseño y resultados. En un principio estas evaluaciones se de Modernización de la Gestión de Servicios Públicos llevado a llevaban a cabo por un panel de evaluadores conformado cabo por la DIPRES en el año 1993, en el que participaron cinco agencias. “El producto de este plan piloto era obtener indicadores tanto por funcionarios del sector público como evaluadores de gestión y la construcción de un sistema de control de gestión independientes. Desde 1998 este panel está integrado en cada institución.” Como se mencionó más arriba, los PMGs únicamente por evaluadores externos seleccionados a través aplicados desde 1998 incorporaron indicadores y metas asociadas a de concurso público; ello con el fin de garantizar transparen- un incentivo monetario; “la exigencia de las metas comprometidas en los indicadores propuestos fue baja y de difícil verificación, además cia, objetividad e independencia a las evaluaciones. Debido de que los indicadores no tenían vínculo alguno con el presupuesto.” a las limitaciones de la metodología de marco lógico17 Guzmán, Marcela 2003 pp. 12. en cuanto a conclusiones sobre el desempeño y/o impacto 9. Ver, por ejemplo, el Formulario H – Indicadores de Desempeño, del programa fue que DIPRES incorporó las EI como se entre otros formularios y formatos de captación de información que mencionó anteriormente. se emplean para la preparación del presupuesto. 10. Guzmán, Marcela 2003 11. Formularios E y K del paquete anual de información que la Notas DIPRES requiere de los organismos. El formulario E se requiere para la presentación de nuevas iniciativas o para expandir un programa; el K se exige a todos los programas que han sido evaluados entre 1. Este Informe emplea indistintamente los términos “efectividad” 2000-2004 o que tuvieron financiamiento del Fondo Concursable y “eficacia”. entre 2001-2003. 2. La DIPRES recoge esta información como parte de la 12. Guzmán, Marcela 2003. pp. 57 identificación de la institución en el Formulario A-1 del paquete de requerimientos de información que envía anualmente la DIPRES a 13. Guzmán, Marcela 2003. pp. 58 los ministerios y servicios para la preparación de su presupuesto. 14. La Evaluación en Profundidad comprende el análisis de: i) 3. Ley 19.553 de febrero de 1998 que establece que el Diseño del programa; ii) Organización y Gestión; iii) Resultados cumplimiento de los objetivos de gestión comprometidos en que incluyen eficacia, calidad, eficiencia y economía; iv) Mediciones un Programa de Mejoramiento de Gestión anual dará derecho Globales de Desempeño; v) Conclusiones, y vi) Recomendaciones. El a los funcionarios del servicio respectivo, en el año siguiente a un Módulo de Impacto, al constituir un subconjunto de una Evaluación incremento del 5% de sus remuneraciones si la institución en la en Profundidad, ya que no analiza los aspectos de Organización y que trabajan alcanza un grado de cumplimiento igual o superior al Gestión, toma un tiempo relativamente menor que la primera y a su 90% de los objetivos anuales comprometidos y de un 2.5% si dicho vez es de menor costo. cumplimiento fuera igual o superior al 75% e inferior a 90%. 15. Ver Marcel, 1999. 4. Guzmán, Marcela “Sistema de Control de Gestión y Presupuestos 16. Guzmán, Marcela 2003. por Resultados. La Experiencia Chilena” Ministerio de Hacienda, 17. La limitación se debe a que la evaluación se basa en sistemas Dirección de Presupuestos, División de Control de Gestión, octubre de información disponible de diferente calidad, en ocasiones la de 2003. (Disponible en www.dipres.cl) información ha estado incompleta. 28 C. El Informe Técnico sobre el Programa de Evaluación E STE INFORME TÉCNICO CONSTITUYE EL evaluación. Los Anexos elaboran en mayor extensión y pro- cuerpo principal de este informe e incluye: fundidad algunos de los puntos clave del Informe Técnico. 1) la descripción del diseño y de la gestión del PE, 2) la metodología de la evaluación, C.1. Descripción del programa: antecedentes, 3) los resultados observados, 4) el análisis y diseño y gestión las conclusiones, y 5) las recomendaciones puntuales respec- to de cada uno de los puntos incluidos en los Términos de Los objetivos del programa Referencia acordados para esta Evaluación de Impacto. La Ley Anual del Presupuestos proporciona el marco legisla- Se optó por incluir la metodología después de la descripción tivo para la evaluación, pero no indica los objetivos del PE. del programa por cuanto el lector necesita primero conocer Estos aparecen formulados en tres variantes esencialmente el diseño y la gestión a los cuales se aplicó la metodología de coincidentes entre sí (ver el cuadro 1.1): CUADRO C.1.1. Los objetivos del Programa de Evaluación Sistema de Control de Gestión y Presupuestos por Resultados: Términos Técnicos de Referencia Matriz de Marco Lógico: Programa de La Experiencia Chilena, para esta Evaluación de Impacto Evaluación de Programas enero de 20032 “Apoyar el proceso de formulación de los “PROPOSITO: presupuestos del sector público por parte del “FIN: Se ha Se ha integrado información Ministerio de Hacienda, a través de la Dirección contribuido evaluativa generada por de Presupuestos, entregando información a mejorar la “Eficiencia en la asignación el Programa en el proceso evaluativa de programas públicos.” asignación de recursos públicos” presupuestario y en la de recursos “Apoyar el proceso de aprobación y discusión gestión de los programas públicos.” de la Ley de Presupuestos del Sector Público públicos en términos de en el Congreso, entregando información eficacia, calidad, eficiencia y evaluativa de programas públicos.” economía” “Mejorar la gestión de los programas e “Mejorar la gestión a través instituciones públicas, a través del aprendizaje del aprendizaje institucional de los administradores o encargados de de los administradores o implementar las políticas y programas, encargados de implementar aprendizajes derivados del desarrollo de la las políticas y programas” evaluación y análisis de los resultados.” “La rendición de cuenta “Disponer de información que permita la pública” rendición de cuentas pública.” 29 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO • El documento principal del programa (Sistema de les estaba dando seguimiento adecuado y que el proceso de Control de Gestión y Presupuestos por Resultados. producción de las evaluaciones era débil. La Experiencia Chilena)1 señala como objetivos la Los cambios ocurridos a partir del 2000, detallados en eficiencia en la asignación de los recursos, el mejora- el Cuadro 1.2, se pueden resumir del siguiente modo. miento de la gestión de los programas y la rendición Primero, el seguimiento se formalizó a través del mecanis- de la cuenta pública. mo de Compromisos Institucionales introducido en 2000. • Los términos de referencia para esta evaluación Segundo, los resultados de evaluación se incorporaron cada del BM contienen fundamentalmente los mis- vez más formalmente en el ciclo del presupuesto entre los mos objetivos; pero dividen el primer objetivo en años 2000 a 2004. Tercero, los diversos instrumentos de dos momentos más específicos: la formulación del control de gestión comenzaron a ser administrados en una presupuesto por parte de la DIPRES y la deliberación manera más integrada y eficaz (particularmente mediante del presupuesto por el Congreso. la creación en el 2000 de la actual División de Control de • El Marco Lógico provisto para el Programa de Gestión dentro de la DIPRES). Cuarto, el mejoramiento Evaluación de DIPRES tiene sólo un objetivo gene- de la calidad se acometió de varias maneras: ral: la eficiencia en la asignación de recursos. • La reducción del número de EPG emprendidas anualmente (Cuadro 1.3). El desarrollo del PE en el contexto • La introducción de la Evaluación de Impacto a partir de la reforma del Estado del 2001 (y la Evaluación Comprensiva del Gasto a El desarrollo del PE y de los otros instrumentos del SCG. partir de 2002). Después del retorno de 1a democracia en 1990 se dio un • La reevaluación, a partir de 2001, de programas eva- período inicial de consolidación de las reformas del sector luados anteriormente. público. Con el segundo gobierno de Concertación (Presi- • Los cambios metodológicos, en particular el fortale- dente Frei) se inició, en 1994, un proceso más sistemático cimiento de los métodos para seleccionar los paneles de modernización del sector público. Durante este perío- de EPG en el 2000 y el ajuste a la metodología del do la DIPRES introdujo la mayoría de los instrumentos Marco Lógico a partir del 2001. con que cuenta actualmente el SCG —los indicadores de presupuesto (gestión del desempeño) en 1994, el Programa Los logros alcanzados entre el 2000 y el 2003 se de Evaluación y el Balance de Gestión Integral en 1997, resumieron cualitativamente en un informe de la OCDE y los Programas de Mejoramiento de Gestión en 1998. del 2004: “El Ministerio de Finanzas chileno tiene un El Cuadro 1.2 abajo proporciona una cronología de las sistema sumamente avanzado para obtener información iniciativas pertinentes de la DIPRES desde 1993. sobre el desempeño de las instituciones y los programas. Desde el 2000 en adelante el nuevo gobierno del Este sistema se ha desarrollado y ajustado para tomar en Presidente Lagos promovió una visión más integrada de la cuenta las enseñanzas extraídas y las exigencias cambiantes. modernización del sector público, visión que ha inspirado Lo que es más importante el Ministerio ha estado dispuesto la consolidación de los instrumentos que se habían creado a adoptar un enfoque de largo tiempo y a perseverar con en 1993-94 y el refuerzo de la complementación entre ellos. los programas de desempeño. Este sistema ha combinado la Esto condujo a un cambio considerable, aunque gradual, en integración de la información de desempeño en el proceso el PE, así como su integración más sistemática con los otros presupuestario con el uso prudente de esta información en instrumentos de control de gestión. Los cambios en el área la toma de decisiones”.3 de la evaluación fueron impulsados por la apreciación de Como la mayoría del resto de los instrumentos del que, si bien se estaba produciendo una cantidad apreciable actual SCG, la introducción y el desarrollo del Programa de evaluaciones, su calidad dejaba que desear (con objeti- de Evaluación avanzaron generalmente sin tropiezos y vos mal definidos y Marcos Lógicos deficientes), que no se encontraron poca resistencia. 30 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N CUADRO C.1.2. El desarrollo de los Instrumentos de Control de Gestión de la DIPRES 1993 – 2003 Año Programa de Evaluación Otros Instrumentos de Control de Gestión 1993 • Desarrollo de Plan Piloto de Modernización en 5 Servicios Públicos, definiendo un sistema de control de gestión con indicadores de desempeño 1994 • Inicio de incorporación de indicadores de desempeño y metas en el presupuesto, en forma voluntaria 1995-1997 • Incremento en el número de indicadores de desempeño y metas en el presupuesto, en forma voluntaria 1997 • Inicio de las Evaluaciones de Programas • Introducción de los Balances de Gestión Integral (BGI) Gubernamentales (EPG), informando de los • Introducción del Protocolo de Acuerdo con el Congreso resultados a Congreso y Ministerios 1998 • Inicio de la elaboración de Informes de Síntesis • Aplicación de los Programas de Mejoramiento de Gestión de las Evaluaciones (PMG), incorporando indicadores y metas 1999 • Incorporación de la aplicación sistemática de la matriz de marco lógico en los formatos. 2000 • Inicio de reuniones especiales entre sectores • Revisión y perfeccionamiento importante de formatos presupuestarios, DCG y Director de Presupuestos técnicos y procesos de trabajo relativos a los BGI para informar y analizar los resultados de las evaluaciones • Creación de la División de Control de Gestión (DCG) • Inicio de la definición de Compromisos • Integración de la DCG al proceso de Evaluación Interna de la Institucionales ejecución del presupuesto público. • Revisión y perfeccionamiento importante de • Reintroducción de los indicadores de desempeño en la formatos técnicos y procesos de trabajo formulación del presupuesto 2001 • Introducción del Fondo Concursable en la formulación del presupuesto 2001, utilizando Matriz de Marco Lógico • Reformulación del PMG para el 2001, incorporando el desarrollo del sistema de gestión • Inicio de la incorporación de la información de la DCG en los informes de presentación del proyecto de Ley de Presupuesto en el Congreso 2001 • Inicio del seguimiento de los Compromisos • Institucionalización de la Evaluación Interna en la Institucionales ejecución del presupuesto, incorporándose al calendario de preparación del presupuesto y utilizándose una • Introducción de las Evaluaciones de Impacto metodología que incluye información proveniente de los • Elaboración de Notas Técnicas BGI y del Sistema de Control de Gestión 2002 • Introducción de las Evaluaciones Comprensivas • Primera evaluación del cumplimiento de indicadores de del Gasto desempeño reintroducidos en el presupuesto • Primera evaluación del PMG en su nueva versión 31 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Año Programa de Evaluación Otros Instrumentos de Control de Gestión 2003 • Incorporación en la Ley de Administración Financiera del Estado de la obligatoriedad de efectuar evaluaciones de programas y elaboración del Reglamento para el funcionamiento del Sistema de Evaluación de Programas. • Presentación de los resultados de las evaluaciones en la Comisión Mixta de Presupuesto del Congreso • Inicio del envío de Informes de Cumplimiento de Compromisos Institucionales a Jefes de Servicios y Ministros 2004 • Introducción de medidas de flexibilidad presupuestarias asociadas al cumplimiento del PMG • Inicio del envío de Informes de Cumplimiento de indicadores de desempeño a Jefes de Servicios y Ministros Fuente: DIPRES (2003), Sistema de Control de Gestión y Presupuestos por Resultados: La Experiencia Chilena, División de Control de Gestión, Santiago, enero de 2003. CUADRO C.1.3. Hacienda e Interior. El Comité de Ministros diseña la Número de Evaluaciones por Año 1997-2004 política de reforma del Estado, la División de Moderni- zación de SEGPRES es responsable de la coordinación EPG EI (Secretaría Ejecutiva) y la ejecución se garantiza mediante 1997 20 asignaciones presupuestarias administradas por la Dirección 1998 40 de Presupuesto (DIPRES) del Ministerio de Hacienda. 1999 20 El Comité Ministerial creó el Proyecto de Reforma y 2000 18 Modernización del Estado (PRYME) y el Presidente Lagos 2001 19 2 buscó fortalecer la División de Modernización de la SEGPRES 2002 15 4 transformándola en el Proyecto de Reforma y Moderni- 2003 13 4 zación del Estado (PRYME). En un comienzo el PRYME 2004 13 4 abarcaba una amplia gama de temas de modernización Total 158 14 entre los cuales se encontraban la reestructuración institu- Fuente: Estimaciones del BM con base en los datos de DIPRES. cional, la reforma de la administración pública, el gobierno electrónico y la participación ciudadana. El área de gestión financiera, salvo por los temas “participativos” o de “trans- La distribución de competencias para el programa de parencia” que tocaban con esta área, fue sustancialmente modernización del sector público de Chile. El Presidente excluida. El programa parecía estar orientado primordial- Lagos mantuvo la estructura preexistente para el programa mente a atender expectativas políticas muy amplias, tales de reforma del Estado. En el 2000 el Presidente confirmó al como alcanzar un gobierno democrático al servicio de los Comité de Ministros para la Reforma del Estado, con una ciudadanos y lograr una mayor equidad social. Secretaría Ejecutiva en SEGPRES, responsable de poner en Hoy el programa del PRYME está más enfocado4 a marcha las reformas. El Comité incluye a los Ministros de tres temas centrales: el gobierno electrónico, el proceso de la Presidencia (SEGPRES), Planificación (MIDEPLAN), rediseño institucional y la calidad de los servicios públicos. 32 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N El énfasis está en el acceso o en facilitar el “uso” del gobierno co-Legislativos para la Modernización del Estado, la por parte de los ciudadanos. Transparencia y la Promoción del Crecimiento”). Desde Desde poco antes del año 2003 el gobierno y los partidos entonces varias medidas se han legislado en el área de la políticos acordaron una serie de objetivos amplios para modernización estatal en cuanto a la simplificación de un programa de reforma en las áreas de la modernización procesos, el régimen para los funcionarios públicos estatal, la transparencia, y el crecimiento (“Acuerdos Políti- superiores (incluida la creación de una Dirección de RECUADRO No. 1 Estructura administrativa en Chile los Servicios están sujetos a las mismas reglas de ges- Chile tiene una larga tradición, en particular desde tión financiera de sector público y de personal que fines de los años treinta, pero legalmente codificada en los ministerios—reglas que, en su mayoría, le dan un 1986, de separar las entidades de formulación de políti- nivel sustancial del control a la DIPRES. Las reglas cas (ministerios) de las agencias de ejecución (Servicios chilenas de gestión financiera y de personal y remune- Públicos). El Ejecutivo creó originalmente estos Servicios ración permiten cierta flexibilidad limitada —los con- para reducir al mínimo la interferencia (política) del Le- troles de partidas presupuestarias no son tan estrechos gislativo. Estos organismos nuevos se convirtieron en la como en muchos países, por ejemplo— pero la disci- estructura dominante del sector público en Chile, pero su plina fiscal general es sustancial. (Las reglas permiten crecimiento llevó a problemas de control y coherencia. algunas diferencias interinstitucionales en los niveles de Hoy hay 19 Ministerios que se reportan al Presidente remuneración y la flexibilidad de los sistemas de remu- y alrededor de 160 Servicios Públicos adjuntos a estos neración. Excepcionalmente, ocho de los 160 Servicios Ministerios. Cada ministerio está, esencialmente, cons- gozan de grados limitados de autonomía). Los Servicios tituido por el ministro y su subsecretaría (unos cuantos de ninguna manera gozan de la flexibilidad de gestión ministerios tienen más de una subsecretaría). El subse- que se encuentra en otros países con sistemas de organis- cretario, también un nombramiento político, se reporta mos ejecutivos (o en las agencias independientes ad hoc al ministro. La función del subsecretario es coordinar los que hay en muchos países latinoamericanos). Servicios públicos bajo ese ministerio. En la ley, existe una distinción entre los Servicios cen- Los Servicios Públicos incluyen 13 Gobiernos Re- tralizados y los Servicios descentralizados. Los últimos gionales, 33 Servicios de Salud, 13 Servicios Regionales tienen personalidad jurídica y pueden poseer activos. de Vivienda y otras Direcciones, Servicios, Institutos, En la práctica, la distinción significa poco por cuanto Superintendencias, Fondos, Consejos, Comisiones, Em- no tiene ninguna implicación respecto a la autonomía presas, y otras agencias. Los ministerios representan cer- de gestión. Los Servicios centralizados generalmente ca de una cuarta parte y los Servicios tres cuartas partes son pertinentes a las funciones cercanas de un ministe- del presupuesto de gasto de 2004. rio, mientras que los Servicios descentralizados tienden Cada Servicio responde a un ministerio específico. a tener funciones de prestación o reglamentación de Los directores de Servicio son nombrados por el Pre- Servicios Públicos. Cualquier tipo de Servicio puede ser sidente, pero responden a su ministerio. Los Servicios (territorialmente o funcionalmente) desconcentrado. tienen latitud para administrarse ellos mismos –en el sentido que los ministerios esperan resultados de ellos, pero en general no los microadministran. Sin embargo, Fuente: Pardo (2000), OCDE (2004). 33 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Administración Pública en el Ministerio de Hacienda), Descripción de los roles y las actividades de los las adquisiciones estatales y el funcionamiento durante Actores Institucionales5 todo el año de la Comisión Permanente de Presupuesto. Esta sección trata de las funciones de los actores institucio- Los Acuerdos Político-Legislativos para la Modernización nales que participan en el PE. del Estado coinciden en buena medida con el proyecto Los actores y sus roles. Cinco son los principales grupos de PRYME; pero agregaron reformas importantes como lo participantes en el PE: son la Ley 19.882 (Ley de Gerencia Pública), que busca despolitizar el personal directivo superior de los Servicios, • El Comité Interministerial. Corresponde a este Co- y la contractualización de la relación entre los Servicios y mité “asegurar que el desarrollo de las evaluaciones los ministerios (ver el Recuadro No. 1 y el Recuadro sea consistente con las políticas gubernamentales; No. 4). Esta era una prioridad para la DIPRES y por que las conclusiones que surjan de este proceso sean consiguiente la Dirección de Presupuestos estuvo muy invo- conocidas por las instituciones que lo conforman; lucrada en su aprobación, como lo está ahora en su ejecu- y que se disponga de los apoyos técnicos y coordi- ción. Se espera que la contractualización de la relación mi- naciones necesarias para el buen desarrollo del mis- nisterio-servicio fortalezca la capacidad de coordinación de mo, especialmente en los procesos de selección de los ministerios y coadyuve a cohesionar los programas y programas y selección de consultores.”6 Este Comité las políticas, desde sus objetivos inmediatos hasta sus está conformado por un representante del Ministerio conexiones con los objetivos superiores de las políticas de Secretaría General de la Presidencia, del Ministerio gobierno. Esta conexión lógica es aspiración de cohesión de Planificación y Cooperación y del Ministerio de de todos los gobiernos; cuando se da con base en los Hacienda, a través de la Dirección de Presupues- marcos lógicos de programas y políticas resulta en una tos, siendo presidido por el representante de esta pirámide jerárquica de marcos lógicos que ordena el última cartera. accionar del gobierno desde arriba hasta abajo, desde • La Dirección de Presupuestos del Ministerio de Hacien- las prioridades gubernamentales hasta las actividades, da. La DIPRES tiene la responsabilidad de la ejecu- pasando por las políticas, los programas, los proyectos ción adecuada de todas las líneas de evaluación. Le y, desde luego, la asignación de los recursos bajo corresponde especialmente “llevar a efecto el proceso prioridades explícitas. de selección de programas a evaluar; definir los dise- De los parágrafos anteriores se desprende que SEGPRES ños metodológicos y operativos; proveer los recursos juega un papel central en la coordinación de algunos para su funcionamiento; administrar su operación; de los proyectos de modernización estatal. La promoción analizar y aprobar los informes de avance y final de proyectos de impacto fiscal recae en el Ministerio de señalando las observaciones que estime convenien- Hacienda, de DIPRES en particular. tes; recibir y enviar los informes de evaluación al ¿Cuál es la estructura orgánica de Chile? Tanto Congreso Nacional e instituciones públicas; integrar para entender el grado de centralización o descentralización los resultados de la evaluación al ciclo presupuestario del PE, cuanto para identificar la capacidad de los ministe- y establecer Compromisos Institucionales de mejo- rios y los Servicios para manejar y readecuar los programas ramiento de los programas evaluados.”7. El personal evaluados, es necesario conocer la estructura organizacional de la DIPRES a cargo de los presupuestos sectoriales de la administración pública chilena. tiene un papel clave puesto que está llamado a inyec- Los 19 ministerios de Chile son entidades de formula- tar un mayor conocimiento sectorial al PE y a utilizar ción de políticas. Para la ejecución, Chile tiene una estruc- inmediatamente los resultados de las evaluaciones y tura de organismos ejecutivos, en la cual alrededor de 160 los Compromisos Institucionales8 en su seguimiento Servicios son organismos ejecutores que prestan servicios a la ejecución presupuestaria y en sus discusiones de públicos. Cada servicio responde a un ministerio. preparación del presupuesto con los sectores. 34 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N • Los evaluadores. Son expertos individuales que de redes, para garantizar la entrega oportuna de produc- conforman un panel de evaluación de tres personas, tos de calidad estándar y, alcanzar las metas de producción en el caso de las EPG, y son firmas consultoras o preestablecidas. entidades especializadas (como lo pueden ser las Siguiendo la orientación del Director del Presupuesto y universidades), en el caso de las EI. Los evaluado- de la Jefa de la DCG, el personal de evaluación de la DCG res desempeñan un papel puramente técnico, en inicia una por una el proceso de las evaluaciones; imparte cumplimiento de los precisos términos de referencia capacitación y presta apoyo a los Servicios y los evaluadores y formatos de las EPG y EI, y de las notas técnicas durante el proceso; recibe, revisa y trata uno por uno los más amplias que siguen las evaluaciones. Se busca informes de avance, preliminares-finales y finales; discute asegurar su competencia e independencia median- los resultados con las instituciones o ministerios partici- te un proceso de selección competitivo, diseñado pantes; así como los resultados y las posibles implicacio- de acuerdo con pautas objetivas pre-establecidas. nes presupuestarias en reuniones internas de la DIPRES; La DIPRES monitorea el cumplimiento de la ta- prepara acuerdos sobre los Compromisos Institucionales rea de los evaluadores y les presta apoyo técnico y de perfeccionamiento de programas; prepara también re- entrenamiento en materia de marco lógico. súmenes ejecutivos e informes de síntesis para el Congreso • Las contrapartes institucionales. Participan en el y sostiene discusiones con miembros del Congreso si éstos proceso de evaluación mediante el aporte de la últimos lo solicitan; mantiene un sitio Web completo y información necesaria y la discusión del diseño y de archivos organizados; hace su propio monitoreo y lleva los resultados del programa. Tienen oportunidad de sus propios indicadores de desempeño; y cada año hace su expresar sus observaciones a los diferentes informes propia revisión y rediseño de procesos y formatos, y rea- que se producen durante el proceso de evaluación, así liza la difusión y las presentaciones de capacitación de su como su disentimiento si al término de la evaluación propio sistema dentro y fuera de Chile. Todo lo anterior no estuvieren de acuerdo con la misma. Finalmente con una dotación de una jefa para la DCG, dos geren- participan en el análisis de las conclusiones y reco- tes especialistas en evaluación (uno para EPG, uno para mendaciones de la evaluación una vez finalizada. EI), cinco profesionales y un asistente administrativo que • Los congresistas. Ellos así como sus equipos técnicos, también comparte la responsabilidad de las tres líneas de pueden indicar programas a ser evaluados, reciben evaluación EPG, EI y ECG y –en el caso de la jefa de la la síntesis y los informes finales de las evaluaciones y DCG, la responsabilidad de todo el Sistema de Control la información sobre el cumplimiento de los Com- de Gestión y Presupuesto por Resultados.11 promisos Institucionales (en el Informe de Ejecu- Respecto a tecnología de la información, la DCG está ción Presupuestaria anual) y pueden valerse de esta actualmente en un proceso de transformación para contar información y de toda la información producida con la tecnología más avanzada que permitirá vincular mejor por el SCG para discutir decisiones programáticas y los programas evaluados con las definiciones estratégicas y presupuestales con el Ejecutivo.9 líneas de acción, así como la vinculación de esta información con la contenida en otros sistemas del Ministerio, como el Los procesos operativos de los dos SIGFE. componentes del Programa de Evaluación En síntesis, el diseño operacional del PE busca combi- (EPG y EI) y la gestión del PE nar unos procedimientos adecuados para un flujo estricto Los gráficos 1 y 2 presentan el diagrama de flujo de de productos con una gestión altamente concentrada en la las EPG y de las EI respectivamente.10 Cabe resaltar, en DCG, todo ello en un ambiente tecnológico avanzado y con particular, el proceso de EPG, que combina las virtudes de un creciente grado de institucionalización.12 Los siguientes una cadena de producción con los modernos instrumen- párrafos de esta sección presentan en más detalle los proce- tos de la contratación externa (outsourcing) y la formación sos más importantes del PE. 35 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO GRÁFICO 1 Diagrama de flujo de las EPG 36 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N GRÁFICO 1 Diagrama de flujo de las EPG (continuación) 37 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO GRÁFICO 2 Diagrama de flujo de las EI 38 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N GRÁFICO 2 Diagrama de flujo de las EI (continuación) 39 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Selección de programas. Ni el Congreso ni los otros requiere flexibilidad en el concepto de programa y en los ministerios participantes13 parecen tener criterios de selec- criterios de selección. Tanto así que la DCG parece estar ción preestablecidos ni para identificar el universo de los preparada para sacrificar la pureza del sistema (en términos de programas que pueden ser evaluados, ni para la selección un concepto de programa más “evaluable”) para exten- de los programas que van a evaluarse en un año dado.14 La der el programa de evaluación a prácticamente cualquier DIPRES considera generalmente los siguientes elementos gasto sobre el cual el Gobierno o el Congreso quisieran para la selección de programas a evaluar cada año: i) ante- tener más información.17 Por otra parte, la DCG de cedentes de desempeño de los programas de que dispone la DIPRES advierte la necesidad de diferenciar las la Dirección de Presupuesto con motivo de sus funciones, metodologías según el objeto de la evaluación y, en este tanto presupuestarias como de control de gestión, ii) si- sentido, está actualmente intentando construir el univer- tuación de los programas respecto de si han sido objeto de so de los programas susceptibles de ser organizados bajo la evaluación en el marco del Programa de Evaluación de la metodología de marco lógico y de ser conceptualizados Dirección de Presupuesto u otros procesos de evaluación, estrictamente como programa. Además, a partir de una y su año de ocurrencia, iii) horizonte de ejecución de los iniciativa para el presupuesto del 2005, la DIPRES requiere programas, de manera que los programas a evaluar hubieran de cada organismo el marco lógico de sus programas.18 tenido tiempo suficiente para producir los resultados de ellos Selección de los evaluadores. A partir del 2000 la esperados; iv) sugerencias del Ministerio Secretaría General DCG cambió sustancialmente la Pauta para la selección de de la Presidencia (SEGPRES) y Ministerio de Planificación evaluadores, misma que ha sido mejorada con base en el (MIDEPLAN) de acuerdo a solicitud que se efectúa; y v) aprendizaje que deja la experiencia con el PE. Aunque los sugerencias surgidas en las Subcomisiones de Presupuestos factores de ponderación o los pesos relativos han cambiado durante el proceso de tramitación del Proyecto de Ley de y podrían volver a cambiar con el tiempo, la selección es Presupuestos15, 16 guiada por criterios técnicos y es ejecutada mediante un El concepto de programa es tan amplio cuanto lo requie- proceso transparente y competitivo.19 ren las demandas de evaluación de la actividad gubernamen- Para las EPG, lo que más valora la Pauta es la experiencia tal que recaen sobre el Sistema. Así, las unidades (como un anterior en evaluación de programas (25%), seguida de los consejo o un ministerio) o hasta las actividades que pueden antecedentes académicos pertinentes (20%) y la experien- identificarse en la estructura del presupuesto pueden ser cia en el diseño y planificación de intervenciones similares candidatas a evaluación. También es posible combinar va- (15%). Dentro de las credenciales académicas, tiene más rios programas para hacer una evaluación de todo el sector peso el contenido académico relacionado con evaluación o de toda una institución (ECG). Las discusiones internas que con el contenido sectorial específico o la materia que es de la DIPRES, especialmente las habidas durante la etapa especialidad del programa. de preparación del presupuesto, contribuyen generalmente Una vez hecha la selección (sobre la base de la Pauta), la a la formación de la lista de los programas candidatos para DCG elige al coordinador del panel de entre aquellos que el año siguiente. En las discusiones con ministerios o duran- postulan a servir de coordinadores. Nuevamente, se asigna te las discusiones en el Congreso pueden también aparecer mayor puntaje a los evaluadores que poseen experiencia en programas candidatos. evaluación. También se toma en cuenta el desempeño previo Como la noción de programa es bastante flexible, los del evaluador en el PE para su selección definitiva. criterios de selección significan, en la práctica, aquellos Para las EI, se da asimismo crédito por la experiencia gastos o grupo de líneas de gasto del presupuesto que, anterior con metodologías de evaluación de impacto. Pero según ciertos criterios no predeterminados, el Gobierno el factor que recibe mayor peso cuando se selecciona a las considera que conviene evaluar con el propósito de confir- firmas o entidades (por ejemplo, universidades) para las EI mar o mejorar la calidad del gasto o, en algunos casos, de es la propuesta técnica y metodológica (60 puntos). Esta se cancelar el programa. Al final, parece que alcanzar la meta evalúa de acuerdo con cuatro sub-criterios, cada uno con final del sistema (mejorar la calidad de gasto público) 15 puntos. Los elementos que pueden sumar en la escala 40 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N de puntaje incluyen el uso de grupos de control y las técni- La elaboración del informe y sus usos. Este procedi- cas econométricas (15 puntos cada uno) o una propuesta de miento sigue varias etapas. realizar trabajo sobre el terreno para la recopilación de Etapa 1: Elaboración de los informes de evaluación. datos. Es interesante observar que al conocimiento que los En la primera etapa, el informe de evaluación se presen- evaluadores individuales tienen de la materia específica del ta varias veces (informes de avance, preliminar-final y final) programa se le otorgan 15 puntos y a la experiencia de la a un examen crítico tanto de (i) la DIPRES como (ii) de institución (por ejemplo, la empresa consultora, la universi- la institución responsable del programa. La mayor parte del dad, etc.) en esa materia se le asignan 10 puntos adicionales. beneficio se logra en la primera ronda de revisiones. Es aquí De suerte que, al igual que ocurre con la selección de evalua- donde se detallan la mayoría de los argumentos sustanciales. dores de EPG (panelistas individuales), si bien se da mucho Las conclusiones del evaluador son rara vez enmendadas o más peso al rigor metodológico en la selección de entidades cambiadas y no se modifican las recomendaciones siempre para las EI, el conocimiento institucional e individual de las que los juicios evaluativos estén claramente justificados. materias de evaluación no está descuidado. Por ejemplo, en el 2001 un evaluador consideró que se de- Un analista de la DCG y eventualmente un experto bería clausurar el Programa de Desarrollo Rural. La opinión externo leen las propuestas para las EI y evalúan a las firmas no cambió en todo el proceso de evaluación; y, en realidad, individualmente. La DCG elige luego las tres primeras y el Programa fue terminado poco tiempo después. negocia la evaluación (aspectos técnicos y/o precio) con En este proceso la DIPRES y el organismo responsable la primera. En este punto la DCG discute y acuerda con la del programa realizan distintas contribuciones a la evalua- firma seleccionada los ajustes a la metodología propuesta. ción. Muchas observaciones, en particular las de la DIPRES, Actividades de apoyo (capacitación y asistencia téc- a menudo se centran en los aspectos formales, metodoló- nica) a los evaluadores y a los equipos responsables del gicos de la evaluación. Estas observaciones de la DIPRES programa sujeto a evaluación. La DCG imparte capacitación no esperan cambiar los juicios de los evaluadores, siempre introductoria en evaluación, esencialmente para proporcio- y cuando estos juicios estén debidamente fundamentados. nar conceptos básicos con respecto a la metodología del El organismo ejecutor usa a menudo este paso como una marco lógico, a los jefes de programas y al panel de evalua- oportunidad para corregir los malentendidos o para ponde- dores. Hasta el año 2000, la DCG contrató en algunos casos rar y defender el enfoque particular que hubiere sido seguido asesores (ECU) para apoyar a la DCG en la capacita- en la prestación de los servicios. En todo caso, se espera que ción de los jefes de programas y sus contrapartes de los las instituciones ejecutoras del programa aprecien el trabajo Servicios. Hasta la fecha de preparación de este estudio se realizado por los evaluadores, tanto por las recomendaciones habían capacitado a 218 profesionales en metodología de que produce el informe de evaluación propiamente dicho, marco lógico. como porque los evaluadores les proporcionan asistencia El objetivo explícito al impartir esta capacitación es ayu- técnica y aportes para el mejoramiento del programa. dar a los Servicios a reflejar el programa, tal como es ac- Los participantes en esta etapa se concentran en las reco- tualmente, en una MML. Otro objetivo es proporcionar a mendaciones técnicas para el mejoramiento del programa; los evaluadores las habilidades de evaluación necesarias para no necesariamente en los argumentos de eficiencia. El dise- realizar EPG con precisión. Este segundo objetivo se hace ño del PE apunta a que las evaluaciones sean muy integrales necesario por cuanto cerca del 30% de los evaluadores selec- y se espera que el mayor valor agregado de las evaluaciones cionados son nuevos en este tipo de evaluaciones; el resto ya sean las recomendaciones sobre la gestión del programa en posee una avanzada capacitación en evaluaciones.20 su totalidad, lo cual incluye eficacia, eficiencia y economía. El material de orientación está disponible en el sitio Etapa 2: De “Recomendaciones” a “Compromisos”. Web de la DIPRES el cual incluye la descripción de las ¿Cuántas y qué tipo de recomendaciones se transforman evaluaciones y sus metodologías, los formatos para las en Compromisos vinculantes?21 presentaciones de evaluaciones de programas y las notas El informe final especifica las recomendaciones centrales técnicas aclaratorias. para la mejora de los programas del gobierno. Las recomen- 41 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO daciones cubren una amplia gama de áreas: las prácticas de A manera de síntesis el diseño y de la gestión del gestión, los arreglos institucionales (incluidas las funciones Programa, y para conectar esta sección del Informe Técni- y responsabilidades y la estructura interna), los recursos co con la sección de Análisis y Conclusiones que viene más humanos (necesidades de capacitación) y las cuestiones adelante, se puntualizan a continuación rasgos centrales financieras (como el cambio de un esquema financiero ba- que brotan del diseño del PE, y que imprimen un sello sado en la oferta a uno basado en la demanda; las cuestiones propio a éste cuando se lo compara con similares experien- de recuperación de costos; el presupuesto de costos, entre cias internacionales: otros). Dado el alto número usual de recomendaciones, éstas son agrupadas por áreas temáticas cuando se adoptan Com- • El PE está en la práctica centralizado en la DIPRES, promisos Institucionales. Ello, para dar mayor coherencia y parece más centralizado frente a los ministerios técnica y facilitar su seguimiento hasta su cumplimiento. sectoriales o los Servicios que otros sistemas similares Aunque no todas esas recomendaciones se formulan como, por ejemplo, los de Australia, Canadá o los con el mismo nivel de especificidad y claridad, siempre Estados Unidos23. proporcionan posibles puntos de acceso para reformar el • La operación del PE es disciplinada y rutinaria y programa. Bajo el diseño del PE, parte del valor agregado ofrece poca discreción a los evaluadores por la evaluación depende de la independencia de las • Dado el concepto amplio que se tiene de progra- recomendaciones y de la manera como éstas informan las ma, la calidad de las evaluaciones depende en buena decisiones del Ejecutivo en materia de mejoramiento de medida de la calidad y cantidad de la información la gestión. disponible. La calidad y la objetividad de las evalua- En la práctica, en el informe final, hasta el proceso de ciones dependen también de los términos técnicos evaluaciones del 2003, el panel evaluador separaba las re- y del control que ejerce la DIPRES; depende, por comendaciones entre las que requerirían recursos adiciona- último, de los conocimientos técnicos especializados les significativos y las que no. Pero la necesidad de recursos de los evaluadores externos. adicionales requiere una revisión más amplia de las dispo- • Los principios rectores de las evaluaciones son: “… nibilidades financieras y uso de recursos en el interior de ser independientes, públicas, confiables, pertinentes, los programas, Servicios y Ministerios respectivos, análisis oportunas, y eficientes.” 24 que está fuera de las posibilidades de un panel evaluador • Las metodologías son sencillas para el grueso de las externo de un programa. Por ello, a partir del proceso de evaluaciones emprendidas (las EPG). Este rasgo se evaluación del 2004 se eliminó esta clasificación de las reco- desprende del énfasis del PE (cuando se lo compara mendaciones del panel, además de otros puntos relacionados con otras experiencias internacionales) en la produc- con restricciones legales y/o atribuciones que trasciendan ción expedita de resultados; los recursos son limita- el programa. De esta forma los efectos en la asignación dos y los informes se producen rápidamente. de recursos, sean éstos reasignaciones o nuevos recursos • En cuanto a los objetivos, el PE está más explícita- requeridos, quedan sujetas a la decisión del Ejecutivo, con mente conectado con el proceso y con los objetivos base en los análisis de los resultados de la evaluación y las del presupuesto que la mayor parte de los programas recomendaciones efectuadas por los programas, Servicios, similares en otros países.25 ministerios responsables, o en la relación entre éstos y el • Más que en otros países, el mejoramiento de la Ministerio de Hacienda. Igualmente, las decisiones finales gestión es en Chile un objetivo íntimamente liga- de nuevos recursos para financiamiento que fuesen necesa- do al fortalecimiento del presupuesto. Por ello, las rias corresponden estrictamente al Ejecutivo.22 evaluaciones del PE de la DIPRES incluyen recomen- Los Compromisos se establecen en el nivel Ministerial daciones de mejoramiento de gestión que alimentan (entre Hacienda y el Ministerio responsable del programa Compromisos Institucionales. Los Compromisos evaluado) porque los responsables de los programas no tienen Institucionales y el seguimiento estricto que de ellos autorización para negociar cambios que incluyan el marco hace la DIPRES, están establecidos para asegurar, legal o la asignación presupuestaria, si éste fuera el caso. más que en otros países, el impacto del PE sobre el 42 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N mejoramiento de la gestión. Asimismo, el carácter evaluación reune o no los requerimientos normativos o público de la información de las evaluaciones permi- ideales de una evaluación de maco lógico. Se incluyeron te la vigilancia ciudadana. comentarios sobre el grado y la manera en que cada repor- • En todo caso, para visualizar todo el aporte poten- te de evaluación satisfizo o no los criterios estándares de cial del PE al mejoramiento de la gestión es necesario evaluación para justificar la nota que recibió cada informe conectar este programa con los demás instrumen- de evaluación respecto de cada criterio y se hicieron también tos que constituyen el SCG (ver la parte B de este observaciones cualitativas que podrían ser útiles para análisis Informe). Actualmente, se esta propiciando y fomen- posteriores de la calidad de las evaluaciones. tando en las instituciones el uso de los resultados Para la calificación final de cada informe de evaluación de las evaluaciones, de sus Compromisos y segui- se estableció una escala de calificación, la cual permite situar miento, a la vez que se están desarrollando e insta- al informe en un nivel determinado y analizarlo comparati- lando los instrumentos para monitorear o evaluar el vamente en el marco de la evaluación de todos los informes desempeño con posterioridad a la evaluación y a los de evaluación bajo estudio. Mediante este método, la suma cambios introducidos producto de ésta (marcos lógicos/ de las calificaciones otorgadas a las diez evaluaciones servi- indicadores de desempeño, sistema de planificación y ría de indicador de la calidad de las evaluaciones EPG en control de gestión del PMG, etc.). Se están también general. Asimismo, el análisis global o del conjunto de las ligando las evaluaciones con las definiciones estraté- diez EPG identifica las principales fortalezas y debilidades de gicas y con el Sistema de Planificación y Control de las evaluaciones EPG de la DIPRES cuando se las compara Gestión del PMG y el BGI. con estándares abstractos basados en prácticas internaciona- les para evaluaciones de escritorio o de marco lógico. Adviértase desde ya que, tal como se elabora más C.2. Metodología de esta Evaluación del PE adelante, esos estándares internacionales trazan un patrón Una vez presentado el diseño del PE en sus objetivos, proce- metodológico que, si bien es el patrón seguido por el PE dimientos, gestión y recursos humanos, es posible presentar para las EPG, pueden no corresponder a los propósitos la metodología específicamente aplicada para preparar este particulares del PE en esta etapa de fortalecimiento de la Informe de evaluación del PE. gestión pública en Chile. En otras palabras, el patrón internacional es un punto de referencia, un norte al cual Para evaluar la calidad de las EPG26 se podría llegar en el futuro; pero la realidad actual de Para evaluar la calidad de las Evaluaciones de los Progra- la planeación y la ejecución de los programas en Chile mas Gubernamentales (EPG), se tomó una muestra de puede imponer ajustes o concesiones para adecuar ese diez informes de EPG seleccionadas aleatoriamente de patrón al propósito de fortalecer la gestión en Chile. En entre las que se efecturaron en el período 2002-2003. este sentido, la metodología utilizada para evaluar la calidad A estas evaluaciones se les aplicó una Tabla de Calificación de las EPG presenta limitaciones intrínsecas que resultan especialmente diseñada para este fin.27,28 Los criterios de particularmente gravosas cuando se la aplica a las EPG, en evaluación recogidos y valorados en la Tabla de Calificación la etapa de desarrollo de evaluación en la que se encuentra obedecieron a criterios “básicos” establecidos para asegurar Chile actualmente. A continuación se discuten estas limita- y medir objetivamente la calidad de evaluaciones de marco ciones y se concluye cuál es el uso y cuál la presentación que lógico como lo son las EPG. Esos criterios corresponden de este análisis de calidad hace el presente Informe. a estándares reconocidos a nivel internacional para la Las limitaciones de la comparación con estándares in- evaluación de programas bajo la metodología de marco ternacionales nacen del hecho de que no existe un método lógico, que es la seguida en las pautas técnicas de las EPG único de evaluación que sea siempre superior a los demás. establecidas por la Dirección de Presupuestos (DIPRES). No puede existir un método único por cuanto los crite- Cada uno de los diez informes analizados en función rios de evaluación tienen que ajustarse a los objetivos y los de estos criterios, y la calificación resultante, fueron some- medios del programa evaluado y a los propósitos de la tidos a un riguroso análisis de la manera como el reporte de evaluación. De manera que los criterios de la evaluación y 43 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO sus pesos específicos deben guardar relación con las metas rios relativamente estándar, que aseguran la transparencia, específicas que se persiguen y con las cuestiones particulares reducen la subjetividad y facilitan la comparabilidad entre que se están analizando. Es evidente, por ejemplo, que la evaluaciones. Presenta también, por vía de ilustración, los práctica internacional reconoce las evaluaciones que recom- pesos específicos que algunos de los expertos en evaluación pensan la consistencia lógica de un programa. Sin embargo, atribuirían a esos criterios. E incluye igualmente conclusio- si las EPG de la DIPRES tiene entre sus propósitos actua- nes y recomendaciones que podrían seguirse para mejorar les el mejoramiento de los marcos lógicos de los programas, la calidad sustantiva de las EPG, si se pudiera hacer abs- no podría darse una baja calificación a una EPG que no tracción de los desafíos y de los propósitos particulares del se concentrara en la crítica o en la calificación negativa del PE de la DIPRES en el momento actual. Son puntos de marco lógico del programa sino que se esforzara por recons- referencia que podrían ser tenidos en cuenta, no para variar truir ese marco lógico para dar mayor consistencia y efecti- los objetivos y los métodos de las EPG en esta etapa del de- vidad al programa. sarrollo del PE sino para incorporar más adelante en el PE o, O, para citar otro ejemplo, quizás la característica más más ampliamente, dentro del conjunto de instrumentos que importante de un marco lógico coherente es cuán claramen- constituyen el SCG. te se identifican tanto el problema fundamental como los Incluye también el Anexo F los argumentos y los comen- orígenes del mismo. De acuerdo con las buenas prácticas tarios preparados por la DCG de la DIPRES, bien sea para internacionales, un programa de gobierno debe responder a separarse de los criterios, o de los pesos relativos de éstos, esos problemas; y la evaluación debe ser dirigida a analizar la propuestos en la metodología que seguirían las prácticas in- manera como el programa responde a esas cuestiones. Sin ternacionales, o para no emplear por el momento una meto- embargo, la DIPRES ha preferido restringir las evaluacio- dología estándar para medir la calidad de las EPG. Como lo nes, y particularmente las EPG, a los objetivos del progra- refleja ese Anexo F, dos consideraciones determinantes para ma, conectándolos parcialmente con objetivos superiores del la DIPRES son: i) el hecho de que la naturaleza de los pro- servicio, del sector o del gobierno (objetivos estratégicos).29 gramas evaluados por la DIPRES no se prestan siempre a la De la conexión entre los marcos lógicos de una misma pirá- aplicación de todos los criterios metodológicos propuestos mide jerárquica, que se ordena desde la cúspide de las priori- en el Anexo F, y ii) el hecho de que la capacidad de absorción dades gubernamentales y sectoriales y baja coherentemente de la metodología de las EPG varía mucho de una agencia por las políticas hasta los programas y proyectos, se encargan a otra. Hacer más compleja esa metodología con el solo fin otros instrumentos del SCG de la DIPRES. Por ello, la me- de llenar los estándares que han ido depurando la práctica todología de evaluación idónea para las EPG, cuando menos de países que tienen otro punto de partida podría arriesgar en esta etapa de su desarrollo, no debería atribuir peso a la la realización de la evaluación, el seguimiento de sus reco- manera como la EPG analiza las sinergias entre el progra- mendaciones o el grado de apropiación que de ella tienen ma evaluado y los otros programas conexos del gobierno; ni actualmente los Servicios chilenos. cómo los objetivos, resultados e indicadores de avance del Por lo demás, este Informe complementó la evaluación programa encaran los retos de los objetivos superiores. En de EPG incluida en el anexo F con información específica el mismo sentido, aunque la metodología actual de las EPG de los participantes en el proceso de evaluación, recogida pide, correctamente, que el evaluador reconozca el contexto mediante entrevistas semi-estructuradas y grupos focales. prevaleciente en el momento de la evaluación como un factor Esta información complementaria incluye las percepciones importante de los alcances y riesgos del programa, no pro- de los participantes relativas a (i) si la metodología de las pone indicadores que coherentemente reflejen la situación EPG es suficientemente flexible para adecuarse a las distin- contextual o cualifiquen los resultados esperados en función tas capacidades de absorción de las agencias, y (ii) cuál es la de la gravedad de los supuestos y riesgos del programa. flexibilidad que debería tener la metodología de EPG para En vista de las consideraciones anteriores, el Anexo F se adaptarse a la naturaleza del programa y a la capacidad de limita a presentar, como referente, los criterios de evaluación absorción de cada institución. de la calidad de EPG que recomendaría la práctica interna- Este Informe eliminó del Anexo F las calificaciones pro- cional para este tipo de evaluaciones en general. Son crite- ducidas para cada una de las EPG incluidas en la muestra de 44 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N diez o para el conjunto de ellas. Independientemente de que seleccionadas aleatoriamente, a las cuales se aplicaron hubo calificaciones tanto positivas como negativas de estas los siguientes criterios para este fin: la consistencia con la EPG, dos razones justifican la exclusión de las mismas en el metodología estándar del Gobierno de Chile para las Informe: i) por cuanto el propósito de aplicar esa metodo- evaluaciones de impacto; la adecuación de la metodolo- logía a una muestra de diez EPG no era calificar las evalua- gía tal y como se la aplica en la práctica, a la naturaleza del ciones sino ilustrar las particularidades del sistema chileno programa y al contexto sectorial del programa específico y proponer medidas que podrían adoptarse para reforzar que se está evaluando; la integración de los métodos cuan- la calidad de las EPG o, más ampliamente, del PE y del titativos y cualitativos; la congruencia entre las preguntas SCG en etapas posteriores de su desarrollo, y ii) por cuan- de la evaluación y los métodos de investigación usados, to la inclusión de las calificaciones podría prestarse a malas y la calidad del informe (formato, concentración, claridad y interpretaciones, es decir, a interpretaciones que tomaran correspondencia entre las conclusiones y las pruebas y entre las calificaciones como válidas por sí mismas, sin tener en las recomendaciones y las conclusiones). Para más detalles cuenta la naturaleza de los programas evaluados, la capa- sobre los criterios ver el Anexo G. cidad de absorción de los Servicios o los propósitos y las Asimismo, para evaluar la metodología plasmada en fortalezas de las EPG en esta etapa del desarrollo del PE los Términos Técnicos de Referencia y en las Notas Técni- de la DIPRES. cas que deben observar los evaluadores en las Evaluaciones de Impacto se utilizaron los siguientes criterios: el rigor Para evaluar la metodología de Marco Lógico del método de evaluación y la validez probable de los de las EPG30 resultados generados; la aplicabilidad de la metodología a Esta evaluación se basa en una muestra de 15 EPG que la gama de cuestiones sectoriales a las cuales se ha aplicado; cubren los siete años (1997-2003) del programa de eva- y la integración de los métodos cuantitativos y cualitativos luación EPG.31 Para evaluar los cambios en el transcurso (cuestiones como complementariedad y triangulación). del tiempo, se incluyeron en la muestra cinco programas Para un análisis de los Términos Técnicos de Referencia que fueron evaluados dos veces mediante EPG. Aparte de para las EI, ver el Anexo G. este criterio, y el de asegurar que exista cuando menos un Al igual que en el caso de la evaluación de la calidad programa seleccionado por año, la selección de los progra- de las EPG, la aplicación de estándares internacionales a mas fue aleatoria y no se le dio preferencia a ningún sector. las EI dirigidas por la DIPRES debe hacerse con beneficio La guía más importante para esta evaluación son las de inventario. La DIPRES es conciente de que muchos de normas fijadas por la DIPRES para las matrices del mar- los programas seleccionados no reúnen las condiciones co lógico. Según la metodología de la DIPRES, los marcos indispensables para realizar una Evaluación de Impacto lógicos son un instrumento para examinar el desempeño de strictu sensu. En particular, muchos de los programas selec- un programa en el transcurso del tiempo. Deben presentar cionados no han sido diseñados de manera que establezcan o los objetivos del programa y las relaciones causales medio- sea posible establecer una medida inicial (“línea de base”) de objetivo y permitir una comprensión de los factores internos la situación que se quiere corregir con el programa. Tampoco y externos que repercuten en su éxito (o fracaso). La evalua- han tenido la cautela de identificar y monitorear un grupo ción del método del marco lógico seguido por las 15 EPG de control, esto es, un grupo que hallándose en la seleccionadas por lo tanto sigue la estructura y los criterios misma situación inicial, no es cobijado por el programa. de la metodología del marco lógico prescrita por la propia Aún así, la DIPRES ha comisionado, aceptado y divulgado DIPRES.32 EI que si bien no todas logran medir rigurosamente el cambio atribuible al programa evaluado, aportan consi- Para evaluar la Calidad y la Metodología derable información sobre los méritos de un programa, de las Evaluaciones de Impacto (EI) 33 sobre la manera de mejorarlo y sobre el posible impacto Para evaluar la calidad de los informes de las Evalua- del mismo. No puede perderse de vista que el objetivo ciones de Impacto (EI), se tomó una muestra de dos EI, principal del PE no es la evaluación per se sino el 45 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO enriquecimiento de las decisiones presupuestarias y el manera y en qué oportunidades se están usando los resultados mejoramiento de los programas gubernamentales y, por este de las evaluaciones para informar el proceso de preparación conducto, el mejoramiento de la calidad del gasto. de presupuestos?; ¿Qué grado de conocimiento y de apropia- ción del PE tienen los varios niveles de los ministerios y los Servicios? Por su parte, los grupos focales arrojaron, como Entrevistas y Grupos Focales34 se esperaba, el mosaico de percepciones de los participantes Esta evaluación se valió de entrevistas exhaustivas de y corroboraron que generalmente estas percepciones son personas versadas en aspectos particulares del Sistema parciales, es decir, que cada grupo tiende a apreciar el PE de Evaluación y de sus conexiones (o la falta de ellas) desde el ángulo del papel que desempeña en el proceso con las decisiones presupuestarias o con la formación y de evaluación. Lo que significa que sólo la Dirección de reforma de las políticas gubernamentales. Estas entrevistas la DIPRES y el nivel directivo de la DCG tienen la visión pre-estructuradas incluyeron a profesionales de la Dirección completa (o, cuando menos, la visión normativa) de los de Presupuesto, la Dirección de la DCG y la Coordina- objetivos, los procedimientos, los resultados, los usos y las ción de las EPG y las EI dentro de la DCG de la DIPRES. limitaciones de las EPG o las EI. Además, la evaluación recurrió a grupos focales con gru- Naturalmente, las entrevistas semi-estructuradas y pos de participantes en las evaluaciones que incluyeron: (i) los grupos focales son también herramientas limitadas de evaluadores, (ii) cabezas de programas, (iii) coordinadores recolección de información. Producen generalmente in- del ministerio, (iv) personal de la DCG de la DIPRES, (v) formación subjetiva (de percepciones) de tipo cualitativo. jefes de sectores presupuestarios y analistas sectoriales de Por ello, este Informe valoró las entrevistas y los grupos la DIPRES, (vi) jefes de las DIPLAP del ministerio, y focales de acuerdo con el conocimiento y el papel que (vii) jefes de las DIPLAP de los Servicios. desempeñan el actor entrevistado o los participantes en un A través de las entrevistas se buscó conocer primordial- grupo focal. Asimismo, el Informe atribuyó mayor peso a mente la visión y la evaluación que altos funcionarios de las informaciones que estuvieron respaldadas con eviden- la DIPRES y de otras unidades de gobierno tienen del PE cia, particularmente evidencia recopilada y documentada y del SCG y de las sinergias entre éstos y otros programas sistemáticamente, que aquellas que parecen reflejar una o la formación de políticas gubernamentales. A través de opinión o una experiencia particular de los entrevistados. los grupos focales se buscó establecer (a) cómo perciben En este sentido, el Informe buscó maximizar la comple- los distintos actores el proceso y la credibilidad de las mentariedad entre los resultados cualitativos de entrevistas evaluaciones EPG y EI, y (b) cómo perciben el impacto y grupos focales con la muy completa información cuantita- que tienen las evaluaciones en el proceso presupuestario, tiva provista por la DIPRES y también con la información la gestión de programas y organismos y la planeación de obtenida de los análisis en profundidad que produjo este programas y políticas. Para desarrollar una comprensión estudio del Banco Mundial, es decir, el análisis de calidad contextualizada de las repercusiones de las evaluaciones de 10 EPG, de 2 EI, de la manera como se utilizaron 3 en el nivel sectorial, se “triangularon” las entrevistas y los evaluaciones y de la evaluación del marco lógico desde el grupos focales, conversando con los analistas de presupuesto inicio del programa de evaluación (1997) basada en una de la DIPRES, con los jefes de DIPLAP de los ministerios muestra de 15 EPG. o los Servicios y con los coordinadores del ministerio y de En ningún caso se utilizaron las percepciones de los los Servicios. grupos focales para establecer frecuencias o estadísticas Las entrevistas resultaron particularmente útiles para de otro tipo sobre las EPG o las EI. De otro lado, las confirmar o corregir el entendimiento que tenía el equipo entrevistas y, especialmente, los grupos focales sirvieron del Banco Mundial respecto de los documentos recibidos para corroborar y completar la información obtenida de o para precisar aspectos de la evaluación que los documen- las encuestas aplicadas por la propia DIPRES, las cuales se tos recibidos no trataban de manera completa o de manera presentan bajo el numeral 2.6. de esta sección metodológica actualizada. Ejemplos de estos aspectos fueron: ¿De qué del Informe Técnico. 46 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N Estudios de caso de la influencia y la capacitación (por las CI, excepto en el 2001); 5) el panel de las evaluaciones35 y el proceso de evaluación (por las CI). Las tasas de respuesta Esta herramienta metodológica analiza la manera como han sido generalmente buenas y la mayoría de las respuestas las evaluaciones son utilizadas o no para apoyar una mejor son favorables, aunque existen algunas variaciones. Además, gestión de programas, una mejor asignación de recursos se observa una tendencia a que las CI sean ligeramente más al nivel sectorial, o una mayor rendición de cuentas por críticas que los panelistas de evaluación. Esta y otras con- resultados. Para este Informe se estudiaron tres casos de clusiones salidas de las encuestas se incluyen a lo largo del evaluaciones que fueron identificados por la DCG, uno de documento. ellos una EI y los otros dos EPG.36 Estos estudios de caso no Los resultados de la encuesta anónima (a través de Inter- proporcionan una identificación integral de la manera como net) se basan en las percepciones sobre la influencia de las se han utilizado los resultados de las tres evaluaciones; más EPG en los resultados intermedios y finales desde el punto bien, la intención es analizar las razones por las cuales esas de vista de los gerentes de los Programas o los Servicios y los evaluaciones han resultado más o menos influyentes y las Ministerios. La encuesta se concentra, en particular, en dos vías mediante las cuales han producido su influencia. de los cuatro objetivos formales del sistema de evaluación37: En los tres casos se tuvo como patrón de referencia las los cambios de gestión y las contribuciones a las decisiones mejores prácticas internacionales. Por esta razón, la utiliza- de presupuesto. La encuesta está interesada, no sólo en si las ción de estos tres análisis de caso, en cuanto referidos a (o EPG arrojan productos y resultados positivos (los que indu- comparados con) la experiencia internacional, se entiende dablemente parecen producir), sino también en por qué se sujeta a las limitaciones y a las reservas que se predicaron obtienen algunos de esos resultados y otros no. En opinión más arriba respecto de la comparación internacional con la de este Informe, las preguntas de elección múltiple –que calidad de evaluaciones EPG o EI. Para mayor elaboración buscaron llegar al por qué de lo sucedido– no fueron efecti- sobre el método seguido, los hallazgos encontrados y la cau- vas: a menudo las pocas respuestas se extendían sobre dema- tela que es necesario tener antes de aceptar las observaciones siadas explicaciones; con frecuencia, las elecciones múltiples de estos tres análisis de caso (incluidas las propias reservas parecieron no ser de fácil comprensión para los entrevista- introducidas por la DCG), ver Anexo I. dos. En este sentido, la DIPRES no utilizó los resultados ç de estas preguntas; esta salvedad está reflejada en su informe de usos y efectos del 2004. Encuestas anuales del Proceso de Evaluación (2001-2003) y Encuesta de Resultados Intermedios-Finales (enero del 2004) C.3. Resultados del programa Parte del análisis y de las pruebas contenidas en el docu- Esta sección de Resultados presenta, primeramente, un mento se basan en los resultados de encuestas que fueron balance cualitativo del nivel de los objetivos del PE, el suministrados por la propia DIPRES: papel de los actores, la metodología y la aplicación de los • Las encuestas anuales conducidas por la DIPRES procedimientos del PE. Enseguida presenta los indicadores tanto para EPG como para EI de resultado del Programa. • Encuesta Anónima de Resultados Intermedios- Finales, enero de 2004 Balance cualitativo de los objetivos del PE Los resultados de las encuestas anuales se basan en cues- El PE cumple con cada uno de los objetivos para los cuales tionarios bastante compactos, administrados a los actores in- fue creado. El Apéndice a esta sección incluye una discu- volucrados en evaluaciones EPG como: los evaluadores, los sión técnica del marco lógico del PE, de las premisas para el coordinadores de los paneles de evaluación y las “contrapar- cumplimiento de sus objetivos y de las condiciones bajo las tes institucionales” (CI). Estas encuestas buscan evaluar a: 1) cuales se puede afirmar que el PE cumple con sus objetivos. los evaluadores (por los coordinadores); 2) los coordinadores La lectura de dicho Apéndice puede ser evitada por quienes (por los evaluadores); 3) el proceso de evaluación (por coor- no estén interesados en la aplicación de la metodología del dinadores y evaluadores); 4) los talleres (jornadas de trabajo) marco lógico al PE. 47 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Contribución a las decisiones presupuestarias. En primer la DIPRES, los mismos que se presentan más adelante en lugar, el PE enriquece la información para las decisiones esta sección de Resultados. presupuestarias. Si bien los resultados de la evaluación no En resumen, el objetivo inmediato de alimentar las se traducen necesariamente en una variación en los recur- decisiones presupuestarias con sólida información de eva- sos destinados por el presupuesto al programa evaluado, ni luación es cancelar o mejorar los programas y, al final de orientan forzosamente el presupuesto hacia un aumento o cuentas, asegurar la efectividad y la eficiencia del gasto. una reducción de las asignaciones al programa con un des- En otras palabras, el Programa de Evaluación, al mejorar el empeño positivo o negativo, la evidencia recogida demostró desempeño de los programas evaluados, mejora la calidad que los reportes de evaluación y los Compromisos Institu- del gasto, lo cual es el objetivo final del Sistema. cionales son tenidos en cuenta en todas las etapas del pro- No existen aún indicadores que conecten directamente ceso de preparación y asignación presupuestaria, tanto den- el PE con el logro de su fin u objetivo final, cual es el mejo- tro del Ejecutivo como en los análisis del Congreso y en las ramiento de la calidad del gasto público. Estos indicadores discusiones entre el Ejecutivo y el Legislativo.38 de fin son muy difíciles de aislar de la influencia de otros Tres razones explican por qué las evaluaciones carecen programas del gobierno y de factores exógenos, fuera de una consecuencia presupuestaria automática o unidi- del control del gobierno, que podrían afectar la calidad reccional. Primero, en un contexto de escasos recursos, no del gasto. Sin embargo, esta evaluación sí encontró evidencia todas las recomendaciones de las evaluaciones que impli- de las contribuciones del PE a las decisiones presupuesta- can aumentos del presupuesto se pueden adoptar automá- rias, al mejoramiento de la gestión y a la rendición de cuen- ticamente. Esas recomendaciones necesitan pasar por el tas públicas, todas las cuales llevan a inferir que el PE está método de análisis y filtración de la DIPRES dado que la contribuyendo al objetivo final de mejoramiento de la efica- Dirección de Presupuestos está en mejor posición que lo cia y la eficiencia del gasto público.39 evaluadores –que necesariamente se centran en uno o dos Contribución al mejoramiento de la gestión. En segundo programas– para juzgar qué programas y/o recomendaciones lugar, el PE mejora la gestión de los programas mediante merecen prioridad. Segundo, los cambios presupuestarios, la determinación de los Compromisos Institucionales y el en particular aquellos motivados por las EI, pueden tomar seguimiento a los mismos. más de un año en realizarse. Tercero, el uso de la evalua- Cabe resaltar la contribución que ha prestado el PE al ción para ayudar a cortar el gasto probablemente se in- mejoramiento del marco lógico de los programas evaluados. tensifique en los años de reducción presupuestaria –como Es una contribución que ha ido más allá del alcance ordi- ocurrió en Chile en el año 2000 para la reasignación de nario de programas de evaluación externa y que refleja bien recursos interanuales e intra-anuales. Por estas razones, la importancia del objetivo de mejoramiento de la gestión la DIPRES ha eliminado de los TTR 2004 para EPG, –especialmente en los primeros años del PE, cuando mu- la solicitud de que los evaluadores distingan entre recomen- chos programas no contaban con un marco lógico idóneo. daciones que requieren o no de recursos adicionales. Los programas seleccionados para evaluación pasan por un Dado que la relación entre los resultados de evaluación proceso de revisión y, si es necesario, un ajuste de las metas y las asignaciones presupuestarias está lejos de ser determi- del programa, de los componentes, las actividades o la eva- nante, el programa de evaluación de la DIPRES no ha to- luación de riesgos. La matriz inicial de evaluación refleja, mado –y no puede tomar– como indicador de resultado del de un modo preliminar, el estado del programa en el año PE la cantidad de cambios presupuestarios motivados de evaluación; la matriz que se recomienda al final de la principalmente por las evaluaciones. Lo que hace sen- evaluación por el evaluador es una segunda fotografía del tido para este objetivo del PE es medir los resultados del programa, que actualiza su diseño con base en los resulta- Programa con relación a los programas que se recomenda- dos de la evaluación. En general, durante el desarrollo de la ron ser cancelados y se cancelaron, o los programas que se evaluación la matriz inicial se perfecciona a la luz de nuevos recomendaron se reformaran y en verdad se reformaron. desarrollos y de mayor conocimiento del programa, con el Este es precisamente el tipo de indicadores medidos e objeto de proponer un diseño que mejore el desempeño del informados actualmente por el Programa de Evaluación de programa. Asimismo, y con posterioridad a la evaluación, en 48 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N la instancia de trabajo de seguimiento de los Compromisos Tampoco persiguen primordialmente las EPG y las Institucionales, las matrices se analizan y actualizan incorpo- EI la rendición de cuentas en cuanto a la revelación y noti- rando, si corresponde, los cambios que pueden ocurrir entre ficación a la sociedad civil. Como se mencionó, el sistema la finalización de la evaluación y el año en que se realiza el de evaluación de la DIPRES está orientado a enriquecer seguimiento de Compromisos. las discusiones del presupuesto y a fortalecer el monitoreo Por lo dicho en los párrafos anteriores, la metodología y el control por parte de la DIPRES y del Congreso. Para y los procesos del PE sí han llevado a recomendar cambios alcanzar esos objetivos, el sistema maneja las presentaciones en el concepto y en la gestión de un programa. Pero su públicas al Congreso, la propia página Web de la DIPRES contribución se ha limitado a asegurar que el diseño y y varias publicaciones. De hecho, el PE hace accesible toda la lógica del programa hagan sentido, es decir, que sean com- la información de los procesos y de los resultados de patibles con sus objetivos, incluyan indicadores de resulta- las evaluaciones en página Web, con lo cual permite la dos adecuados y estén produciendo los resultados esperados posibilidad de acceso por parte de cualesquier ciudadano (incluidos los resultados de impacto en el caso de las EI). interesado. Pero la DIPRES no asegura la difusión o los El aporte que ha hecho el PE al mejoramiento de los usos de las evaluaciones por la sociedad civil. Esta labor recae marcos lógicos no invade el terreno de competencia propia en los Ministerios y Servicios responsables de los programas, de los Servicios o los ministerios sectoriales y, en todo caso, los mismos que a través del PMG están comprometidos es posible que disminuya en la medida en que la cultura de con mejorar la Calidad de Atención a Usuarios, Sistema evaluación continúe aclimatándose en Chile y los progra- que fue incorporado por la DIPRES al PMG en el año mas sean crecientemente formulados con observación de los 2001. El PE de la DIPRES se limita a cumplir eficazmente criterios de marco lógico. con la noción ordinaria de la notificación pública la cual, Contribución a la rendición de cuentas pública. El obje- como sustituto de la rendición de cuentas, se detiene en tivo de la rendición de cuentas tiene que entenderse como la revelación.42 restringido a la provisión de información para la calidad Subproductos del PE. Además de la satisfacción de sus general de la Rendición de Cuentas por parte del Ejecutivo, objetivos explícitos, el PE produce también otros resultados especialmente la rendición de cuentas al Legislativo. Es un o beneficios que podrían considerarse subproductos, exter- objetivo que se enmarca dentro del propósito más general nalidades o resultados indirectos de este Programa. Entre de transparencia en los resultados del gasto público. Pero esos resultados cabe enumerar: i) la formación de una cultu- no puede confundírselo, para fines de esta evaluación del ra creciente de evaluación dentro de la administración públi- PE, con otros instrumentos o sub-objetivos ordinariamente ca, incluido especialmente el fortalecimiento de los minis- asociados con la transparencia. terios y los organismos en la metodología de marco lógico, En primer lugar, la rendición de cuentas no signifi- en el mejoramiento de indicadores de resultado y en la ca –y la evidencia recogida indica que nunca ha intentado producción de la información necesaria para la evaluación; significar– que el PE esté orientado a responsabilizar ii) una contribución limitada a la formulación de políti- individualmente a los gerentes de programas, equipos de cas. En este respecto, las EPG y las EI arrojan luz sobre la programa, unidades de servicio o unidades del ministerio por factibilidad, los costos y la efectividad de los programas el diseño, la ejecución o el impacto del programa. Tampoco que desarrollan las políticas actuales y sobre las conexiones significa que el sistema se propone hacer una evaluación del lógicas entre programas y políticas; las EI son, además, un personal o de las unidades del gobierno que han participado insumo fundamental para juzgar si los resultados finales de en los programas que están siendo evaluados, o que las EPG un programa y, a través del programa, de la política mis- y las EI estén orientadas a premiar o castigar sobre la base ma, se han logrado o no, o si se necesitan o no políticas o del desempeño individual o colectivo.40 Otros instrumen- instrumentos complementarios o alternativos para conse- tos del gobierno, incluidos algunos de los otros instrumen- guir el cambio deseado; iii) una contribución al fortaleci- tos del Sistema de Control de Gestión y Presupuesto por miento de la transparencia gubernamental, y iv) un aporte al Resultados (ver Sección B de este Informe sobre el SCG) monitoreo y al control de la efectividad y la eficiencia de los están vinculados a la provisión de tales incentivos.41 programas del gobierno. 49 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Contribución a la formación de una cultura de evaluación. al proceso de formulación de nuevas políticas o de refor- El programa asigna tiempo de su reducido personal a la ma de las existentes, sea para estimar su factibilidad y sus capacitación de los evaluadores externos y a los Servicios o riesgos, sea para anticipar la efectividad o la eficiencia de ministerios por igual. Además de capacitación, el programa una estrategia de ejecución de políticas. Lo que es más invierte considerables recursos en la difusión electrónica, y importante, el proceso de selección de los programas a además proporciona incentivos (como el reconocimiento de evaluar se ha basado a menudo en las inquietudes que so- las evaluaciones en las decisiones presupuestales) que envían bre un programa tienen los mismos hacedores de políticas.45 señales conductuales a todo el gobierno y al sector priva- Es más, el ciclo de evaluación brinda oportunidades signi- do. Es más, este resultado parece ser sumamente aconsejable ficativas para que los hacedores de políticas conozcan los para la sostenibilidad del sistema de evaluación a mediano resultados de la evaluación, ya sea en el momento de tratar los plazo. Si Chile fuera a seguir a otros países que han optado resultados de evaluación y los Compromisos con los niveles por delegar o inicialmente instalar la capacidad de evalua- superiores del ministerio o del servicio, o en el momento de ción en los ministerios y los Servicios sectoriales, la difusión las discusiones del presupuesto sectorial con los especialistas de la cultura de la evaluación sería una condición sine qua sectoriales de la DIPRES, o en el momento de las reuniones non para la evolución prevista del sistema. internas de la DIPRES entre el Director del Presupuesto, En este sentido, desde el 2001 DIPRES acordó formal- la División de Control de Gestión y los especialistas mente con MIDEPLAN que este Ministerio aprobase la sectoriales del correspondiente sector presupuestario; calidad del marco lógico en los programas que se presen- también en el momento de las discusiones del presupues- tan al Fondo Concursable y realizase el trabajo de asistencia to con el Ejecutivo-Legislativo. Por último, pero no menos técnica a instituciones para la preparación de las matrices importante, el Comité Interministerial y el Director de de marco lógico (MML) en el proceso de formulación de Presupuesto garantizan el uso de los resultados de evalua- los presupuestos 2001 a 2003, período en que operó el ción en las decisiones de Presidencia y de Gabinete sobre las Fondo Concursable.43 MIDEPLAN ha continuado entre- prioridades del programa de gobierno. gando asistencia a las instituciones en marco lógico para la formulación del presupuesto cuando se le ha solicitado. Las discusiones con los grupos focales y las entrevistas Apéndice. El Marco Lógico del PE con los actores principales involucrados en los procesos El gráfico 3 busca integrar los objetivos y los resultados del de evaluación dieron por resultado que el personal de los PE presentados en el marco lógico del programa con sus ministerios y los Servicios acogen con beneplácito otros resultados adicionales o subproductos (algunos más inten- instrumentos de la DIPRES, como las Definiciones cionales que otros que podrían caracterizarse de externali- Estratégicas, y los PMG (Programas de Mejoramiento de la dades del PE), desarrollados en la Sección 3.1. Este ejercicio Gestión), y los consideran parte de una estrategia general de ayuda a organizar y entender mejor las relaciones causales, aclimatación de la evaluación en el sector público chileno. tanto internas como externas, del PE. El punto de partida También perciben que los esfuerzos de DIPRES hacia un son los objetivos que componen las EPG y las EI. En la sistema de control de gestión integral están produciendo un práctica, se puede percibir que el PE es actualmente exitoso cambio voluntario en la cultura de la gestión; de una basada en cumplir con sus objetivos estrictos, es decir, cumplir con en las reglas y los temas relativos a los procesos, hacia una las evaluaciones de ambos componentes en el nivel inferior cultura interesada en los resultados. de resultados del gráfico. Contribución a la formulación de políticas. Si bien las El propósito del Programa no es simplemente la suma de EPG y las EI no están concebidas para evaluar la eficiencia los resultados de los dos componentes. Dado que alcanzar en la asignación mediante comparaciones intra e intersec- el resultado del componente no significa automáticamen- toriales –ni lo está ninguna evaluación de programas por te que el propósito se hubiere alcanzado, debe haber otras definición– sí están planteando preguntas y proporcionan causalidades en el proceso. En otras palabras, algunas recomendaciones sobre las funciones de producción de un hipótesis o supuestos deben cumplirse para que se alcan- servicio.44 Esas preguntas y recomendaciones agregan valor ce el objetivo del propósito. Este objetivo se define como la 50 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N integración de la información generada por el PE al pro- público chileno, para las autoridades de DIPRES un resultado ceso presupuestario y a la gestión de los programas públi- intencional. De alguna manera, este cambio cultural cos en términos de eficacia, calidad, economía y eficiencia. contribuye directamente a un mejor gasto público, por Hay algunos supuestos sobre los factores externos relevan- ejemplo profesionales de los Servicios diseñan mejores tes (es decir, factores que escapan a la responsabilidad de programas con una orientación hacia resultados en men- DIPRES) que brotan de la naturaleza del propósito: te, gastan responsablemente los recursos, etc. En el gráfico Para alcanzar el propósito, los tomadores de decisiones causal, el resultado más importante puede ser el círculo del Congreso y del Gobierno deben tomar en cuenta las virtuoso entre la evaluación de programas y la cultura de evaluaciones terminadas y deben tener la capacidad de sacar evaluación. El programa guió el cambio cultural; pero una conclusiones de las recomendaciones y de seguirlas, de tal cultura de evaluación firme fortalece entonces la evaluación forma que sin los resultados de las evaluaciones no hubiesen del programa –por ejemplo haría supuestos mas sólidos podido hacerlo.46 para el propósito– y a través de un programa fortalecido Para alcanzar el propósito, los tomadores de decisiones contribuye al fin. Aunque este resultado es mucho menos de los programas, así como de los Servicios y Ministerios directo, puede contribuir sustancialmente a la sostenibilidad correspondientes, necesitan absorber las recomendaciones del programa exitosamente en el largo plazo. que resultan de las evaluaciones e implementar los cambios Otro resultado importante del programa es el fortaleci- que éstas propongan. Para que ello suceda, es necesario que miento del monitoreo y control de los programas. Su impac- exista la cooperación de actores distintos a la DIPRES, como to en la calidad del gasto público puede ser positivo, porque la SEGPRES, los Servicios y los Ministerios.47 Hacienda puede vigilar eficientemente y dar seguimiento a Para alcanzar el propósito, los actores (en este caso el sus prioridades. Sin embargo, un sistema demasiado centra- Congreso y la DIPRES, primordialmente responsable lizado puede tener impactos negativos.49 del PE) necesitan tener cuando menos un entendimiento Otros resultados del sistema PE, no tan importantes básico sobre la credibilidad del instrumento de evaluación.48 actualmente, también fueron identificados en la Sección 3.1. En el gráfico 3 la supervisión y control forma parte de la El Programa hace contribuciones limitadas a la elaboración información de asignación del presupuesto. de políticas, que claramente mejorarían el gasto público. La Con base en los resultados de este informe, podemos conexión entre un programa y la política que sirve no es concluir que estos supuestos reflejan la situación actual, muchas veces directa ni fácil de establecer; tampoco parece y que, consecuentemente, el PE alcanza el objetivo de su ser clara en este momento. Pero la DIPRES está dando pasos propósito. El nivel más alto de objetivos del marco lógico, el hacia allá, que respetan la integridad del PE, lo conectan fin, está separado del propósito. El marco lógico define este con otros instrumentos del SCG (Definiciones Estratégicas, objetivo último hacia el cual el programa contribuye como Indicadores de Desempeño, PMG, ECG) que tienen la mejora del gasto público. Existen varias formas en las que vínculos más directos y más fuertes con el nivel de la el PE puede contribuir a cumplirlo. Los objetivos centrales del PE son mejorar la asignación contribución a los instrumentos. En teoría, la rendición de de recursos y mejorar la gestión de los programas. Por lo cuentas del gobierno contribuye a mejorar el gasto al proveer cual, si el propósito se alcanza, se alcanzan por ende estos información/reacciones (feedback) y fomentar un compor- dos resultados. Lo mismo se sostiene para la mejora de los tamiento responsable. El PE no tiene la intención explícita programas y el fortalecimiento de su gestión. Es claramen- de incrementar la rendición de cuentas, pero las evaluacio- te evidente que mejores programas implicarían mejor ca- nes producen información que la mejorará en cierta me- lidad del gasto público, posiblemente en ambos términos, dida. Finalmente, el programa ayudó en la formación de eficiencia y eficacia. Su cuantificación continúa siendo un un mercado de evaluación transparente. Este es claramente asunto sin resolver dada la complejidad en medir este tipo un subproducto (by-product) que no contribuye per se al fin. de resultados. Hoy por hoy, la matriz de marco lógico del PE no contie- Se ha señalado que la evaluación de programas ha ne supuestos ni considera factores de riesgo para la relación ayudado a formar una cultura de evaluación en el sector entre el propósito y el fin. 51 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO GRÁFICO 3 Programa de Evaluación (PE) - Resultados y Objetivos 52 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N Balance cualitativo del papel nes y Compromisos Institucionales para cambiar aspectos de los actores del PE identificados en las recomendaciones. Por esta razón, los El siguiente balance cualitativo da cuenta de que, de acuer- funcionarios directivos de los Servicios están generalmen- do con la evidencia documentaria recogida y con la evalua- te menos informados de la evaluación que el personal del ción de la información de entrevistas y grupos focales, los nivel de programa; asimismo, los ministros o el personal participantes en el PE están cumpliendo con los roles que directivo de los ministerios están poco familiarizados con les corresponde según el diseño del Programa50: las evaluaciones, particularmente las EPG. La Secretaría de la Presidencia y el Ministerio de Los congresistas están llamados a observar y discutir Planificación limitan generalmente su participación a los fundamentos, las conclusiones y las recomendaciones las discusiones de orientación del PE. En cuanto a los producidas por el PE. Sin embargo, el uso de la evalua- procedimientos mismos del PE, estas dos importantes en- ción por parte del Congreso parece haber sido, en la prác- tidades del Ejecutivo se circunscriben a proponer progra- tica, limitado. Desde el punto de vista de su participación mas para evaluar y a participar en la selección de panelistas en el Programa de Evaluación, el Congreso se ha limitado junto con la DIPRES. De manera que la visión y la gestión generalmente a recomendar muy pocos programas para ser del PE estriban fundamentalmente en la DIPRES. evaluados. Los congresistas, si bien celebran la calidad y la Respecto a los especialistas sectoriales de la DIPRES. prontitud de la información producida por el PE, y apoyan La cultura orientada a resultados está apenas creciendo el Programa, no parecen utilizar esta información ni aportar entre ellos, en la medida en que este personal se somete a creativamente al PE (por ejemplo, con más propuestas de entrenamiento adicional conjuntamente con la División programas que ellos consideran que debieran ser evaluados de Control de Gestión de la misma DIPRES. Hasta hace o con opiniones sobre la calidad de los programas evaluados) apenas poco tiempo, el personal de presupuesto estaba en la medida en que están posicionados para hacerlo. sólo filosóficamente identificado con el PE; en los últimos Los párrafos inmediatamente siguientes resumen los años se observa mayor apropiación y compromiso con resultados principales, informados en detalle en el Anexo D, el Programa. Es importante observar, en este contexto, que los Servicios demandan generalmente una mayor espe- en cuanto a la percepción de los diferentes grupos de actores cialización sectorial en las evaluaciones y que los especialistas institucionales con respecto a la función que cada uno de sectoriales de la DIPRES pueden enriquecer los términos ellos cumple y al valor agregado de otros participantes en de referencia y los contenidos mismos de las evaluaciones el sistema. Si bien las percepciones no son particularmente contribuyendo con asistencia, documentación y discusión importantes con relación al diseño mismo del PE, sí refle- de las materias sectoriales o específicas del programa. jan preocupaciones de los actores que podrían debilitar su Las contrapartes institucionales en los Servicios y sentido de pertenencia y su grado de compromiso con el Ministerios se interesan y se involucran considerablemen- PE. Es decir, son una observación que no incide en los re- te en la evaluación desde el momento mismo en que su sultados obtenidos pero sí podría afectar la sostenibilidad programa es seleccionado y deben preparar la informa- futura del Programa. ción básica requerida por los evaluadores. Pero el nivel de Percepción de excesiva centralización del PE. De entre interés y participación, manifiesto en el nivel del pro- las observaciones expresadas por los participantes, una de grama, se debilita en la medida en que se asciende hacia las más notorias tiene que ver con el grado de centralización cargos superiores de los Servicios y de los Ministerios. del PE en la DIPRES. La percepción, expresada principal- Dado que el objetivo clave del sistema de evaluación es mente por las agencias ejecutoras de los programas evaluados, el perfeccionamiento de los programas, los interlocuto- consiste en que la DIPRES, que preside el Comité Intermi- res sectoriales primarios del proceso de evaluación son los nisterial, concentra el manejo y la autoridad del Programa gerentes y el personal de los programas. Los jefes de planea- de Evaluación. La autoridad de la DIPRES dentro del PE ción o los niveles directivos de los Servicios y los ministerios es generalmente percibida como positiva y es atribuida a concentran su intervención durante el proceso de evalua- los siguientes factores: i) el enorme peso de la Dirección ción en la discusión de las conclusiones, recomendacio- de Presupuesto, no sólo en el Ministerio de Hacienda, sino 53 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO en el seno de las principales decisiones programáticas del La percepción de deficiencia en la información es gobierno; ii) la DIPRES respalda la credibilidad del compartida por el personal responsable del programa. Programa de Evaluación con su grande prestigio técnico La mayoría de los participantes argumentó que, debido a y con los altísimos índices de efectividad y eficiencia de la la manera como se registran los gastos gubernamentales, División de Control de Gestión. Por todo lo anterior, la es a veces difícil suministrar la información de gasto que mayoría de las agencias ejecutoras reconoce que la DIPRES los evaluadores requieren según los términos de referen- es la entidad llamada a liderar un sistema centralizado de cia preparados por la DIPRES. La institución cuenta con evaluación y que las rutinas estandarizadas impuestas por un mes para recoger y organizar la información que se la DIPRES, si bien imprimen rigidez, son las que asegu- requiere para la evaluación. En vista de que este tiempo es ran que el sistema de evaluación funcione con economía, relativamente breve, los mismos funcionarios de los objetividad, calidad y prontitud. Del otro lado, las agencias programas no confían a veces en la calidad de la informa- ejecutoras hallan que el modelo y los procesos de evaluación ción que proporcionan a los evaluadores. Por esta razón, son ocasionalmente muy rígidos y no dan cabida a conside- los funcionarios a cargo de los programas recomiendan que raciones particulares del servicio. En este sentido, quisieran la DIPRES trace lineamientos ex-ante para que los que el servicio participara con más voz en el diseño mis- Servicios lleven regularmente la información que ellos mo de los términos técnicos de la evaluación.51 Más aún, deben suministrar a los evaluadores. Y, de hecho, así lo estas mismas agencias perciben que los evaluadores son viene haciendo la DCG a través de su insistencia en los generalmente agentes creíbles y eficaces, pero están frecuen- Compromisos de mejoramiento de la información y del temente insatisfechas por lo que perciben como una débil seguimiento a estos Compromisos. especialización sectorial en algunos de los evaluadores y La anterior percepción parece particularmente impor- por un desempeño a veces minimalista, especialmente en tante por cuanto ella coincide con los análisis incluidos en las EPG.52 Y, como algunas de esas agencias se perciben los Anexos F, G e I respecto de las deficiencias de informa- a sí mismas como competentes en materia de evaluación, ción para llevar a cabo EPGs o EIs. Cuando menos parte aspiran a jugar un mayor papel en el proceso de evaluación de la percepción, y de la observación de aquellos anexos de su propio servicio o sector, quizás mediante delegación de técnicos, podrían explicarse por el hecho de que el diseño la DIPRES o certificación por una entidad independiente. del PE admite, como se dijo más arriba, evaluar programas La percepción que los evaluadores y los Servicios tienen que no reúnen todas las condiciones de tales, particularmen- de la información necesaria para la evaluación. Los datos e te las condiciones de buena formulación de marco lógico información que reciben de los programas son a menudo de y de información indispensable para una rigurosa evalua- calidad deficiente, están incompletos y son incongruentes. ción. Este sacrificio deliberado de calidad busca, como Los evaluadores indicaron que ello se debe a que algunos de también se dijo ya, que el PE contribuya al mejoramiento de los programas evaluados no tienen información de calidad o la formulación de los programas y a identificar y elevar la información es enteramente inexistente. En otros casos, la calidad de la información requerida para evaluar sus los responsables de los programas seleccionan qué informa- resultados. De manera que la DIPRES está dispuesta a ción comparten y cuál no comparten con los evaluadores. sacrificar los estándares teóricos de una evaluación para Si bien la DIPRES les brinda una ayuda significativa para obtener el beneficio del mejoramiento del programa. Y obtener información de los programas y las instituciones, así será, seguramente en forma decreciente, mientras los y llega al punto de apoyar recolección de información de programas sean mal formulados o no lleven la información campo en algunos casos de EPGs, a través del financiamien- que requieren en principio las evaluaciones. to de estudios de casos, los evaluadores encuentran que Percepción de los evaluadores respecto del proceso de selec- el apoyo de la DIPRES no siempre es suficiente para que ción y la división del trabajo entre los panelistas. Los parti- ellos obtengan la información que necesitan.53 Argumentan cipantes en los grupos focales de evaluadores señalaron los que frecuentemente tienen que depender de sus propios beneficios de trabajar con evaluadores con de diferentes dis- contactos personales para obtener información. ciplina o con diversas experiencias profesionales, lo cual ha 54 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N significado un gran aprendizaje e implicado un reto al tener La metodología del PE que producir conjuntamente una buena evaluación de escri- Esta sección sintetiza los resultados de la evaluación de torio. Observaron, sin embargo, que aunque formalmente los modelos de evaluación, la metodología y los informes están establecidas las tareas de los panelistas en el contra- producidos para las EPG y EI sobre la base de: 1) el aná- to tipo, en la práctica, la división de las responsabilidades lisis del marco lógico con base en quince casos de EPG dentro de los paneles no parece quedar suficientemente (Anexo B), 2) la evaluación exhaustiva de diez reportes clara. Por consiguiente, los coordinadores a veces hacen de EPG (Anexo F), 3) el análisis de los Términos Técnicos gran parte del trabajo que los demás miembros del panel de Referencia para las EI y de la calidad de las EI con base no completan, lo cual les agrega carga adicional como en dos evaluaciones de caso (Anexo G), y 4) el análisis en coordinadores y responsables de la evaluación. profundidad de los usos de tres evaluaciones (Anexo I). Los Incentivos de los evaluadores. Los participantes de Evaluación 54 del marco lógico de las EPG 55. La sen- los grupos focales coincidieron en que la remuneración cilla y estandarizada metodología del marco lógico de la que ellos reciben por realizar una EPG no es suficiente DIPRES para las EPG ha sido sumamente valiosa para lograr para la cantidad de trabajo que la misma implica. Sin evaluaciones objetivas y sistemáticas de un gran número de embargo, la evidencia empírica contradice la percepción programas año tras año. A pesar de las reservas de algunos de que los evaluadores son remunerados por debajo de las de los participantes en los grupos focales, la metodología tarifas del mercado. De hecho, la DIPRES cada año reci- del marco lógico promovida y prescrita por la DIPRES be propuestas (aproximadamente 160 en promedio, para es quizás el factor individual de mayor peso para explicar realizar 13 EPGs en promedio) de muy buena calidad la efectividad, economía y credibilidad de las EPG y la cuando se hace la selección para evaluar los programas. difusión de una cultura de evaluación (gestión) dentro del Además, los propios evaluadores de EPG también expre- sector público de Chile. Dicho esto, vale la pena poner a saron que disfrutan hacer este tipo de trabajo, en el cual prueba el marco lógico de las EPG contra un marco lógi- aprenden, conocen otros expertos del sector y, lo más co ideal. Aunque esta norma puede no ser adecuada para satisfactorio, sus recomendaciones son tomadas en cuenta. las finalidades específicas de las EPG, especialmente de las En el caso de las EI, los evaluadores consideran satisfactoria EPG en la etapa actual del desarrollo del SCG de Chile, su remuneración. todavía proporciona un punto de referencia desde el cual El creciente papel de los analistas sectoriales de la DIPRES. pueden elaborarse recomendaciones prácticas— así sean Los analistas sectoriales de la Dirección de Presupuesto marginales. Esta es la finalidad de esta sub-sección. han venido incrementando su aporte al PE y su utilización La DIPRES requiere que cada evaluación de EPG de los resultados de las evaluaciones. Como se hallan todavía contenga un marco lógico para el programa evaluado. No en una etapa de transición hacia un mayor rol con relación todas las EPG contenían en los inicios del EPG un marco al PE, no sorprende que las percepciones que ellos tienen lógico, pero desde 1999 se lo requiere y se lo aplica sistemá- del Programa sea muy variada de un analista a otro. En ticamente durante la evaluación. La metodología de matriz la práctica su rol es examinar la calidad y la consistencia de marco lógico chilena sigue claramente el diseño de marco de los datos presupuestarios de los programas evaluados lógico utilizado por el Banco Interamericano de Desarrollo y las implicaciones presupuestarias de las recomendaciones (IADB).56 de los evaluadores. Además de las dimensiones estricta- En los dos primeros años del programa de EPG se mente presupuestarias, su papel incluye señalar los ámbitos usaron pocos marcos lógicos. Aunque la metodología y los más relevantes que debe considerar la evaluación y, de conceptos de ML se aplican desde 1997, el marco lógico se manera más general, revisar y formular observaciones a introdujo de manera sistemática al Informe Final de EPG los términos de referencia de las evaluaciones antes de que en 1999. En general, el marco lógico de la EPG permane- los evaluadores sean contratados, lo cual hallan a veces ció inalterado después de su introducción. A partir de 1999 es difícil de cumplir por las demandas de tiempo que no se añadieron o quitaron categorías importantes en la les imponen sus otras funciones. lógica horizontal o vertical. El formato de presentación de 55 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO CUADRO C.3.3.1. Cambios en el marco lógico para las EPG en el transcurso del tiempo* (1997-2003) 1997 • Tres EPG examinadas en esta muestra, de un total de 20 EPG realizadas. • El formato horizontal es similar al marco lógico actual. • El formato vertical es diferente, su cadena causal es del siguiente modo: actividades componentes propósito fin. La forma de expresión del componente no es adecuada para la lógica vertical de la matriz, que es de pasos de causa y efecto. Este formato no se vio en ninguna otra EPG.105 • Puede inferirse la falta de experiencia con el formato del marco lógico en un principio porque éste no concuerda con la metodología actual. • Los indicadores no están diferenciados. 1998 • Dos EPG examinadas en esta muestra, de un total de 40 EPG realizadas. 1999 • Dos EPG examinadas en esta muestra, de un total de 20 EPG realizadas. • La plantilla Informe Final de la EPG ahora contiene referencia a la lógica vertical y horizontal del marco lógico, todas las EPG contienen marcos lógicos. • El formato vertical del marco lógico cambió para presentar este formato: actividades componentes propósito fin. La lógica vertical permanece inalterada después de 1999. Observe que el nivel del fin nunca contiene indicadores o supuestos. • Columna de indicador separa indicadores actuales e indicadores posibles. • Aparece un glosario de términos, Glosario Técnico de Marco Lógico, que define conceptos del ML en los formatos. 2000 • Una EPG examinada en esta muestra, de un total de 18 EPG realizadas. • Se abandona la columna de indicadores dividida. El resto del Marco lógico inalterado. 2001 • Dos EPG examinadas en esta muestra, de un total de 19 EPG realizadas. • La plantilla de EPG ahora incluye dos marcos lógicos, un marco lógico observado que describe el programa tal como es y un marco lógico propuesto que incorpora los cambios propuestos por los evaluadores. A menudo no está claro si el primer marco lógico fue usado de antemano o fue creado por la institución junto con los evaluadores para captar el status-quo. • Los indicadores ahora se diferencian en cuatro categorías: eficiencia, efectividad, calidad y economía (según se define en la metodología de marco lógico utilizada actualmente). • Se elaboran las Notas Técnicas • Se elabora documento de metodología para desarrollo de ML y se incorpora como anexo el documento de indicadores que define requisitos y características. 2002 • Tres EPG examinadas en esta muestra, de un total de 15 EPG realizadas. • No se observaron cambios importantes en el marco lógico. • Se incorpora una matriz específica de medición de indicadores como parte de la matriz de evaluación del programa, cuyo objeto es hacer explícita la cuantificación de los indicadores de la matriz de ML de evaluación. 2003 • Dos EPG examinadas en esta muestra, de un total de 13 EPG realizadas. • No se observaron cambios importantes en el marco lógico. *Nota: Todos los años se han perfeccionado los formatos y los documentos metodológicos que acompañan los TTR de los evaluadores. 56 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N la matriz de marco lógico de la EPG sí cambió en el allá de la brecha de atribución, donde las contribuciones transcurso de los años, pero esto no tuvo una repercusión del programa per se ya no se alcanzan a medir. importante sobre la función que ha cumplido el mar- Según la metodología de marco lógico, cada objetivo co lógico desde cuando fue introducido. La única área debe ser monitoreado por indicadores apropiados, que se que muestra una evolución es la presentación de los dividen en cuatro dimensiones: calidad, eficiencia, efecti- indicadores, que fue perfeccionada en varios años y se vidad y economía. Se requiere que éstos, de ser posible y tornó recientemente más compleja dado que los indicadores pertinente, se presenten para cada objetivo, lo cual es raro ahora se desglosan en cuatro dimensiones (eficacia, calidad, en la práctica. En niveles inferiores, se sugiere tener las eficiencia, economía) y bajo estándares más exigentes (ca- cuatro dimensiones pero no es obligatorio. La distinción entre lidad de la formulación pertinencia, dimensiones, ámbi- la medición del proceso, del producto y de los resultados tos, etc.). Asimismo, a partir de 2001 se elaboran las Notas (intermedio y final) se menciona brevemente en la me- Técnicas como documento metodológico complementario todología, sin embargo, esto no se especifica en el propio cuyo objetivo es precisar y profundizar temas relativos a la marco lógico. Aunque no se hace explícito en el formato de evaluación de programas públicos. la ML, su asociación (indicadores de proceso, producto y de La comparación de los marcos lógicos de la muestra resultados) y los distintos niveles de objetivos (actividad, seleccionada de programas que fueron evaluados dos componente, propósito y fin) se establece en el documen- veces resalta la evolución de la metodología de marco lógico to de indicadores de las Notas Técnicas. Esta deficiencia (ver cuadro C.3.3.1). En todas las instancias, los indicado- se abordará a partir del presupuesto de 2005, en el que res están mucho mejor organizados como resultado de su cada indicador estará clasificado en indicadores de proceso, mejoramiento a través del tiempo. En los últimos años, la producto o resultado. Esto será un avance importante respec- metodología se aplica con mayor uniformidad y se mejo- to de los años anteriores y servirá para aclarar el uso de los ra el entendimiento de la lógica interna del marco lógico. indicadores. Errores que muestran deficiencias en el entendimiento de la Muchos marcos lógicos parecerían estar sobrecargados metodología de marco lógico ocurrían en algunos casos en con un alto número de indicadores y podría argumentar- los primeros años, pero en ninguno de los casos revisados se que el uso de un número alto de diferentes indicadores de entre aquellas evaluaciones que se hicieron después de es problemático. Sin embargo, el número de indicadores se 1999-2000. justifica por los diferentes usos a los cuales están destinados. El formato vertical del marco lógico apunta hacia una La mayoría de los indicadores de proceso en el nivel de acti- lógica estricta de los nexos causales que se agrupan en vidad y componente sirven para cuestiones de gestión interna objetivos cada vez más abstractos y a largo plazo. En cada del programa. No todos los indicadores que aparecen en el nivel (actividades componentes propósito fin), los marco lógico son indicadores de desempeño monitoreados objetivos y los supuestos respectivos suman en el próximo por la DIPRES. Los que monitorea la DIPRES son un sub- nivel. El proyecto en su totalidad, junto con otras inter- conjunto de éstos, los que son relevantes para el presupuesto. venciones, contribuye luego a un objetivo mayor o de nivel Dada la gran variedad de programas de diferentes sectores superior (fin) de la política chilena. Los componentes co- que son monitoreados, resulta difícil evitar la existencia de rresponden a los productos (primer nivel de resultado) y el muchos indicadores diferentes en el nivel del componente. propósito corresponde al resultado intermedio o al efecto a Actualmente, no se exigen indicadores en el nivel de fin. ser logrado producto de la ejecución de los componentes. Sin embargo, cuando el programa dispone de la información Por otra parte, las actividades son los procesos requeridos y los indicadores que permiten medirlo, su análisis se incluye para ejecutar los componentes. El fin sería la expresión de en la evaluación. Por otra parte, la EI tiene como objetivo un resultado de un nivel superior (con alcance sectorial o medir el resultado final o el impacto. mayor). Separar los dos últimos es un enfoque prudente, Según se anotó anteriormente, en los primeros años porque el propósito define el resultado más alto por el cual el del programa de EPG casi ningún programa parecía operar servicio puede ser responsabilizado, mientras el fin está más sobre la base de un marco lógico que los evaluadores pudie- 57 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO ran usar como base para iniciar la evaluación. En cambio, produciendo los resultados de él esperados, no sería lógi- en las EPG más recientes, los evaluadores a menudo aseso- co ni conveniente proponer que se lo sustituya por un pa- ran al personal del programa en el diseño del marco lógico trón ideal (o normativo) o por experiencias internacionales que describa el status-quo del programa y luego diseñan un (generalmente menos exitosas y aún menos ambiciosas) segundo marco lógico para incluir cambios propuestos a sacadas de otros contextos. Tampoco sería conducente raíz de la EPG. Conforme el programa de EPG avanzaba, aplicar calificaciones derivadas de patrones abstractos o in- el uso del marco lógico se extendió más y más. Como se ternacionales a la calidad actual de las EPG de la DIPRES. dijo más arriba, es una regla establecida por la DIPRES que La calidad de la evaluación de las EPG realizadas por todos los programas operen fundamentados en un marco la DIPRES fue analizada con relación a las siguientes lógico, y se están haciendo grandes esfuerzos para asegurar dimensiones de una evaluación: la organización y la clari- su cumplimiento. Además del proceso de EPG, todas las dad de los informes, la racionalidad del programa, la lógica iniciativas que se someten al Fondo Concursable (en los años del programa, el enfoque de la evaluación, la metodología que aplica) y todos los programas nuevos y que obtuvieron de la evaluación, la calidad de los hallazgos y la calidad de su financiamiento en el Fondo Concursable de años ante- las conclusiones y recomendaciones. riores presentados en el presupuesto 2005 deben contar con La anterior metodología permitió comparar implícita- un marco lógico. Asimismo, la DIPRES está trabajando en mente la calidad de las EPG con patrones internacionales. una base de datos en la que todos los marcos lógicos estarán De esta comparación se sacaron las siguientes observacio- accesibles servicio por servicio. nes59 de puntos que pueden ser corregidos hacia adelante En la práctica, el programa de EPG pone mayor énfasis con el fin de fortalecer las EPG tal y como han sido concebi- en el análisis de procesos y productos que en el de impacto, das y están siendo utilizadas por la DIPRES: y en los niveles inferiores del marco lógico que en los altos (ver Sección 1.3.). Este énfasis es resultado de la naturaleza • Algunos de los reportes de EPG analizados carecen, del programa EPG, en el que los recursos y el tiempo son unos más que otros, de información importante aún limitados. Las evaluaciones han permitido construir más para evaluaciones de escritorio o que no suponen indicadores a nivel de efectividad que de eficiencia. Sin em- trabajo de campo (ver Anexo F).60 Si bien se entiende bargo, cuando un programa es relativamente nuevo resulta que la DIPRES ha optado, acertadamente en opi- difícil evaluar la efectividad y/o el impacto del programa con nión de este Informe, por llevar a cabo evaluaciones los medios que dispone la EPG. De manera que el marco de escritorio aun cuando los programas no reúnen lógico sirve a su propósito con estas limitaciones. toda la información indispensable, las observacio- Evaluación en profundidad de la calidad de las EPG. nes del Anexo F pueden contribuir al empeño de la Se analizaron diez casos de EPG en varias dimensiones DIPRES en que los programes levanten, depuren y internacionalmente aceptadas, incluida la metodología, con mantengan gradualmente la información necesaria el doble propósito de comparar la calidad de las evaluaciones para ser evaluados. EPG con un patrón internacional y, sobre todo, de derivar • Algunos de los reportes de EPG incluidos en la recomendaciones para el desarrollo futuro de las EPG y, más muestra no explicaron cómo se procesó y se analizó generalmente, del SCG.58 la información recuperada. Es importante advertir las limitaciones y los usos de este • Los términos de referencia preparados por la ejercicio. El ejercicio hace abstracción de los contextos en DIPRES no incluyen, ni todos los reportes contie- los cuales se desarrollan y para los cuales son idóneas las nen la opinión de los usuarios o beneficiarios de los EPG. La comparación no puede entonces llevar a la conclu- programas del gobierno. Cuando ella existe, la sión de que un sistema o una metodología son mejores que opinión de los usuarios se incorpora como parte de otros. Como lo prescribe la metodología de marco lógico, la evaluación de calidad-satisfacción de usuarios. un programa sólo es bueno cuando resuelve un problema Naturalmente, no todos los programas evaluados específico, que se da en un país o en un contexto igualmente se prestan para que los beneficiarios identifiquen la específico. Si el PE de la DIPRES está funcionando y está intervención del gobierno y los beneficios que 58 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N pueden esperar de ella. Si bien se trata de evalua- recopilación y análisis de datos. Otra fortaleza del enfoque ciones de escritorio, de bajo costo y breve término, es el requisito de definir un caso hipotético para evaluar el la ausencia de las opiniones de los usuarios pudiera grado en que los cambios observados (resultados) pueden permitir que se sobre-estimen fácilmente los outputs atribuirse al programa en vez de a factores externos. Tam- o los outcomes del programa pero esta hipótesis po- bién recalca la necesidad de complementar técnicas estadís- dría ir en ambos sentidos. Que esta sobre-estimación ticas econométricas y otras con métodos cualitativos que son se está dando en la práctica fue corroborado en las más adecuados para evaluar el proceso de puesta en práctica entrevistas y grupos focales realizados para este In- de programas y para examinar la influencia de los factores forme. contextuales en los resultados del programa. El enfoque • Tampoco suelen incluir las EPG una comparación recomendado también requiere la identificación de un entre las expectativas de resultados y los resultados conjunto de hipótesis verificables que explique los enlaces actuales de los programas. Lo anterior, debido a causales esperados entre las intervenciones de programas que estas expectativas no están formuladas cuan- y los resultados intermedios e impactos finales buscados. titativamente, como para tener control. Pero, en el El requisito de incorporar un grupo de control en el diseño caso de que hubiese sustento estadístico o informa- de evaluaciones y no depender de la comparación entre una ción relacionada, la evaluación las consideraría para medición antes de la entrega del beneficio y una posterior medir el desempeño. de la población beneficiaria es otra fortaleza del enfoque propuesto. La calidad de los Términos Técnicos de Referencia para Sin desvirtuar en nada los méritos y los logros efecti- las EI 61. Esta subsección examina la validez del método vos del Programa de EI, cabe cuestionar sobre dos posibles prescrito para las Evaluaciones de Impacto y también maneras de mejorar este Programa en el mediano plazo. La examina el grado en que dos evaluaciones de impacto primera pregunta que formula este Informe es si la difu- analizadas en profundidad han seguido las normas presenta- sión de los resultados de la evaluación debe ampliarse para das en los Términos Técnicos de Referencia, TTDR. involucrar a la sociedad civil y, en particular, a los El Gobierno de Chile es uno de los pioneros en el beneficiarios del programa, lo que podría llevar a una desarrollo de un sistema nacional para evaluar el desem- mayor valoración de las evaluaciones. La responsabilidad peño y los resultados de los programas financiados por el de esta difusión parece corresponder a los Servicios. Al presupuesto nacional. Muy pocos otros países de ingresos mismo tiempo se reconoce que es necesario mantener un medianos o altos han conseguido implantar un programa balance delicado entre los costos de las evaluaciones y la de evaluación tan amplio y sistemático. Los puntos fuertes participación de los beneficiarios. del programa de EI incluyen el uso de términos de referen- La segunda pregunta tiene que ver con la exigencia de cia estándar para todas las evaluaciones de impacto, una cumplimiento de los TTDR y con la selección de progra- audiencia claramente definida y una estrategia bien articu- mas a ser evaluados, especialmente aquellos programas que lada para utilizar los hallazgos para mejorar la eficiencia de evidentemente no reúnen los requisitos para cumplir con los los programas financiados por el gobierno. El marco con- TTDR. Aunque la metodología de evaluación recomendada ceptual definido en los TTDR, mediante su énfasis en los es esencialmente sólida, la evaluación en profundidad de las productos, los resultados intermedios y los resultados finales, dos evaluaciones de impacto encontró que algunos de los y el requisito de evaluar los resultados finales a nivel del aspectos señalados de los TTDR no están poniéndose en programa y a nivel global, cubre la mayoría de los princi- práctica o, en el mejor de los casos, están sólo cumplidos pales temas de la evaluación que el Gobierno y el Congreso parcialmente. Esto se debe a falencias en las bases de datos deben abordar. que maneja el programa o a la naturaleza del bien o servicio La metodología subraya correctamente la necesidad que entrega el programa. Ninguna de las dos evaluaciones de centrarse tanto en los aspectos cuantitativos como desarrolló un modelo de teoría del programa (conjunto de cualitativos de los programas y de lograr esto mediante la hipótesis verificables) y en uno de los casos no se usó un integración de métodos cuantitativos y cualitativos de grupo de control.62 Estas falencias llevan a cuestionar si no 59 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO sería más conveniente reservar el instrumento de las EI para nes metodológicas o de información que repercuten en la aquellos programas que prima facie parecen reunir todas o selección y el manejo de los indicadores, en el rigor de la la mayor parte de las dimensiones analíticas incluidas en los demostración de las conclusiones o en la presentación TTDR. misma del informe de evaluación. Sintetizando lo que se Evaluación en profundidad de la Evaluación de Impac- presenta más detalladamente en el Anexo G, se encontró to63. Según se anunció en la introducción de esta Sección, la que los evaluadores cumplen esencialmente, hasta donde preparación de este Informe incluyó el análisis detallado de les es posible dadas las restricciones de tiempo y datos, con la metodología y de la calidad de dos EI. De manera simi- los términos de referencia estándar indicados por la DI- lar al procedimiento seguido para el análisis detallado de PRES para todas las evaluaciones de impacto. El marco 10 EPG (más arriba en esta misma Sección), el análisis de conceptual de las EI, definido en los Términos Técnicos de las dos EI se centró en las dimensiones más importantes de Referencia, enfatiza los productos, los resultados (resultados estas evaluaciones de acuerdo con la práctica internacional. intermedios) y el impacto (resultados finales) de los progra- Aquí también se tuvo el doble propósito de comparar la mas. Nuevamente se encontraron falencias con relación a calidad de las evaluaciones EI con un patrón internacional los requerimientos decantados por las mejores prácticas y, sobre todo, de derivar recomendaciones para el desarrollo internacionales, las que se deben principalmente a problemas futuro de las EI o, más generalmente, del SCG.64 de información de los programas evaluados y/o a la natura- Asimismo, es importante advertir las limitaciones y leza del programa evaluado que impide aplicar cabalmente los usos de este ejercicio. En primer lugar, los dos casos la metodología prescrita internacionalmente para una eva- seleccionados no tienen ninguna pretensión de representati- luación de impacto, como lo es, por ejemplo la construcción vidad estadística. Igual a lo ocurrido con el análisis de las 10 de un grupo de control. EPG, este ejercicio hace abstracción del contexto particular de Chile o del momento de desarrollo del PE. Tampoco se tienen en cuenta, en una primera instancia, los propósitos Balance cualitativo de los procesos operativos o los usos para los cuales se emplean las EI. La referencia a (EPG y EI) y gestión del PE patrones internacionales no puede entonces llevar a la con- a) Dentro de la División de Control de Gestión. clusión de que un sistema o una metodología son mejores El personal de evaluación de la DIPRES inicia el proceso que otros. Si el PE de la DIPRES está funcionando y está de evaluación programa por programa; imparte capaci- produciendo los resultados de él esperados, no sería lógi- tación y presta apoyo a los Servicios y los evaluadores co ni conveniente proponer que se lo sustituya por un pa- durante el proceso; recibe, revisa y trata uno por uno trón ideal (o normativo) o por experiencias internacionales los informes de avance, preliminares finales y finales; sacadas de otros contextos. discute los resultados con las instituciones o ministerios Lo que busca este ejercicio es: i) derivar lecciones de la participantes, como también los resultados y las posi- experiencia internacional para recomendar reformas ade- bles implicaciones presupuestarias en reuniones internas cuadas a los objetivos y los usos de las EI de la DIPRES, de la DIPRES; prepara acuerdos sobre los Compro- destinadas a fortalecer y consolidar este mismo PE en el me- misos Institucionales para el perfeccionamiento de los diano plazo. Por esta razón, las recomendaciones apuntan programas evaluados; prepara también informes de generalmente a reforzar la visión de desarrollo de mediano síntesis para el Congreso y sostiene discusiones con plazo que parece tener la DIPRES; ii) proponer un ejem- miembros del Congreso cuando éstos lo requieren; plo de metodología de evaluación de la calidad de las EI mantiene un sitio Web público completo y lleva que, corregido y complementado para ajustarlo al PE de los indicadores de desempeño del PE. Monitorean la DIPRES, pueda instalarse y depurarse gradualmente el desempeño del PE, revisan el diseño de procesos para que la DIPRES evalúe directamente o comisione y realizan seminarios de capacitación dentro y (ocasio- evaluaciones de la calidad de los reportes de evaluación EI. nalmente) fuera de Chile.65 Todo lo anterior con una En el caso de las EI es necesario entrar en ciertas dotación de una Jefa de la DCG, dos gerentes consideraciones técnicas para captar posibles limitacio- especialistas en evaluación (uno para EPG, uno para EI), 60 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N cinco profesionales y un asistente administrativo que evaluadores inicien sus tareas. La información, espe- también comparte la responsabilidad de las tres líneas de cialmente los datos financieros, no está ni completa ni evaluación EPG, EI y ECG y, en el caso de la Jefa de la es exacta al comienzo de la evaluación. Por lo tanto la DCG, tiene además la responsabilidad de todo el Sistema información suministrada a los evaluadores al comien- de Control de Gestión y Presupuesto por Resultados. zo del proceso es (la mayoría de las veces) insuficiente.67 Los gráficos 1 y 2 de la sección 1 de este Informe Técni- Aunque durante el seminario de capacitación que brinda co presentan el diagrama de flujo de la EPG y de la EI la DIPRES a los participantes se les informa que exis- respectivamente. Es evidente que el ciclo de evaluación te la posibilidad de realizar estudios complementarios, se ha estructurado con relación al ciclo del presupuesto. algunos evaluadores no parecen estar al tanto de éstos. Esta conexión es sumamente importante puesto que es la En todo caso no son recursos garantizados; se evalúa referencia al presupuesto la que le da ventaja a la evalua- la pertinencia y oportunidad de comprometerlos para ción y le confiere autoridad a los controles basados en la estos estudios antes de llevarlos a cabo. evaluación. No obstante, no todos los países con sistemas Las “pautas” para la selección de los evaluadores dan de evaluación similares a Chile logran una conexión tan mayor peso a las habilidades de evaluación en compa- ajustada y oportuna entre los resultados de la evaluación ración con los conocimientos especializados sectoria- y el proceso presupuestario, tanto para la preparación del les.68 No obstante, todas las evaluaciones han dispuesto presupuesto cuanto para su discusión y aprobación en cuando menos de un especialista del área de interven- el Congreso. El tiempo es crucial para la confianza del ción del programa evaluado.69 Al final, después que se sistema entero. Los métodos estandarizados y los tiempos examinan las habilidades (sobre la base de las “pautas”, de entrega monitoreados cuidadosamente le permiten a del ranking de puntaje y de la complementariedad de la DIPRES reunir oportunamente el número proyecta- especializaciones), hay siempre una decisión interna de do de informes de evaluación año tras año. La DIPRES la DIPRES sobre cómo integrar los paneles. también aplica controles de calidad en diferentes etapas Para el momento en que los evaluadores tienen que cronológicas del ciclo de EPG y EI, de una manera rápi- entregar el informe sobre los avances realizados, dos da y eficaz. Los incentivos al cumplimiento de los tiem- factores influyen en la calidad de ese informe: a) ene- pos de entrega están reforzados con cargos punitivos por ro y febrero son tradicionalmente reservados para las la presentación tardía de los informes de evaluación.66 vacaciones anuales en Chile, por consiguiente, es Tomado en conjunto, el proceso de EPG establece un difícil conseguir información y discusiones, y b) dado vínculo entre la evaluación y el presupuesto al mismo que los evaluadores ya saben que la DIPRES hará tiempo que asegura que el sistema alcance los indicado- muchos cambios, ellos simplemente cumplen con los res y mantenga el control de la calidad básica requerida requisitos mínimos del Formato del Informe para que de este tipo de evaluación. la DIPRES “complete” el resto, es decir, les imparta El proceso de EPG tiene algunos puntos débiles, instrucciones minuciosas sobre los contenidos más generalmente de detalle, que pueden ser corregidos y formales del informe. algunos riesgos que pueden reducirse aún más o Las instituciones responsables de los programas evalua- controlarse. Los riesgos identificados en las fases del dos pueden expresar sus divergencias con el informe del proceso de evaluación, y en algunos casos confirmados panelista. Sin embargo, las agencias en algunas ocasio- por la información de las entrevistas y los grupos nes esperan hasta el final de la evaluación para incluir su focales, se destacan con números en el Gráfico 1. nota de disensión adherida al informe que se le remite Diagrama de flujo de la EPG. Los siguientes párrafos al Congreso, por temor a que en el proceso de revisión describen brevemente los puntos débiles y los sus opiniones no sean tomadas en cuenta por los eva- riesgos principales observados durante el Ciclo de luadores o por la DIPRES u otros posibles usuarios de Evaluación EPG. la evaluación. Ello, a la luz de que la DIPRES o los Es difícil que los jefes de programa consigan toda la mismos evaluadores podrían considerar que el disenti- información requerida por la DIPRES antes de que los miento no tiene sustento técnico suficiente. Esta práctica 61 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO de las agencias conspira contra la lealtad requerida para sean evaluados programas sobre los cuales ellos tienen el diálogo de perfeccionamiento de programas entre la ya un diagnóstico y una opinión firme.71 institución, los panelistas y la DIPRES. En cuanto al segundo tipo de uso que la DIPRES hace La experiencia habida hasta ahora indica que las fechas de de los resultados de la evaluación, es decir, como base entrega estrictas han servido de palancas esenciales para para la negociación de los Compromisos Institucionales, mantener el historial de oportunidad y el elevado índice este Informe encontró que esos Compromisos se basan de desempeño del programa. Si bien podría considerarse generalmente en las conclusiones y recomendaciones (como lo hacen algunos participantes) que se extendie- de las evaluaciones. Así lo corroboraron, en detalle, los sen los plazos de las EPG para no sacrificar la calidad tres estudios de uso de las evaluaciones incluidos en el de las evaluaciones, especialmente en aquellos progra- Anexo I. Los Compromisos son quizás el mecanismo mas que merecen tratamiento especial, la verdad es que más importante para asegurar el mejoramiento de la la DIPRES ha comprobado en la práctica que el otor- gestión del programa evaluado. Por regla general, gamiento de mayores plazos no necesariamente significa esos Compromisos incluyen el mejoramiento de la mejor calidad de la información y/o de la evaluación70. información y los indicadores para el marco lógico y Además, el término de la evaluación debe resguardar la evaluación futura del programa. Las contrapartes la obsolescencia de la información y por tanto de institucionales miran a los Compromisos72 con enor- los resultados. me seriedad por cuanto consideran que si no cumplie- Las precondiciones de igualdad técnica para el diálogo ran con ellos correrían el riesgo de ver sus presupuestos de perfeccionamiento de programas entre la DIPRES y reducidos.73 los Servicios son también minadas por el desequilibrio Con base en la encuesta anual realizada en 2001, 2002, entre aquélla y las agencias. La DIPRES está claramente 2003 y 2004, se llegó a las siguientes conclusiones: mejor dotada y tiene ventaja cuando se trata de decidir En lo que se refiere a la calidad técnica del proceso, acerca de i) las recomendaciones que se convierten en las Contrapartes Institucionales (CI) calificaron al pa- Compromisos, especialmente cuando está involucrada la nel de evaluación peor en 2002 que en 2001, pero las utilización de recursos (es decir, condicionando recursos calificaciones mejoraron durante el año 2003 y 2004 del presupuesto); ii) indicadores y iii) fechas de entrega. en cuanto a calidad de evaluación, conocimiento de Existen cuando menos dos instancias en las cuales los cuestiones sectoriales, capacidad de evaluación (en especialistas de la DIPRES pueden usar los hallazgos calidad técnica, 80% calificaron al panel como bueno o de evaluación de la EPG y de la EI: en los informes muy bueno en 2003 y 79% en 2004). destinados a alimentar las decisiones estrictamente pre- En la misma línea, las CI calificaron al proceso de eva- supuestarias y en las negociaciones de los Compromisos luación como menos satisfactorio en el 2002 comparado Institucionales con las instituciones responsables de los con el 2001, pero mejorando en el 2003 y aun más en programas evaluados. el 2004, en cuestiones tales como capacitación, informa- Si bien los resultados de la evaluación son importantes ción entregada sobre objetivos y procedimientos, apoyo en las discusiones presupuestarias, como ya se mencionó, metodológico, oportunidad en la atención a sus consul- ello no significa necesariamente que agreguen informa- tas y pertinencia de los temas abordados en los formatos ción con la que no cuentan ya los especialistas sectoria- de evaluación. Sin embargo, en lo que se refiere a la les de la DIPRES; lo que significa, más frecuentemente, utilidad de documentos usados para apoyar la elabora- es que la evaluación imprime rigor y da respaldo a ción de la matriz de marco lógico el puntaje fue mayor opiniones que ya podían tener los especialistas secto- para 2003 que 2004. riales de la DIPRES, y permiten hacer un seguimiento La percepción general sobre el apoyo de la DIPRES, más riguroso a los programas y/o un análisis detallado tanto operativo como técnico, ha sido muy positiva de su gestión. Incluso hay ocasiones en las cuales los (79% y 70% respectivamente en 2002; 89% y 85% en especialistas sectoriales de la DIPRES proponen que 2003; y 90% y 87% en 2004). Lo mismo se predica 62 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N de la capacitación en marco lógico y de otras consultas podrían evitarse con mayor especificación de los criterios durante el proceso. seguidos anualmente o con la formulación de criterios Evidentemente, el proceso de evaluación no operaría más permanentes de selección. Las principales cuestio- solo. El poder de la autoridad de la DIPRES es un factor nes de percepción planteadas en los grupos focales o en complementario para asegurar que las agencias propor- las entrevistas incluyeron puntos relativamente menores cionen información y materiales y cumplan las fechas que bien podrían aclararse mediante comunicaciones de entrega. Sobre todo, la DCG es una maquinaria de informativas a los demás actores del PE, preparadas por gestión pequeña pero bien aceitada, experimentada y la DCG, entre otras las siguientes: sumamente dedicada; prevé los riesgos y protege el flujo del proceso cuando ocurren circunstancias inesperadas. i) Las contrapartes institucionales no comprenden Baste señalar, por el momento, que la DCG brilla por los motivos de la evaluación de programas que son sí misma y refuerza el prestigio y la credibilidad de la demasiado nuevos o que están por terminarse. Sin poderosa DIPRES que la cobija y la orienta. embargo, DIPRES considera que la evaluación es b) En la selección de programas. valiosa porque muchas veces se propone una segun- Ni el Congreso ni los otros ministerios participantes74 da fase o la necesidad de continuar por más tiempo parecen tener criterios pre-establecidos de selección ni ese programa. Además, DIPRES considera que los para identificar el universo de los programas susceptibles programas a ser evaluados deben tener un período de ser evaluados, ni para la selección de los programas mínimo de existencia, de manera que sus resultados que habrán de evaluarse en un año dado.75 Así las cosas, puedan ser medidos. Cuando, excepcionalmente, el la selección de programas continuará obedeciendo flexi- programa evaluado ha tenido corta vida, la evaluación blemente a necesidades de producción de información se enfoca a evaluar aspectos de diseño y de gestión. de evaluación identificadas anualmente por el Comité ii) Cuando se da el caso de que el programa esta- Interministerial o por el Congreso. ba siendo rediseñado, las recomendaciones de las Dado que la lista de programas seleccionados, los tér- evaluaciones se refirieron a aspectos del programa que minos de referencia y los resultados de la evaluación son ya estaban siendo modificados y por tanto aportó a de conocimiento público, ninguno de los entrevistados su rediseño. Sin embargo, en otros casos los cambios dejó jamás entrever la utilización del PE para fines de experimentados por los programas son compatibles discriminación política o para otros potenciales abusos con el proceso de evaluación, donde la evaluación de la discrecionalidad reinante en el proceso de selec- y sus recomendaciones pueden validar, reforzar ción de los programas. De hecho, representantes de los o avanzar en diseños específicos respecto de las Ministerios y de algunos Servicios, señalaron que si ellos reformas en curso. hubiesen sido consultados por la DIPRES, probable- Los especialistas en presupuestos sectoriales de la mente habrían sugerido más o menos los mismos pro- DIPRES informaron que ellos son consultados sobre gramas que la DIPRES y el Congreso acordaron en el cuáles programas se deben evaluar. Estos especialistas Protocolo. En algunos casos los coordinadores ministeriales mencionaron los siguientes criterios para recomendar confirmaron que la DIPRES les había consultado cuá- la evaluación de un programa: (a) el tamaño del presu- les programas podrían ser sujetos de evaluación. En este puesto; (b) la evolución de la ejecución de los presupues- mismo sentido, la SEGPRES también confirmó su grado tos de los programas; (c) los programas que se sabe o de participación en la selección de programas: sugirieron se sospecha que están experimentando problemas; (d) la 15 programas para la evaluación del 2004 y la DIPRES y evolución de los indicadores de desempeño de los pro- el Congreso seleccionaron cuatro de aquellos 15. gramas; y (e) los programas para los cuales el gobierno Sin embargo, como los criterios de selección no son puede tener planes de expansión. explícitos en su totalidad, algunas de las contrapartes c) En la selección de los evaluadores. institucionales (jefes de programas, coordinadores mi- Aunque los factores de ponderación o los pesos relativos nisteriales) formularon cuestiones y observaciones que de la selección han cambiado, y podrían volver a cam- 63 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO biar con el tiempo, los participantes involucrados en el habilidad clave necesaria para el coordinador del panel proceso de evaluación reconocen que la selección es es la experiencia en el marco lógico, resultó ser apoyada guiada solamente por criterios técnicos y es ejecutada en los últimos tres años por los otros panelistas. Así lo mediante un proceso transparente y competitivo. pone en evidencia el hecho de que los coordinadores En el caso de las EPG, cuando menos uno de los miem- recibieran una calificación algo mayor que los otros bros del panel debe ser experto en el sector del programa evaluadores en cuanto a su “conocimiento y aplica- según los requisitos de la DCG. Todos los evaluadores ción del método de marco lógico”. A este respecto, las seleccionados en el PE están basados en Chile y la DCG respuestas de las contrapartes institucionales (CI) fue- estima que en los últimos años han contratado a eva- ron sistemáticamente menos positivas que la de otros luadores que corresponden aproximadamente al nivel de participantes. competencia promedio de los evaluadores de programas En conclusión, la percepción de debilidad disciplinaria disponibles en el país. Aunque la “Pauta” de selección en el panel de evaluadores no está demostrada y lo que privilegia a los profesionales que tienen experiencia aquí se rescata de ella es la aspiración de los Servicios a anterior con evaluación en general (no necesariamente una mayor participación en el diseño de la evaluación.78 con las propias evaluaciones del PE), cada año aproxi- d) En los Informes de Evaluación y sus usos. madamente el 30% de los evaluadores que se seleccio- Esta evaluación indica que los términos de referencia nan son nuevos al proceso de la DCG. El desempeño de de las evaluaciones son suficientes para asegurar que se los evaluadores contratados para ejercicios anteriores, preparen recomendaciones específicas como para servir medido según las opiniones de las encuestas realizadas a de base a los (muy concretos) Compromisos Institucio- los mismos,76 se tiene en cuenta para mejorar el proceso nales. Aunque no todas las recomendaciones se formulan de selección de evaluadores para el futuro. con el mismo nivel de especificidad y claridad, siempre En los grupos focales los jefes de Programa y los proporcionan un rango de puntos de acceso para mejorar coordinadores del ministerio parecían concientes del el programa. potencial conflicto de intereses implícito en cualquier Los informes son difundidos y su difusión contribuye expectativa que ellos pudieran tener de participación no sólo a la utilización de ellos sino a la apropiación de activa en la selección de los evaluadores. Durante el los resultados de las evaluaciones. La Encuesta Anóni- proceso de selección de los evaluadores, la DIPRES ma conducida por DIPRES, muestra que el 84% de los les hace generalmente conocer los nombres de los responsables de los programas y el 73% de los Coordi- evaluadores potenciales, sólo para asegurarse de que nadores Ministeriales afirman que los resultados de la no haya ningún conflicto de interés. Sin embargo, am- evaluación fueron difundidos y analizados con la mayo- bos grupos insistieron en la conveniencia de mantener ría o todo el equipo a cargo del programa. la práctica actual de que ellos tengan una opinión en Además, los resultados de las evaluaciones de programas la identificación del perfil técnico requerido de los han sido difundidos y analizados con el nivel directivo profesionales que evaluarán sus programas77 y, del Servicio al que pertenece el programa. Al respecto, adicionalmente, verifiquen si éstos tienen las habilidades el 92% de los Jefes de Dirección de Planificación y y los antecedentes profesionales apropiados. Esta hipó- Presupuesto (DIPLAP) o cargos similares en los Servi- tesis de percepción reitera el punto, ya mencionado va- cios y el 70% de los responsables de programas evalua- rias veces más arriba, según el cual los Servicios aspiran a dos indican que la mayoría o todos los resultados fueron ser evaluados por sus peer o sus iguales en conocimiento difundidos y analizados con el nivel directivo. disciplinario. Por otro lado, un 16% de los responsables de programa La anterior percepción no ha sido corroborada por señala que excepcionalmente ocurre que los resultados los demás actores del PE. Como parte del proceso de de la evaluación sean difundidos y analizados con el evaluación, la DIPRES consulta las opiniones de los nivel directivo del Servicio. El análisis y difusión dismi- involucrados en ésta a través de cuestionarios de encuesta nuye respecto al nivel directivo ministerial, en el que, (2001, 2002, 2003 y 2004). La observación de que la según los responsables de los programas, los coordi- 64 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N nadores ministeriales y los Jefes de DIPLAP de nivel evaluados, los coordinadores ministeriales y los Jefes de Ministerial, en un 47%, 43% y 43% de los casos res- DIPLAP de los Ministerios se encuentran: redistribuir pectivamente, la mayoría o todos los resultados han sido recursos al interior del programa en un 26%, 25% y difundidos y analizados con el nivel directivo. Asimismo, 20% de los casos, respectivamente; justificar la asigna- estos actores señalan en un número menor de casos, 14% ción de recursos existentes del programa en un 35%, y menos, que estos resultados nunca o excepcionalmente 29% y 27% de los casos; y realizar cambios en los son analizados y difundidos. procesos al interior del programa en un 17%, 29% y El informe de evaluación parece estar dejando un subpro- 47% de los casos, respectivamente. ducto de grande importancia cual es la capacidad de Por otra parte, el 21% de los responsables de programas evaluación del equipo de profesionales responsables de evaluados, el 26% de los coordinadores ministeriales y los programas evaluados. Se puede decir, con base en la el 15% de los Jefes de DIPLAP de los Ministerios se- Encuesta Anónima conducida por la DIPRES en enero ñalan que “excepcionalmente o nunca” los resultados de 2004,79 que la evaluación de programas ha mejora- de la evaluación han sido utilizados en la asignación de do las capacidades de evaluación de la mayoría de los recursos. Las principales razones que mencionan son: equipos responsables de los programas evaluados. Los que no existe un proceso formal definido en el cual se resultados (correspondiente a los programas evaluados integre la información de las evaluaciones (36% de los en el período 2000-2003) muestran que el 75% de los responsables de programa y 60% de los coordinado- responsables de programas y el 73% de los coordinado- res ministeriales), que no existe suficiente tiempo para res ministeriales consideran que dichas capacidades han analizar la información recogida en la evaluación mejorado en la mayoría o a todo el equipo, como resul- (alrededor de 20% de los responsables de programa y tado de las evaluaciones efectuadas. coordinadores ministeriales), y la falta de una cultura de Otro subproducto, no menos importante, ha sido el uso evaluación de los resultados (14% de los responsables de las evaluaciones para decisiones presupuestarias por de programas y 50% de los jefes de DIPLAP). el Servicio/Agencia. Respecto al análisis para la toma Finalmente, respecto a las razones por las cuales no se de decisiones presupuestarias de las Agencias a las cua- han finalizado los programas que han tenido una mala les pertenecen los programas, la encuesta de 2004 sobre o insuficiente evaluación de su desempeño, un 30% de Efectos y Usos presenta los siguientes resultados: el 56% los Jefes de DIPLAP de los Ministerios indica que esta de los responsables de programas evaluados y un 61% de decisión no se ha tomado porque el programa evaluado los Jefes de DIPLAP o cargos similares de las Agencias constituye una prioridad de Gobierno y el financiamien- señalan que los resultados de las evaluaciones fueron uti- to futuro del programa ha quedado condicionado a su lizados en el análisis de asignación de recursos durante el desempeño, en tanto que, un 24% de ellos señala que proceso de elaboración de la propuesta de presupuesto los programas no se han cerrado porque ha existido una de la Agencia respectiva. Respecto al uso de las evaluaciones para la toma de fuerte resistencia política o de parte de los beneficiarios decisiones de los Ministerios a las cuales pertenecen los del programa. programas, la misma encuesta presenta los siguientes resultados: El 49% de los responsables de programas Perfil del personal de la División evaluados, el 47% de los coordinadores ministeriales y el de Evaluación de la DCG 60% de los Jefes de DIPLAP de los Ministerios señalan Esta sección incluye algunas referencias a la experiencia que la información ha servido para analizar la asignación australiana en cuanto es comparable con la de la DIPRES de recursos a este nivel. en Chile (ver el Recuadro No. 2). Como se mencionó Como se mencionó brevemente en la sección 2.1, anteriormente, en la sección de División de Control de respecto a la manera como han sido incorporados los Gestión, las unidades de evaluación de EPG y EI de la DCG resultados de la evaluación, entre las alternativas más están compuestas por un director gerente, un director del mencionadas por los responsables de los programas departamento para las EPG, un coordinador para las EI y 65 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO 5 analistas con diferentes antecedentes. La misma DCG ción en el 2001 fueron 3,86 para la capacitación en la tiene otra unidad responsable del Programa de Mejoramien- metodología por la DCG y 4,30 para la presentación del to de Gestión (PMG). El coordinador para las EI tiene só- proceso de evaluación del 2000; y, en el 2004, 4,66 por la lidos antecedentes en economía y en la metodología econo- oportunidad de la atención a las consultas formuladas y 4,46 métrica requerida para las evaluaciones; los analistas tienen por el apoyo metodológico brindado durante el proceso.81 capacitación formal en diferentes disciplinas, con alguna Varios de los participantes en las entrevistas o en los experiencia en investigación. La mayoría de ellos han estado grupos focales realizados para esta evaluación, y también en en la División desde que se creó en el 2000 y es en la DGC las consultas realizadas en Chile, señalaron que el material donde han recibido capacitación en el empleo. Con respecto de capacitación del marco lógico que los evaluadores reci- a su desempeño, los jefes de programa en los grupos focales ben de la DIPRES es muy bueno y útil. Además, hubo un realizados el pasado junio calificaron la experiencia de traba- amplio consenso en que, para obtener información de los jar con ellos como muy positiva. Además, la encuesta anual programas y las instituciones, el apoyo de la DIPRES es refleja la aceptación de la capacitación en la metodología de fundamental—aún si los programas no siempre propor- marco lógico proporcionada por la División. Los resulta- cionaban tanta información cuanta podrían entregar. La dos de los años 2001, 2002 y 2003 fueron muy buenos o importancia de la capacitación en marco lógico es particu- buenos: un 81%, 75% y un 91%, respectivamente. larmente importante por cuanto en algunos casos la matriz Por otra parte, en las mismas encuestas del proceso de marco lógico inicial que reciben los evaluadores por parte realizadas en 2001 y 200480 las puntuaciones sobre la capaci- de los programas al comienzo del proceso de evaluación es tación impartida por el equipo de la DCG fueron bastante de baja calidad (debido en cierta medida a que los progra- buenas, con un promedio de 4,03 y 4,24 con base en las mas no fueron formulados bajo un marco lógico lo que hace respuestas de los coordinadores y los evaluadores (panelistas) mas difícil ajustarlos a esta metodología en poco tiempo de respectivamente. Los rubros destacados con la mejor puntua- reflexión y con poca capacitación). RECUADRO No. 2 Capacitación en evaluación en Australia La división de evaluación del Departamento de ción (individuos, firmas, universidades) o aprovechando Finanzas (DF) estaba compuesta de 9 evaluadores, con los cursos de capacitación en evaluaciones más avanzados una variedad de antecedentes profesionales. La mayoría que estuvieran disponibles. Sin embargo, la evaluación de tenía títulos en ciencias sociales (especialmente econo- resultados de ANAO de 1997 mostró que un 20% de los mía, estadística, sociología) con experiencia en evaluación departamentos seguían preocupados por la escasez de cur- o investigación. Esta división proporcionó capacitación sos de capacitación en evaluaciones, y este era en verdad introductoria en evaluación, esencialmente para pro- un aspecto débil de este sistema de evaluación de primera porcionar conceptos básicos a los participantes, a 3.000 generación. funcionarios públicos entre 1991 y 1997.82 La filosofía El DF de Australia también publica una gran can- explícita al impartir esta capacitación fue ayudar a au- tidad de material de orientación: manuales para las mentar el grado de familiaridad con la evaluación; pero evaluaciones de programas, incluido el análisis de cos- no buscó suministrar las habilidades de evaluación que to-beneficio; resúmenes recopilados de los resúmenes los departamentos de ejecución necesitarían al realizar sus ejecutivos de evaluación; material de promoción sobre evaluaciones. Más bien, se consideró que era función de los beneficios de la evaluación; etc. los departamentos sectoriales satisfacer sus propias exi- gencias de capacitación, contratando personal capacitado Nota: Para más detalles respecto al caso Australiano en evaluación, mediante el uso de consultores en evalua- ver el Anexo H. 66 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N Indicadores de producción del PE do para situarse actualmente en 17 programas evaluados por a) Reportes de evaluación. Entre 1997 y 2004 se han eva- año. Esta tendencia refleja la creciente carga de trabajo de luado 172 programas públicos, 158 a través de EPG y 14 de la DCG por cuanto esencialmente el mismo equipo que ha EI; 90% de los programas evaluados corresponden a funcio- venido realizando las EPG y EI tiene ahora la tarea adicio- nes sociales. En los primeros años del Programa, el número nal de realizar las Evaluaciones Comprehensivas del Gasto promedio de evaluaciones anuales fue de alrededor de 20;83 (ECG) y de dar seguimiento a un número cada vez mayor en los últimos tres años ese promedio se ha venido reducien- de Compromisos Institucionales. CUADRO C.3.6.1. Programas evaluados dos veces, 1997-2003 # Nombre del programa Ministerio EPG EPG EI 1 Programa de Prevención del Consumo de Drogas Interior 1998 2001 2 Programa de Escuelas de Sectores Pobres(P-900) Educación 1997 2001 3 Proyectos de Mejoramiento Educativo (PME) Educación 1997 2002 4 Programa de Asistencia Jurídica. Corporaciones de Justicia 1998 2003 Asistencia Judicial 5 Saneamiento y Normalización Tenencia Irregular Bienes Nacionales 1997 2001 (Programa de Gestión Territorial y Social de la Regularización (PGTR) 6 Equipamientos Comunitarios Vivienda y 1997 2001 Urbanismo 7 Subsidios al Transporte Regional Transporte y 1998 2002 Telecomunicaciones 8 Fondo de Desarrollo de las Telecomunicaciones. Telefonía Transporte y 1998 2003 Rural. Telecentros Comunitarios** Telecomunicaciones 9 Generación de Capacidades en Localidades Pobres MIDEPLAN 1998 2002 10 Investigación Pesquera Min.Economia Economia 1998 2004 11 Fondo de Tierras y Aguas Indígenas MIDEPLAN 1998 2001 12 Mejoramiento Urbano y Equipamiento Comunal Interior 1999 2002 13 Programa de Promoción de Exportaciones Rel. Exteriores 1998 2002 14 Programa Proyectos Asociativos de Fomento (PROFOS) Economia 1998 2002 15 Programa Deporte Recreativo* Sec Gral del Gob 1998 2001 16 Programa Formación para el Deporte* Sec Gral del Gob 2000 2001 17 Programa de Alto Rendimiento* Sec Gral del Gob 1998 2001 18 Competición Comunal Regional y Nacional* Sec Gral del Gob 1999 2001 Fuente: Base de datos del BM con base en información de www.dipres.cl * Corresponden a una sola EI en el 2001, pero se habían evaluado con anterioridad. ** Telefonía Rural se evaluó en 1998 y Telecentros Comunitarios en 2003, aunque son dos diferentes programas los dos corresponden al Fondo de Desarrollo de las Telecomunicaciones. 67 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Distribución de los programas evaluados con EPG y EI En cambio, cuando se mide la concentración por el valor por servicio/sector 1997-2003. El cuadro C.3.6.1 muestra presupuestario del programa evaluado (Cuadro C.3.6.3), se los programas que han sido re-evaluados a partir de 2001, encuentra una altísima concentración en los programas de cuando también se introdujo la evaluación de impacto. El la función social (89,6%) frente a los de función económica cuadro muestra los programas evaluados en la línea EI que (8,7%) o de función general. fueron ya sometidos a revisión de escritorio (EPG) y tam- El valor de la asignación presupuestaria para los bién resalta la reducción del número de EPG emprendidas programas evaluados entre 1997 y 2003 ascendió aproxima- anualmente desde 1999. damente a 2.540 millones de dólares. Esto es equivalente El Cuadro C.3.6.2. contiene la distribución de evalua- a un 64% del gasto presupuestario total para el pe- ciones en el periodo 1997-2004, por sector o ministerio. riodo 1997-2004, tomando en cuenta que no todo el Como puede verse, la distribución por ministerio presenta gasto público es susceptible a ser evaluado bajo una EPG o una moderada concentración en los ministerios de Educa- una EI. Dicho universo se empezó a configurar a partir ción (26), Planificación (20), Economía (19) y Salud (16). del 2001. CUADRO C.3.6.2. Evaluaciones por Ministerio, por Año, 1997-2004 Eval. por 1997 1998 1999 2000 2001 2002 2003 2004 ministerio M. Agricultura 1 3 2 2 1 9 M. de Bienes Nacionales 1 1 2 M. de Defensa Nacional 1 1 2 M. de Economía Fomento y Reconstrucción 2 5 2 1 2 4 3 19 M. de Educación 3 5 2 4 3 3 3 3 26 M. de Hacienda 2 1 1 4 M. de Justicia 1 1 1 2 5 M. de Minería 1 1 2 M. de Obras Públicas 1 1 2 2 1 7 M. de Planificación y Cooperación (MIDEPLAN) 2 5 3 1 4 1 3 1 20 M. de Relaciones Exteriores 1 1 3 2 7 M. de Salud 2 4 4 2 1 1 1 1 16 M. de Transporte y Telecomunicaciones 3 1 1 1 1 7 M. de Vivienda y Urbanismo 3 3 1 1 1 2 1 12 M. del Interior 1 3 4 2 2 2 14 M. del Trabajo y Previsión Social 3 2 3 1 1 2 12 M. Secretaría General del Gobierno 1 1 M. Secretaria General de la Presidencia 2 1 1 2 1 7 Total 20 40 20 18 21 19 17 17 172 Fuente: Base de datos BM con base en www.dipres.cl Nota: El número total de evaluaciones incluye programas evaluados en repetidas ocasiones. 68 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N CUADRO C.3.6.3 Programas Evaluados 1997-2003 por Clasificación Funcional del Gasto Funciones Total Porcentaje 1997 – 2003 (%) (MM US$) A. Funciones Generales 42.10 1,7% B. Funciones Sociales 2,227.2 89,6% C. Funciones Económicas 221.4 8,7% Total 2.540,7 100% Fuente: Clasificación de acuerdo a la Clasificación Funcional del Gasto, Estadísticas de las Finanzas Públicas 1993- 2002 y datos de DIPRES. Se considera el presupuesto del programa en el año en que fue evaluado (t) En el caso de aquellos programas que tienen presupuesto en dólares tomó =$711,53 como tipo de cambio. Indicadores de producción del PE: b) Seguimiento y Los resultados del seguimiento de Compromisos de cumplimiento de Compromisos Institucionales. A partir del programas evaluados en años anteriores se presentan en el año 2000, las recomendaciones que resultan de las evalua- Cuadro C.3.6.4. (1999-2003).84 Este Cuadro muestra que ciones son analizadas y discutidas por los responsables de sobre un universo de 77 programas que hasta junio de 2004 los programas en las instituciones y DIPRES. Este proceso contaban con seguimiento, las instituciones respectivas han se incluye en un documento de trabajo de Compromisos, cumplido completamente con el 70% de los Compromisos el cual presenta las recomendaciones, las respuestas de la establecidos, parcialmente con el 20% de ellos, mientras que institución a éstas, en caso las hubiere, las observaciones a las un 10% no se han cumplido.85 mismas y finalmente los Compromisos. Los Compromisos Según la encuesta anónima conducida por DIPRES en establecen la forma como se dará respuesta a los problemas enero del 200486, los Compromisos Institucionales y su o insuficiencias detectados en las evaluaciones de los progra- proceso de seguimiento han retroalimentado la toma de mas después de haber sido discutidos entre DIPRES y las decisiones, tanto en los Servicios como en los Ministerios Instituciones, así como sus plazos de implementación. a los que pertenecen los programas evaluados. En efec- Como se mencionó en la Sección C.1., el seguimiento a to, un 60% de los Coordinadores Ministeriales y un 77% estos Compromisos es la base de un proceso de monitoreo de los Jefes de Dirección de Planificación y Presupuesto de la incorporación de las medidas acordadas. La informa- (DIPLAP) de las Agencias señalan que siempre o general- ción limitada de los resultados de las evaluaciones de pro- mente los Compromisos Institucionales definidos a partir gramas antes del año 1999 no permitía este tipo de análisis de las recomendaciones surgidas de la evaluación, constitu- ni se fijaban Compromisos a partir de ésta; pero desde el yen alternativas claras de acción para mejorar el desempeño 2001 esta oportuna información ha sido utilizada durante el ciclo presupuestario en: las evaluaciones internas de DIPRES, del programa. la discusión con Congresistas, no sólo en la Comisión de Respecto del seguimiento de los Compromisos por Presupuestos sino en las Subcomisiones, y es una parte parte del Ministerio y la Agencia respectiva, el 73% de los importante del Balance de Gestión Integral. A partir del Coordinadores Ministeriales y de los Jefes de DIPLAP de 2002, el seguimiento de los Compromisos se realiza a través los Ministerios y el 75% de los Jefes de DIPLAP de las de un formulario en línea que facilita y agiliza la interacción Agencias indican que este proceso se realiza “en todos o en de la DIPRES con las Instituciones. la mayoría de los programas evaluados”. 69 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Cuadro C.3.6.4 Seguimiento de Cumplimiento de Compromisos, Programas Evaluados (EPG y EI) 1999-2003 Porcentaje de Cumplimiento de Compromisos Calificación Ministerio Cumplido Parcialmente No Nº Cumplido Cumplido Programas Ministerio de Agricultura 100% 0% 0% 2 Ministerio de Economia, Fomento y Reconstruccion 80% 20% 0% 5 Ministerio de Educacion 70% 20% 10% 14 Ministerio de Relaciones Exteriores 45% 44% 11% 3 Ministerio de Hacienda 92% 8% 0% 1 Ministerio del Interior 72% 18% 10% 6 Ministerio de Justicia 88% 12% 0% 3 Ministerio de Planificacion y Cooperación 77% 16% 7% 13 Ministerio de Minería 54% 41% 5% 1 Ministerio de Obras Públicas 85% 15% 0% 3 Ministerio de Salud 74% 23% 3% 9 Ministerio Secretaria General de Gobierno 39% 26% 35% 1 Ministerio Secretaria General de la Presidencia 82% 16% 2% 4 Ministerio del Trabajo y Prevision Social 62% 32% 6% 3 Ministerio de Transporte y Telecomunicaciones 64% 26% 10% 3 Ministerio de Vivienda y Urbanismo 90% 9% 1% 5 Ministerio de Bienes Nacionales 100% 0% 0% 1 Total General 70% 20% 10% 77 Fuente: DIPRES Finalmente, el 70% de los Jefes de DIPLAP de las de los responsables de programas y el 73% de los Agencias, el 64% de los Jefes de DIPLAP de los Ministerios coordinadores ministeriales consideran que dichas y el 46% de los Coordinadores Ministeriales señalan que capacidades han mejorado en la mayoría o en la “siempre o generalmente el desempeño en el cumplimiento totalidad del equipo del Programa, como resultado de los Compromisos adquiridos con la DIPRES es utilizado de las evaluaciones efectuadas. como información en procesos de toma de decisiones sobre • En cuanto a la apropiación de los resultados de eva- asignación de recursos y/o gestión”. luación por las contrapartes institucionales, el 84% de los responsables de los programas y el 73% de los Indicadores de resultados intermedios del PE. Coordinadores Ministeriales afirman que los resul- Los resultados de la Encuesta Anónima a funcionarios pú- tados de la evaluación fueron difundidos y analiza- blicos Senior, conducida por la DIPRES en enero de 2004,87 dos con la mayoría o con todo el equipo a cargo del (correspondiente a los programas evaluados en el período programa. Al respecto, el 92% de los Jefes de Di- 2000-2003) muestran que: rección de Planificación y Presupuesto (DIPLAP) o cargos similares en los Servicios y el 70% de los • En cuanto al fortalecimiento de la capacidad de responsables de programas evaluados indican que la evaluación de los responsables de programas, el 75% mayoría o todos los resultados fueron difundidos y 70 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N analizados con el nivel directivo. Por otro lado, un las evaluaciones en las decisiones presupuestarias de 16% de los responsables de programa señala que los ministerios, los coordinadores ministeriales y los excepcionalmente ocurre que los resultados de la Jefes de DIPLAP de los Ministerios observaron que evaluación sean difundidos y analizados con el ni- los resultados de las evaluaciones se utilizan para: re- vel directivo del Servicio. Esta misma observación distribuir recursos al interior del programa en alrede- (débil apropiación de las evaluaciones por parte del dor del 25% de los casos, para justificar la asignación nivel directivo del Servicio o del Ministerio) fue de recursos existentes del programa en alrededor del corroborada en las entrevistas y los grupos focales 30% de los casos; y para realizar cambios en los pro- realizados para esta evaluación. cesos del programa en un promedio de alrededor del • En cuanto a los usos de las evaluaciones para las de- 30% de los casos. cisiones presupuestarias por el Servicio, el 56% de los responsables de programas evaluados y el 61% de los Indicadores de resultados finales del PE Jefes de DIPLAP o cargos similares de las Agencias a) En cuanto a la utilización de los resultados de evaluación en señalan que los resultados de las evaluaciones fueron el ciclo del presupuesto y en el mejoramiento de los progra- utilizados en el análisis de asignación de recursos du- mas, la tabla C.3.8.1. evidencia que las evaluaciones están rante el proceso de preparación de la propuesta de asociadas en un altísimo porcentaje con modificaciones presupuesto de la Agencia respectiva. importantes o rediseños sustantivos de los programas.88 • Respecto al uso de las evaluaciones para la toma de de- En conjunto, se recomendó la finalización de una cisiones de los Ministerios a las cuales pertenecen los proporción muy pequeña de los programas –3% como programas, el 49% de los responsables de programas ponderado por sus presupuestos del año (t). En el ex- evaluados, el 47% de los coordinadores ministeriales tremo de la escala de mejor desempeño, proporciones y el 60% de los Jefes de DIPLAP de los Ministerios moderadas del gasto de los programas se relacionaban señalan que la información ha servido para analizar la asignación de recursos en este nivel de coordi- con ajustes menores (10%) o reubicación organizativa nación de las políticas sectoriales. Nuevamente, las (3%). Se consideró que el 34% de los programas reque- encuestas y los grupos focales realizados para esta rían modificaciones importantes y que el 51% necesitaba evaluación confirmaron que los ministerios hacen un un rediseño sustantivo. Estos hallazgos –algo más de la uso limitado de las evaluaciones para sus decisiones mitad del gasto de los programas evaluados está ubica- presupuestarias. Respecto a la manera como influyen do en el área de rediseño sustantivo más problemática– CUADRO C.3.8.1. Distribución de Programas por Consecuencias de la Evaluación 2000- 2003 Categorías - Efecto de la evaluación Año (t)* Año (t) Año (t+1) Año (t+1) presupuesto presupuesto presupuesto presupuesto (MM Pesos) (%) (MM Pesos) (%) Ajustes menores 56.772 9,10% 52.696 8,50% Modificaciones importantes 211.961 33,80% 211.622 34,20% Reubicación Institucional 17.157 2,70% 17.237 2,80% Rediseño sustantivo 321.979 51,40% 329.746 53,20% Finalización del programa 18.325 2,90% 8.080 1,30% Total 626.194 100% 619.381 100% * Año (t) es el año de la evaluación. 71 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO CUADRO C.3.8.2. Presupuesto Año (t+1)* como porcentaje de presupuesto Año (t)* Categoría 2000 2001 2002 2003 2000-2004 EPG 1. Ajustes menores 83,6% 102,2% 88,7% 94,2% 86,3% EPG 2. Modificaciones importantes 115,7% 88% 113,2% 97,4% 105,3% EPG 3. Reubicación Institucional 98,4% 159,6% 102,4% EPG 4. Rediseño sustantivo 114,2% 96,1% 98,6% 51,2% 109,3% EPG 5. Finalización del programa 45,4% 53,5% 34,7% 40% EP/EI 1. Ajustes menores 118,7% 118,7% EP/EI 2. Modificaciones importantes 91% 89,1% 90,4% EP/EI 3. Reubicación Institucional EP/EI 4. Rediseño sustantivo 97,6% 97,6% EP/EI 5. Finalización del programa Todos los programas 108,9% 92,6% 82,7% 82.7% * Año (t) es el año de la evaluación. Nota: EI = Evaluación Módulo de Impacto. EP = Evaluación en Profundidad. podrían posiblemente usarse para apoyar el criterio de distinguiéndose tres grandes grupos según la naturaleza que los programas “problema” tienden a ser selecciona- de las recomendaciones de los evaluadores: A) programas dos para su evaluación. que no requieren modificaciones o que sólo requieren El Cuadro C.3.8.2. agrupa los programas en las mismas ajustes menores en el diseño de algún componente, en los cinco categorías, por año, y expresa la relación porcen- procesos de gestión interna o la generación de información o tual del presupuesto del año (t+1) al año (t). de reubicación institucional; B) programas que requieren Si bien es cierto que el pequeño número de programas de rediseños sustantivos para alcanzar sus objetivos; y C) recomendados para su finalización está sujeto a reduccio- programas que deben ser descontinuados. 89 nes presupuestarias reales, la mayor parte del gasto de pro- El resultado de las evaluaciones de programas informadas gramas para los cuales se recomienda un rediseño sustanti- entre 2002 y 2003 indica que, de un total de 30 progra- vo tiene un aumento del presupuesto que es, en promedio, mas evaluados, 22 programas se ubicaron en el grupo A, mayor que los programas recomendados para reubicación 7 programas se ubicaron en el grupo B y 4 programas se o modificaciones importantes. Entretanto, los programas ubicaron en el grupo C. Las asignaciones de recursos a recomendados para ajustes menores reciben reducciones estos programas en el presupuesto del año siguiente a su presupuestarias sustanciales: el presupuesto del año (t+1) evaluación indican que los programas que fueron evalua- es, en promedio, un 86% del año (t). Todo ello corrobora dos favorablemente o que requirieron ajustes menores en que los hallazgos de evaluación aportan a las decisiones del el diseño o procesos de gestión interna incrementaron presupuesto pero no implican consecuencia unidireccio- su presupuesto en 1% del presupuesto asignado el año nal en el mismo. Además, los cambios en el presupuesto posterior en que fueran evaluados; los programas que pueden tardar más de un año en tener efecto. requirieron rediseño sustantivo experimentaron una re- El Cuadro C.3.8.3. presenta la evolución del gasto ducción equivalente al 11% de su presupuesto previo; y asignado en el presupuesto a programas que han tenido los programas a los que se recomendó su finalización re- una evaluación en los últimos dos años (2002 y 2003), dujeron sus recursos en 57% de su presupuesto previo.90 72 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N Cuadro C.3.8.3 Evaluaciones de Programas 2000-2003 según su categoría (EPG y EI) (En millones de pesos de 2004) EVALUACIONES 2002 EVALUACIONES 2003 TOTAL Presupuesto Programas Presupuesto Programas Presupuesto Programas Categorías 2002 Diferencias 2003 Diferencias 2002+2003 Diferencias Tasa de 2003-2002 2004-2003 Variación A. Ajustes Menores, 88.956 1.967 71.043 (570) 160.000 1.398 0,9% modificaciones en el diseño de algunos componentes y/o procesos de gestión interna y/o reubicación institucional 1/ B. Rediseño sustantivo 33.303 (616) 15.092 (4.583) 48.395 (5.199) -10,7% del programa 2/ C. Finalización 3/ 4.523 (2.105) 5.577 (3.640) 10.100 (5.745) -56,9% 1/ Los programas evaluados el año 2002 incluyen: Generación de Capacidades en Localidades Pobres; Establecimiento y Desarrollo de una Política Cultural de Visión Global Exterior, Actividades Específicas en el Exterior, Programa de Mejoramiento Educativo, Programa Explora, Subsidio al Transporte Regional, Chile Barrio, Asistencia Técnica, Chile Compras, Fondo de Fomento de la Pesca Artesanal, Programas de Promoción Deportiva, y Consejo Nacional de Protección de la Ancianidad. Los programas evaluados el año 2003 incluyen: Vacaciones Tercera Edad, Fortalecimiento de la Capacidad Fiscalizadora, Textos Escolares Educación Básica y Media, Préstamos Médicos, Seguridad y Participación Ciudadana, Programa de Asistencia Jurídica (CAJ-PAJ), Proyectos Asociativos de Fomento (PROFOS), Fondo de Promoción de Exportaciones, Programa de Mejoramiento Urbano, y Programa de Relaciones Familiares. 2/ Los programas evaluados el año 2002 incluyen: Salud Mental y Fondo de Tierras y Aguas Indígenas. Los programas evaluados el año 2003 incluyen: Educación de Adultos EFA y ETEA, Centros de Atención Integral y Prevención de la Violencia Intrafamiliar, Centros de Información y Difusión Juvenil, Telecentros Comunitarios y Programa de Fomento a la Pequeña y Mediana Minería. 3/ Los programas evaluados el año 2002 incluyen: Perfeccionamiento Fundamental de Docentes y Prorural. Los programas evaluados el año 2003 incluyen: Fomento a la Inversión Privada y Segmentación Penitenciaría. Fuente: DIPRES b) En cuanto al uso de la evaluación por el Congreso Na- Consecuencias semejantes tuvo la evaluación del Fon- cional. La Comisión Mixta de Presupuesto del Congre- do de Promoción de Exportaciones, caso en el cual la so tiene subcomités que se ocupan de la discusión de evaluación recomendó reformas en los componentes las asignaciones para programas sectoriales específicos. del programa y en sus sistemas de gestión. La Ley de Estos subcomités sectoriales acogen generalmente los re- Presupuestos del 2004 acogió las recomendaciones de portes de las evaluaciones. Respecto de la formulación reorganización y redujo consecuentemente los recur- y aprobación de la Ley de Presupuestos, en el caso de la sos asignados. En efecto, el presupuesto del programa evaluación del Programa de Equipamiento Comunita- del Fondo de Promoción de Exportaciones, que cuen- rio, las recomendaciones apuntaron a una reorganización ta con recursos en pesos chilenos y dólares, pasó de sustancial, que determinó su división en dos programas. MM $ 1.116 y US $2.934.000 en 2003 a MM $1.691 y Estas recomendaciones fueron recogidas en la Ley de US $986.000 en 2004. Presupuestos del 2002 que abrió dos líneas presupues- En el caso del programa de Telecentros Comunitarios, tarias para financiar la bifurcación del programa en las la evaluación llevó a la DIPRES a hacer una serie de pro- dos nuevas líneas. Como resultado de estos cambios, el puestas de cambio sustancial del programa destinados presupuesto del 2002 para el programa se redujo a 1.501 a mejorar su focalización y su eficiencia y a reducir los millones de pesos, comparados con 2.681 millones riesgos de manejo financiero del programa. Estas pro- en 2001. puestas fueron acogidas por el Congreso para el 2004 73 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO y años siguientes. Tales propuestas incluían: no finan- Eficiencia y economía en el uso de los recursos. ciar nuevas inversiones del programa a partir del 2005; Esta Sección sistematiza y analiza la información sobre el reducción de los fondos asignados al programa en el 2004 presupuesto y los gastos efectivos del programa correspon- en cerca del 75% de los recursos que le fueron asignados diente al período en evaluación, desagregando por compo- en el 2003; autorizaciones para reorientar nuevos fondos nente y por tipo de gasto. en los años 2005 y 2006. Estas reformas contribuyeron a la eficiencia del proyecto mediante la reducción de fon- CUADRO C.3.9.1. dos para actividades que pueden producir otras agencias ejecutoras. Gasto efectivo del programa (Miles de pesos 2004) c) En cuanto al mejoramiento de la gestión de las institu- ciones, el PE contribuye cuando menos de dos maneras Año Gasto Efectivo Otros Total Gasto del Presupuesto Gastos 1/ Efectivo del a mejorar la gestión de los programas y a fortalecer la Asignado Programa capacidad institucional para ejecutarlos y evaluarlos. En cuanto al mejoramiento de los programas, el Anexo G, 2000 272.457 0 272.457 y especialmente el Anexo I, dan cuenta detallada del tipo 2001 386.975 0 386.975 y el contenido de las recomendaciones de gestión que 2002 479.878 0 479.878 pueden producir las evaluaciones. Como puede verse en 2003 423.697 0 423.697 dichos Anexos, y como lo reflejan también los indicado- res de gestión de resultados del PE, esas recomendaciones 1/ Corresponde a gastos con cargo a recursos aportados por otras pueden conducir a reformas muy significativas y aportes instituciones publicas o privadas. radicales al mejoramiento de la gestión de un programa. Hasta el punto de que, en algunos casos, las recomenda- ciones prácticamente precisan y actualizan la esencia del Un cambio que no constituyó una reformulación formal, marco lógico de un programa.91 pero que es importante en términos técnicos y operativos, En segundo lugar, la evaluación deja un fortalecimien- es la iniciación a partir del año 2001 de las evaluaciones to de la gestión de las instituciones gracias al proce- de impacto, lo cual ha implicado más recursos y más car- so de aprendizaje institucional de los gerentes o de las ga de trabajo para el equipo responsable de la División de personas responsables de la ejecución de políticas y progra- Control de Gestión. Asimismo, el número de Compromisos mas, conceptualmente e instrumentalmente. Al final de han ido en aumento, lo cual implica mayor tiempo dedica- la evaluación del Fondo de Promoción de Exportaciones, do a su seguimiento. Como podemos observar en el cuadro por ejemplo, Pro-Chile estuvo en capacidad de presentar 3.9.2., el incremento en el costo del Programa entre el 2000 sus propias conclusiones y negociarlas en pie de igualdad y el 2001 se debió principalmente a la introducción de las con la DIPRES.92 Otro tanto ocurrió con MINVU en el EI. A partir del 2001 se han aumentado los recursos para las caso de la evaluación del programa de Mejoramiento de EI mientras que para las EPG éstos han disminuido regular- Equipamiento Comunitario. De hecho, esta evaluación mente. El personal del Programa se ha mantenido esencial- confirmó y fortaleció las ideas que tenía MINVU para mente el mismo desde el 2001, no obstante el crecimiento interactuar con la DIPRES en próximas evaluaciones. en el número de Compromisos que deben ser establecidos Quizás el mayor ejemplo de fortalecimiento de la gestión y monitoreados. Por otra parte, el cuadro C.3.9.4. muestra gracias al aprendizaje institucional lo ofrece la enorme que el costo promedio por programa evaluado en la línea capacitación que sobre la metodología de marco lógico EPG ha aumentado ligeramente de 6,8 millones de pesos en ha impulsado el PE de la DIPRES conjuntamente con el el 2001 a 7,1 millones en el 2003. La mayor parte de este programa de asistencia técnica de MIDEPLAN. Este es incremento se debe a un ligero aumento en los honorarios un logro uniformemente reconocido por los participan- de los evaluadores y, en menor medida, a la nueva práctica tes en todas las entrevistas y en todos los grupos focales de financiar estudios complementarios (generalmente activi- realizados para esta evaluación. dades expeditas para la recolección de información primaria) 74 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N en los casos de ciertas EPG que así lo requieren. El número y año. El costo promedio de una EI se ha mantenido en alre- el valor total de estos estudios complementarios varían cada dedor de 55,5 millones de pesos entre el 2002 y el 2003. CUADRO C.3.9.2 Presupuesto y Gasto Efectivo Desglosado (Miles de pesos de 2004) Año 2000 Presupuesto Asignado Gasto Efectivo Monto % Personal Depto. 1/ 118.768 118.768 100% Honorarios EPG 2/ 158.558 137.693 87% Bienes y Servicios de Consumo 21.692 15.996 74% Total 299.018 272.457 91% Año 2001 Presupuesto Asignado Gasto Efectivo Monto % Personal Depto. 1/ 132.392 132.392 100% Honorarios EPG 127.265 122.481 96% Estudios 106.320 119.344 112% Bienes y Servicios de Consumo 12.758 12.758 100% Total 378.736 386.975 102% Año 2002 Presupuesto Asignado Gasto Efectivo Monto % Personal Depto. 1/ 146.016 146.016 100% Honorarios EPG 102.931 101.478 99% Estudios 309.581 223.103 72% Bienes y Servicios de Consumo 24.996 9.281 37% Total 583.524 479.878 82% Año 2003 Presupuesto Asignado Gasto Efectivo Monto % Personal Depto. 1/ 146.016 146.016 100% Honorarios EPG 100.093 92.949 93% Estudios 219.870 176.822 80% Bienes y Servicios de Consumo 39.448 7.910 20% Total 505.427 423.697 84% 75 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Año 2004 Presupuesto Asignado Personal Depto. 1/ 149.959 Honorarios EPG 96.845 Estudios 216.892 Bienes y Servicios de Consumo 18.241 Total 481.936 1/ Considera un equipo de 1 jefe y 4 analistas permanentes y, a contar de Julio de 2001, un coordinador para evaluaciones de impacto. 2/ Incluye asesores en Marco Lógico (ECUs) CUADRO C.3.9.3 Gasto directo en producción de componentes (Miles de pesos de 2004) Año 2000 Año 2001 Año 2002 Año 2003 EPG 1/ 137.693 122.481 101.478 92.949 Impacto 119.344 223.103 176.822 Total 137.693 241.825 324.582 269.771 CUADRO C.3.9.4 Costo promedio de producción de componentes (Miles de pesos de 2004) Año 2000 Año 2001 Año 2002 Año 2003 Costo Promedio por Programa Evaluado (EPG) 1/ 7.650 6.804 7.248 7.150 Costo Promedio por Programa Evaluado (Impacto) 103.662 55.934 55.215 1/ Incluye asesores en Marco Lógico (ECUs) CUADRO C.3.9.5 Gastos de Administración del PE (Miles de pesos de 2004) Año Gastos de Costos de Producción Total Gasto Efectivo % Gasto Adm. Administración 1/ de Componentes del Programa 2000 134.764 137.693 272.457 49,5% 2001 145.151 241.825 386.975 37,5% 2002 155.297 324.582 479.878 32,4% 2003 153.926 269.771 423.697 36,3% 1/ Incluye gasto en personal del Departamento de Evaluación. Entre las funciones de este personal se incluyen funciones de contraparte y de asesoría metodologica a las Paneles y a las instituciones evaluadas. Además, en los años 2000, 2001 y 2002, el mismo personal estuvo a cargo de administrar el Fondo Concursable y, durante los años 2002 y 2003, aproximadamente un 50% del tiempo del Coordinador de Evaluaciones de Impacto estuvo dedicado a la Evaluación Comprehensiva del Gasto. 76 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N CUADRO C.3.9.6 Costo Anual de la Evaluación como Porcentaje del Gasto (Miles de pesos de 2004) Año Presupuesto. Programas evaluados Gasto EPG y EI Gasto anual PE/ Gasto programas evaluados 2000 194.649.791 272.457 0,14% 2001 286.887.692 474.955 0,17% 2002 125.963.156 480.511 0,38% 2003 81.715.422 412.520 0,50% Fuente: DIPRES Los gastos administrativos respecto del total de gastos externos, mientras en la mayor parte de los países la evalua- del programa han disminuido desde el año 2000 de 49,5% a ción la realizan entidades del propio gobierno, muchas veces 36,3% en el 2003 como se presenta en el cuadro C.3.9.5. de manera asociativa entre varias entidades) y de la estructu- El cuadro C.3.9.6 presenta la relación entre el costo ra de costos de la producción de la evaluación —demanda anual de las evaluaciones y el valor presupuestario de los y oferta de evaluadores y honorarios en campos similares o programas evaluados.93 El costo del Programa (incluido el relacionados (por ejemplo, análisis estadístico)— la cual es personal del programa, los honorarios de EPG y EI y los exclusiva de cada país.94 El costo relativo de un programa bienes y servicios de consumo del programa) pasó de 272,4 de evaluación depende también del número de programas millones de pesos en el 2000 a 475 millones en el 2001, evaluados y de la proporción que éstos representan dentro 480,5 en el 2002 y 412,5 en el 2003 (pesos del 2004). del gasto total. Asimismo, los requerimientos o la estrate- El presupuesto asignado para el 2004 fue de 481,9 gia de levantamiento de datos varían de un país al otro. Por millones. El salto del costo del Programa entre el 2000 y las anteriores razones, resulta más apropiado comparar el el 2001 se debió principalmente a la introducción de las porcentaje de presupuesto que se asigna generalmente a EI. A partir del 2001 se han aumentado los recursos para Monitoreo y Evaluación.95 Por los años en los cuales las EI mientras que para las EPG éstos han disminuido Australia tuvo un sistema de evaluación centralizado en el regularmente. El personal del Programa se ha mantenido Ministerio de Finanzas (que son los años más comparables esencialmente el mismo desde el 2001 (un jefe, un coordi- con el PE de la DIPRES), ese país dedicaba alrededor de nador para EI y cinco analistas permanentes) no obstante el 0,8% de su gasto a la evaluación. Chile dedica proporción crecimiento en el número de Compromisos que deben ser muchas veces inferior, lo cual es, en principio, un indicio establecidos y monitoreados. (no una prueba contundente) de la eficiencia del Progra- Como en el caso de Chile la contratación de la evalua- ma de la DIPRES en términos internacionales. El costo ción se hace mediante licitación competitiva, no hay lugar a promedio de una EI (alrededor de US $90.000) parece en pensar que esos costos serían diferentes si la contratación la todo caso bajo ante los estándares de costos de similares hiciere una agencia externa. evaluaciones de impacto auspiciadas por organismos Un análisis internacional comparado de costos de internacionales; EI realizadas por el Banco Mundial, producción de evaluaciones similares, proporcionadas por por ejemplo, típicamente cuestan entre US $200.000 y organizaciones públicas o privadas, difícilmente arrojaría US $900.00096. pautas válidas de eficiencia. Sucede que el costo absoluto Los beneficios del Sistema de Evaluación, ya sea en de las evaluaciones depende en gran medida de la mane- términos de la efectividad, la eficiencia o las decisiones ra como cada país comisiona y paga las evaluaciones (en presupuestarias del programa, parecen pesar sustancialmen- el caso de Chile, como ya se mencionó, involucra una te más que los costos documentados en esta sección para licitación competitiva para la contratación de evaluadores el presupuesto de la DIPRES.97 77 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Sin embargo, el Sistema no lleva aún los indicadores que enfoque de la evaluación. Estas características están dise- permitan medir costos y beneficios agregados en términos de ñadas para asegurar estándares de cantidad, de calidad, de las mismas unidades. Sólo en la medida en que el PE avance costos y de tiempos de cumplimiento de las evaluaciones. más hacia el fin u objetivo superior, y que consiga aislar la DIPRES ve estos estándares como esenciales para relacionar contribución del Sistema a la efectividad o a la eficiencia el PE con el ciclo presupuestario y para asegurar la sosteni- del gasto, será posible hacer un verdadero análisis costo-be- bilidad de la evaluación y su acumulación de una cobertura neficio que sopese los costos del Programa contra la reduc- de gasto cada vez mayor. La armonización de los tiempos de ción de gastos para la producción de un mismo servicio o la la evaluación con los tiempos del presupuesto también es misma cantidad de gastos para producir un mejor servicio. vista como crucial para la eficacia y la eficiencia del PE. Los Cuánto contribuyen los resultados centrales al fin, es algo métodos estandarizados y los tiempos de entrega monitorea- que el Sistema no puede responder hasta el momento –y es dos cuidadosamente le permiten a la DIPRES reunir opor- natural que así sea– dada la juventud del Sistema cuando tunamente el número proyectado de informes de evaluación se lo compara con otros de mayor edad que tampoco han año tras año, al que también se compromete públicamente. logrado esta meta final de medición. En ello, el PE de la DIPRES se distingue de sistemas de evaluaciones ocasionales (como sucede, por ejemplo, con evaluaciones sectoriales auspiciadas por organismos interna- C.4. Análisis y Conclusiones cionales), que pueden ser más experimentales o novedosas; Esta sección de Análisis y Conclusiones resume y analiza las pero que no tienen la regularidad industrial que interesa a características particulares del PE de la DIPRES y sinteti- la DIPRES para que el PE sirva a sus objetivos. De todas za sus principales fortalezas y debilidades, tanto respecto de maneras, el PE de la DIPRES no excluye sino que es compa- las etapas avanzadas de desarrollo del Programa cuanto con tible con otras evaluaciones sectoriales y, de hecho, se apoya relación a los desafíos perceptibles en el futuro próximo. en ellas cada vez que existen. Entre tales desafíos, sobresale la necesidad de armonizar el Vista la razón de ser de la centralización del PE en PE con los grandes lineamientos de reforma en curso en la la DIPRES, sería imprudente que la DIPRES delegase las administración pública chilena. La Sección concluye con responsabilidades de evaluación a los ministerios a menos una síntesis de las principales conclusiones. que y hasta que cumplan diversas condiciones previas.98 Las características del PE. El PE de la DIPRES tiene Esas condiciones previas podrían identificarse, entre otras elementos constitutivos que lo distinguen de otros progra- vías, mediante un proceso de diálogo entre DIPRES y los mi- mas o sistemas de evaluación que se desarrollan tanto en nisterios o Servicios, luego ponerlas a prueba en uno o unos Chile como en el exterior. pocos ministerios o Servicios y finalmente institucionalizar- El Programa es manejado por la DIPRES, como parte las en un mecanismo de “certificación” o de “graduación”. del proceso de análisis para la formulación presupuestaria Es más, el hecho de que los Compromisos de evaluación con el objeto de contribuir a la discusión y toma de decisio- son todavía muy débiles en los ministerios y los Servicios nes dentro del Ejecutivo y también en el Congreso. El uso indica que el sistema de evaluación actual del Gobierno de las evaluaciones para decisiones presupuestarias es una aún es sumamente vulnerable a la partida de los que característica especial del PE, que le da mayor poder a abogan por la evaluación –un peligro similar al que ocurrió los resultados de las evaluaciones y a los Compromisos en Australia después de 1997.99 Como el dilema entre Institucionales. No todos los países con sistemas de evalua- mantener el actual grado de centralización y delegar o ción similares a Chile logran una conexión tan ajustada y descentralizar en mayor o menor medida el PE a los oportuna entre los resultados de la evaluación y el proceso ministerios o Servicios está íntimamente ligado a las presupuestario, tanto para la preparación del presupuesto reformas en curso en la administración pública chilena, cuanto para su discusión y aprobación en el Congreso. será necesario volver sobre este tema un poco más adelante El manejo del PE es altamente centralizado, disciplina- en esta Sección de Análisis y Conclusiones. do y rutinario y los términos de referencia de las evaluacio- El Programa opera mediante la comisión de evaluacio- nes ofrecen poca discreción a los evaluadores en cuanto al nes externas, realizadas por agentes independientes al pro- 78 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N grama y a la entidad responsable del mismo. Esta externali- desafíos de interés y apropiación por parte de los Servicios dad es prenda de objetividad y transparencia y es el pilar de y los Ministerios, especialmente en los niveles altos de unos la credibilidad del PE. En esto el PE de la DIPRES se dis- y otros. tingue de programas de auto-evaluación o de evaluaciones La realización del valor agregado por el proceso de efectuadas por otras agencias del Gobierno. Por otra parte, la evaluación, mediante la utilización de las recomendaciones comisión de evaluaciones externas hace más visibles los de la evaluación, es fuertemente fomentada por los procedi- costos del PE y crea desafíos especiales en materia de mientos seguidos por la DIPRES para que las recomenda- interés, asimilación y apropiación por parte del Servicio o ciones de las evaluaciones informen las decisiones del Ejecu- del Ministerio respectivo de los resultados de la evaluación. tivo en materia de mejoramiento de la gestión. El PE busca producir información útil sobre programas La debilidad observada en algunas de las EPG no se o actividades de gasto que pueden ser mejorados o elimina- debe al grado de especificidad o a la calidad técnica de las dos valiéndose de la palanca de las decisiones presupuesta- recomendaciones en sí mismo consideradas sino a limita- rias. Por esta razón, el PE no sigue un orden de prioridades ciones en la calidad de la información en que se basan los rígido ni una regla fija para aplicar los criterios descritos reportes de evaluación. Cuando se buscaron las causas de anteriormente para seleccionar los programas a evaluar. esta debilidad se halló que ellas no se encuentran en la Múltiples agencias y actores indican o recomiendan progra- metodología prescrita por la DIPRES (la cual sí está general- mas a ser evaluados y, al final de cuentas, la DIPRES flexi- mente conforme con las mejores prácticas internacionales) biliza el concepto de programa para atender las necesidades sino en la naturaleza del programa evaluado, en las debilida- que el Ejecutivo o el Legislativo tienen de indicadores de des de diseño del programa o en la imposibilidad de obtener resultados de un programa de gasto (o aún de una unidad la información indispensable para una evaluación completa. de la Administración Pública o de una actividad o conjunto En algunos casos el Congreso o el Comité Inter-ministerial de actividades de ésta). En este sentido, la DIPRES sigue un solicitan la evaluación de una unidad administrativa o de esquema pragmático con tal de producir información útil, un consejo asesor, los cuales no se ajustan, por razón de su contribuir al fortalecimiento de los programas y estimular propia naturaleza, al marco de un programa; ni tampoco la producción de información que siente las bases para que permiten que se les aplique estrictamente la metodología de Chile pueda fortalecer progresivamente los estándares de evaluación de programas. En otros casos, el programa no desempeño del sector público. contó en su origen con un marco lógico sino que éste debió La calidad de las evaluaciones depende de: i) la calidad de ser construido, ex post como parte del proceso de evalua- diseño del programa, ii) la información disponible (EPG y ción. Y ocurre que, la DIPRES ha optado deliberadamente EI) o susceptible de ser producida (EI), iii) la independencia por privilegiar la producción de información y recomen- técnica de los evaluadores, iv) la dedicación o el tiempo de daciones útiles para las decisiones presupuestarias y para el esfuerzo efectivo de los evaluadores y v) los conocimientos mejoramiento del programa o de la unidad gubernamental técnicos especializados, tanto en metodología de evaluación cuanto en el tema o sector del programa, de los evaluadores evaluados, por encima de las dificultades metodológicas y externos. Los factores i) y ii) sólo pueden ser parcialmente de información que algunas evaluaciones en particular pue- controlados por la DIPRES mediante la selección de los pro- dan enfrentar. Las EPG siguen metodologías sencillas, con gramas; los factores iii), iv) y v) quedan en gran medida bajo énfasis en la producción expedita de resultados; los recursos el control de la DIPRES a través de sus procedimientos y son limitados y los informes se producen rápidamente. Una de la selección y evaluación de los evaluadores.100 Si bien las EPG puede llevar a la conclusión de que no existe suficiente evaluaciones necesitan del concurso de las agencias respon- información para una evaluación propiamente dicha y, por sables de los programas, principalmente para el suministro ende, llamar a la producción de esa información. Adicional- de información, en términos generales la calidad de las EPG mente, una EPG puede llevar a la conclusión de que convie- y las EI es relativamente independiente de factores contro- ne realizar una evaluación de impacto o en mayor profundi- lados por los ministerios o los Servicios. Esta característi- dad. De manera que la EPG produce, de todas maneras, una ca asegura independencia y fomenta objetividad, pero crea información útil. 79 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO El hecho de que algunas de las EI no cumplan con los tos vínculos son especialmente importantes en las siguientes cánones internacionales generalmente aceptados no se debe fases de desarrollo del PE, las cuales requerirán de indicado- a falencias en los Términos Técnicos de Referencia prepara- res de resultados cada vez mejores y de conexiones cada vez dos por la DIPRES, sino a limitaciones estructurales o de más explícitas entre el programa evaluado y las definiciones diseño de los programas evaluados o a la falta de informa- y los productos estratégicos de las entidades y las políticas y ción indispensable para una completa evaluación. prioridades gubernamentales. Los resultados de evaluación alimentan sistemáticamen- El seguimiento del cumplimiento de los Compromisos te las decisiones presupuestarias y los Compromisos para el Institucionales sucede dentro de un conjunto de actividades mejoramiento de la gestión de los programas (los llamados integradas, rutinarias y controladas centralmente (durante Compromisos Institucionales). Estos últimos son acordados la formulación del presupuesto y la elaboración del Balance entre la DIPRES y las instituciones y a ellos da seguimiento de Gestión Integral (BGI) en junio y diciembre de cada año el Ejecutivo y toma las medidas a que hubiere lugar. Cuando correspondientemente) para proveer información sobre el se hace necesario, porque los Compromisos Institucionales desempeño de los programas y por lo consiguiente, ayudar involucran reformas o decisiones legislativas, se someten las a mejorar su diseño y resultados. Como el cumplimiento de correspondientes propuestas a consideración del Congreso. los Compromisos es evaluado y reportado sistemáticamente, Las Recomendaciones de la Evaluación y los Compromisos el PE propicia el uso de la evaluación por parte de las insti- Institucionales incluyen, típicamente, el mejoramiento de tuciones responsables del programa y prolonga el monitoreo los marcos lógicos, de los indicadores de desempeño y del con posterioridad al reporte mismo de evaluación. En esto sistema de planificación y control de los programas. también se distingue el PE de la DIPRES de otros programas Las recomendaciones de las evaluaciones y los Compro- de evaluación: las recomendaciones inspiran Compromisos misos Institucionales, contribuyen a orientar el presupuesto cuyo cumplimiento es vigilado y asegurado por la agencia a la producción de resultados. En palabras de los propios que tiene la responsabilidad (y el poder) de proponer al gestores del PE, “Necesario es tener presente que todos los Congreso los recursos que se asignan a cada programa. sistemas de presupuesto tienen tres objetivos: mantener la El carácter público de la información facilita la vigilancia disciplina fiscal; eficiencia en la asignación de los recursos ciudadana relacionada con los resultados de los programas. distribuyéndolos de acuerdo con las prioridades de gobierno Las fortalezas y las debilidades del PE. Conviene pre- y la efectividad de los programas; y eficiencia operacional sentar las fortalezas y las debilidades de manera simultánea promoviendo la eficiencia en la entrega de los servicios. Una por cuanto ellas están ligadas dialécticamente: la fuente de gestión presupuestaria basada en resultados es necesaria para las fortalezas crea, al mismo tiempo, vulnerabilidades en el el logro de los tres objetivos.”101 Como lo muestra la expe- Programa. Las conclusiones sientan las bases para que las riencia internacional, el camino hacia un presupuesto por recomendaciones puedan consolidar las fortalezas del PE resultados es de aproximaciones sucesivas, hasta el punto de mientras se corrigen o controlan las principales debilidades que ningún país del mundo ha llegado completamente al identificadas en el PE: i) las debilidades de los programas soñado presupuesto por resultados. Dada la fase actual de evaluados y de la información disponible, lo que afecta la desarrollo en el diseño de programas y en la identificación y calidad intrínseca de las evaluaciones y los fundamentos de mantenimiento de indicadores, el PE de la DIPRES utiliza sus conclusiones102; ii) las debilidades en la apropiación del todavía muchísimos indicadores de proceso; pero aumenta PE por parte de los altos mandos de Servicios y Ministe- poco a poco los indicadores de resultados y apunta a llegar rios, y iii) la todavía débil conexión lógica (o de diseño del algún día hasta los indicadores de propósito u objetivo final programa) y empírica (indicadores) con las definiciones es- del PE (el mejoramiento de la calidad del gasto). tratégicas de Servicios, las políticas sectoriales y las priorida- Dentro del marco del SCG, el PE está ligado especial- des gubernamentales. Los siguientes párrafos sintetizan las mente con las Definiciones Estratégicas, los Indicadores de conclusiones del Informe con respecto a las fortalezas y a Desempeño, el Programa de Mejoramiento de Gestión y el las debilidades del PE. Balance de Gestión Integral. Los vínculos entre estos instru- Los objetivos y sus indicadores. En primer lugar, las EPG mentos del SCG se han venido reforzando año tras año. Es- y las EI tienen un bien definido conjunto de objetivos, lo 80 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N que le ha permitido definir y refinar gradualmente sus diseño de programas y de información. Sin embargo, el indicadores de resultado. No obstante sus avances, el PE no Programa agrega valor aun en aquellos casos en los cuales consigue aún demostrar la manera específica o el grado en la evaluación concluye identificando estas carencias. A par- el cual contribuye a la elevación de la eficacia y eficiencia tir de allí la DIPRES prepara y monitorea Compromisos del gasto público. Esta evaluación reconoce que la conexión Institucionales para mejorar el programa evaluado e informa entre los resultados del Programa y su fin u objetivo final de estas necesidades para las decisiones presupuestarias que es técnicamente difícil; pero es un desafío que acecha la se van a tomar sobre ese programa. Este objetivo pragmático justificación última del PE y, como tal, merece dedicación puede ser interpretado como que ha llevado a subordinar de esfuerzos. el concepto puro o normativo de evaluación a la urgencia La eficacia y la capacidad de gestión. En segundo lugar, de elevar la calidad del gasto. Según se dijo anteriormente, el PE ha auto-desarrollado capacidad de gestión en un la DIPRES ha optado deliberadamente por la aplicación área relativamente inédita. Los gestores del Programa han flexible de estándares de evaluación a programas y situacio- desarrollado, para sus dos componentes, procedimien- nes que no satisfacen todos los requisitos teóricos de una tos altamente regulados que promueven fuertemente la evaluación de marco lógico o de una evaluación de impacto. objetividad y el fundamento de las evaluaciones.103 Los Y lo ha hecho a conciencia de que la evaluación no consti- dos instrumentos, aplican metodologías y observan pro- tuye un fin en sí mismo sino que está al servicio de regir el cedimientos estandarizados, con requerimientos precisos gasto por sus resultados. Cuando ha sido necesario ofrecer de información a las agencias responsables, con procesos información sobre el probable impacto de un programa que competitivos de selección de evaluadores y con acompa- no cuenta con requerimientos técnicos ideales, tales como la ñamiento técnico y controles de calidad que respaldan la línea de base o el grupo de control, la DIPRES ha flexibili- credibilidad alcanzada por el PE. Personal altamente es- zado los estándares de evaluación de impacto con el fin de pecializado, formado en la misma División de Control de informar las decisiones presupuestarias; cuando el gobierno Gestión de la DIPRES, aplica los procedimientos, brinda ha necesitado de información sobre la calidad de gasto de asistencia técnica, acuerda y monitorea los Compromisos de los programas, la DIPRES ha aplicado el esquema de mar- mejoramiento de programas con las agencias responsables y co lógico para ayudar a responder los asuntos relacionados comunica los resultados de las evaluaciones a la Dirección con el diseño y la gestión del programa con el fin de que la y a los analistas sectoriales de la DIPRES para que ellos evaluación resulte relevante. En uno y otro caso la DIPRES los hagan valer en las decisiones presupuestarias. La cen- ha provisto la mejor evaluación posible, ha mejorado el tralización del PE en la DIPRES ha permitido montar un diseño de los programas y ha comprometido a las agencias programa simple, expedito, económico y confiable. Estas responsables a cumplir con requisitos que mejoren el con- son fortalezas únicas, que constituyen un caso de “buena cepto, la ejecución o las posibilidades de evaluación futura práctica” de sistema de monitoreo y evaluación del gobierno de esos mismos programas. La pureza de la evaluación ha y un precedente en el plano mundial y deben ser preservadas quedado subordinada a la urgente necesidad de información aún a costa de las debilidades de las EPG y las EI que se y al mejoramiento gradual de los programas de gobierno. vienen examinando. La conexión de la evaluación con los productos estratégi- La calidad y el valor agregado de las evaluaciones. Con cos, las políticas sectoriales y con prioridades gubernamentales. respecto a la calidad, las evaluaciones se hacen competente- Una evaluación puede demostrar hasta qué punto los mente y proporcionan valor agregado, tanto por su capacidad objetivos del programa del gobierno son consistentes con de enmarcar los programas dentro una lógica de objetivos, las prioridades estratégicas –conocido como lo adecuado medios y resultados (gracias al Marco Lógico), cuanto por del programa. Una evaluación también puede demostrar sus análisis y recomendaciones específicas, particularmente hasta qué punto el programa alcanza las prioridades de las recomendaciones para hacer más efectiva o más eficiente política del gobierno– por ejemplo, la eficacia del progra- la gestión. ma. Sólo haciendo estas preguntas se puede asegurar la No obstante la afirmación general del párrafo anterior, coherencia entre el programa y el sector o la contribución la calidad de las evaluaciones sufre de las deficiencias del del programa a las metas superiores de política (objeti- 81 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO vos estratégicos). En el caso del PE, esa conexión se da a ca del gobierno de Chile. Esta relación plantea cuestiones través de instrumentos (EPG, por ejemplo), mediante los potencialmente importantes acerca de la función de los cuales la DIPRES demanda de los Servicios y los Ministerios instrumentos de control de gestión de la DIPRES, inclui- una mejor definición de sus estrategias104. Las evaluaciones, do el PE. En particular, esta relación plantea la cuestión sin embargo, siguen siendo débiles en lo que respecta a los de introducir o no, en este momento o posteriormen- vínculos causales que ligan las acciones del programa con te, cambios tan radicales como podría ser, por ejemplo, la los objetivos estratégicos y, por esta vía, con las prioridades desconcentración o descentralización. El PE opera en un programáticas del Gobierno. Si se subsanara esta debilidad, contexto institucional y es necesario visualizar los cambios el PE reforzaría la cohesión del gasto público con las priori- concomitantes que sería necesario hacer en el control central dades gubernamentales. y en los formatos de organización antes de dar un paso de tal Los costos y la eficiencia del PE. Son innegables los bue- envergadura en el PE. nos resultados del PE en términos de su efectividad. Tam- Los planes de desarrollo del SCG y, de manera especial, bién existen bases para concluir que sus costos son muy ba- su intención de ligar el SCG con la formulación y reforma jos frente a sus resultados. Las comparaciones preliminares de las políticas, dependen en no poca medida del avance con los costos promedio de evaluaciones con sistemas de en la reforma del Estado. Es improbable que el SCG consiga evaluación en Australia o Canadá indican que el Programa organizar la pirámide jerárquica de prioridades (gubernamen- chileno opera a un costo total sustancialmente más bajo. tales, sectoriales), políticas y programas si los Servicios perma- Además, las investigaciones hechas para este Informe, sobre necen débilmente coordinados desde el nivel ministerial. los resultados y los usos de evaluaciones individuales, per- El PRYME fue un primer paso en cuanto a la integración miten concluir que el PE contribuye a mejorar la calidad de la modernización estatal. Si bien el papel de SEGPRES del gasto público, aunque no sea posible cuantificar en qué y de MIDEPLAN continúa enfocado en algunos proyectos medida esta mejoría pudiera demostrar que un incremento particulares, el hecho de que el programa de reforma ha en el tamaño del PE de Chile sea costo efectivo. estado efectivamente dominado por la DIPRES, y que El indicador para el que en el momento de la revisión ha- actualmente se caracteriza por el énfasis en temas de ges- bía una estimación preliminar es de cobertura y consiste en tión financiera y de control de gestión, ha resultado positivo, la proporción que el gasto de programas evaluados represen- tanto para los desarrollos del PE como para fortalecer sus ta respecto del gasto total evaluable. Este indicador resulta enlaces y mejorar su función dentro de la reforma del sector de particular importancia para el PE. Si bien es cierto que el público general. valor de la asignación presupuestaria no ha sido en Chile el La experiencia internacional. Los experimentos de la Nue- único criterio de selección de programas (y en algunos casos va Gestión Pública (New Public Management) de los últimos ni siquiera el criterio más importante), la relación que existe 20 años proporcionan algunos temas insinuantes para Chile. en Chile entre evaluación y presupuesto exige que se tenga Esta experiencia indica que diferentes formatos de organi- un indicador, sólidamente documentado, de la magnitud zación, que proporcionan más o menos un control central del presupuesto susceptible de evaluación, de la proporción y más o menos una devolución de la responsabilidad a los que representa el presupuesto evaluado con respecto al uni- niveles inferiores (por ejemplo, organismos ejecutivos), has- verso evaluable y de la relación entre los costos del programa ta ahora han conducido a cambios inevitables en el balance y la proporción del presupuesto evaluado. Consecuente con entre la eficiencia, la coordinación de políticas y el control ello, la DCG produjo en diciembre del 2004 la metodología central. El Recuadro No. 3 proporciona de forma breve el para el cálculo y la estimación inicial de la cobertura del PE ejemplo de las agencias ejecutivas del Reino Unido. bajo el Indicador “Porcentaje de Presupuesto Evaluado en En cierto modo Chile refleja la estructura orgánica de los Relación al Presupuesto Evaluable”.105 departamentos y las agencias ejecutivas en el Reino Unido. Los márgenes de maniobra para los desafíos futuros. Pero la gran diferencia es que los Servicios de Chile tienen sólo La estructura de la administración pública y su relevancia un nivel limitado de flexibilidad de gestión. En otras palabras, para la agenda de desarrollo del PE. Los siguientes párrafos la política chilena no promueve, como se hace en el Reino se ocupan de la relación entre el PE y la estructura orgáni- Unido, la eficiencia mediante la devolución de la gestión. 82 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N RECUADRO No. 3 “Next Steps Reform” en las Agencias del Reino Unido La reforma de los “Próximos Pasos”, iniciada en relaciones de rendición de cuentas entre los ministros y 1989, fue la más importante de muchas reformas de ges- las agencias (porque, en la práctica, es imposible hacer tión emprendidas durante un largo período del gobierno una distinción clara entre la política y la ejecución). Esto conservador en Gran Bretaña (1979-97). La reforma a su vez parece haber llevado al gobierno a aumentar los buscó ganancias de eficiencia al separar la formulación controles financieros centrales. de políticas de su ejecución. Hizo esto eliminando Este modelo de resultados para el Reino Unido refle- muchas de las funciones de provisión de servicios y de ja un modelo más amplio observado entre los principales reglamentación del gobierno central y transfiriéndolas a países asociados con reformas de Nueva Gestión Públi- las agencias ejecutivas recién creadas. Hacia fines de los ca (NPM, en Inglés). La experiencia indica que hay un años noventa 140 organismos ejecutivos representaban cambio en el balance entre los objetivos de eficiencia y dos tercios del empleo del gobierno central. Cada orga- la coordinación de política por un lado, y los objetivos nismo tiene un documento marco que fija sus objetivos y de control central, por el otro: la concentración de la metas de desempeño. Los jefes ejecutivos de las agencias reforma en una dimensión tiene consecuencias no inten- son nombrados principalmente mediante una competen- cionales en la otra. En el comienzo de los años noventa cia abierta, tienen un contrato fijo y son personalmente el Reino Unido y Nueva Zelanda centraron sus reformas responsables ante el ministro. Este fue originalmente en la eficiencia (en parte mediante la creación de orga- un movimiento inspirado políticamente para quitarle el nismos ejecutivos), mientras que Australia se concentró control a una Tesorería renuente a dar flexibilidad a los en mejorar el control y la coordinación de políticas en departamentos y para promover la gestión orientada al el centro del gobierno. Para fines del decenio, cada desempeño al nivel de organismo. país sintió la necesidad de correcciones de curso que Es difícil medir el impacto general de esta clase de desharían algunos de los efectos no intencionales de la reformas. Los observadores más imparciales parecen en- reforma. La eficiencia, en general, significa descentralizar contrar algunas pruebas razonables de éxito en cuanto la autoridad (y concentrarse en mejorar los resultados), a las ganancias en economía, productividad y respuesta. mientras que la priorización de políticas implica mejorar Pero también alegan que estas ganancias parecen haber la coordinación central. venido de la mano con una pérdida del control central, Fuentes: Pollitt y Bouckaert (2004), Rhodes (1997), Shepherd una mayor fragmentación y un desvanecimiento de las (2004). ¿Cuál es el resultado de esta estructura orgánica? Con Servicios.107 Sencillamente puede ser que sea difícil que un el tiempo (después de la Segunda Guerra Mundial) los ministerio pequeño controle varios Servicios grandes. Ade- Servicios llegaron a eclipsar a los ministerios en cuanto a más, la relación se nubla aún más porque es el Presidente, la proporción del presupuesto y del empleo público to- no el ministro, quien tiene el poder formal de nombrar y desti- tal que comandaban. El principal resultado inicial de este tuir a los titulares de los Servicios.108 Pero la DIPRES también desarrollo, según comentaristas chilenos, fue una pérdida ha contribuido a minar la relación jerárquica (ver abajo). del control financiero central, una pérdida de coherencia en Por otro lado, no hemos encontrado ningún observador las actividades del gobierno y un crecimiento en las prácticas o evidencia empírica que demuestre que la separación entre de patrocinio.106 formulación y ejecución de políticas hubiera conducido en Un efecto recientemente observado es que los minis- Chile a ganancias de eficiencia (comparado a una estructura terios no pueden ejercer su autoridad jerárquica sobre los ministerial más convencional). 83 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO ¿Cuál es la función de la DIPRES en el contexto de Sistema busca ahora involucrar a los ministerios en las de- las reformas estructurales de la gestión? A partir del 2000 finiciones estratégicas y comprometer a los Servicios y a la DIPRES ha decidido en general trabajar directamente los programas con la ejecución efectiva y eficiente de éstas. con los Ministerios los grandes lineamientos en materia De continuar avanzando en este sentido, la DIPRES contri- presupuestaria y dotación de personal con el objeto de que buirá a restablecer el papel coordinador de los ministerios y ellos se apropien del desempeño de sus Servicios. Y, en este a garantizar la cohesión de los programas a las políticas pú- sentido, se podría también argumentar que la misma centra- blicas. De lograrlo, la experiencia chilena sería una de los lización de instrumentos de control de gestión en la propia primeras en conseguir, con un mismo sistema (el SCG), un DIPRES coadyuva a minar la capacidad de los ministerios balance entre mejoramiento de la eficiencia y control central de ejercer control sobre los Servicios. para la cohesión programática. La DIPRES ha introducido también una serie de ins- ¿Qué reformas se están contemplando para la estructura trumentos de control de gestión (incluida la evaluación) orgánica de la administración pública chilena? El gobierno que están principalmente reunidos dentro del SCG. Estos ha emprendido, o está considerando, varias reformas para instrumentos en gran parte están diseñados para promover promover una autoridad ministerial más fuerte sobre los la eficiencia y, sobre todo, la eficacia. De allí, por ejemplo, Servicios y mayor autonomía de gestión para los Servicios. el énfasis del PE en el mejoramiento de la gestión y en el monitoreo y control de los programas. Esos instrumentos • Autoridad ministerial. El gobierno ha recalcado que, también –probablemente como un subproducto– permi- dentro de cada sector, los ministerios se encargarían ten al centro del gobierno tener una idea más clara de lo de la formulación de políticas y de la coordinación que sucede en la periferia, hasta el punto que, de continuar mientras que los Servicios serían responsables de la con los desarrollos actuales de las sinergias entre los varios ejecución de políticas; y ha dejado que los propios instrumentos, contribuirán a la capacidad del gobierno ministerios pongan esto en práctica. Por esta razón para asegurar la coherencia en la formulación de políticas. la DIPRES ahora está procurando tratar más con Parecería ser que los instrumentos de control de gestión los ministerios y menos con los Servicios en el pro- desarrollados principalmente por la DIPRES son una for- ceso presupuestario y en el manejo de otros instru- ma para promover la eficiencia en una situación donde la mentos de control de gestión como las Definiciones primera opción sería la devolución de gestión, pero ésta no Estratégicas. También está, al menos nominalmen- es posible por razones de control fiscal o la desigual capaci- te, alentando a los ministerios para que reasignen dad de gestión entre la DIPRES y los Servicios. Fuere cuales los recursos presupuestarios entre los Servicios de fueren las ganancias netas de eficiencia que se logran con su sector, aunque el cambio (de parte tanto de la el SCG centralizado en la DIPRES, lo cierto es que este DIPRES como de los ministerios) avanza lentamente Cuadro C.4.1. Resultados de los Acuerdos Organizativos Objetivo de Gestión Políticas actuales y resultados Control central • Control de gestión fuerte y eficaz (financiero, personal y remuneración) de DIPRES. Devolución de la gestión • Devolución limitada de la autonomía de gestión. • Instrumentos de control de gestión administrados en forma centralizada para promover la eficiencia. Coordinación de la política • Controles financieros centralizados, etc., e instrumentos centralizados de control de gestión minan la relación jerárquica ideal de ministerio-servicio. • Pero los instrumentos de control de gestión han mejorado el conocimiento de DIPRES de lo que sucede en los ministerios y los Servicios. 84 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N Recuadro No. 4 La Ley de Gerencia Pública (23 del Junio de 2003) • Para racionalizar la estructura orgánica, el gobierno ha dos por el Presidente en base a una lista corta y servi- clasificado 28 Servicios como de formulación de polí- rán por tres años (que se podrá extender dos veces) a ticas, fuera de la Alta Dirección Pública (ADP) y otros la discreción del Presidente. 100 como ejecutores de políticas y prestadores de ser- • Los directores firmarán convenios de desempeño con vicios que constituyen la Alta Dirección Pública. sus ministros. • Los Directores de los 28 Servicios de formulación de • La nueva ley establece que este sistema de nombramiento políticas seguirán siendo nombrados por el Presiden- también permitirá cierta racionalización de las funcio- te (así como los subsecretarios). nes, permitiendo la transferencia de los poderes de • Los Directores de los otros 100 Servicios, así como su formulación de políticas de los Servicios a los Ministe- personal de jerarquía superior, será nombrado sobre rios. la base de mérito mediante concursos administrados • Entre el 2006 y el 2010 se integrarán a la ADP los 47 por consultores externos y supervisados por el Conse- Servicios restantes. jo de la Alta Dirección Pública. A partir de 2004 hay 53 Servicios en la ADP, los directores serán nombra- Fuente: Pardo, Carlos (entrevista) y OCDE (2004). en la práctica. Una nueva Ley de Gerencia Pública control y mejoramiento de la gestión gubernamental busca fortalecer la gestión de los Servicios, así como y manteniendo el vínculo íntimo que existe entre el contractualizar su relación con los ministerios (ver el Programa de Evaluación y las decisiones presupues- Recuadro 4).109 tarias. Al mismo tiempo, el Informe concluye que • Autonomía de gestión. La DIPRES ha adoptado es posible continuar mejorando el PE sin amenazar medidas en este respecto. La flexibilidad presu- la preservación de los logros alcanzados hasta ahora puestaria está asociada a traspasos de recursos del mediante las EPG y las EI. El PE tiene todavía saldo final de caja de un año al año siguiente y debilidades que pueden ser superadas, bien sea traspaso de recursos entre proyectos de inversión para para conectar mejor el programa con los objetivos premiar a los Servicios que cumplan los requisitos de superiores, bien para depurar sus indicadores costo- eficiencia financiera y de gestión incorporados en eficiencia resultado, o para mejorar la calidad de sus los respectivos sistemas del PMG. En este mismo productos (EPG y EI) o para reforzar la apropiación respecto, una vez que los Servicios avancen en la por parte de entidades distintas a la DIPRES y garan- certificación de los sistemas del PMG, se podría espe- tizar aún más la sostenibilidad del Programa. rar que estarán más preparados para asumir responsa- • En segundo lugar, la revisión de este Informe, llega bilidades de evaluación de los programas a su cargo. a la conclusión de que las ventajas del manejo centralizado de la DIPRES son mayores que los En síntesis: beneficios que se derivarían del traslado de la respon- • Este Informe concluye que Chile cuenta con un Pro- sabilidad de la gestión del PE a otras entidades o de grama de Evaluación (PE) robusto que ha alcanzado la división de la gestión entre la DIPRES y otras y continúa alcanzando resultados impresionantes. entidades. En este sentido, valdría la pena que la El PE proporciona un ciclo continuo de mejora en DIPRES explorara los mecanismos y los incentivos la evaluación del desempeño de los programas del para una mayor participación de las contrapartes gobierno. Lo indicado es mantener el Programa de institucionales o las consultas con los beneficiarios de Evaluación, conservando su propósito principal de los programas. 85 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Aparentemente, es inevitable que continúen las deman- algunos casos han efectuado una contribución importante das para vincular el PE con la formación de políticas. El (demostrable) para un mejor gobierno. La experiencia de Informe llega a la conclusión de que es conveniente seguir la DIPRES de Chile, descrita y analizada en este estudio, el camino estratégico ya trazado por la DIPRES a través del indica que sí se ha conseguido establecer, en relativamente SCG, consistente en afianzar los fuertes vínculos actuales corto tiempo cuando se lo compara con países desarrolla- entre el PE y las decisiones presupuestarias y en vincular dos de mayor trayectoria histórica en evaluación orientada gradualmente el PE con las metas de las políticas del go- a elevar la calidad del gasto, un programa complejo y eficaz bierno. Se confía en que ese camino ayudará tanto al mejor y que, según la percepción de los participantes en el mismo, diseño de los programas objeto de evaluación y, por ende, a el número y la calidad de las evaluaciones y, sobre todo, sus la calidad de las evaluaciones mismas, cuanto a una mayor usos prácticos, produce buenos resultados y se asegura que apropiación del PE por parte de los sectores responsables de se apliquen. la planeación de las políticas, especialmente de los Minis- Los logros alcanzados por el PE justifican plenamente su terios Sectoriales. Para atender estos desafíos será necesario continuación: proceder con extrema cautela de manera que no se debiliten de ninguna manera los exitosos desarrollos del PE. Los pasos • En primer lugar, no se trata de un Programa que que está dando la DIPRES en este sentido son los más idó- pueda suspenderse o detenerse en el tiempo. El neos por cuanto protegen la integridad del PE mientras de- ejercicio de evaluación del gasto, de manera seme- jan que otros instrumentos del SCG establezcan los vínculos jante a como ocurre con las auditorías, es de carácter con las definiciones institucionales y las prioridades guber- permanente, y pasa de un programa al otro, buscan- namentales. En particular, el éxito del SCG, y especialmen- do siempre actualizar y ampliar su cobertura. te del PE, dependerá en buena medida del fortalecimiento • En segundo lugar, la discusión de arreglos institucio- de la autoridad ministerial. Si se da este fortalecimiento, sin nales alternativos para que el PE sea llevado descen- menoscabar la autonomía de gestión de los Servicios, el tralizadamente o, en todo caso, por agencias distintas PE tendrá un escenario más propicio para desarrollar las a la DIPRES, discutidos en este Informe, llevan a la hipótesis causa-efecto, los supuestos y los riesgos en las conclusión de que el PE debe continuar llevándo- evaluaciones; también para cohesionar el sistema centra- se, en los próximos años de manera centralizada y lizado de controles presupuestarios y financieros con la en la DIPRES. Cosa distinta es que se refuercen, en definición de políticas sectoriales y con entidades ejecutoras el corto plazo, los mecanismos y los incentivos para funcionalmente descentralizadas que podrán responsabi- una mayor participación de las contrapartes ins- lizarse creativamente de cumplir con las metas de mejora- titucionales o las consultas con los beneficiarios de miento de la gestión. los programas, lo cual está incorporado a través de los El problema que originó el PE consistió en la carencia indicadores de calidad (satisfacción de usuarios). de una evaluación que gozara de independencia técnica, • En tercer lugar, el PE hace parte de un sistema más rigurosa y oportuna dirigida primordialmente a mejorar los amplio, el SCG de la DIPRES, que está en ple- programas de gestión y a enviar información a los agentes no proceso de desarrollo, ampliando sus alcances responsables de la asignación de recursos del presupuesto hacia los niveles superiores de las políticas públi- en sus varias etapas. Este problema ha sido en gran parte cas, retroalimentando unos instrumentos con otros solucionado por las EPG y las EI, incluidos los Compro- incluidas las EPG y las EI) y blindando todo el misos Institucionales y las sinergias del PE con los demás sistema de monitoreo, control y evaluación del instrumentos del SCG. Los resultados del PE dan cuenta de gasto para el mejoramiento de la gestión guberna- que los objetivos inmediatos de éste se están alcanzando año mental. Suspender ahora las EPG o las EI amena- tras año –y a un costo relativamente reducido. zaría el desarrollo previsto para el SCG y particular- El PE de la DIPRES es ya un logro notable. La expe- mente los desarrollos de instrumentos tales como los riencia de otros países, indica que las prácticas sistemáticas Indicadores de Desempeño, las Definiciones Estraté- de evaluación no han sido fáciles de implantar y sólo en gicas o el PMG. 86 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N • En cuarto lugar, el PE tiene todavía debilidades que considerable, ni la producción ni los usos actuales de las eva- pueden ser superadas, bien sea para conectar mejor luaciones. Más bien, son debilidades que se pueden superar el programa con los objetivos superiores, bien para gradualmente, hacia el mediano plazo, y cuya superación depurar sus indicadores de resultado, o para mejorar depende más de factores del entorno del PE que de las EPG la calidad de sus productos (EPG y EI) o para refor- o de las EI propiamente dichas. zar su sostenibilidad. Si bien en Chile el SCG se ha A continuación se proponen ocho recomendaciones, desarrollado vertiginosamente rápido, especialmente primordialmente de afinamiento del Programa existente o en los últimos cuatro años, el Sistema no está ciento para la anticipación de riesgos futuros. El orden de la pre- por ciento desarrollado. Y es natural que así los sea. sentación de estas recomendaciones no implica prioridad o • En quinto lugar, el desarrollo del SCG (y dentro de importancia relativa. él, del PE) es una pieza vital dentro de las reformas En primer lugar, se recomienda mantener todos los de alcance más amplio de la administración pública elementos centrales del Programa, que son los que han chilena. asegurado que la evaluación en Chile funcione, es decir, • Por último, el PE montado por la DIPRES es que produce sistemáticamente evaluaciones sobre las que precedente internacional de desarrollo exitoso, se actúa y –aparentemente— sobre una altísima relación sistemático y sostenido. En un mar de muchos beneficio-costo, debido a elementos particulares del diseño fracasos, de experiencias interrumpidas, o de éxitos del programa y condiciones externas favorables. A continua- sólo parciales, la comunidad internacional, y espe- ción se identifican esos elementos: cialmente los países con un desarrollo similar, miran con esperanza y esperan aprender de la continuidad y • Una rutina de producción bien diseñada, de las EPG la profundización del PE de la DIPRES. y EI: Chile ha creado una “fábrica” de evaluaciones, que incluye una administración competente, per- sonal comprometido, líderes visionarios, procesos C.5. Recomendaciones110 eficientes y transparentes y tecnología actualizada. Es una tarea arriesgada proponer recomendaciones para un En opinión de esta evaluación, los tiempos para la sistema que está trabajando sin tropiezos y produciendo los preparación de las EPG, si bien breves, deben man- resultados previstos. De todos modos, este informe identifi- tenerse. Sólo así se garantizará el servicio de las EPG có algunos problemas de diseño y operativos, al lado de de- a la preparación y aprobación del presupuesto anual. safíos mayores que parecerían estar a la vuelta de la esquina. Por lo demás, no parecería que el mejoramiento de la Algunos de estos problemas y desafíos se pueden resolver calidad que se recomienda más adelante dependiese en el corto plazo mientras otros sólo podrán atenderse de de una extensión del tiempo de la evaluación. manera gradual, en el mediano plazo. • Las EI están diseñadas de una manera lógica. Los resultados demostrados y el análisis y conclusiones, • El balance y la complementariedad entre EPG y EI resumidos en las secciones 2 y 3 de este Informe, identi- • El apoyo de la DIPRES en cuanto a la capacitación ficaron debilidades que pueden y deben ser gradualmente en los métodos de marco lógico y otros elementos corregidas a tono y en armonía con los propósitos y con las conceptuales de las evaluaciones durante la prepara- virtudes principales del concepto pragmático de evaluación ción de éstas. desarrollado por Chile. Si este Informe advierte sobre las • El uso de evaluadores externos para asegurar in- debilidades actuales de las EPG y de las EI, en cuanto ins- dependencia técnica y reforzar la credibilidad del trumentos de evaluación, lo hace con el único propósito de Programa. reforzar las estrategias de desarrollo del SCG que actualmen- • Un sistema para asegurar que hay resultados (es decir, te aplica la DIPRES y de anticipar algunos de los obstáculos que los resultados se usan) y que fuerza sistemática- que podrían acechar el crecimiento o la sostenibilidad del mente la integración de los resultados de evaluación Sistema en el mediano plazo. De manera que la superación en las decisiones de gestión, incluidas las decisiones de estas debilidades no debería sacrificar, en ningún grado presupuestarias. 87 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO La recomendación anterior se basa en el supuesto de que recomendaciones contribuirían a subsanar las debilidades se mantengan las condiciones externas favorables que han del Programa identificadas anteriormente. posibilitado los resultados que está produciendo el PE.111 Las Segundo, se recomienda continuar fortaleciendo la principales de estas condiciones externas son: exigencia de las pautas de contenido mínimo de todo infor- me de evaluación, las cuales se han cumplido generalmen- • Fuertes y comprometidos campeones de la evalua- te, salvo en algunas de las primeras evaluaciones EPG. Se ción –basados en la Dirección de Presupuesto. trata de asegurar que los informes contienen efectivamente • Una oficina de presupuesto extraordinariamente la información mínima que hoy se exige en los TTR, potente. particularmente un índice de contenido y una matriz del • Buena gestión financiera, capaz de conciliar los obje- marco lógico de la respectiva evaluación.112 Además, todo tivos de equilibrio fiscal y calidad de resultados. informe de evaluación debiera incluir aquella información • Un alto grado de profesionalismo de los funciona- (o, cuando menos, hacer explícita referencia a ella) que por rios públicos chilenos, que están empezando a estar hacer parte del sistema se da generalmente por entendida, imbuidos de elementos de una cultura basada en el tal como ocurre con las fechas de iniciación y finalización desempeño. de la evaluación y con la metodología estándar seguida por • Las condiciones políticas particulares de Chile que las EPG. De esta manera cada informe de evaluación podrá favorecen la aplicación de expertos neutrales a los ser leído por sí mismo por los interesados, sin necesidad de problemas de gestión y de política. suplementar el informe de evaluación con la información del PE en general. Por último, y siempre respecto del conte- Dados los gigantescos logros alcanzados mediante las nido de los informes de evaluación, conviene también: EPG y las EI, sería equivocado focalizar la agenda pendiente Incluir metas cronológicas para cada indicador emplea- para el desarrollo del PE en las debilidades de EPG o de do en la MML, con respecto a sus objetivos y resultados EI, en cuanto a los instrumentos de evaluación propiamente esperados, en la medida en que estas metas hayan sido ade- dichos. De hecho, las secciones anteriores de este Informe cuadamente definidas por la institución. documentan cómo ha mejorado gradualmente la calidad de Siempre que la naturaleza del programa permita al usua- las EPG y las EI y cómo se ha institucionalizado el apor- rio identificar la acción gubernamental y los beneficios es- te de estas evaluaciones a las decisiones presupuestarias del perados de ella, la DIPRES debe procurar recoger, a bajo Ejecutivo y del Legislativo. Si bien las EPG y las EI adole- costo, las opiniones de los usuarios y los beneficiarios de los cen todavía de flaquezas cuando se las compara contra es- programas que evalúa. tándares ideales y aún con las mejores prácticas de evalua- Las conclusiones deben no sólo mencionar las limitacio- ción internacional, se trata de debilidades que no dependen nes y los puntos débiles sino que deben también extenderse de la herramienta de evaluación sino de la calidad de los sobre las fortalezas y las posibilidades del programa. programas o los conceptos de gasto que están siendo Para el caso de las EI, se recomienda que el formato de evaluados. En este sentido, son debilidades congénitas en informe de evaluación incluya siempre los siguientes ele- todo sistema de evaluación incipiente y sólo pueden ser co- mentos que faltaban o se incluyeron débilmente en algunas rregidas en la medida en que los programas gubernamentales de las evaluaciones estudiadas:113 sean mejor concebidos y se presten más para una evaluación Identificación de las limitaciones de los datos disponibles y de tipo EPG o, sobre todo, para una EI. De allí que sea propuesta de métodos para obtener los datos más esenciales. muy poco el mejoramiento de la calidad de las evaluaciones Un modelo de teoría (lógica) del programa o marco con- que se conseguiría si se trabajara sobre las EPG o las EI en ceptual para describir la secuencia lógica mediante la cual se cuanto instrumentos de evaluación. El desafío inmediato lograrían los resultados los indicadores para establecer si se consiste entonces en continuar utilizando las evaluaciones dan o no las relaciones causales esperadas. y el SCG en su conjunto para mejorar la calidad de los pro- En los casos de encuestas y entrevistas, continuar gramas objeto de evaluación. En este sentido, las siguientes aplicando la exigencia de incluir un número mínimo de 88 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N respuestas para respaldar las inferencias que se hacen de esta ciones estratégicas, en particular los objetivos estratégicos, información.114 expresan los resultados esperados de las políticas sectoriales Incluir la información necesaria sobre la metodología pero no son determinados en la evaluación. Las definicio- seguida. nes estratégicas son definidas en el ámbito de cada servicio/ Por último, y para prevenir sobre-estimaciones o sub-es- ministerio, y por tanto para el proceso de evaluación timaciones de los resultados de los programas, y dar mayor éstas están dadas. La base de marcos lógicos de programas credibilidad a las evaluaciones, EPG, conviene intensificar permitirá ordenar los marcos lógicos de programas existen- las consultas con los beneficiarios de los programas. En este tes, actualizar su información en el tiempo y vincular más sentido, se recomienda incluir encuestas simples de opinio- fácilmente la información de desempeño de cada programa nes de usuarios o, cuando menos, grupos focales, en todos con las categorías de definiciones estratégicas, facilitando aquellos casos en los cuales es fácil que el usuario esperado el análisis118. Cabe recordar que todo programa debe tener identifique la acción del gobierno y los beneficios que ella le su correspondencia con un productos estratégico, así como ha producido.115 su fin la debe tener con un objetivo estratégico.119 Tercero, se recomienda avanzar en la construcción de indi- Es necesario abundar en esta recomendación para cadores que liguen los resultados con los objetivos superiores del recalcar la necesidad de que se avance en la integración de los Programa. Como se anotó, hoy por hoy, la matriz de marco objetivos del marco lógico de los programas con las políti- lógico del PE no profundiza en los supuestos ni considera cas sectoriales. Fines y propósitos casi nunca son comparables factores de riesgo para la relación entre el propósito y el fin. entre los programas; el fin resulta a menudo impreciso y la En el largo plazo, sería muy útil tener un mejor entendi- mejor manera de rescatar su importancia es amarrarlo con miento de la contribución precisa del programa al objetivo los objetivos estratégicos. Ciertamente, podría ser comple- más amplio de mejorar la asignación de recursos públicos jo lograr la integración de objetivos superiores a políticas y de los factores que podrían poner esta contribución en sectoriales con los recursos disponibles para el panel de la riesgo. Desarrollar indicadores adecuados para esta conexión EPG, pero es sin embargo un área clave donde la utilidad del es necesariamente difícil y tomará tiempo conseguirlo. instrumento marco lógico puede aumentarse. La DIPRES Empero, ésta es un área importante para el desarrollo del ya se está moviendo en esta dirección y así lo recomienda PE en los próximos años y donde la utilidad del instru- este Informe. Cada servicio tiene una misión institucional, mento marco lógico puede aumentarse considerablemente. objetivos estratégicos y productos estratégicos. Estos se miden Asimismo, es fundamental identificar indicadores para el con indicadores de desempeño. En la plantilla actual del cumplimiento de los supuestos y la vigilancia de los ries- Informe Final, los evaluadores deben elaborar la relación gos. Si bien son indicadores igualmente difíciles a los del fin del programa con la política sectorial y su relación con los superior, todo avance en este sentido fortalecerá considera- objetivos y productos estratégicos del Servicio. La base de blemente el PE.116 datos de la DIPRES permite referenciar cada programa con El desafío hacia delante consiste en reforzar los niveles las definiciones estratégicas institucionales.120 superiores, haciendo explícitos los objetivos, identificando La DIPRES ha avanzado también en el camino de indicadores adecuados y continuar conectando con otros depuración constante de los indicadores de resultado instrumentos del SCG y de otros sistemas para el logro del del PE y de medición de los mismos. Los indicadores de fin. Es conveniente apuntar explícitamente al fin superior y proceso están siendo sustituidos por indicadores de resul- reorganizar los objetivos jerárquicamente en torno al mis- tados y, dentro de éstos, se continúa apuntando a medir el mo para facilitar la asociación del PE con otros de los ins- logro de los objetivos superiores del PE. Este es un proceso trumentos del SCG y asegurar una mayor apropiación del de largo plazo. Los avances de la DIPRES serán seguramente PE por parte de los Servicios, los Ministerios y el Congreso. precedente para que Servicios y Ministerios los apliquen en La evaluación profundizará en la identificación del sus propios programas. vínculo entre el programa evaluado y las definiciones estra- Se trata de un sistema todavía en desarrollo; pero estos tégicas de la institución (productos estratégicos/ objetivos primeros pasos causan una impresión prometedora. Si se estratégicos)117, como ya se ha estado realizando. Las defini- aplica uniformemente, podría proveer un enlace muy fuerte 89 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO entre objetivos superiores formulados en el marco lógico y participación podría lograrse, por ejemplo, mediante la las políticas sectoriales más amplias. conformación de un comité conjunto de dirección (steering Los actuales desarrollos del SCG que enlazan Definicio- committee) o un panel de líderes o asesores de evaluación nes Estratégicas y Productos Estratégicos con los programas para cada evaluación individual. En particular, convendría deben extenderse y profundizarse en los próximos años. que los analistas de política del nivel superior de las agen- La manera como la DIPRES combina varios instrumentos cias y los ministerios participasen conjuntamente con los del SCG para conseguir esa conexión es también encomiable analistas sectoriales de la Dirección de Presupuesto en una por cuanto preserva las fortalezas de las EPG y utiliza otros EI que pusiera especial énfasis en las relaciones causales (la instrumentos (como las Definiciones Estratégicas) para llamada theory-based evaluation). Esta EI focalizada en las consolidar la inclusión gradual de los objetivos sectoriales relaciones causales serviría a su vez de insumo para la EI en el marco lógico. En este sentido, debe continuarse sos- integral que realizan los evaluadores externos y estimularía la tenidamente la construcción inicial y la actualización de la participación creativa del aporte del alto nivel técnico de las base de datos de marcos lógicos. Idealmente, el sistema de instituciones en los puntos que requieren el más alto grado hipótesis subyacente a los objetivos del marco lógico llegaría de especialización sectorial.121 a conectarse con la jerarquía de objetivos formulados para Quinto, mantener actualizado y utilizar regularmente un sector. Pero esta última es una meta de mediano y largo el indicador de cobertura (eficacia) del PE con relación al pre- plazo, especialmente en el caso del componente de EPG. supuesto. Conviene actualizar la metodología del indicador En cuarto lugar, robustecer la apropiación del PE por parte de cobertura del presupuesto evaluable cada vez que sufra de los actores institucionales, especialmente con los ministerios. modificaciones la estructura del presupuesto. Asimismo, Es necesario desarrollar un compromiso más genuino y más conviene asegurar que el indicador, estimado inicialmente proactivo de las instituciones y los ministerios con el PE. hacia fines del 2004, se lleva regularmente año por año. El Congreso suele reaccionar positivamente a las propues- Sexto, proteger la capacidad de gestión del PE. La División tas que hace la DIPRES con base en los resultados de las de Control de Gestión, DGC, opera con el mínimo núme- evaluaciones; pero parece hacer un uso muy limitado de las ro de personal requerido y con cargas de trabajo onerosas y evaluaciones. Cabe continuar intensificando la comunicación fechas límites ineludibles. Todo ello siembra vulnerabilidad de doble vía entre el PE y el personal sectorial de presupues- en la gestión cuando quiera que alguno de los funcionarios to de la DIPRES (jefes y analistas de sector presupuestario); responsables se vea en la necesidad de faltar a su trabajo. el desafío inmediato de este personal consiste en aportar más Una posible solución a estas presiones consiste en formar sistemáticamente su conocimiento sectorial especializado al “back-ups” o personal capacitado que pueda ser contratado proceso de evaluación y en utilizar los resultados de las eva- de manera ocasional en los períodos de concentración del luaciones- conclusiones de las evaluaciones- en la prepara- trabajo. Si ese personal adicional está debidamente entre- ción y en el seguimiento del presupuesto. Estos funcionarios nado, no menoscabaría el excelente espíritu de equipo y la pueden aportar insumos clave al diseño de las evaluaciones y identidad de cuerpo que ha alcanzado el equipo del PE. a la supervisión de los Compromisos Institucionales; de otro Séptimo, y en consonancia con la segunda recomenda- lado, ellos mismos pueden enriquecer grandemente su tarea ción planteada más arriba, para proteger la calidad intrín- si profundizan en el uso de las evaluaciones. seca de las evaluaciones, se recomienda que los programas Para elevar la participación y la apropiación por parte elegibles para una EPG o una EI sean sólo aquellos que corres- del nivel de las políticas ministeriales o sectoriales, sin per- ponden efectivamente al concepto de programa y cuentan con der las ventajas de la centralización del PE, o del grado de un marco lógico idóneo antes de que se inicie la evaluación. objetividad que se asegura con las evaluaciones externas, Hacia allá han avanzado y continúan avanzando las exigen- se recomienda que la DIPRES realice y evalúe pilotos de cias que hace la DIPRES a los programas elegibles. De no evaluaciones que involucren al personal de los Servicios y, reunirse este requisito, la DIPRES podría todavía evaluar el especialmente, de los Ministerios, en un mayor grado de supuesto programa, con el fin de contribuir a identificar las participación en las etapas de planeación, ejecución, re- necesidades de estructuración y de información del mismo. porte y diseminación de resultados de la evaluación. Esta Pero convendría que lo hiciera subrayando explícitamente 90 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N las limitaciones del objeto de evaluación, de manera que Informe recomienda que se elabore explícitamente la nece- los usuarios de la evaluación fueran concientes de los saria relación entre los desarrollos del PE y la reforma del débiles fundamentos de algunas de las conclusiones o de sector público chileno, hasta el punto de lograr consensos las restricciones para llegar a conclusiones más ambiciosas. de visión, de objetivos y de sinergias entre los instrumen- Así se preservaría también la credibilidad en las EPG y las tos de uno y otro grupo de reformas. Tales consensos deben EI y se evitaría el uso distorsionado o inadecuado de estos partir de la identificación del desafío común que enfrentan poderosos instrumentos. el control financiero (necesariamente centralizado), la for- Como medida adicional a las acciones que viene mulación de políticas sectoriales (que, como se dijo, camina adoptando la DIPRES para mejorar la calidad del diseño y hacia la re-concentración en el nivel ministerial) y la auto- de la información disponible en los programas a ser evalua- nomía de gestión que necesitan los Servicios de acuerdo dos, este Informe recomienda que la DIPRES: a) contrate con la estructura y con los mandatos de la administración periódicamente evaluaciones externas, ex-post, de la calidad pública chilena. Un cierto grado de descentralización de la de muestras de sus propias evaluaciones seleccionadas al evaluación, de la DIPRES hacia los Ministerios, sólo será azar, y b) mantenga y aún eleve la frecuencia con la que los posible cuando se haya llegado a un nuevo balance en ese programas individuales son periódicamente reevaluados. desafío común. Y aún en el escenario (todavía hipotético) Respecto de la adecuación gradual de las EI a los reque- de una mayor participación de los Ministerios en la gestión rimientos metodológicos más estrictos de este instrumen- del mejoramiento de la eficiencia que hoy lleva a cabo la to, además de flexibilizar los requisitos de los TTR en la DIPRES, es decir, en el Sistema centralizado de Control de Gestión, deberán preservarse intactas las virtudes del propuesta metodológica definitiva cuando quiera que apa- control financiero centralizado y la integridad del PE, rezca que los TTR estándar no son aplicables al programa particularmente de las EPG y las EI. Este parece ser el en cuestión (principalmente por falta de información en sentido de la profundización de instrumentos de gestión el momento de iniciación del programa), se recomienda: y del mejoramiento de la eficiencia que, por su lado, está i) promover e inducir metodologías de evaluación idóneas impulsando actualmente la DIPRES, el mismo que es para el trabajo que habrá de realizarse con datos limitados; respaldado por este Informe. En tanto Chile no esté prepa- ii) incluir, en los términos técnicos de referencia un mayor rado para relajar los controles centrales, retener un sistema enfoque sobre temas sectoriales específicos, particularmen- centralizado de evaluación se encuentra entre sus mejores te sobre temas que hacen explícita la teoría o la lógica del opciones y puede ser difícil realizar mejoras importantes programa (theory-based evaluation), así como los riesgos al sistema (y peligroso intentarlo). Como se ha dicho del programa, y iii) registrar separadamente, para el más arriba, es importante fortalecer las Contrapartes conocimiento público, las evaluaciones que contaron con Institucionales antes de impulsar una reforma de transferen- la información más indispensable para una EI, de aquellas cia de competencias. que hubieron de realizarse con deficiencias notorias de Proyectadas hacia el mediano y largo plazo, la visión de información. las reformas en curso incluiría entonces la descentralización Otros programas podrían ser evaluados con opciones de algunas de las funciones de evaluación a los Ministerios, second best o, en todo caso, con una metodología menos como parte de un perfeccionamiento más general de la au- exigente122. Esto, claro está, sin perjuicio de continuar toridad ministerial sobre los Servicios. Esto podría ocurrir con el empeño de la DIPRES en elevar gradualmente la sin una relajación significativa de los controles financieros calidad de los programas hasta el punto de habilitarlos para centrales pero convocando a los Ministerios a que hagan una completa EI. De esta manera se mantendrían los están- explícitas las prioridades y las metas sectoriales y llaman- dares que aseguran la credibilidad en el instrumento y en los do a los Servicios a que armonicen los marcos lógicos de usos de las EI mientras se eleva la calidad de los programas los programas con esas mismas metas. De esta manera, la para habilitarlos para una EI. intervención principal de los Ministerios consistiría en los Octavo, acrecentar los vínculos del PE con el contexto lineamientos de política y en las Definiciones Estratégicas y más amplio de modernización del sector público chileno. Este no demandaría una relajación significativa de los controles 91 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO financieros centrales ni un menoscabo de la independencia 6. Extracto del texto del Art. 5º. del Decreto 1.177 de diciembre técnica de que gozan actualmente las EPG y las EI. de 2003. Una implicación de lo anterior es que no conviene 7. Idem. introducir en este momento cambios radicales en el sistema 8. Los Compromisos Institucionales se celebran entre DIPRES y la institución responsable del programa evaluado. Son el resultado del de evaluación, como podría ser, por ejemplo, su desconcen- análisis conjunto que ambas entidades (DIPRES e institución) hacen tración o descentralización, sin comprender y armonizar esas de las recomendaciones de los reportes de evaluación y constituyen la reformas con los cambios concomitantes que sería necesario base de seguimiento del desempeño de los programas. hacer en el control central de la administración pública y 9. Como se anotó más arriba, la institucionalización de la en los formatos de organización que quizá necesiten acom- participación del Congreso se ha visto robustecida desde la expedición, en el 2003, de las leyes 19.875 y 19.896 y el Decreto 1177. La pañarlos. primera de esas leyes hizo permanente a la Comisión Mixta de Por lo pronto la DIPRES está plenamente consciente Presupuestos. La Ley 19.896 formalizó la práctica del acuerdo anual del difícil balance entre el control de gestión centralizado entre el Congreso Nacional y el Ministerio de Hacienda para llevar a cabo evaluaciones, habiendo creado la obligación del Ministerio de y la devolución de la gestión. La experiencia internacional Hacienda de llevar a cabo evaluaciones de los programas incluidos (incluida la de Australia) indica que la mejor opción de la en el presupuesto de los Servicios Públicos. Por último, el Decreto DIPRES es no hacer la devolución precipitadamente sino 1.177 de diciembre del 2003 estableció el Reglamento del Programa hasta que los ministerios y los Servicios demuestren que han de Evaluaciones. reunido las precondiciones esenciales, incluida la sostenibi- 10. Basado en la documentación aportada por la DIPRES, la misma que fue corroborada por los actores durante entrevistas y lidad de esas precondiciones. La experiencia internacional grupos focales y, particularmente, en los tres estudios de usos de las con otros programas de “certificación” o de “acreditación” evaluaciones (ver Anexo I). indica que el proceso de demostración del cumplimiento 11. Un equipo de gestión tan fuerte y, no obstante, tan pequeño de los estándares de capacidad no necesita estar plenamen- probablemente satisfacería con excelencia cualquier indicador de te formalizado—por cuanto se teme que la formalización gestión del desempeño. La Sección C.3., más adelante, hará referencia adicional a los indicadores de producción, de resultados intermedios pueda eliminar los granos esenciales del juicio discrecional y de resultados finales (eficacia), así como a los índices de eficiencia necesario para evaluar las capacidades de gestión. del Programa. 12. Puede decirse, aún antes de presentar y analizar los resultados logrados por este diseño (secciones C.3. y C.4. de este Informe), que Notas él es en sí mismo un producto importante del PE, hasta el punto de que se ha constituido en referente y en objeto de capacitación y difusión fuera del país. 1. Guzmán, Marcela 2003. 13. El Congreso, la SEGPRES y el MIDEPLAN pueden también 2. Casi exactamente igual es la terminología utilizada en el participar en la identificación de programas para la evaluación, en su Reglamento para el Funcionamiento del Sistema de Evaluación condición de miembros del Comité Interministerial. Por ejemplo, de Programas Establecido en el Artículo 52 del Decreto Ley en el 2003 la SEGPRES propuso 15 programas para incluir en el N° 1.263, de 1975, Orgánico de Administración Financiera del Protocolo (sin criterio explícito de selección más allá de un problema Estado, 10/12/03. por resolver) de los cuales se aceptaron 4. 3. OCDE (2004), Presupuestación en Chile PGC/SBO), 14 de 14. La DCG estableció en diciembre del 2004 una metodología mayo de 2004, p. 34. para calcular la proporción de presupuesto evaluado bajo el PE. Según 4. Ver www.modernizacion.cl. se plantea más adelante, este indicador es necesario para ayudar a 5. La información aquí presentada se limita al diseño del PE. medir la eficacia del Programa. La pauta metodológica de diciembre Por esta razón, se basa principalmente en las normas legales y en los del 2004 no se extendió de la identificación de la lista de aquellos documentos oficiales en los cuales consta el diseño del PE. Dicha programas del gobierno que han sido diseñados y ejecutados de información será suplementada, en las secciones de Resultados y de acuerdo con el concepto y la estructura de programa y que podrían, Análisis y Conclusiones, con información de las percepciones que por ende, ser evaluados con todos los requisitos estándares de la evaluación de programas. Cf.“Cobertura del Programa de Evaluación. los participantes tienen de sus propios roles. Tales percepciones Indicador Porcentaje del Presupuesto Evaluado en Relación al Presupuesto están registradas en el cuadro síntesis de Información Obtenida de Evaluable” Diciembre del 2004. Entrevistas Individuales y Grupos Focales, presentado en el Anexo D. También en los análisis de los anexos F (EPG), G (EI) e I (usos de 15. Estos criterios fueron comprobados, grosso modo, por la las evaluaciones) y en la documentación recibida. El Anexo E incluye práctica de los tres estudios de caso incluidos en el Anexo I que trata más detalles sobre los actores institucionales. del uso de las evaluaciones. 92 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N 16. En un comienzo se priorizó la evaluación de los programas 32. Para más detalles, ver el Anexo B. con un presupuesto grande. 33. Ver el Anexo G. 17. La sección C.4. de Análisis y Conclusiones, discute en mayor 34. Los detalles de los resultados de las entrevistas y de los grupos detalle la relación entre la calidad de las evaluaciones, por una parte, y focales se presentan en el Anexo D. el objetivo de proveer información útil para el proceso presupuestario 35. Ver el Anexo I. y para el Gobierno en general. 36. Programa de Promoción de Exportaciones (EI), Programa 18. A través de los formularios E y K de preparación del de Equipamiento Comunitario (EPG) y Fondo de Desarrollo de presupuesto. Telecentros Comunitarios, (EPG). 19. Así lo reconocen generalmente los participantes involucrados 37. Los dos restantes son: apoyar el proceso de discusión de en el proceso de evaluación. la Ley de Presupuestos en el Congreso y disponer de información 20. 68 evaluadores han realizado dos o más evaluaciones. para rendición de cuentas. Ver la sección B, anterior, que describe el Cada año ingresan al proceso de licitación 160 evaluadores para programa y menciona estos objetivos, así como el Cuadro 1. aproximadamente 13 EPG. Marcela Guzmán, 2003. 38. Los funcionarios de Hacienda entrevistados, por ejemplo, 21. El estudio de los usos de tres evaluaciones comprobó la estimaron que la información de evaluación es necesaria para fortalecer práctica, de los procedimientos que se describen a continuación. (ver las decisiones de asignación presupuestaria. También insistieron en Anexo I). que el sistema de evaluación de DIPRES sirve para retroalimentar el 22. DIPRES (2004) recomendaciones y Efectos en la Asignación proceso de toma de decisiones por la vía del presupuesto. de Recursos. Documento de Trabajo. 39. Esta consideración fundamenta la recomendación que se hará 23. Para más detalles sobre estos casos ver los anexos C (Caso de en la Sección 5 de este Informe Técnico en el sentido de adoptar como EUA) y H (Caso de Australia). objetivo superior del PE la eficiencia en la asignación de recursos, 24. Guzmán, Marcela 2003. pp. 38 entendida en un sentido suficientemente amplio para que abarque la 25. “Necesario es tener presente que todos los sistemas de eficacia del programa, la eficiencia, la economía y hasta la calidad del presupuesto tienen tres objetivos: mantener la disciplina fiscal; servicio. Adviértase que la eficiencia del gasto es ya reconocida como eficiencia en la asignación de los recursos distribuyéndolos de acuerdo objetivo superior del Sistema de Control de Gestión, el cual incluye, con las prioridades de gobierno y la efectividad de los programas; y como se ha dicho, el PE. eficiencia operacional promoviendo la eficiencia en la entrega de los 40. Cosa distinta es que las EPG y las EI pueden producir servicios. Una gestión presupuestaria basada en resultados es necesaria información que las directivas del servicio y los gerentes del para el logro de los tres objetivos.” Guzmán, Marcela 2003. pp. 6 ministerio pueden usar para sus propias evaluaciones internas del 26. Ver el Anexo F para una presentación completa de la personal. En particular –y esto fue percibido correctamente por los evaluación de la calidad de las EPG. gerentes de programas que participaron en los grupos focales– la falta injustificada de cumplimiento con los compromisos institucionales 27. Para mayores detalles de la evaluación completa de 10 EPG, ver el Informe Global del Anexo F “Meta-evaluación de las acordados entre DIPRES y los servicios o ministerios podría utilizarse Evaluaciones de Programas Gubernamentales. Gobierno de Chile.” en las evaluaciones sobre el desempeño del personal. 25 de junio de 2004. 41. Esta aclaración es necesaria, y convendría que la DIPRES 28. La muestra de EPG evaluadas es la siguiente: Chilecompra, insistiera en ella, para disipar la percepción de algunos participantes Asistencia Técnica, el Centro de Atención Integral y Prevención de en el sistema que vinculan las EPG o las EI a premios o castigos Violencia Intrafamiliar, Textos Escolares Educación Básica y Media, presupuestarios o a las evaluaciones del personal. Fomento de Inversiones Privadas, Pro-Rural, Relaciones Familiares, 42. Los participantes en el programa de evaluación también Explora y la Generación de Capacidad en Localidades Pobres. parecen ser conscientes del hecho de que el PE no está principalmente 29. Sin embargo, en los formatos de preparación del presupuesto orientado a informar a la sociedad civil o a promover el control social. para el 2005, y en años anteriores el Fondo Concursable, la DIPRES Muy pocas fueron sus referencias a la información o al control de solicitó la identificación de los vínculos de los programas con las la sociedad civil. Por lo general, los participantes no parecían estar definiciones estratégicas. Ver formularios E y K para el proceso preocupados con evaluaciones que exponen al personal responsable formulación presupuesto 2005. al control de la sociedad civil. 30. Ver el Anexo B. 43. Presentación de Iniciativas: nuevos programas o propuestas: programas por expandir, a través del Formulario E durante la 31. Programa de Equipamiento Comunitario (2), Programa de elaboración del presupuesto. Asimismo, se exigió en la formulación del Escuelas de Sectores Pobres (P-900) (2), Proyectos de Mejoramiento presupuesto 2005 a todos los programas que han sido evaluados entre Educativo (PME) (2), Subsidios al Transporte Regional (2), Generación 2000-2004 y/o tuvieron financiamiento del Fondo Concursable entre de Capacidades en Localidades Pobres (2), Fortalecimiento de la 2001-2003 presentar el mismo formato a través del formulario K. Gestión Municipal, Subsidios de Enfermedad y Medicina Curativa, Fomento a la Microempresa, Programa de Educación de Adultos 44. Influenciar la formulación de políticas no es directamente EFA y ETEA y Programa de Préstamos Médicos en Salud. un objetivo del programa de evaluación ni es éste programa parte del 93 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO proceso de formulación de las políticas sectoriales. Hipotéticamente, y Presupuestos por Resultados. La Experiencia Chilena”, de octubre la cantidad, la calidad y los usos de las evaluaciones podrían haber del 2003, y el documento “Metodología para la Elaboración de la sido plenamente satisfactorios aun cuando las evaluaciones no Matriz de Marco Lógico”. hubieran agregado ningún valor al proceso de cambiar o cancelar las 55. Más detalles sobre los puntos discutidos en esta sección políticas existentes o introducir nuevas. pueden hallarse en el Anexo B. 45. Ver la Sección a continuación sobre la selección de 56. Ver “EVO – Evaluation - A Management Tool for programas. Improving Project Performance” disponible en línea en el sitio 46. El análisis de los usos de las evaluaciones y de las razones de Web www.iadb.org. estos usos es el objeto de tres estudios de caso que se presentan en el 57. De la muestra de tres EPG revisadas de 1997, sólo una Anexo I de este Informe contenía ML, el PME. Por lo tanto estos comentarios emanan de 47. Que este supuesto sea legítimo o no depende en cierta medida esta evaluación. En esta evaluación los resultados presentan el del entendimiento que se tiene en Chile respecto de los límites de número de proyectos que alcanzaron los objetivos propuestos. Esto intervención de las entidades participantes en el proceso. Es decir, no quiere decir que sólo en 1997 se hubiere utilizado la categoría de la manera como este entendimiento define que los supuestos sean de componentes. Los outputs y outcomes son resultados, algunos externos o internos al control de la DIPRES. Puesto que la DIPRES como output (componente), otros como outcome (propósito y/o fin), misma sigue los compromisos institucionales acordados con base en o impacto (fin en algunos casos). Lo que sí pone en evidencia esta las recomendaciones, ella tiene control parcial de la manera como las revisión a lo largo del tiempo es el proceso de aprendizaje reflejado en agencias observan las recomendaciones de las evaluaciones. Podrían la evolución del ML en los años subsiguientes cuando la metodología darse factores completamente exógenos que pudieran empujar a los fue más estricta que al inicio. tomadores de decisiones relevantes a ignorar, retrasar o debatir los 58. Ver el Anexo F para un análisis completo y detallado de los resultados de las evaluaciones, casos en los cuales los supuestos no se diez informes de EPG. cumplirían. Estos factores podrían ser falta de capacidad, intereses 59. Para más detalles ver secciones de conclusiones y divergentes, o intereses políticos. recomendaciones. 48. Ver, en particular, Anexos F, G e I de este Informe. 60. Esta observación fue corroborada por los estudios detallados 49. Para una discusión más elaborada de este punto, ver de los usos de tres evaluaciones (ver Anexo I). Los servicios Descripción del Programa y el Anexo H sobre la experiencia de responsables de estos últimos y los evaluadores se refirieron al costo evaluación de Australia. adicional que para ellos representa la recolección de información que 50. Ver Anexo E. no está disponible y que es de difícil obtención. Lo cual pone de 51. Adviértase que esta percepción no tiene que ver con la presente que la DIPRES tiene absolutamente toda la razón, no sólo formulación de la política sectorial en términos generales, los en continuar solicitando que las agencias responsables mejoren sus ministerios expresaron confianza en que ellos están efectivamente a sistemas de información –especialmente que lleven la información cargo de la política sectorial y se mostraron abiertos a alinear esas requerida para la evaluación– sino en proveer los estímulos políticas con las Definiciones Estratégicas, ya fuera a través de la (Compromisos, otras exigencias) para que las agencias cumplan con DIPRES o de la SEGPRES o de ambas instituciones. esos requerimientos. 52. Algunos de los Jefes de Programa entrevistados, cuyos 61. Ver el Anexo G1 (Sección VII y Tabla 2) y G2 (Sección IV programas habían sido evaluados con EI, estimaron que los evaluadores y Tabla 2) para un análisis completo de los Términos Técnicos de no tenían suficiente conocimiento específico del subsector o la materia Referencia de las Evaluaciones de Impacto y evaluaciones de EI. específica de su programa. Algunos jefes de programa opinaron que el 62. El argumento está basado en el análisis de la Evaluación de análisis de los evaluadores de EPG carecía de suficiente profundidad Impacto del PMU, por lo que ésta no es una conclusión general sobre por ser únicamente una evaluación de escritorio. Nótese que esta las EI. última percepción en nada contradice los objetivos ni los resultados 63. Para mas detalles, ver el Anexo G. esperados de las EPG. Estas son evaluaciones rápidas, de escritorio, que deben producir recomendaciones de mejoramiento del programa 64. Ver los anexos G para un análisis completo y detallado de dos con base en información fundamentalmente secundaria. De hecho, la evaluaciones EI. información producida por las EPG puede hacer aconsejable realizar 65. La demanda por presentaciones internacionales del PE de la una posterior evaluación de impacto. DIPRES, sea para fines de capacitación, de intercambio de buenas 53. Además, la DIPRES ha sido flexible, no exigiendo completar prácticas o de referente internacional, ha estado creciendo en los todas las secciones del Informe cuando la información es inexistente últimos años. o simplemente el análisis sugerido no aplica para el programa 66. Todos los contratos incluyen actualmente una cláusula de evaluado. cobro de multas. Los de las EPG incluyeron estas multas a partir del 54. Este análisis se basa en una muestra de quince (15) 2001; los de las EI las han incluido desde su inicio. evaluaciones EPG, los Términos de Referencia para el programa EPG, 67. Para una corroboración de esta observación, ver los tres el documento de Marcela Guzmán “Sistema de Control de Gestión estudios de caso incluidos en el Anexo I. 94 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N 68. Para la EPG, lo que más valora la Pauta es la experiencia de programas gubernamentales, que incluye una sección sobre el anterior en evaluación de programas (25%), seguida de los desempeño del panel de evaluadores. antecedentes académicos pertinentes (20%) y la experiencia en el 77. Desde el año 2000, durante el proceso de postulación la diseño y planificación de intervenciones similares (15%). Dentro de DIPRES solicita a la institución evaluada definir el perfil técnico las credenciales académicas, tiene más peso el contenido académico requerido. Dicho perfil es considerado posteriormente para definir el relacionado con evaluación que con el contenido del programa. puntaje del postulante según tipo de perfil requerido. Por lo tanto, los puntos dados a las materias relacionadas con la 78. En efecto, ya se ha observado que cuando menos uno de los evaluación en particular (“con vinculación área”) varían del máximo miembros del panel debe ser un experto en el sector del programa, de 50 para aquellos con un doctorado a 35 para aquellos con títulos que la DCG calcula que por ahora están contratando a evaluadores de pre-grado. Para aquellos con antecedentes académicos en temas que corresponden aproximadamente a la competencia promedio de no relacionados con la evaluación (“sin vinculación área”), la gama los evaluadores de programas en el país y que, si bien la “Pauta” de de puntos es de 30 a 0. Por ejemplo, para una evaluación de un selección privilegia a los profesionales que tienen experiencia anterior programa de educación, alguien con una licenciatura en educación con evaluación en general (no necesariamente con las propias recibiría 35 puntos mientras que a un candidato con un doctorado evaluaciones del PE), cada año aproximadamente el 30% de los en macroeconomía se le darán 50. evaluadores que se seleccionan son nuevos. 69. Con la sola excepción del caso de la evaluación EPG en el 79. Para asegurar que la encuesta fuera anónima, ésta se realizó 2004 del Consejo de Política Antártica. por vía electrónica en un sitio Web. La tasa de respuesta total fue 70. Sólo existe un caso en el que no se ha cumplido estrictamente de 62%, es decir 84 de 136 (94 de Agencias y 42 de Ministerios) con los plazos. Un programa fue incluido por el Congreso en el encuestados respondieron. Protocolo sin saber que la Institución ya había comisionado una 80. En 2002 y 2003 los coordinadores y los evaluadores no evaluación independiente. DIPRES, al tener que cumplir con la calificaron el proceso de capacitación porque estas preguntas no evaluación incluida en el Protocolo, conjuntamente con la contraparte fueron incluidas en los cuestionarios. se ha hecho responsable de ella; pero al no haber impuesto sus estándares durante todas las etapas del proceso, no ha conseguido 81. Las notas equivalen a: 5 “muy bueno”, 4 “bueno”, 3 “regular que esa evaluación se complete dentro de los plazos normales, los o más que suficiente ”, 2 “suficiente” y 1 “insuficiente” que vencieron. 82. Capacitación similar, centrándose en información/indicadores 71. De acuerdo con el Subdirector de Presupuesto, los especialistas de desempeño, fue proporcionada por el Departamento de Finanzas sectoriales rara vez encuentran en las evaluaciones hallazgos que los de Australia (DF) desde alrededor de 1995 en adelante. sorprendan. 83. Con la sola excepción de 1998, cuando se evaluaron 40 72. Un ejemplo de retención de presupuesto sujeto a programas. cumplimiento de Compromisos Institucionales ocurrió con el 84. DIPRES, División de Control de Gestión. “Estadísticas Programa Corporaciones de Asistencia Judicial, 2003. Seguimiento Compromisos Programas Evaluados, 1999- 2002 73. Ver el Anexo sobre Australia para detalles de esta experiencia (Documento de Trabajo). Enero 2004 e información actualizada en otros países. hasta 30 de junio de 2004. 74. La SEGPRES y el MIDEPLAN pueden también participar 85. Corresponde a los compromisos hasta el 30 de junio de en la identificación de programas para la evaluación, en su condición 2004. de miembros del Comité Interministerial. Por ejemplo, en el 2003 86. Para asegurar que la encuesta fuera anónima, ésta se realizó la SEGPRES propuso 15 programas para incluir en el Protocolo (sin por vía electrónica en un sitio Web. La tasa de respuesta total fue criterio explícito de selección más allá de un problema por resolver) de 62%, es decir 84 de 136 (94 de Agencias y 42 de Ministerios) de los cuales se aceptaron 4. encuestados respondieron. 75. La DCG estableció en diciembre del 2004, una metodología 87. Para asegurar que la encuesta fuera anónima, ésta se realizó para calcular la proporción de presupuesto evaluado bajo el PE. Según por vía electrónica en un sitio Web. La tasa de respuesta total fue se plantea más adelante, este indicador es necesario para ayudar a de 62%, es decir 84 de 136 (94 de Agencias y 42 de Ministerios) medir la eficacia del Programa. La pauta metodológica de diciembre encuestados respondieron. del 2004 no se extendió de la identificación de la lista de aquellos 88. Los datos que vinculan los resultados de la evaluación programas del gobierno que han sido diseñados y ejecutados de con cambios en el presupuesto se encuentran en el documento de acuerdo con el concepto y la estructura de programa y que podrían, trabajo de la División de Control de Gestión (2004), Implicancias por ende, ser evaluados con todos los requisitos estándares de la de las Evaluaciones y sus Efectos Presupuestarios años 2000-2003. evaluación de programas. Cf.“Cobertura del Programa de Evaluación. Este documento es netamente estadístico y no incluye análisis o Indicador Porcentaje del Presupuesto Evaluado en Relación al Presupuesto comentarios. Presenta dos conjuntos de información para programas Evaluable” Diciembre del 2004. evaluados desde 2000 a 2003. Primero, clasifica los programas, 76. “Informe Evaluación Proceso” DIPRES, DCG, Encuesta basado en su interpretación de los hallazgos del panel, en cinco realizada anualmente al final de cada proceso anual de evaluación categorías o tipos de recomendaciones de programas (ver el cuadro 95 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO C.3.8.1.). El documento informa sobre 76 programas que fueron de instrumentos de evaluación propiamente dicha que hacen parte clasificados. Segundo, para 65 de estos 76 programas, el documento del SCG desarrollado por la DIPRES. La ECG no es objeto de esta compara el presupuesto en el año de evaluación (t) y el presupuesto evaluación. en el siguiente año (t+1). Los datos se extrajeron de las leyes anuales 104. Las EPG y las EI evalúan el vínculo del programa con las de presupuestos aprobado, con la sola excepción de los datos de 2004 definiciones o productos estratégicos del Servicio. que son los del proyecto de ley de presupuestos. 105. “Cobertura del Programa de Evaluación. Indicador 89. Minuta DIPRES Efectos Presupuestarios 2002 y 2003. Porcentaje del Presupuesto Evaluado en Relación al Presupuesto 90. Cuando se ha mantenido una asignación de recursos es Evaluable” Ministerio de Hacienda, Dirección de Presupuestos, porque existen gastos de arrastre generados en períodos anteriores. División de Control de Gestión, Santiago, Diciembre de 2004. 91. Ver, por ejemplo, el caso del Programa de Telecentros 106. Esta no es una historia atípica. Por ejemplo, algo similar Comunitarios (Anexo I). sucedió en Brasil en los años ochenta: la “agencificación” iba 92. Ver Anexo I. acompañada de la pérdida de control central y de mayor corrupción. La solución efectuada por la Constitución de 1988 fue eliminar mucha 93. La cifra del valor total de los programas evaluados debe discreción de gestión en los organismos. Ver Shepherd, 1998. tomarse con cautela por cuanto algunos de los programas evaluados tienen costos dispersos en el presupuesto y resulta difícil identificar el 107. La relación puede ser distinta de sector a sector (con más total exacto de su valor presupuestario. El gasto total de los programas jerarquía en salud que en educación, por ejemplo). evaluados podría no incluir, por ejemplo, algunos costos relacionados 108. Además, las carreras en administración pública se desarrollan con gastos administrativos, no obstante estos son marginales respecto dentro de los organismos, por lo que prácticamente no hay ninguna del gasto total del programa identificado en las evaluaciones. Además, movilidad entre ministerios y servicios que pudiera ayudar a ha de tenerse en cuenta que el valor presupuestario de un programa desarrollar relaciones ministerio-servicio. no es, en el caso del PE, criterio determinante (aunque sí un factor) 109. El énfasis principal de esta ley es reemplazar los para ser seleccionado para evaluación. nombramientos puramente políticos para los directores de los 94. Saber que una EPG costaría, por ejemplo, un 50% más en los Servicios por un sistema en el cual la selección se basa en principios EE.UU. que en otro país tiene poca o ninguna importancia, puesto meritocráticos, así como políticos. La idea detrás de esto es que la que el sistema es único para cada país. politicización del liderazgo ha sido uno de los problemas principales 95. En este sentido, se tiene que, en promedio, los países OECD de los Servicios (ver a Valdés Prieto, 2002). asignan 3% del presupuesto total al monitoreo y evaluación del 110. Se entiende que las recomendaciones incorporadas en programa. Estimación provista por Universalia, firma especializada esta sección incluyen algunas que no fueron mencionadas en el en evaluaciones de gasto y basada en Canadá. resumen ejecutivo de este Informe. Ello se debe a que el equipo 96. OED. Monitoring and Evaluation; Some Tools, Methods del Banco Mundial sólo incorporó en el resumen ejecutivo aquellas and Approaches, Second Edition, The World Bank, 2004. recomendaciones que consideró más relevantes. DIPRES estuvo de acuerdo con esta opción. 97. No existen aún datos sobre los costos en los que incurren las instituciones para cumplir con las exigencias directas o indirectas (a 111. El PE de Chile en otros países estará determinado, hasta través de otros instrumentos del SCG) del PE. cierto punto, por la similitud de las condiciones que ahí existan. Se espera que la falta de estas condiciones tenga como consecuencia 98. El tema de la delegación de algunas funciones o de algunas de modificaciones importantes en el “Modelo Chileno” si éste es las evaluaciones a los ministerios se trata en el Anexo E, en la sección aplicado en otros países. Este habrá de ser un punto central en los “Instituciones Evaluadas”. programas de diseminación y capacitación que varios países solicitan 99. Mackay, Keith (2004), Two Generations of Performance hoy de la DIPRES. Evaluation and Management System in Australia, OED. Disponible 112. Ver Anexos B, F e I. El elemento más desafiante, de entre los en www.worldbank.org/oed/ecd/. requerimientos anteriores, es preparar y acordar la Matriz de Marco 100. Bajo el supuesto, demostrado en la práctica de la DIPRES, Lógico de Evaluación. Así lo hicieron las mejores EPG de entre las de que ya existe suficiente masa crítica de evaluadores en el mercado diez analizadas en el Anexo F. Si bien las evaluaciones siguen una chileno. metodología estándar, la Matriz de Evaluación, que incluye objetivos, 101. Guzmán, Marcela “Sistema de Control de Gestión y metas, resultados y actividades del proceso de evaluación en sí da Presupuestos por Resultados. La Experiencia Chilena” Ministerio cuenta de la manera como los evaluadores apropiaron y utilizaron la de Hacienda, Dirección de Presupuestos, División de Control de metodología estándar en el caso específico. Adicionalmente, y para Gestión, octubre de 2003. (Disponible en www.dipres.cl) pp. 6. lectores externos, convendría agregar también los costos estándar y el 102. En algunos casos no se concluye sobre algunos aspectos presupuesto ejecutado de la evaluación. por falta de información, en cambio en otros no se advierte que las 113. Ver Anexos G e I. conclusiones son con base en información incompleta. 114. Si bien no se incluyó esta información en algunas de las 103. A estos dos componentes habría que agregar la Evaluación evaluaciones analizadas, ambos aspectos estaban considerados en las Comprensiva del Gasto, ECG, si se quisiera completar el paquete EI al momento de la evaluación realizada por el Banco Mundial. 96 C . E L I N F O R M E T É C N I C O S O B R E E L P R O G R A M A D E E VA LU A C I Ó N 115. Se reconoce que esta recomendación podría elevar los costos estratégico (ver documentos de evaluación financiera y de gestión de las EPG. Sin embargo, su aplicación fortalecería significativamente 2003 entregados). Además la formulación 2005, y antes el Fondo la evidencia sobre outputs y outcomes. Concursable, solicitó en su formato estándar la identificación de 116. En el formato 2005 del EPG se incluyó este aspecto, el cual los vínculos de los programas con las definiciones estratégicas (ver no fue originariamente detectado en la recolección de información formularios E y K, proceso formulación presupuesto 2005). para esta evaluación por cuanto esa recolección terminó en el 2004. 119. La evaluación de programas, por definición, esta Esta recomendación se aviene con la información adicional que el centrada en lo programático de las políticas, es decir se evalúan SCG está requiriendo y sistematizando sobre los programas evaluados, los instrumentos que se han definido para darle cumplimiento. la cual dará al lector el marco contextual del programa. Al efecto En consecuencia no está evaluando la política misma sino que cabe resaltar dos medidas adicionales que ha comenzado a aplicar parcialidades de sus instrumentos, en el tiempo. Esta es una de las la DIPRES: i) la construcción de una base de datos con los marcos razones de las limitaciones de la evaluación de programas en el campo lógicos de los programas gubernamentales, y ii) la exigencia de que de la evaluación de las políticas. En el lenguaje de las definiciones agencias y ministerios liguen los programas con las metas del sector. estratégicas el objeto de la evaluación de programas es un producto Concretamente, la DIPRES está levantando la información que estratégico o parte de él (subproducto), pero no necesariamente la conecta explícitamente las Prioridades Gubernamentales (es decir, el totalidad del objetivo estratégico. Otro aspecto a considerar es que programa de Gobierno, generalmente anunciado y monitoreado por el proceso de evaluación de una política, dada su posible amplitud, la SEGPRES) con las Definiciones Estratégicas de cada agencia o puede requerir de elementos y métodos distintos a los utilizados en servicio (las que se incluyen ordinariamente en la Evaluación Integral la evaluación de programas, cuyo objeto es una unidad más micro. de Gestión y en el Programa de Mejoramiento de Gestión) y con Por otra parte, también es necesario distinguir entre el proceso de los resultados de las evaluaciones EPG y EI. La DIPRES también formulación de políticas y el de evaluación de éstas. Aún cuando el está requiriendo ahora una mayor especificación de los indicadores último puede y debe contribuir al primero, la formulación de políticas de resultado, tanto a nivel de programa cuanto a niveles superiores. es un complejo proceso que se basa, entre otros, en diferentes fuentes Mediante estos desarrollos, la DIPRES estará ligando claramente de información, experiencias y preferencia de los tomadores de las evaluaciones con el nivel superior de formulación y evaluación decisiones de las políticas superiores de un gobierno. de las políticas sectoriales e intersectoriales. Todo lo cual permitirá que los interesados accedan a toda la información necesaria para 120. La base de datos muestra la asociación entre productos juzgar un programa, desde los resultados del programa, hasta las estratégicos y el programa evaluado. La base de datos se mantiene al conexiones entre dicho programa y las metas superiores del sector día regularmente y es bastante sofisticada. y del gobierno. 121. Una vía alternativa o suplementaria de la anterior es la 117. Ver conceptos de definiciones estratégicos en Guzmán delegación de las responsabilidades de evaluación en los ministerios 2003 y/o formulario A-1 de la formulación de Presupuestos 2005 o Servicios que demostraren capacidad para ello. Por ejemplo, una entregados. vez que los Servicios avancen en la certificación de los sistemas del PMG, se podría esperar que estarán más preparados para asumir 118. En el proceso de Evaluación Interna en la DIPRES, la responsabilidades de evaluación de los programas a su cargo. información de desempeño (indicadores, resultados de evaluaciones y cumplimiento de compromisos) es presentada por producto 122. Como el caso de la evaluación del PMU. 97 Bibliografía Allen, R. y and Tommasi, D (2001). Managing Public Expenditure. Dirección de Presupuestos. División de Control de Gestión (2004). A Reference Book for Transition Countries. Organization for Implicancias de las Evaluaciones y sus Efectos Presupuestarios Economic Co-Operation and Development (OECD). Años 2000-2003 (Documento de Trabajo), enero de 2004. Aninat, Cristóbal, John Londregan, Patricio Navia y Vial Joaquín Dirección de Presupuestos. División de Control de Gestión. (2004). Political Institutions, Policymaking Processes, and “Estadísticas Seguimiento Compromisos Programas Evaluados, Policy Outcomes in Chile, Proyecto de Papel de Investigación 1999- 2002 (Documento de Trabajo). Enero de 2004. para el proyecto de investigación del BID sobre las Dirección de Presupuestos. División de Control de Gestión. Encuesta Instituciones Políticas, los Procesos de Formulación de Resultados Intermedios/Finales, enero de 2004. Políticas y Resultados de Política. Dirección de Presupuestos. División de Control de Gestión. Efectos y Armijo, Marianela (2003). “La Evaluación de la Gestión Pública en Usos de las Evaluaciones de Programas en los Servicios Públicos. Chile”, en Cunill Grau, Nuria, and Sonia Ospina Bozzi, eds. Resumen Ejecutivo. Julio de 2004. (2003). Evaluación de Resultados: para una Gestión Publica Dirección de Presupuestos. División de Control de Gestión. Moderna y Democrática. Caracas: CLAD. Proyecto de Presupuesto para el año 2005 (incluye formularios Bamberger, M. et al (2004). Shoestring Evaluation: Diseño de mencionados en la evaluación) 15 de julio de 2004. Evaluación de Impactos bajo Presupuesto, Restricciones Dirección de Presupuestos. División de Control de Gestión. de Tiempo y Calendario. American Journal of Evaluation. Cobertura del Programa de Evaluación. Indicador Porcentaje Vol. 25 No. 1. del Presupuesto Evaluado en Relación al Presupuesto Evaluable, Carretón, Manuel Antonio y Gonzalo Cáceres (2003). “De la diciembre de 2004. Desarticulación del Estado a la Modernización de la Gestión de Dorotinsky, Bill, Steve Knack, Nick Manning y Mark Kugler (2001). los Públicos en Chile: Reforma administrativa Sin un Proyecto Policy Volatility, Budgetary Volatility, and Poverty: Working del Estado”, en Ben Ross Schneider y Blanca Heredia, Note. eds.,Reinventing Leviathan: The Politics of Administrative Foxley T., Alejandro y Claudio Sapelli (1999), Chile’s Political Reform in Developing Countries, Prensa del Centro de sur Economy in the 1990s: Some Governance Issues, en Perry y Norte en la Universidad de Miami. Leipziger. Crispi, Jaime, Vega, Alejandra, Cooper, Andrés, Roeschmann, Juan Guzmán, Marcela (2003). Sistema de Control de Gestión y Presupuestos Andrés, (2004). “Reasignaciones Presupuestarias en Chile: por Resultados. La Experiencia Chilena. Ministerio de Conceptualización y Análisis Cuantitativo” Estudios de Hacienda, Dirección de Presupuestos, División de Control Finanzas Públicas, Dirección de Presupuestos. Gobierno de de Gestión. (Disponible en www.dipres.cl) Chile. Leeuw, F. (2003). Teorías para Programas de Reconstrucción: Métodos Dirección de Presupuestos, Ministerio de la Hacienda (1996). disponibles y Problemas para ser Resueltos. American Journal of La Modernización de la Gestión Pública: Experiencias Evaluation. Vol. 24. Internacionales y su Relevancia para Chile, Dolmen Manning, Nick y Neil Parison (2004). International Public Ediciones. Administration Reform: Implications for the Russian Federation, Dirección de Presupuestos. Ministerio de Hacienda (2002a). Directions in Development, Banco Mundial (para el informe “Guía Metodológica para la formulación de Indicadores”. completo de Chile. Ver (www.dipres.cl) http://www1.worldbank.org/publicsector/civilservice/ Dirección de Presupuestos. Ministerio de Hacienda (2002b). countrysummaries .htm) Presentación General del Programa de Evaluación de Proyectos Marcel, Mario (1999), “Effectiveness of the State and Development Gubernamentales 2002. Lessons from the Chilean Experience”, en Perry y Leipziger. Dirección de Presupuestos. División de Control de Gestión. Notas Marcel, Mario. (2000). Indicadores de Desempeño como Instrumento Técnicas. Diciembre de 2003. de Modernización en el Estado de Chile. Perspectivas 1999. 99 CHILE: ANÁLISIS DEL PROGRAMA DE EVALUACIÓN DEL GASTO PÚBLICO Marcel, Mario (2000). Opciones para la Reforma del Estado en Chile, Sapelli, Claudio (2000). The Political Economy of the Chilean septiembre de 2000. Versión Final. Mimeo. Transition to Democracy, Cuadernos de Economía, V. 37 Marcel, Mario y Marcelo Tokman (2002). Building a Consensus for No. 112, p. 537-556. Fiscal Reform: the Chilean Case, (ver también Journal for Schick Allen (2001). The Changing Role of the Central Budget Office. Budgeting de la OCDE, diciembre de 2002) OECD Journal on Budgeting. Volumen 1 N°1. Organization Mackay, Keith (1998), The Development of Australia’s Evaluation for Economic Co-Operation and Development (OECD). System. OED. Disponible en: ecd/de oed/www.worldbank. Schick, Allen (2002a). Can National Legislature Regain an Effective org// Voice in Budgetary Policy. Journal on Budgetary. Volumen Mackay, Keith (2004), Two Generations of Performance Evaluation 1 N°3. Organization for Economic Co-Operation and and Management System in Australia, OED. Disponible en: Development (OECD). ecd/de oed/www.worldbank.org/ Schick, Allen (2002b). Synthesis Report; Agencies in Search of Principles Mackay, Keith (2004). Some Lessons from the United States. Disponible Distributed Public Governance. Agencies, Authorities and Other en project files y Anexo C. Government Bodies. OECD. Montecinos, Verónica (1998). Economists, Politics and the State: Chile Valadez, J and Bamberger, M (1994). Monitoring and Evaluating 1958-1994, Thela Thesis Social Programs in Developing Countries. World Bank. OCDE (2004). Budgeting in Chile. ( PGC/SBO). 14 de mayo de Valdés Prieto, Salvador (2000). Reforma del Estado. Financiamiento 2004. Político. Vol. I, Santiago, Chile: CEP Centro de Estudios Pardo, Carlos, Las Agencias Públicas en Chile, junio de 2000. Públicos. Pastor, Geoffrey (2004). Notes on the Practice of Policy and Program Valdés Prieto, Salvador (2003a). Reforma del Estado. Dirección Pública Evaluation, mimeo. y Compras Públicas. Vol. II, Santiago, Chile: CEP Centro de Perry, Guillermo y Danny M. Leipziger, eds., Chile: Recent Policy Estudios Públicos. Lessons and Emerging Challenges, Estudios de Desarrollo del Valdés Prieto, Salvador (2003b), Reforma del Estado: ¿Que hacer WBI, Banco Mundial, Washington, D.C. ahora?, Puntos de Referencia 271, Santiago, Chile: CEP Pollit, Christopher and Bouckaert Geert (2004) Public Management Centro de Estudios Públicos. Reform. A Comparative Analysis” Second Edition. Oxford Valenzuela, Arturo (1999). “Chile”, en Larry Diamond, Jonathan University Press. Aug. 2004 Hartlyn, Juan J. Linz, Seymour Martin Lipset (1999), Rehren, Alfredo (2001). Clientelismo Político, Corrupción Reforma y Democracy in Developing Countries: Latin America, 2nda del Estado en Chile, en Valdés Prieto (2003a). Edición, Lynne Rienner Rhodes, R. (1997). “Understanding Governance: Policy Networks, World Bank. Public Sector Performance– The Critical Role of Evaluation. Governance, Reflexivity and Accountability. Buckingham: Operations Evaluation Department. The World Bank. Open University Press. Rossi, P., Lipsey, M and Freeman, H. (2004). Evaluación: Una Aproximación Sistemática. Sage Publications. 100