63331 RESEÑA Medir los cambios que los clientes experimentan en sus vidas por medio de las microfinanzas: Aportaciones de diferentes enfoques En los dos últimos años, la publicación de tres evaluaciones de impacto de los programas de microcrédito en India, Filipinas y Marruecos provocó un torrente de artículos de prensa que ponían en entredicho1 el valor del microcrédito y si realmente producía resultados positivos para los pobres (Karlan y Zinman, 2009; Dufo y Banerjee, 2009 y 2010). Las evaluaciones de impacto utilizaban estudios aleatorios controlados, una metodología de evaluación que asigna de forma aleatoria una intervención a un grupo de tratamiento y priva de ella a un grupo testigo. Se trata de un método ampliamente utilizado en ensayos médicos y, en particular, en pruebas farmacológicas; su popularidad es cada vez mayor, tanto entre los expertos del mundo académico como entre los especialistas en evaluación del ámbito de las ciencias sociales. En la actualidad existen más de 300 estudios aleatorios controlados concluidos o en curso en sectores como la educación, la gestión, las finanzas o el sector privado2. Históricamente, las instituciones de microfinanzas medición del desempeño social en el cuadro 1). Las (IMF) han centrado sus recursos en el seguimiento evaluaciones del desempeño social pueden constituir más que en las evaluaciones externas. El seguimiento una herramienta de gran utilidad para la gestión ha consistido en gran medida en la observación de de las IMF. No obstante, dichas evaluaciones no los indicadores financieros. En los últimos años, sin permiten a las IMF atribuir las variaciones del bienestar embargo, el seguimiento se ha ampliado para incluir a sus programas, puesto que estas herramientas no la recopilación y la observación de los cambios contemplan el siguiente caso hipotético: ¿qué habría registrados en una serie de dimensiones sociales sucedido si no se hubiera introducido una intervención identificadas y acordadas por los agentes del sector determinada? Pese a todo, el seguimiento y la en el marco del grupo de acción sobre el desempeño evaluación del desempeño social ayudan a entender social (http://sptf.info). Actualmente, un grupo cómo y dónde se prestan los servicios. Los datos compuesto por más de 350 IMF está presentando al recopilados se pueden utilizar para elaborar Microfinance Information Exchange (MIX) un conjunto evaluaciones de impacto y para comprender el modo de indicadores sociales, junto con sus indicadores en que los factores que intervienen en el proceso, 3 financieros . como la capacitación del personal o los mecanismos de desembolso, influyen en los resultados. El sector de las microfinanzas ha desarrollado muchas otras herramientas de seguimiento y evaluación con Los métodos de investigación cuantitativos y el fin de medir diferentes elementos de desempeño cualitativos se utilizan para recopilar y analizar datos social, como los niveles de pobreza de los clientes con el fin de descubrir los cambios que experimentan (puede consultarse una lista de las iniciativas de los clientes en sus vidas como consecuencia de los 1 Véase, por ejemplo, Bennett (2009), Macfarquhar (2010) y The Economist (2009). 2 Banco Mundial. Mayo de 2011 3 http://www.themix.org/social-performance/Indicators. 2 Cuadro 1: Herramientas seleccionadas de seguimiento y evaluación del desempeño social en las microfinanzas HERRAMIENTA FUNCIÓN Herramientas de medición de Ayudan a determinar la situación de pobreza de los clientes de IMF, a realizar la pobreza un seguimiento de la forma en que varían con el tiempo los niveles de pobreza de los clientes de esas instituciones y a informar a los proveedores de fondos sobre la difusión de la lucha contra la pobreza por parte de las IMF; puede ayudar a las IMF a dirigirse a un segmento de mercado específico. Auditorías sociales Informan a las IMF sobre la orientación social de los procesos de gestión (es decir, prácticas centradas en el cliente o políticas internas responsables con respecto al personal). Calificaciones sociales Califican el desempeño de las diferentes IMF a partir de información sobre dimensiones sociales tales como la claridad de su misión o la alineación de su estrategia y de sus sistemas operacionales con la misión definida y con sus procesos internos (protección de sus clientes, perspectiva de género y responsabilidad para con el personal, las comunidades y el medio ambiente). Cuadro 2: Métodos de evaluación MÉTODOS LO QUE HACE LO QUE NO HACE EJEMPLO Métodos cualitativos Se centran en Atribución de causas y Portfolios of the Poor los procesos, los efectos sujeta a sesgos. (2009) comportamientos y las condiciones tal y como los perciben los entrevistados. Métodos cuantitativos Ofrecen pruebas de El aislamiento de sesgos Estudios de AIMS, no experimentales o cambios en las vidas de (selección, ubicación) por ejemplo, Chen semiexperimentos los clientes. resulta difícil o imposible, y Snodgrass (2001), de manera que la Khandker (1998), Bruhn atribución de la causalidad (2009) o Townsend (2009) también es complicada. Métodos cuantitativos Demuestran la causalidad No siempre permiten Karlan y Zinman (2009), experimentales (estudios de una intervención en comprender Banerjee y Duflo (2009) aleatorios controlados) las vidas de los clientes correctamente los factores en comparación con un contextuales y del grupo testigo. proceso. programas de microfinanzas. En función del tema de Existen diferentes formas de estimar lo que investigación seleccionado, unos métodos pueden habría sucedido si no se hubiera llevado a cabo resultar más adecuados que otros (cuadro 2). La una intervención, definiendo de forma aleatoria elección rara vez se decanta por uno u otro de forma quién recibe el tratamiento y quién no4. En el disyuntiva, sino que por lo general se utiliza una ámbito de las microfinanzas se utilizan desde combinación de métodos. Los investigadores utilizan hace 20 años evaluaciones cuantitativas que no técnicas cuantitativas cuando tratan de detectar conllevan la colocación aleatoria de los clientes cambios precisos y cuantificables causados por una (semiexperimentos)5 y, en su mayor parte, están intervención en concreto o correlacionados con ella. financiadas por donantes. Como han señalado otros En cambio, emplean técnicas cualitativas, como investigadores, estos métodos presentan algunos grupos focales o entrevistas estructuradas, cuando puntos débiles, relacionados principalmente con el intentan comprender procesos que interactúan entre sesgo de selección (por ejemplo, ¿son los clientes sí y que no se pueden aislar, y cuando puede resultar que toman préstamos mejores empresarios o están difícil establecer una causalidad directa. más motivados desde el principio?)6. 4 Entre otras técnicas utilizadas cabe citar el ensayo previo y ensayo posterior, el emparejamiento, el método de dobles diferencias, las variables instrumentales, las series temporales interrumpidas y la discontinuidad de la regresión. Pueden consultarse las ventajas y los inconvenientes de cada una de ellas en http://www.ifc.org/ifcext/sme.nsf/AttachmentsByTitle/MEImpactEvaluation.pdf/$FILE/MEImpactEvaluation.pdf. 5 http://www.gfusa.org/sites/default/files/Measuring-Impact-of-Microfinance.pdf. 6 Véase, por ejemplo, Karlan y Goldberg (2008). 3 ¿Por qué son útiles los estudios Gráfico 1: Algunas ventajas e inconvenientes de los estudios aleatorios controlados aleatorios controlados en el ámbito de las microfinanzas? INCONVENIENTES VENTAJAS Resultan costosos en Si se llevan a cabo Los estudios aleatorios controlados se utilizan en las cuanto a tiempo y correctamente no hay evaluaciones de impacto con el fin de establecer dinero sesgo de selección En ocasiones plantean la causalidad. Los primeros estudios publicados Se encuentran menos dificultades desde el sujetos a problemas abordaban directamente la cuestión del impacto punto de vista político metodológicos o ético de las microfinanzas examinando sus posibles Cuentan con marcos resultados, como el incremento de los niveles de temporales reducidos Se muestra el impacto ingresos o de consumo, el aumento de la asistencia para estudiar algunos medio de los resultados de los niños a la escuela o la mejora de los resultados en el ámbito de la salud. Sin embargo, los estudios aleatorios controlados se utilizan cada vez más para examinar el diseño de los productos y para otra forma de evaluación, existen soluciones de comprobar si sus características responden a las compromiso (gráfico 1). necesidades de los clientes. Pese a la existencia de dichas soluciones, se Los estudios que realizan pruebas experimentales acoge con beneplácito este interés renovado con diferentes períodos de pago, el uso de por las microfinanzas basadas en pruebas. Las mecanismos de compromiso para el ahorro o la microfinanzas abarcan diversos productos: ahorro, elasticidad de los tipos de interés constituyen seguros, préstamos colectivos, créditos al consumo, algunos ejemplos de cómo se utilizan los estudios préstamos de capital de trabajo y préstamos para aleatorios controlados para mostrar el modo en la adquisición de una vivienda. El uso que hagan que pueden mejorarse los servicios (Gine, 2006; los clientes del servicio de microfinanzas elegido Ashraf, Karlan y Yin, 2006). Algunos investigadores y su comportamiento se traducirán en diferentes consideran que, en el ámbito de las microfinanzas, resultados y consecuencias para sus vidas. A estos estudios pueden resultar especialmente continuación se exponen algunos ejemplos: valiosos para perfeccionar los productos y verificar la • El ahorro puede ayudar a crear un colchón con combinación adecuada de servicios. Si bien muchas el que hacer frente a crisis futuras, como refleja IMF confían fundamentalmente en la investigación un estudio aleatorio controlado llevado a cabo cualitativa para diseñar y probar sus productos, los recientemente (Dupas y Robinson, 2002). estudios aleatorios controlados pueden constituir • Los microseguros pueden ayudar a los clientes una alternativa eficaz en función de los costos para pobres a pasar de cultivos de bajo valor a otros aquellas IMF que cuenten con suficientes sistemas de mayor valor (Udry y otros, 2010). de datos internos7. • Los servicios de pago pueden ayudar a los clientes Los estudios aleatorios controlados también a acceder a fondos procedentes de sus familiares plantean algunas cuestiones importantes para los en mercados de trabajo urbanos o extranjeros, profesionales. Controlar quién recibe el servicio, como lo está haciendo el servicio M-PESA en la configuración ex ante, así como el costo y la Kenya. duración que supone obtener resultados hacen • Cuando el crédito se invierte en un negocio, es que los estudios aleatorios controlados constituyan probable que los clientes aumenten su capital de una inversión importante. Es necesario establecer trabajo o el activo de la empresa (máquinas de una asociación duradera entre profesionales e coser, por ejemplo), lo que puede traducirse en investigadores. Por lo general, como en cualquier unas mayores utilidades (Duflo y otros, 2009). 7 Las herramientas de investigación de mercados MicroSave, por ejemplo, se basan en métodos cualitativos. Estas herramientas ayudan a las IMF a desarrollar o perfeccionar nuevos productos y a analizar problemas tales como la deserción o los impagos de préstamos; también pueden ayudar a supervisar la atención al cliente. 4 En la actualidad se están llevando a cabo estudios dinero y los microseguros, no solamente el crédito— aleatorios controlados dirigidos a verificar muchos de no sirvan para ayudar a los pobres a gestionar el flujo estos supuestos e hipótesis acerca del modo en que de efectivo de sus hogares. se utilizan los servicios de microfinanzas y, por tanto, las repercusiones que tendrán sobre los hogares. En efecto, diversas investigaciones sugieren que el mayor uso de productos de microfinanzas puede Es necesario contar con más consistir, en realidad, en ayudar a los hogares a ajustar pruebas sobre los beneficios su consumo y a enfrentarse de un modo más adecuado de las microfinanzas a las crisis. Trabajos más recientes sobre los estudios aleatorios controlados, especialmente aquellos Solo se han llevado a cabo tres estudios aleatorios que se centran en productos no crediticios (como controlados sobre el impacto del microcrédito, y los microseguros y microahorros), ponen de manifiesto resultados son escasos. Hasta el momento, la idea de resultados asombrosos que muestran que el diseño que las restricciones de capital constituyen el único de los productos puede mejorar los efectos que tienen problema al que se enfrentan las microfinanzas parece estos sobre determinados segmentos de clientes. errónea. El microcrédito parece ser apropiado para clientes con una capacidad relativamente elevada Junto con otros tipos de enfoques de investigación, los para asumir riesgos y con la capacidad empresarial estudios aleatorios controlados están contribuyendo necesaria para crear un negocio que les permita a generar una amplia base de conocimiento sobre obtener beneficios con los que pagar los préstamos. lo que hacen (y sobre lo que no hacen) exactamente Sin embargo, no todo el mundo es (o quiere ser) las microfinanzas. Disponer de más estudios y de un microempresario en la base de la pirámide. Eso un mayor número de pruebas relativas a los clientes no significa, sin embargo, que las microfinanzas — puede ayudarnos a entender mejor cómo lograr la entendidas como una amplia gama de servicios entre plena integración financiera. los que se incluyen el ahorro, las transferencias de Agradecimientos Queremos expresar nuestro agradecimiento a Xavi Recuadro 1: Seguimiento frente a Gine, Nathaneal Goldberg, Jake Kendall, Christoph evaluación de impacto: Estudio de caso. Kneiding, Kate McKee, Jeanette Thomas, Xavier Reille Un grupo de personas de Weight Watchers pretende perder peso; su objetivo es perder de y Richard Rosenberg por sus valiosas aportaciones. 0,5 kilos a 1 kilo por semana. Tanto para Weight Watchers como para los miembros de este grupo, Bibliografía una reducción de peso constituiría una prueba de que se ha producido un cambio positivo hacia el Ashraf, N., D. Karlan y W. Yin. 2006. “Tying Odysseus to the Mast: objetivo de pérdida de peso. Evidence from a Commitment Savings Product in the Philippines�. Quarterly Journal of Economics. El grupo puede hacer un seguimiento de sus progresos de varias formas, a saber: Banco Mundial. 2004. “Monitoring and Evaluation, Some Tools, Methods and Approaches�. Washington, DC: DEO, Banco Mundial. 1. Pesar a sus miembros de manera periódica. Banerjee, A., E. Duflo, R. Glennerster y C. Kinnan. 2009. “The Miracle 2. Realizar un seguimiento de la ingesta de calorías. of Microfinance? Evidence from a Randomized Evaluation�. Mass.: Realizar un seguimiento de las horas de ejercicio 3.  J-PAL and MIT. semanales en comparación con un objetivo Bennett, Drake. 2009. “Small Change, Billions of Dollars and a Nobel previamente establecido. Prize Later, It Looks Like ‘Microlending’ Doesn’t Actually Do Much to Fight Poverty�. Boston Globe, 20 de septiembre. ¿Se debió la pérdida de peso a la dieta, al ejercicio o al hecho de formar parte de un grupo de ayuda Bruhn, Miriam e I. Love. 2009. “The Economic Impact of Banking the Unbanked: Evidence from Mexico�. Documento de trabajo sobre para la pérdida de peso? Para obtener este tipo de investigaciones relativas a políticas de desarrollo n.º WPS 4981. información, es necesario llevar a cabo un estudio Washington, DC: Banco Mundial. de impacto que asigne de manera aleatoria a las personas a un grupo de tratamiento o a un grupo Chen, Martha y Donald Snodgrass. 2001. “Managing Resources, testigo. Activities, and Risk in Urban India: The Impact of SEWA Bank�. Washington, DC: Assessing the Impact of Microenterprise Services (AIMS), Management Systems International. 5 Collins, Daryl y otros. 2009. Portfolios of the Poor: How the World’s Ravaillon, Martin. 2009. “Should the Randomistas Rule? Another Poor Live on $2 a Day. Nueva Jersey: Princeton University Press. Criticism of RCTs�. The Economists’ Voice 6 (2). Dupas, Pascaline y J. Robinson. 2009. “Savings constraints and Savedoff, William D., Ruth Levine y Nancy Birdsall. 2006. “When Microenterprise Development: Evidence from a Field-experiment in Will We Ever Learn? Improving Lives through Impact Evaluation�. Kenya�. Los �ngeles, UCLA. Washington, DC: Grupo de trabajo sobre la brecha en materia de evaluación, Center for Global Development. The Economist. 2009. Galasso, Emanuela, Xavier Gine y Markus Goldstein. s. f. “Impact “A Partial Marvel�, 16 de julio. Evaluation: Methods and Implementation Issues�. Presentación de PowerPoint. Washington, DC: Banco Mundial. Townsend, Robert y J. Kaboski. 2009. “The Impacts of Credit on Village Economies�. Departamento de Economía del MIT. Gertler, Paul J. y otros. 2011. Impact Evaluation in Practice. Documento de trabajo n.º 09-13. Mass.: MIT. Washington, DC: Banco Mundial. White, Howard. 2009. “Some Reflections on Current Debates in Gine, Xavier y D. Karlan. 2006. “Group vs. Individual Liability: A Impact Evaluation�. Documento de trabajo 1, Nueva Delhi: Iniciativa Field Experiment in the Philippines�. Documento de trabajo sobre Internacional para la Evaluación de Impacto, abril. investigaciones relativas a políticas de desarrollo 4008. Washington, DC: Banco Mundial. Sitios web Goldberg, Nathanael. 2005. “Measuring the Impact of Microfinance: Taking Stock of What We Know�. Washington, DC: Grameen Center for Global Development. Blog público de David Roodman Foundation. sobre microfinanzas. http://blogs.cgdev.org/open_book/category/ about-the-bookoutline Goldberg, Nathanael y D. Karlan. 2008. “Impact of Credit: How to Measure Impact, and Improve Operations Too�. Nueva York: The CERISE. Impact and Social Performance. http://www.cerise- Financial Access Initiative e Innovations for Poverty Action. microfinance.org/-impact-and-social-perfomance-#outils Karlan, Dean y Jonathan Morduch. 2010. “Access to Finance�. En CGAP. http://www.cgap.org Handbook of Development Economics, vol. 5, ed., Dani Rodrick y M. R. Rosenzweig, 4703-778. Amsterdam: Elsevier. Financial Access Initiative. http://financialaccess.org/ Khandker, Shahidur R. 1998. “Fighting Poverty with Microcredit: Blog de IFMR. http://www.ifmrblog.com Experience in Bangladesh�. Nueva York: Oxford University Press. Innovations for Poverty Action. http://poverty-action.org/ Macfarquhar, Neil. 2010. “Banks Making Big Profits from Tiny MIX Market. Social Performance Data. http://www.mixmarket.org/ Loans�, New York Times, 13 de abril. social-performance-data McKenzie, David. 2009. “Impact Assessments in Finance and Private MIX. Social Performance Indicators. http://www.themix.org/social- Sector Development: What Have We Learned and What Should We performance/Indicators Learn?�. Documento de trabajo sobre investigaciones relativas a políticas de desarrollo n.º 3807. Washington, DC: Banco Mundial. Poverty Action Lab. http://www.povertyactionlab.org/ Naudet, Jean David y Jocelyne Delarue. 2008. “Fostering Impact Grupo de acción sobre el desempeño social. http://www.sptf.info Evaluation at Agence Française de Développement: A Process of In-House Appropriation and Capacity-Building�. NONIE (Network of Networks on Impact Evaluation) Documento de trabajo n.º 2. Mayo de 2011 Todas las publicacio- nes del CGAP están disponibles en el sitio web del CGAP, en www.cgap.org. CGAP 1818 H Street, NW MSN P3-300 Washington, DC 20433, EE.UU. Tel: 202-473-9594 Fax: 202-522-3744 Correo electrónico: cgap@worldbank.org © CGAP, 2011 AUTORES Mayada El-Zoghbi y Meritxell Martínez