Documentos de Investigación 83 Cambiando la mentalidad de los estudiantes: evaluación de impacto de ¡Expande tu Mente! sobre el rendimiento académico en tres regiones del Perú1 Ingo Outes (Universidad de Oxford) Alan Sánchez (GRADE) Renos Vakis (Banco Mundial) 1 Los autores agradecen la excelente asistencia de investigación de Gonzalo Manrique en la elaboración de este documento, así como la colaboración de Nicolás Pazos y María Gracia Rodríguez durante la etapa de implementación de ¡Expande tu Mente! Asimismo, agradecen a Isy Faingold, Fabiola Cáceres, Andrea Cornejo, Luis Baiocchi, Efraín Rodríguez y al equipo técnico de MineduLAB. Finalmente, agradecen los comentarios de Lorena Alcázar, Annie Chumpitaz y de un revisor anónimo a una versión anterior del documento. Grupo de Análisis para el Desarrollo (GRADE) Av. Grau 915, Barranco, Lima 4, Perú Apartado postal 18-0572, Lima 18 Teléfono: 247-9988 www.grade.org.pe Esta publicación cuenta con una Licencia Creative Commons Atribución-NoComercial 4.0 Internacional. Primera edición, agosto del 2017 Impreso en el Perú 500 ejemplares En concordancia con los objetivos de GRADE, el propósito de la serie Documentos de In- vestigación es difundir oportunamente los estudios que realizan sus investigadores y suscitar el intercambio con otros miembros de la comunidad científica. Ello permitirá enriquecer el producto final de la investigación, de modo que esta apruebe sólidos criterios técnicos para el proceso político de toma de decisiones. Las opiniones y recomendaciones vertidas en este documento son responsabilidad de sus auto- res y no representan necesariamente los puntos de vista de GRADE ni de las instituciones aus- piciadoras. Los autores declaran que no tienen conflicto de interés vinculado a la realización del presente estudio, sus resultados o la interpretación de estos. Esta publicación, y la investi- gación en la que se sostiene, se llevaron a cabo gracias a la subvención del Centro Internacional de Investigaciones para el Desarrollo, Canadá, en el marco de la Iniciativa Think Tank. Director de Investigación: Santiago Cueto Asistente de edición: Diana Balcázar Corrección de estilo: Rocío Moscoso Diseño de carátula: Elena González Diagramación: Amaurí Valls M. Impresión: Impresiones y Ediciones Arteta E.I.R.L. Cajamarca 239-C, Barranco, Lima, Perú. Teléfonos: 247-4305 / 265-5146 Hecho el Depósito Legal en la Biblioteca Nacional del Perú: 2017-09435 ISBN: 978-612-4374-00-5 CENDOC / GRADE OUTES, Ingo; Alan SÁNCHEZ y Renos VAKIS Cambiando la mentalidad de los estudiantes: evaluación de impacto de ¡Expan- de tu Mente! sobre el rendimiento académico en tres regiones del Perú / Ingo Outes, Alan Sánchez y Renos Vakis. Lima: GRADE, 2016. (Documentos de investigación, 83). RENDIMIENTO ESCOLAR, APRENDIZAJE, EVALUACIÓN DE PROGRAMAS, EDUCACIÓN SECUNDARIA, PERÚ Índice Abreviaciones 7 Resumen 9 Introducción 11 1. Contexto 15 2. Marco conceptual 25 3. Descripción de ¡Expande tu Mente! 31 4. Implementación del piloto de ¡Expande tu mente! 37 5. Estrategia empírica 45 6. Resultados 49 7. Análisis regional 65 8. Discusión de los resultados 71 9. Conclusiones y recomendaciones 77 Referencias bibliográficas 81 Anexos 85 ABREVIACIONES d. e. Desviación estándar ECE Evaluación Censal de Estudiantes Enaho Encuesta Nacional de Hogares Endes Encuesta Demográfica y de Salud Familiar EtM ¡Expande tu Mente! INEI Instituto Nacional de Estadística e Informática ITT Intento-de-tratar JEC Jornada escolar completa JER Jornada escolar regular LATE Local average treatment effect Minedu Ministerio de Educación del Perú MineduLAB Laboratorio de Innovación Costo-Efectiva para la Política Educativa del Ministerio de Educación OCDE Organización para la Cooperación y el Desarrollo Económicos p. p. Puntos porcentuales PISA Programme for International Student Assessment Siagie Sistema de Información de Apoyo a la Gestión de la Institución Educativa UGEL Unidad de gestión educativa local VRAEM Valle de los ríos Apurímac, Ene y Mantaro RESUMEN Se presenta evidencia del impacto de ¡Expande tu Mente! (EtM), una innovación de corta duración -sesión de tutoría de 90 minutos a cargo del tutor-docente- y bajo costo (0,2 USD por estudiante) diseñada para cambiar la mentalidad de los estudiantes hacia una “mentalidad de crecimiento” (growth mindset), en la cual los retos académicos se conciben como una oportunidad para aprender. El estudio se llevó a cabo en el 2015, en el marco del Laboratorio de Innovación Costo- Efectiva para la Política Educativa (MineduLAB) de la Oficina de Seguimiento y Evaluación Estratégica, y en coordinación con la Dirección de Educación Secundaria del Ministerio de Educación del Perú (Minedu). EtM se asignó de manera aleatoria en 800 escuelas públicas peruanas de nivel secundaria, en las regiones de Áncash, Junín y Lima. Sobre la base de información de alrededor de 55 000 estudiantes del segundo grado de secundaria, se encuentra que, hasta después de tres meses de llevada a cabo la intervención, el puntaje de Matemática de los estudiantes aumentó en 0,05 desviaciones estándar en las escue- las asignadas a EtM, y el puntaje promedio de las escuelas asignadas aumentó en 0,12 desviaciones estándar. Los impactos más importan- tes se presentaron fuera de Lima, donde se observó una mejora en el puntaje de Matemática y Comprensión Lectora de los estudiantes de 0,14 y 0,09 desviaciones estándar en las escuelas asignadas, respectiva- mente. Más aún, para las escuelas que cumplieron con llevar a cabo la 10 Cambiando la mentalidad de los estudiantes innovación fuera de Lima, el impacto causal de EtM en Matemática y Comprensión Lectora fue de 0,35 y 0,23 desviaciones estándar. Esta evidencia resalta no solo la importancia de invertir en las competencias socioemocionales como medio para mejorar los logros de aprendizaje, sino de que es posible hacerlo de manera efectiva, a bajo costo y apo- yándose en la plana de docentes. INTRODUCCIÓN Durante los últimos años, se ha incrementado considerablemente el acervo de evidencia sobre la efectividad de distintas intervenciones educativas en países en desarrollo (Evans y Popova 2015, Glewwe y Muralidharan 2015). A pesar de estos avances, aún existe muy poca evidencia sobre la efectividad de intervenciones diseñadas para mejo- rar las competencias socioemocionales de los estudiantes en estos paí- ses. La importancia de este tipo de competencias radica en que pueden ser tanto o más importantes para los aprendizajes que las habilidades cognitivas (Cunha y Heckman 2008). Asimismo, las competencias socioemocionales juegan un papel en otras dimensiones del bienestar, puesto que reducen la prevalencia de comportamientos de riesgo y de embarazo adolescente (Favara y Sánchez 2017, Favara y otros 2016), e incrementan la probabilidad de obtener mejores resultados socioeco- nómicos durante la vida adulta (Heckman y otros 2006). Estudios recientes en el campo de la Psicología demuestran que intervenciones socioemocionales de corta duración pueden llevar a mejoras tanto en la actitud hacia el estudio como en el rendimiento académico (véase una revisión de esta literatura en Yeager y Walton 2011). Más aún, estudios enfocados en la reducción de estereotipos raciales y de género muestran que este tipo de intervenciones pueden tener efectos positivos importantes, sobre todo en minorías étnicas y en mujeres (Aronson y otros 2002, Good y otros 2003). Esta evidencia, si bien es importante, corresponde principalmente a estudios realizados 12 Cambiando la mentalidad de los estudiantes en pequeña escala en países desarrollados. Hasta donde se tiene cono- cimiento, no existe evidencia de cuál puede ser el impacto de aplicar intervenciones socioemocionales a gran escala en países en desarrollo, en los que las brechas de aprendizaje son mucho más amplias. ¡Expande tu Mente! (EtM) es una innovación psicosocial, de bajo costo y corta duración, que busca cambiar las percepciones que los estudiantes tienen sobre su propio nivel de inteligencia y, de esa mane- ra, influir de manera positiva tanto en sus prácticas académicas como en su rendimiento académico. Específicamente, el objetivo de EtM es transmitir a los estudiantes la idea de que la inteligencia puede “crecer” mediante la práctica constante, y de que los retos académicos no deben ser vistos como un problema sino como una oportunidad para desarro- llar la inteligencia —a esto se le denomina “mentalidad de crecimien- to”—. Con el fin de evaluar el impacto de la innovación en distintos ámbitos, el piloto se aplicó en tres regiones del Perú: Áncash, Junín y Lima. El piloto, llevado a cabo en el marco del MineduLAB, de la Ofi- cina de Seguimiento y Evaluación Estratégica del Minedu, consistió en la administración de una sesión de tutoría de 90 minutos por parte del tutor-docente de cada sección. Se consideró una muestra de 800 instituciones educativas de gestión pública de nivel secundaria, 400 de las cuales fueron aleatoriamente asignadas para recibir esta innovación en primer y segundo grado de secundaria. Cada escuela recibió todos los materiales necesarios para llevar a cabo la sesión, así como instruc- ciones (el paquete de EtM). El costo de implementación fue de aproxi- madamente 0,2 USD por alumno. Los resultados de la intervención en el rendimiento académico de los alumnos se midieron entre dos y tres meses después de la intervención, mediante la Evaluación Censal de Estudiantes (ECE) para el segundo grado de secundaria, en los ámbitos de Matemática y Comprensión Lectora, aplicada en el 2015. Introducción 13 Este estudio tiene tres objetivos. En primer lugar, documentar el impacto de corto plazo de EtM en el rendimiento académico de los alumnos en las áreas de Matemática y Comprensión Lectora. El impacto se evalúa en la muestra total, en los subgrupos de Lima y no- Lima —que son los subgrupos para los que se cuenta con adecuada potencia estadística—, y en cada una de las regiones. El segundo objetivo es comprender los mecanismos mediante los cuales EtM podría alcanzar un impacto en el corto plazo. Para ello, se explora el impacto de la innovación en las expectativas educativas, la autopercepción del estudiante acerca de sus capacidades, y las actitudes de los docentes en términos de esfuerzo pedagógico y apoyo socioemocional hacia los estudiantes. Finalmente, el tercer objetivo es entender la posible existencia de heterogeneidad regional en los impactos del programa. El documento se ha organizado de la siguiente manera. En la sección 1 se describe el contexto nacional y regional en el cual se llevó a cabo la innovación. En la sección 2 se explica el marco conceptual en el cual se basa EtM desde la Psicología, y se hace una revisión de la literatura internacional relacionada. Asimismo, se explica cómo el papel de este tipo de intervenciones puede conceptualizarse desde la Economía en el marco de un modelo de formación de habilidades. La sección 3 describe el programa, mientras que la 4 presenta la imple- mentación del piloto. La sección 5 se concentra en la estrategia empí- rica y la sección 6 presenta los resultados. Finalmente, en las secciones 7 y 8 se discuten los hallazgos; y en la 9, se ofrecen las conclusiones y recomendaciones. 1. CONTEXTO a. Contexto nacional El rendimiento educativo en el Perú ha mejorado de manera notoria durante la última década. Según la ECE, el porcentaje de niños de segundo de primaria que alcanzó un nivel satisfactorio en Comprensión Lectora ha pasado de 16% en el 2007 a 50% en el 2015 (gráfico 1). Durante el mismo periodo, el porcentaje de niños de segundo de primaria que alcanzó dicho nivel en Matemática se incrementó de 7% a 27% (gráfico 2). Una conclusión similar se obtiene al revisar los resultados de la prueba PISA (Programme for International Student Assessment), la que evalúa hasta qué punto los alumnos cercanos al final de la educación obligatoria han adquirido algunos de los conocimientos y habilidades necesarios para la participación plena en la sociedad del saber. Según esta prueba, entre el 2009 y el 2016, el puntaje obtenido en el Perú ha mejorado de manera sostenida en Matemática, Comprensión Lectora y Ciencias (gráfico 3). A pesar de estas mejoras, el rendimiento del Perú está por debajo del de los demás países participantes en la prueba, muy lejos del pro- medio de los países de la Organización para la Cooperación y el De- sarrollo Económicos (OCDE). Además, las políticas implementadas durante los últimos años no han sido suficientes para cerrar brechas. La brecha entre el ámbito urbano y rural se ha incrementado entre el 2007 y el 2015, tanto en Comprensión Lectora como en Matemática 16 Cambiando la mentalidad de los estudiantes Gráfico 1 Porcentaje de niños de segundo de primaria que alcanzaron un nivel satisfactorio en Comprensión Lectora según ámbito geográfico, 2007-2015 60% 55% 50% 50% 40% 30% 21% 20% 19% 16% 10% 6% 0% 2007 2008 2009 2010 2011 2012 2013 2014 2015 Urbano Rural Total nacional Fuente: ECE primaria 2007-2015. Gráfico 2 Porcentaje de niños de segundo de primaria que alcanzaron un nivel satisfactorio en Matemática según ámbito geográfico, 2007-2015 35% 30% 29% 27% 25% 20% 15% 12% 10% 9% 7% 5% 5% 0% 2007 2008 2009 2010 2011 2012 2013 2014 2015 Urbano Rural Total nacional Fuente: ECE primaria 2007-2015. Contexto 17 Gráfico 3 Rendimiento de los niños de 15 años en Matemática, Comprensión Lectora y Ciencias en el Perú en comparación con el promedio de la OCDE, 2009-2015 500 OCDE 450 400 Perú 350 2009 2012 2015 Matemática Comprensión lectora Ciencias Puntaje obtenido en la prueba PISA (500 = prom. OCDE). Fuente: prueba PISA. Gráfico 4 Porcentaje de niños de segundo de secundaria que alcanzaron un nivel satisfactorio en Comprensión Lectora y Matemática según ámbito geográfico, 2015 18% 16% 16% 15% 14% 12% 11% 10% 10% 8% 6% 4% 2% 2% 2% 0% Comprensión lectora Matemática Total Urbano Rural Fuente: ECE secundaria 2015. 18 Cambiando la mentalidad de los estudiantes (gráficos 1 y 2). Más aún, es importante notar que la situación en se- cundaria es todavía precaria en comparación con la de los estudiantes de primaria. Según la ECE 2015, —primer año en el cual se evaluó también a niños de segundo de secundaria—, solo el 15% y el 10% de los estudiantes lograron alcanzar un nivel satisfactorio en Compren- sión Lectora y Matemática, respectivamente (gráfico 4). En este caso, la brecha entre el ámbito urbano y el rural es más amplia que en primaria. En el ámbito rural, el porcentaje de estudiantes que alcanzaron un nivel satisfactorio es de solo el 2% en ambas materias. b. Contexto regional Áncash, Junín y Lima fueron las regiones seleccionadas para el des- pliegue piloto de EtM. Las tres regiones se ubican en la zona centro del país. Áncash cubre zonas de costa y sierra (en una proporción cer- cana a 50:50), Junín cubre zonas de sierra y selva (en una proporción de 75:25), y Lima cubre principalmente zona costera. En Áncash y Junín, aproximadamente dos de cada tres hogares son urbanos (en Áncash la proporción es ligeramente mayor). En la región de Lima la población es predominantemente urbana. El cuadro 1 reporta una serie de características de las regiones en términos de niveles de vida de la población. De las tres regiones, Lima resalta —con diferencia— como la que presenta la menor incidencia de pobreza y la mayor proporción de hogares que habitan en viviendas construidas con material adecuado y acceso a servicios básicos. Asimismo, Lima presenta los menores niveles de desnutrición crónica infantil. Estos resultados son consistentes con los altos niveles de urbanización de esta región. En el caso de Áncash y Junín, las Contexto 19 diferencias entre ambas regiones no son tan marcadas y no siempre van en la misma dirección. Por un lado, el nivel de pobreza es mayor y la proporción de hogares que habitan en viviendas de material adecuado es menor en Áncash en comparación con Junín. Al mismo tiempo, la proporción de hogares con acceso a servicios básicos es ligeramente mayor en Áncash en comparación con Junín. La prevalencia de desnutrición crónica infantil es similar en ambas regiones. El cuadro 2 reporta indicadores educativos para las tres regiones. Respecto a la infraestructura educativa existente, Lima es la que presenta los mejores resultados: es la región que más gasta por alumno en términos absolutos —a pesar de que, en términos relativos, es en la que se observa el menor porcentaje de gasto—, y es la que cuenta con escuelas con mejor infraestructura educativa en términos de acceso a servicios básicos y a internet. Por otra parte, los colegios de Áncash cuentan con mejor infraestructura que los ubicados en Junín, y en este caso las diferencias son bastante marcadas. Asimismo, de las tres regiones, Áncash es la que muestra una mayor proporción de docentes con título universitario. En línea con lo anterior, Lima es la que presenta los mejores resultados educativos medidos según la ECE. Específicamente, en el 2015, la mayor proporción de estudiantes de segundo grado de secundaria que alcanzaron un nivel satisfactorio en Comprensión Lectora y Matemática se concentraba en Lima. Asimismo, Junín reporta mejores resultados que Áncash. Cabe mencionar que, en las tres regiones, los rendimientos educativos han mejorado durante los últimos años, lo que se puede observar si se analiza la evolución de los resultados de la ECE en segundo grado de primaria, nivel para el cual se cuenta con información anual desde el 2007 (gráficos 5 y 6). En el caso de Junín, el rendimiento en Matemática ha mejorado de manera importante, a punto de estar a la par que Lima en el 2015. 20 Cambiando la mentalidad de los estudiantes Sin embargo, a pesar de estas mejoras, el porcentaje de alumnos que alcanza un nivel satisfactorio es aún bajo en las tres regiones, especialmente en Matemática. En conclusión, de las tres regiones, Lima es la más desarrollada en términos de condiciones de vida de la población, infraestructura educativa y resultados educativos. En el caso de Áncash y Junín las diferencias son menos marcadas. Por un lado, Junín muestra mejores resultados educativos que Áncash. Por otro lado, Áncash se caracteriza porque la infraestructura de sus escuelas públicas es superior y los hogares gozan de servicios básicos de mayor calidad. Si bien es importante tener en cuenta esta heterogeneidad regio- nal, cabe precisar que en el diseño muestral utilizado para fines del despliegue de EtM solo se tomaron en cuenta distritos considerados urbanos según la definición del Instituto Nacional de Estadística e Informática (INEI), y se excluyeron del universo de interés las es- cuelas ubicadas en el quintil de distritos menos pobres. Asimismo, el estudio se llevó a cabo únicamente en escuelas públicas. En la sección 6 se hace una comparación de las características de las escuelas y del rendimiento educativo de los estudiantes en estas tres regiones en la muestra de análisis. Cuadro 1 Contexto Características socioeconómicas, según región Características Áncash Junín Lima Total nacional Diferencias Lima-Áncash Lima-Junín Áncash-Junín Indicadores socioeconómicos Hogares en el ámbito urbano (%) 60% 65% 98% 76% 37 p. p.*** 33 p. p.*** -4 p. p.** Hogares pobres (%) 21% 15% 8% 18% -12 p. p.*** -7 p. p.*** 5 p. p.*** Hogares pobres extremos (%) 3% 3% 0% 3% -3 p. p.*** -2 p. p.*** 0 p. p. Gasto anual promedio de los hogares (S/.) 22 148 22 071 37 391 26 592 15 243*** 15 321*** 77 Índice de GINI 0,391 0,389 0,346 0,392 - - - Hogares con material de techo adecuado1/ (%) 81% 97% 94% 92% 13 p. p.*** -2 p. p.*** -15 p. p.*** Hogares con material de pared adecuado2/ (%) 41% 50% 89% 61% 48 p. p.*** 39 p. p.*** -10 p. p.*** Hogares con material de piso adecuado3/ (%) 56% 63% 92% 70% 37 p. p.*** 29 p. p.*** -8 p. p.*** Hogares con adecuado acceso a agua4/ (%) 91% 86% 93% 86% 1 p. p.* 7 p. p.*** 5 p. p.*** Hogares con adecuado acceso a desagüe5/ (%) 81% 82% 95% 83% 14 p. p.*** 13 p. p.*** 0 p. p. Hogares con adecuado acceso a electricidad6/ (%) 94% 91% 99% 94% 5 p. p.*** 8 p. p.*** 3 p. p.*** Número de miembros en el hogar 3,74 3,64 3,72 3,72 -0,02 0,08 0,10 Jefes de hogar con secundaria completa o superior (%) 38% 43% 67% 50% 30 p. p.*** 24 p. p.*** -6 p. p.*** Jefes de hogar que saben leer y escribir (%) 60% 66% 75% 64% 15 p. p.*** 9 p. p.*** -6 p. p.* Jefes de hogar cuya lengua nativa es español (%) 60% 67% 83% 74% 23 p. p.*** 16 p. p.*** -7 p. p.*** Desnutrición crónica infantil (%) 19% 21% 6% 14% -13 p. p.*** -15 p. p.*** -2 p. p. 21 22 Características Áncash Junín Lima Total nacional Diferencias Lima-Áncash Lima-Junín Áncash-Junín Hogares según región natural (%) Costa 46% 0% 98% 55% 52 p. p.*** 98 p. p.*** 46 p. p.*** Sierra 54% 75% 2% 34% -52 p. p.*** -73 p. p.*** -21 p. p.*** Selva 0% 25% 0% 12% 0 p. p.*** -25 p. p.*** -25 p. p.*** 1/ Techo de concreto, cemento, madera, tejas o planchas de calamina. 2/ Pared de ladrillo, cemento, piedra, sillar con cal o madera. 3/ Piso de parqué, madera pulida, láminas asfálticas, vinílicos, losetas, terrazos, madera o cemento. 4/ Acceso a red pública de agua, dentro o fuera de la vivienda, o a pilón de uso público. 5/ Acceso a red pública de desagüe, dentro o fuera de la vivienda, a letrina o a pozo séptico. 6/ Hogar alumbrado con electricidad. Nota: *** p<0,01; ** p<0,05; * p<0,10. Fuente: Encuesta Nacional de Hogares (Enaho) 2015, Encuesta Demográfica y de Salud Familiar (Endes) 2015. Cambiando la mentalidad de los estudiantes Contexto 23 Cuadro 2 Indicadores educativos, según región Características Áncash Junín Lima1/ Total nacional Indicadores de insumos educativos Gasto público en educación secundaria (S/. por alumno) 3026 3328 5445 3673 Gasto público en educación (% del gasto público) 25% 24% 10% 16% Colegios en buen estado (%) 15% 10% 25% 16% Colegios con acceso a agua potable (%) 82% 58% 90% 59% Colegios con acceso a red de desagüe (%) 76% 57% 95% 62% Colegios con acceso a red de electricidad (%) 86% 72% 94% 71% Colegios de secundaria con acceso a internet (%) 61% 49% 85% 60% Profesores de secundaria titulados (%) 90% 85% 78% 84% Número de alumnos por docente en secundaria 10 11 14 12 Resultados educativos Estudiantes con un nivel satisfactorio (%) Comprensión lectora, segundo de primaria 43% 52% 61% 50% Comprensión lectora, segundo de secundaria 11% 13% 24% 15% Matemática, segundo de primaria 25% 32% 29% 27% Matemática, segundo de secundaria 7% 12% 14% 10% Otros indicadores educativos Tasa de matrícula en secundaria (%) 90% 85% 88% 84% Tasa de repetición de grado en secundaria (%) 4% 3% 3% 3% Tasa de atraso escolar en secundaria (%) 16% 12% 5% 11% Resultados de la ECE 2015. 1/ En el caso de Lima, los resultados se refieren a Lima Metropolitana. Fuente: Portal web del Escale del Minedu. 24 Cambiando la mentalidad de los estudiantes Gráfico 5 Evolución del porcentaje de estudiantes de segundo de primaria que alcanzaron un nivel satisfactorio, según región (5a) Comprensión Lectora 70% 60% 50% 40% 30% 20% 10% 0% 2007 2008 2009 2010 2011 2012 2013 2014 2015 Áncash Junín Lima1/ (5b) Matemática 35% 30% 25% 20% 15% 10% 5% 0% 2007 2008 2009 2010 2011 2012 2013 2014 2015 Áncash Junín Lima1/ Solo Lima Metropolitana. 1/ Fuente: ECE 2015. 2. MARCO CONCEPTUAL a. Enfoque desde la Psicología EtM se fundamenta en la noción de las autoteorías de la inteligencia (Bandura y Dweck 1985, Dweck y Leggett 1988), que plantea que las personas conciben de dos maneras su propia inteligencia: algunas piensan que está dada y es inalterable, mientras que otras consideran que es maleable y puede ser mejorada mediante el esfuerzo. Bandura y Dweck denominan al primer tipo de autoteoría “mentalidad fija” (fixed mindset); y al segundo tipo, “mentalidad de crecimiento” (growth mindset). Las autoteorías de la inteligencia influyen en la manera en que las personas responden a los retos tanto en el ámbito académico como en el personal (Dweck y otros 1995, Dweck 2006). En forma específica, estos estudios encuentran que las personas con una “mentalidad de crecimiento” por lo general están interesadas en buscar situaciones en las que puedan aprender y, eventualmente, mejorar su inteligencia y su rendimiento académico. En cambio, las personas con un “mentalidad fija” suelen estar menos interesadas en buscar situaciones en las que pueden aprender. Asimismo, estudios recientes muestran que las autoteorías de la inteligencia de los estudiantes —en la escuela o en la universidad— son susceptibles de ser modificadas hacia una “mentalidad de creci- miento”, y que este cambio puede mejorar su motivación y esfuerzo, lo que, a su vez, puede tener un efecto sobre el rendimiento académico 26 Cambiando la mentalidad de los estudiantes (Blackwell y otros 2007, Paunesku y otros 2015, Yeager y otros 2014). Véase, en particular, Yeager y Walton (2011), quienes hacen una revi- sión de distintas intervenciones socioemocionales con asignación alea- toria llevadas a cabo en Estados Unidos con el objetivo de cambiar la mentalidad de estudiantes en escuelas públicas de bajos recursos, con predominancia de afroamericanos y latinos. Los instrumentos utiliza- dos son diferentes, pero en todos los casos implican llevar a cabo con los estudiantes actividades tendientes a inculcarles la idea de que la inteligencia es maleable. En uno de los primeros estudios, Mueller y Dweck (1998) traba- jaron con alumnos del nivel equivalente a primaria. Los autores mos- traron que resaltar el esfuerzo de los alumnos, en lugar de resaltar su inteligencia, mediante frases muy sencillas —por ejemplo, decir “Qué nota tan alta te sacaste, debes de haber trabajado muy duro para resol- ver estos problemas” en lugar de decir “Qué nota tan alta te sacaste, debes de ser muy inteligente para resolver estos problemas”—, tiene un impacto sobre su rendimiento en Matemática. Encontraron que los estudiantes cuya inteligencia fue resaltada resolvieron 30% menos problemas que aquellos cuyo esfuerzo fue resaltado. En un estudio directamente relacionado con EtM, Blackwell y otros (2007) trabajaron con estudiantes del nivel equivalente a secunda- ria. Los autores llevaron a cabo ocho sesiones de 25 minutos cada una (una por semana) en las cuales se les explicó a los estudiantes la ciencia del cerebro, en particular cómo las conexiones cerebrales crecen y las personas se hacen “más inteligentes” cuando se enfrentan a retos. Como parte de estas sesiones, se les pidió a los estudiantes que leyeran un bre- ve artículo llamado “You can grow your brain” (“Puedes hacer crecer tu inteligencia”), con evidencia científica a favor de la “mentalidad de crecimiento”. Posteriormente, se les pidió a los estudiantes pensar en ejemplos personales en los cuales hubiesen mejorado su desempeño en Marco conceptual 27 algo —por ejemplo, aprender a manejar bicicleta— mediante la prácti- ca constante. Finalmente, se les pidió que escribieran una carta dirigida a estudiantes menores que ellos en la que les explicaran los conceptos aprendidos. Las actividades posteriores a la lectura del artículo tuvieron como objetivo que el estudiante se autopersuadiera de los conceptos aprendidos, mediante un proceso de disonancia cognitiva (Aronson 1999). Hacia el fin del año académico, se detectó un incremento en el puntaje de Matemática de 0,23 desviaciones estándar. Good y otros (2003) introdujeron el concepto de “mentalidad de crecimiento” en escuelas públicas utilizando sesiones de mentoría de dos meses, así como mediante el intercambio de correos electrónicos con el mentor durante el año escolar. En este caso, hubo efectos positivos en Matemática en mujeres de alrededor de 0,20 desviaciones estándar. Aronson y otros (2002) desarrollaron una intervención similar, en la que enseñaron el concepto de “mentalidad de crecimiento” a estudiantes universitarios de primer año —en este caso, los mentores eran estudiantes de los últimos años—, y encontraron un impacto promedio de 0,29 desviaciones estándar en el puntaje final. Más recientemente, Paunesku y otros (2015) llevaron a cabo una sesión en línea de 45 minutos, durante la cual los estudiantes leyeron artículos científicos y escribieron cartas que reforzaban la idea de que la inteligencia es maleable. La sesión se llevó a cabo a inicios del año escolar. Hacia el final del semestre, la probabilidad de que los estudian- tes obtuvieran un puntaje satisfactorio en los cursos más importantes aumentó en 6,4 puntos porcentuales entre quienes habían obtenido menor rendimiento. A diferencia de los estudios previamente reseña- dos, que se llevaron a cabo con muestras pequeñas, este fue realizado a gran escala: se aplicó a 1594 estudiantes de 13 colegios socioeconómi- camente diversos. Un resumen detallado de todos los estudios reseña- dos en esta sección —y de otros similares— se reporta en el anexo 1. 28 Cambiando la mentalidad de los estudiantes b. Enfoque desde la economía de la educación La economía de la educación provee ciertos elementos teóricos para entender el potencial impacto de una intervención socioemocional en la formación de habilidades. En particular, se puede partir del mo- delo de Cunha y Heckman (2008). Este modelo plantea que, a lo lar- go del ciclo de vida, las personas desarrollan dos tipos de habilidades —habilidades cognitivas (SC) y habilidades no cognitivas (SN)— que se refuerzan entre sí. En la literatura, las habilidades no cognitivas también se conocen como habilidades socioemocionales (o psicosocia- les). El desarrollo de SC y SN depende de una serie de inversiones; por ejemplo, en calidad escolar, en tiempo dedicado al estudio, en actividades culturales, entre otras. El modelo se puede plantear de la siguiente manera para un periodo t dado: StC = f c (St-1C, St-1N, ItC, μtC) (1) StN = f N (St-1C, St-1N, ItN, μtN) (2) Donde ItC y ItN denotan inversiones en habilidades cognitivas y no cognitivas, respectivamente; μtC y μtN son errores de medición. Las ecuaciones describen un proceso acumulativo en el cual las habilidades se refuerzan a sí mismas (concepto denominado autoproductividad o self-productivity) y entre sí (productividad-cruzada o cross-productivity). Sobre la base de este marco conceptual, se plantea que la innovación EtM puede tener un impacto en la formación de habilidades mediante dos canales. Primero, vía su impacto en las inversiones no cognitivas; es decir, generando un cambio en ItN. Dicho de otra manera, tener una “mentalidad de crecimiento” puede llevar a una mejora de competencias socioemocionales (StN) tales como la motivación, la perseverancia, Marco conceptual 29 las aspiraciones y las expectativas. A su vez, este incremento en las competencias socioemocionales puede conducir a una mejora en habilidades cognitivas en el periodo t + 1 (St+1C), pues ambos tipos de habilidades se refuerzan entre sí. Segundo, EtM podría tener un efecto inmediato en habilidades cognitivas (StC) al afectar directamente ItC. Por ejemplo, el estudiante puede escoger invertir más en el desarrollo de sus habilidades cognitivas, estudiando más horas y/o estudiando con más calidad. Además de estos dos canales, es posible que EtM no solo cambie la actitud del estudiante hacia el estudio, sino también la actitud del docente hacia sus estudiantes. De producirse esto último, los docentes podrían modificar el nivel de inversión en habilidad cognitiva que reciben los estudiantes —más horas de clase y/o más calidad en las horas, cambios en la pedagogía, entre otros—, lo que reforzaría los efectos previamente mencionados. 3. DESCRIPCIÓN DE ¡EXPANDE TU MENTE! Como se menciona en la sección anterior, en la literatura se han desa- rrollado una serie de instrumentos con el fin de inculcar en los estu- diantes la “mentalidad de crecimiento”. En particular, en el estudio de Blackwell y otros (2007) se pidió a alumnos de secundaria que leyeran el artículo “You can grow your brain”, que contiene evidencia prove- niente de la neurociencia —tanto del mundo animal como de seres humanos— en la que se muestra que el cerebro es similar a un múscu- lo, y que la inteligencia puede crecer mediante la práctica constante. Una vez completada esta tarea, se pidió a los estudiantes que pensa- ran en ejemplos propios en los que ellos mismos se hubieran hecho más inteligentes, en cualquier esfera de la vida, gracias a la práctica constante. Asimismo, se les pidió que escribieran una carta, dirigida a estudiantes de menor edad, en la que les explicaran los conceptos aprendidos. El objetivo de estas actividades era que el estudiante se autopersuadiera de los conceptos aprendidos, mediante un proceso de disonancia cognitiva. Esta es la base de la innovación EtM implemen- tada en el Perú. Aunque hay otras formas de cambiar las percepciones sobre la formación de la inteligencia, la intervención basada en la lec- tura de un artículo científico tiene la virtud de ser de fácil implemen- tación y bajo costo, y, por lo tanto, es más sencillo masificarla. Asimismo, es importante hacer una mención especial al rol del docente. En el caso del Perú, la innovación se apoyó en el trabajo de los tutores-docentes, pues ellos fueron los encargados de llevar a cabo 32 Cambiando la mentalidad de los estudiantes las sesiones de EtM, cada uno con su sección de alumnos. Como se detalla a continuación, más allá de las instrucciones enviadas, no se les dio ninguna capacitación adicional. Por ello, el éxito de la innovación dependió en gran medida de la capacidad de los docentes para ejecutar la tarea solicitada con la información disponible. Seguidamente, se describe el paquete de EtM que fue enviado a los colegios asignados al grupo de tratamiento. Este paquete incluyó información dirigida tanto al director como a cada uno de los tutores- docentes en los grados relevantes. En el caso del director, se incluyó una carta en la que se presentaba la innovación —firmada por la Dirección de Educación Secundaria— y un anexo con un resumen de la innovación. En el caso del tutor-docente, se incluyó una carta de presentación muy similar, un conjunto de instrucciones y un anexo informativo. En las instrucciones se explicó el objetivo del estudio, así como los objetivos específicos de la sesión, y se describieron muy detalladamente las actividades que se debían realizar durante esta, incluyendo el tiempo que se debía dedicar a cada actividad. Por otra parte, en el anexo informativo se incluyó información adicional sobre la importancia de inculcar en los estudiantes una “mentalidad de crecimiento”. Como parte del paquete, cada tutor-docente recibió 30 copias del artículo “¿Sabías que puedes hacer crecer tu inteligencia?” y un póster con el eslogan “Ejercita tu mente. Mejora tu inteligencia”. El artículo es una traducción adaptada del trabajo “You can grow your brain”, que forma parte del paquete de materiales pedagógicos de Brainology.2 El texto está escrito con un lenguaje amigable, fácil de entender por adolescentes. Incluye ilustraciones y pequeñas imágenes de un simpático “cerebrito” que resume las ideas centrales. En el 2 Para su uso, se solicitó permiso a los investigadores que diseñaron Brainology, Carol Dweck y David Yeager. Descripción de ¡Expande tu Mente! 33 artículo hay mensajes específicos referidos a que cualquier estudiante, si practica mucho, puede mejorar su rendimiento en Matemática. La sesión de EtM fue diseñada para que se llevara a cabo durante las horas de tutoría semanal. La sesión debe durar 90 minutos. La descripción del contenido pedagógico de la sesión se presenta en el cuadro 3. Luego de una introducción motivacional a cargo del tutor- docente, los alumnos cuentan con aproximadamente 20 minutos para leer el artículo. Después de la lectura, el tutor les pide a los alumnos que respondan unas preguntas, primero de manera individual, luego grupalmente. Las preguntas están diseñadas para hacer reflexionar a los alumnos sobre los conceptos aprendidos. Hacia el final de la sesión, el tutor les pide a los alumnos que escriban una carta, dirigida a un amigo o familiar cercano, en la que le describan lo que aprendieron ese día. Las cartas deben ser entregadas al docente al final de la clase. Después de la sesión, el tutor-docente debe seleccionar las dos o tres mejores cartas escritas por los estudiantes, y mencionarlas en una sesión posterior. Luego, todas las cartas —no solo las mejores, sino todas— deben ser colgadas en un mural. Asimismo, en este momento tiene que colgarse o pegarse el póster. La idea es que tanto las cartas como el póster se queden en un lugar visible del salón hasta el final del año escolar, con el fin de contribuir a la memorabilidad de la sesión. Finalmente, se le pidió al tutor-docente que tomara una o más fotos con los alumnos, en las que pudieran verse tanto el póster colgado como las cartas. Esta(s) fotos(s) debía(n) ser enviada(s) a un correo electrónico señalado en las instrucciones. Cabe destacar que el envío de la foto cumplía la doble función de brindar una actividad de cierre de la sesión y, al mismo tiempo, verificar el cumplimiento de esta por parte de los docentes. Cada tutor-docente era responsable de enviar la foto de su sección. 34 Cambiando la mentalidad de los estudiantes Figura 1 Artículo de ¡Expande tu Mente! (extracto) Figura 2 Póster de ¡Expande tu Mente! Descripción de ¡Expande tu Mente! 35 Cuadro 3 Estructura de la sesión pedagógica ¡Expande tu Mente! Tiempo Procesos Estrategias / acciones efectivo (minutos) Introducción • Motivación a los estudiantes por parte del docente. 5 • Se reparte la lectura “Puedes hacer crecer tu inteligencia”. Lectura individual • Se pide a los estudiantes que lean el texto y piensen sobre las Preguntas de 20 Repaso • Se pide la respuesta correcta a las Preguntas de Repaso. Preguntas de repaso 5 • Se busca una solución rápida. Solo ante la duda se explica con más detalle. Debate grupal • Se divide a la clase en grupos de cuatro alumnos. 15 • Los estudiantes discuten en grupos sobre algunas Preguntas de Repaso • Se debate en la clase algunas Preguntas de Repaso. • Se pide a un grupo que dé su opinión sobre una pregunta, y luego se busca Debate abierto que haya debate sobre esa pregunta entre todos los alumnos. 15 • El profesor buscará hacer preguntas para fomentar el debate. Incluso puede hablar sobre sus propias experiencias. • Cada alumno debe escribir una carta individual sobre lo aprendido usando Escritura de las cartas ejemplos sobre los conceptos (del texto, del debate, experiencias propias). 20 • La carta debe estar dirigida a un amigo/compañero, pero no a los padres. Cabe destacar que los colegios de jornada escolar regular (JER) cuen- tan con una sesión de 45 minutos de tutoría por semana, por lo cual llevaron a cabo las actividades mencionadas durante dos sesiones: en la primera, la actividad principal era leer el artículo; y en la siguiente, redactar la carta. Asimismo, desde el 2015, el Minedu viene imple- mentando la jornada escolar completa (JEC), una política educativa que, entre otros aspectos, extiende la jornada escolar de 35 a 45 horas en el nivel secundaria. En el 2015, 1000 colegios a nivel nacional adoptaron esta política. De los 800 colegios de nuestra muestra, 132 eran de JEC en dicho año (43 en Áncash, 46 en Lima y 43 en Junín). En estos colegios, la sesión de tutoría semanal dura 90 minutos, por lo que todas las actividades previamente descritas podían llevarse a cabo en una sola sesión. 4. IMPLEMENTACIÓN DEL PILOTO DE ¡EXPANDE TU MENTE! a. Diseño muestral Se consideró como universo de interés el compuesto por los estudian- tes de primer y segundo grado de secundaria en instituciones educa- tivas de gestión pública ubicadas en sectores urbanos de las regiones de Áncash, Junín y Lima. Se seleccionaron estas tres regiones para cubrir zonas diversas del Perú —costa, sierra y selva—, así como para garantizar que el material de EtM llegara en forma oportuna y con- trolar adecuadamente los costos de entrega, considerando que toda la intervención fue liderada desde Lima. Sobre la base de este universo de escuelas, y con información del Censo Escolar 2014, se aplicaron los siguientes filtros: primero, se excluyó a las instituciones educativas ubicadas en los distritos del quintil inferior de pobreza —el quintil más rico— a nivel nacional. Segundo, se excluyó a las instituciones educativas con horario nocturno. Tercero, se excluyó a las escuelas con menos de 15 niños por grado. Según el Censo Escolar 2014, hay 946 instituciones educativas en este universo de interés —226 en Áncash, 211 en Junín y 509 en Lima—. De este universo, se consideró una muestra de 800 escuelas que fueron aleatoriamente seleccionadas para participar en el estudio. Dentro de la muestra de 800 instituciones educativas, se asignó EtM de forma aleatoria a 400 escuelas —grupo de tratamiento—, y las 400 escuelas restantes se asignaron a un grupo de control puro. 38 Cambiando la mentalidad de los estudiantes Para evitar que la asignación de tratamiento estuviera desbalanceada entre diferentes distritos de pobreza, así como entre diferentes regio- nes, la aleatorización se balanceó entre 12 estratos —3 regiones por 4 quintiles diferentes de pobreza—, según se reporta en el cuadro 4. Este balanceo no solo evita posibles sesgos en la aleatorización, sino que, a priori, también mejora el poder estadístico del componente ex- perimental (Bruhn y McKenzie 2008). Nótese que los bloques Lima y no-Lima tienen un tamaño similar —aproximadamente 400 escuelas en cada caso—. En la medida en que esta subdivisión maximiza el poder estadístico, se reportan resultados para estos dos bloques y, de manera complementaria, para cada una de las regiones por separado. Cuadro 4 Número de escuelas asignadas a ¡Expande tu Mente! según región y quintil de pobreza No-Lima (N=409) Lima (N=391) Total Áncash (N=206) Junín (N=203) Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Control 40 37 13 14 30 54 10 7 3 35 56 101 400 Tratados 39 38 12 13 31 53 11 7 3 36 56 101 400 Total 79 75 25 27 61 107 21 14 6 71 112 202 800 b. Prepiloto Previamente al estudio, se llevó a cabo un grupo focal con docentes de primer y segundo grado de secundaria de un colegio de jornada escolar regular en el distrito de San Juan de Lurigancho, departamento de Lima. Se les pidió su opinión sobre una versión preliminar de los Implementación del piloto de ¡Expande tu mente! 39 materiales desarrollados, incluyendo tanto el artículo “¿Sabías que puedes hacer crecer tu inteligencia?” como las instrucciones preparadas para los docentes. La reunión sirvió para ajustar los instrumentos, en particular en lo que se refiere a aspectos pedagógicos que se deben tener en cuenta para el desarrollo de la sesión de tutoría. Una vez revisados los materiales, en fecha posterior se llevó a cabo una sesión prepiloto de 90 minutos con alumnos de este mismo colegio —aproximadamente 40 alumnos de primer grado de secundaria—, a cargo de un docente que participó en el grupo focal. Luego de este prepiloto, se hizo una revisión final de los instrumentos, en particular de los tiempos asignados a cada una de las subactividades de la sesión. Asimismo, se recibieron e incorporaron comentarios del equipo técnico de MineduLAB y de la Dirección de Educación Secundaria del Minedu para la elaboración de estos instrumentos. c. Fase de implementación Los paquetes de EtM fueron preparados en GRADE durante la úl- tima semana de julio del 2015. Cada paquete se personalizó según el número de secciones de primer y segundo grado de secundaria re- portadas en el Censo Escolar 2014. Si el número de secciones por grado era impar, se redondeó al número par siguiente —por ejemplo, si eran tres secciones, se enviaba un paquete con material para cuatro secciones—. Se asumió un número de 30 estudiantes por sección. El envío de los paquetes a las instituciones educativas estuvo a cargo de una empresa courier, a la cual inicialmente solo se le proporcionó la información de contacto del colegio —nombre, dirección y distrito— disponible en la página web Escale del Minedu. Las entregas de los paquetes se llevaron a cabo entre agosto y setiembre del 2015. Si bien 40 Cambiando la mentalidad de los estudiantes la gran mayoría de entregas debió culminarse en agosto, se presenta- ron problemas con una cantidad importante de envíos debido a que la dirección del colegio disponible en Escale no era lo suficientemente precisa como para que el courier pudiera llegar. En estos casos, se tuvo que volver a realizar el envío. Para este segundo envío, se brindó al courier un mapa de cómo llegar a los colegios —creado a partir de información públicamente disponible—, así como los números tele- fónicos de las instituciones educativas, los cuales fueron obtenidos del Sistema de Información de Apoyo a la Gestión de la Institución Edu- cativa (Siagie) y de las unidades de gestión educativa local (UGEL) mediante el apoyo del equipo técnico del MineduLAB. A fin de verificar que (a) las instituciones educativas hubieran recibido el material, (b) que este estuviera en manos de los tutores- docentes, (c) que la sesión se llevara a cabo en las fechas establecidas y (d) que cada tutor-docente enviara la foto de su sección, entre se- tiembre y diciembre se trabajó con un equipo de telefonistas cuyo objetivo era monitorear estos aspectos. Al momento de comunicarse con los representantes de las instituciones educativas, se incidió en la importancia de que enviaran las fotos como prueba de que la sesión se hubiera realizado. Este proceso de monitoreo se complementó con el envío de correos electrónicos masivos a los directores, con mensajes recordatorios sobre la actividad. El costo de la innovación considerando la impresión de mate- riales, la preparación de los paquetes, el envío de estos a los colegios y el monitoreo telefónico se calcula en 0,2 USD por estudiante. Los principales costos fueron los asociados a la impresión del artículo, y al envío del paquete a las escuelas vía courier. Implementación del piloto de ¡Expande tu mente! 41 d. Resultados de la implementación De las 400 instituciones educativas seleccionadas para enviarles el paquete de EtM, 340 lo recibieron. Las razones de la no entrega fueron diversas. En 40 casos —27 en Lima, 12 en Junín y 1 en Áncash—, las escuelas estaban ubicadas en zonas alejadas, inaccesibles para el courier encargado de entregar los materiales, o se logró acceder a la escuela, pero el paquete fue rechazado o no se encontró con quién dejarlo. Asimismo, hubo 20 casos —15 en Lima, 4 en Junín y 1 en Áncash— de escuelas grandes —de entre 7 y 20 secciones por grado— que fueron excluidas a último minuto debido a restricciones presupuestarias. Si se considera el total de escuelas inicialmente seleccionadas para recibir el paquete de EtM, el 60% desarrolló al menos una sesión de EtM, y el 45% envió evidencia de haber llevado a cabo todas las sesiones en el segundo grado de secundaria (cuadro 5, bloque A). Las tasas más altas de cumplimiento se observan en Áncash, donde el 57% de escuelas asignadas al tratamiento realizaron todas las sesiones. Le siguen Junín y Lima, en ese orden. Si se considera solo aquellas instituciones que recibieron el paque- te, el 7% desarrolló al menos una sesión de EtM, y el 52% llevó a cabo todas las sesiones en el segundo grado de secundaria (cuadro 5, bloque B). Cabe destacar que incluso restringiendo solamente a aquellas escuelas que recibieron el paquete, las mayores tasas de cumplimiento se observan en Áncash (60%). Como dato de interés, es importante mencionar que un porcentaje no trivial de escuelas ubicadas en Junín -alrededor del 10%- señalaron que no tuvieron tiempo de celebrar las sesiones, pues estaban realizando otro programa de tutorías relacionado con la lucha contra el consumo de drogas, tema específico para la región de Junín. Por último, cabe mencionar que el tiempo de exposición de los alumnos a EtM —definido como el tiempo transcurrido entre la 42 Cuadro 5 Cumplimiento de las sesiones de ¡Expande tu Mente! Escuelas Escuelas que Escuelas que Escuelas que Escuelas que totales hicieron alguna enviaron alguna enviaron enviaron todas sesión foto (de primero alguna foto las fotos a segundo (de segundo (de segundo de secundaria) de secundaria) de secundaria) Bloque A: Asignadas al tratamiento Áncash 102 70% (71) 63% (64) 61% (62) 57% (58) Junín 102 60% (61) 56% (57) 52% (53) 42% (43) Lima 196 56% (109) 50% (98) 46% (91) 39% (77) Total 400 60% (241) 55% (219) 52% (206) 45% (178) Bloque B: Asignadas al tratamiento y que recibieron paquete de ¡Expande Tu Mente! Áncash 97 73% (71) 66% (64) 64% (62) 60% (58) Junín 89 69% (61) 64% (57) 60% (53) 48% (43) Lima 154 71% (109) 64% (98) 59% (91) 50% (77) Total 340 71% (241) 64% (219) 61% (206) 52% (178) Cambiando la mentalidad de los estudiantes Implementación del piloto de ¡Expande tu mente! 43 sesión de tutoría en que el tutor-docente introdujo EtM y la rendición de la ECE— fue relativamente corto, de 3 meses como máximo. Ello se debió a que, en el mejor de los casos, los paquetes llegaron a comienzos de agosto, y la ECE se realizó a mediados de noviembre. Según información obtenida mediante el monitoreo telefónico, el 29% de las escuelas contaron con un tiempo de exposición de 3 meses; el 58%, de 2 meses; y el 12%, de 1 mes o menos. El tiempo de exposición promedio fue de 2,2 meses. Por tal razón, los resultados corresponden a los impactos de corto plazo de la intervención. Cuadro 6 Tiempo de exposición* a ¡Expande tu Mente! en las escuelas que llevaron a cabo la sesión 3 meses 2 meses 1 mes 0 meses Total Áncash 30% 52% 14% 3% 100% Junín 48% 43% 8% 0% 100% Lima 19% 70% 10% 1% 100% Total 30% 58% 11% 1% 100% * El tiempo de exposición se refiere al tiempo transcurrido entre la realización de la sesión de tutoría de EtM y la fecha en que los estudiantes rindieron la ECE en el 2015. 5. ESTRATEGIA EMPÍRICA Tomando en consideración tanto la naturaleza experimental del estu- dio como la imperfección de su cumplimiento, se plantea un modelo de intento-de-tratar (ITT). Específicamente, se propone el siguiente modelo: Yi,j = α0 + α1Asig_ETMj + σd + εi,j (1) donde Yi,j representa el resultado del estudiante i de la institución edu- cativa j en la ECE, sea en Matemática o en Comprensión Lectora; la variable Asig_ETMj toma el valor de 1 si la institución educativa a la que asiste el estudiante fue asignada a EtM y 0 de otra manera. El co- eficiente de interés, α1, debe interpretarse como el impacto en el rendi- miento del estudiante de que la institución educativa a la que pertenece haya sido asignada al programa; es decir, α1 mide el intento-de-tratar a la escuela. σd es un efecto fijo de estrato —hay 12 estratos en el estudio, que se obtienen de considerar los cuatro quintiles de pobreza en cada uno de los tres departamentos—; finalmente, εi,j es el término de error. Se asume que los errores están correlacionados dentro de cada institu- ción educativa y se estiman errores estándar clusterizados en ese nivel. Dado que el cumplimiento de la innovación fue imperfecto, el modelo ITT planteado puede subestimar el impacto de EtM en las instituciones que llevaron a cabo las sesiones. Con el fin de obtener el impacto del programa para las instituciones educativas que llevaron a 46 Cambiando la mentalidad de los estudiantes cabo la sesión (local average treatment effect o LATE), se plantea tam- bién el siguiente modelo en dos etapas: Yi,j = β0 + β1 Sesión_ETMj + σd + ε1i,j (2) Sesión_ETMj = θ0 + θ1 Asig_ETMj + σd + ε2i,j (3) donde Sesión_ETMj toma el valor de 1 si todas las secciones del se- gundo grado de determinada institución educativa llevaron a cabo la sesión, y 0 de otra manera. Para fines estimativos, se considera que la institución llevó a cabo la sesión si envió las fotos de todas las sec- ciones de segundo de secundaria (cuadro 5). En este modelo, el co- eficiente de interés es β1, el cual mide el impacto del programa en las instituciones que, al recibir el material, llevaron a cabo las sesiones. Para la estimación del modelo, se cuenta con información de la ECE 2015 del segundo grado de secundaria para las escuelas asignadas al grupo de tratamiento y al grupo de control. El objetivo de la ECE es conocer qué y cuánto están aprendiendo los estudiantes con relación al currículo nacional para el grado correspondiente. La ECE 2015 evaluó competencias en Matemáticas y Comprensión Lectora. En principio, esta prueba debe ser administrada en todos los colegios del país, a to- dos los estudiantes del grado seleccionado. Se cuenta con el puntaje obtenido por cada estudiante en cada una de estas pruebas. Asimismo, a partir del puntaje obtenido, los estudiantes pueden ser calificados según su desempeño en uno de los siguientes grupos: “En inicio”, “En proceso” y “Satisfactorio”. En el grupo “En inicio”, el estudiante aún no logra alcanzar los aprendizajes esperados para el grado; en el grupo “En proceso”, el estudiante ha incorporado parcialmente los aprendi- zajes esperados, pero todavía enfrenta dificultades; y en el grupo “Satis- factorio”, los aprendizajes logrados son los esperados. Estrategia empírica 47 Para nuestro análisis, se consideran como variables resultado el puntaje del estudiante en las pruebas de Matemáticas y Comprensión Lectora. En ambos casos, el puntaje se estandariza para tener media 0 y varianza 1. Asimismo, se considera como variables-resultado que el estudiante haya alcanzado un rendimiento “Satisfactorio” o “En pro- ceso [de serlo]” en cada una de estas pruebas (1 de ser así y 0 de otra manera). Dado que una de estas 800 instituciones no participó en la ECE, se presentan estadísticas (y resultados) para 799. 6. RESULTADOS En el cuadro 7 se presentan pruebas de balanceo en las que se compa- ran las características promedio de las escuelas asignadas a los grupos de tratamiento y control. La fuente de información es el Censo Esco- lar 2015. Se consideran las siguientes dimensiones de comparación: (a) características generales, (b) tamaño de la escuela —número de secciones y número de alumnos en segundo de secundaria—, (c) in- fraestructura física —servicios básicos y equipamiento— y (d) acceso a programas sociales. No se encuentra diferencias sistemáticas, como era de esperarse dada la asignación aleatoria. Sin embargo, hay ligeros desbalances en algunas características; en particular, en el turno de atención del colegio, así como si el colegio es solo para mujeres. Respecto a las características de las escuelas por región (cuadro 8), como era de esperarse, se observan diferencias importantes. En general, la mayoría de escuelas de Lima se encuentra en los quintiles más ricos (3 y 4). Lo contrario ocurre en Áncash y Junín, donde la mayor parte de las escuelas se ubican en los quintiles más pobres (1 y 2). Las escuelas de Lima son también considerablemente más grandes en términos de número de secciones y de alumnos. Además, tienen un mayor ratio de alumnos por clase. Áncash y Junín son similares en estos aspectos. Las escuelas en Áncash y Junín están ubicadas en dis- tritos con una alta penetración del programa Juntos, lo que confirma que son distritos en su mayoría pobres. Asimismo, el 15% de escuelas de Junín se ubican en el valle de los ríos Apurímac, Ene y Mantaro 50 Cambiando la mentalidad de los estudiantes Cuadro 7 Comparación de instituciones educativas seleccionadas para ¡Expande tu Mente! según asignación al tratamiento Características Control (N=399) Tratados (N=400) Bloque A: Características generales Según turno de atención (%) Mañana 58% 62% Tarde 18% 21% Mañana-tarde 24% 17%** Según tipo de colegio (%) Hombres 1% 2% Mujeres 1% 3%* Mixto 97% 96% Según idioma de enseñanza (%) No bilingüe 97% 97% Bloque B: Tamaño de la escuela (solo segundo de secundaria) Según número de secciones (%) Una sección 35% 35% Dos secciones 23% 26% Tres secciones 17% 11% Cuatro secciones 7% 11% Cinco secciones 7% 8% Seis o más secciones 11% 10% Según número de alumnos (%) Menos de 40 alumnos 45% 47% Entre 41 y 80 alumnos 26% 24% Entre 81 y 120 alumnos 10% 13% Entre 121 y 160 alumnos 9% 7% Más de 160 alumnos 10% 9% Número de alumnos por sección 22 22 Bloque C: Infraestructura física Tenencia de laboratorio de ciencias (%) 68% 68% Tenencia de biblioteca (%) 74% 76% Tenencia de computadoras operativas (%) 98% 95%** Acceso a red pública de electricidad (%) 99% 97%* Acceso a red pública de agua (%) 91% 91% Acceso a red pública de desagüe (%) 86% 85% Resultados 51 Características Control (N=399) Tratados (N=400) Bloque D: Acceso a programas sociales Juntos (%) 30% 27% Crecer (%) 62% 60% VRAEM (%) 3% 5% Nota: *** p < 0,01; ** p < 0,05; * p < 0,10. Solo se comparan las características de la infraestructura escolar entre tratados y control. Fuentes: ECE 2015 y Censo Escolar 2015. (VRAEM), zona del país con alta presencia de cultivo de coca y nar- cotráfico. En términos de infraestructura física, en las tres regiones se obser- van características similares en términos de acceso a electricidad y com- putadoras. Asimismo, en general hay pocas diferencias entre Lima y Áncash en lo que se refiere al acceso a servicios básicos y equipamiento. Sin embargo, en comparación con las de Lima y Áncash, las escuelas de Junín se encuentran rezagadas en el acceso al agua y desagüe, así como en la tenencia de laboratorios de ciencia y bibliotecas. Finalmente, se debe notar que la submuestra de Áncash se carac- teriza por obtener los puntajes más bajos en la ECE. La submuestra de Lima presenta los resultados más altos en Comprensión Lectora, mientras que en Matemática los resultados de Lima y Junín son muy parejos. Asimismo, en las tres regiones los puntajes en Matemática son más bajos que los puntajes en Comprensión Lectora.   a. Resultados principales Los resultados principales de EtM se presentan en el cuadro 9. En primer lugar, se reportan resultados para la muestra total y para las submuestras de Lima y no-Lima (Áncash-Junín), lo que permite maximizar la 52 Cuadro 8 Comparación de las instituciones educativas seleccionadas para ¡Expande tu Mente! según región Características Áncash (N=206) Junín (N=202) Lima (N=391) Diferencias Lima-Áncash Lima-Junín Áncash-Junín Bloque A: Características generales Según quintil de pobreza En quintil 1 y 2 75% 83% 20% -55 p. p.*** -63 p. p.*** -8 p. p.* En quintil 3 y 4 25% 17% 80% 55 p. p.*** 63 p. p.*** 8 p. p.* Según turno del colegio Mañana 78% 85% 38% -40 p. p.*** -47 p. p.*** -6 p. p.* Tarde 14% 5% 30% 16 p. p.*** 25 p. p.*** 9 p. p.*** Mañana-tarde 8% 10% 32% 24 p. p.*** 22 p. p.*** -2 p. p. Según tipo de colegio Hombres 0% 3% 1% 1 p. p.** -2 p. p. -3 p. p.** Mujeres 0% 6% 1% 1 p. p.** -5 p. p.*** -6 p. p.*** Mixto 100% 91% 97% -3 p. p.*** 6 p. p.*** 9 p. p.*** Según idioma de enseñanza del colegio No bilingüe 95% 93% 100% 5 p. p.*** 7 p. p.*** 2 p. p. Bloque B: Tamaño de la escuela (solo segundo de secundaria) Según número de secciones (%) Una sección 46% 49% 22% -24 p. p.*** -27 p. p.*** -3 p. p. Dos secciones 28% 24% 23% -5 p. p. -1 p. p. 4 p. p. Tres secciones 10% 7% 20% 10 p. p.*** 13 p. p.*** 3 p. p. Cuatro secciones 5% 7% 12% 7 p. p.*** 5 p. p.** -2 p. p. Cambiando la mentalidad de los estudiantes Características Áncash (N=206) Junín (N=202) Lima (N=391) Diferencias Lima-Áncash Lima-Junín Áncash-Junín Resultados Cinco secciones 5% 6% 9% 4 p. p.* 3 p. p. -1 p. p. Seis o más secciones 6% 7% 14% 8 p. p.*** 7 p. p.*** -1 p. p. Según número de alumnos (%) Menos de 40 alumnos 63% 61% 29% -34 p. p.*** -32 p. p.*** 2 p. p. Entre 41 y 80 alumnos 20% 16% 33% 13 p. p.*** 17 p. p.*** 4 p. p. Entre 81 y 120 alumnos 7% 8% 16% 9 p. p.*** 8 p. p.*** -1 p. p. Entre 121 y 160 alumnos 5% 5% 10% 5 p. p.*** 5 p. p.** 0 p. p. Más de 160 alumnos 5% 8% 12% 7 p. p.*** 4 p. p. -3 p. p. Número de alumnos por sección 21 21 24 3*** 3*** 0 Bloque C: Infraestructura física Tenencia de laboratorio de ciencias (%) 77% 52% 73% -4 p. p. 22 p. p.*** 26 p. p.*** Tenencia de biblioteca (%) 87% 66% 73% -14 p. p.*** 7 p. p.* 21 p. p.*** Tenencia de computadoras operativas (%) 97% 94% 98% 0 p. p. 4 p. p.** 4 p. p.* Acceso a red pública de electricidad (%) 99% 94% 99% 1 p. p. 5 p. p.*** 4 p. p.** Acceso a red pública de agua (%) 96% 87% 91% -4 p. p.** 5 p. p. 9 p. p.*** Acceso a red pública de desagüe (%) 93% 67% 91% -2 p. p. 23 p. p.*** 26 p. p.*** Bloque D: Acceso a programas sociales Juntos (%) 55% 56% 0% -55 p. p.*** -56 p. p.*** -1 p. p. Crecer (%) 54% 58% 66% 12 p. p.*** 9 p. p.** -4 p. p. VRAEM (%) 0% 14% 0% 0 p. p. -14 p. p.*** -14 p. p.*** Bloque E: Resultados educativos Rendimiento educativo en Comprensión Lectora Puntaje (base 500) 544 553 566 22*** 13*** -9*** 53 54 Características Áncash (N=206) Junín (N=202) Lima (N=391) Diferencias Lima-Áncash Lima-Junín Áncash-Junín Niños en nivel satisfactorio (%) 8% 9% 12% 4 p. p.*** 3 p. p.*** -1 p. p.*** Rendimiento educativo en Matemática 0 p. p. 0 p. p. 0 p. p. Puntaje (base 500) 534 550 547 13*** -3*** -16*** Niños en nivel satisfactorio (%) 5% 8% 6% 1 p. p.*** 2 p. p.*** -3 p. p.*** Nota: *** p < 0,01; ** p < 0,05; * p < 0,10. Fuentes: ECE 2015 y Censo Escolar 2015. Cambiando la mentalidad de los estudiantes Resultados 55 potencia estadística según el diseño muestral —los bloques Lima y no-Lima son de similar tamaño en términos del número de escuelas asignadas a tratamiento y control—. Considerando los resultados del intento-de-tratar (cuadro 9, bloque A), EtM tuvo un impacto positivo en el rendimiento de los estudiantes en Matemática en la muestra total. Específicamente, pertenecer a una escuela asignada a EtM lleva a un aumento en el puntaje de Matemática del estudiante de 0,05 desviaciones estándar (d. e.), así como a un incremento de 1,9 puntos porcentuales (p. p.) en la probabilidad de que el estudiante se ubique en la categoría “Satisfactorio” o “En proceso” de ser satisfactorio. Ambos resultados son estadísticamente significativos al 10%. En el caso del puntaje en comprensión lectora, los coeficientes hallados son similares —por ejemplo, el coeficiente que mide la asignación a EtM sobre el puntaje en comprensión lectora es de 0,04 d. e.—, pero no son estadísticamente significativos en la muestra agregada. Al desagregar los resultados distinguiendo entre las submuestras de Lima y no-Lima, se encuentra que en la submuestra de Lima la asignación a EtM no logra ningún impacto ni en Matemática ni en Comprensión Lectora. En la submuestra no-Lima, la asignación a EtM lleva a un aumento en el puntaje de Matemática y Comprensión Lectora —de 0,14 d. e. y 0,09 d. e., respectivamente—, así como a un aumento en la probabilidad de obtener un puntaje “Satisfactorio” o “En proceso” de ser satisfactorio: de 4,5 p. p. en Matemática y 3,5 p. p. en Compresión Lectora. Asimismo, se reportan resultados del efecto promedio del tra- tamiento para aquellas instituciones educativas que llevaron a cabo todas las sesiones (LATE) (cuadro 9, bloque B). Los resultados son similares en términos cualitativos, pero la magnitud de los impactos es sustancialmente mayor. En la muestra total, el impacto de EtM es de 0,15 d. e. en Matemática, mientras que en Comprensión Lectora no se detectan impactos estadísticamente significativos (el coeficiente 56 Cambiando la mentalidad de los estudiantes es de 0,11 d. e.). Al desagregar la muestra, al igual que en el caso de ITT se encuentra que los efectos se concentran en la submuestra de no-Lima, donde el impacto de EtM en las escuelas que llevaron a cabo todas las sesiones en Matemática y Comprensión Lectora es de 0,35 d. e. y 0,23 d. e. (respectivamente), y la probabilidad de obtener un puntaje “Satisfactorio” o “En proceso” en estas materias aumenta en 11,4 p. p. y 9,1 p. p. (respectivamente). Ninguno de estos efectos es detectado en la submuestra de Lima, donde los coeficientes de interés siguen siendo cercanos a 0. Como se menciona al inicio de esta sección, existe un ligero des- balance entre las escuelas asignadas y no asignadas a EtM. Por ello, en el cuadro 10 se reportan los resultados controlados por las caracte- rísticas generales de las escuelas: si la escuela es solo para estudiantes de sexo masculino, solo de sexo femenino, o mixta; si la escuela es de turno mañana, tarde, o si tiene ambos turnos; y si la escuela pertenece al programa de educación intercultural bilingüe. Los resultados son muy similares: los coeficientes hallados se mantienen prácticamente invariables. Asimismo, como un ejercicio de robustez, en el anexo 2 se presentan resultados adicionales; de la muestra se excluyen aquellas escuelas que no recibieron el paquete de EtM por dificultades en el envío, relacionadas principalmente con obstáculos en el acceso geo- gráfico. Para mantener la comparabilidad, en este caso se excluyen del grupo de control a las escuelas ubicadas en las mismas áreas en que estaban las escuelas tratadas a las que no se pudo llegar. Siguiendo esta estrategia, se obtienen resultados prácticamente iguales que los mos- trados en los cuadros 9 y 10. En el cuadro 11 se reportan resultados equivalentes utilizando puntajes promedio en el nivel de escuelas, en lugar de puntajes en el nivel de estudiantes. Dado que las escuelas son la unidad de trata- miento, es factible reportar los resultados de esta manera. El panel A Resultados 57 reporta los resultados sin controles; y el panel B, los resultados con controles en el nivel de colegios (equivalentes a los cuadros 9 y 10). Se obtienen resultados cualitativamente similares, pero los coeficientes son aún de mayor magnitud. Considerando los resultados del panel B, la asignación a EtM incrementa el puntaje promedio del colegio en Matemática en 0,12 desviaciones estándar en la muestra total, y en 0,23 desviaciones estándar en la submuestra de no-Lima. El efecto promedio del tratamiento entre los tratados es de 0,27 desviaciones estándar en el total de la muestra, y de 0,46 en no-Lima.3 b. Posibles mecanismos A fin de entender los mecanismos mediante los cuales la innovación llevó a una mejora en el rendimiento de los estudiantes, hacemos uso de la información complementaria disponible en el cuestionario di- rigido al estudiante de la ECE. De manera general, hay dos posibles canales. Por el lado de los estudiantes, si EtM tuvo éxito en cambiar su autoteoría de aprendizaje hacia una “mentalidad de crecimiento”, esto podría llevar a que ellos tengan una percepción más elevada de sus propias capacidades y de los logros que pueden alcanzar, lo que, a su vez, podría conducir a un cambio en sus comportamientos. Por otro lado, la innovación podría haber afectado la manera en que el docente interactúa con sus estudiantes. Un docente que al inicio del proceso te- nía una “mentalidad fija” posiblemente no invertirá demasiado tiempo 3 La diferencia en los coeficientes estandarizados cuando se utiliza el puntaje promedio de las escuelas —en lugar del puntaje de los estudiantes— puede deberse a tres razones. Pri- mero, al trabajar con puntajes promedio de la escuela no se toma en cuenta posibles im- pactos heterogéneos dentro de cada escuela. Segundo, se les da el mismo peso a todas las escuelas, independientemente del número de alumnos. Tercero, la varianza de puntajes a nivel de escuelas es más pequeña que la varianza de puntajes a nivel de estudiantes. 58 Cuadro 9 Principales resultados Matemática Comprensión lectora Rendimiento satisfactorio Rendimiento satisfactorio Puntaje en la ECE Puntaje en la ECE Ámbito de intervención o en proceso de serlo o en proceso de serlo Coef. Coef. Puntaje Promedio Coef. Puntaje Promedio Coef. Bruto Estandarizado Bruto Estandarizado promedio (en %) promedio (en %) (I) (II) (III) (IV) (V) (VI) 3,467* 0,054* 0,019** 2,532 0,04 0,015 Total 544 (-1,908) (-0,030) 18% (-0,010) 558 (-1,799) (-0,028) 34% (-0,012) [54 510] [54 510] [54 510] [54 526] [54 526] [54 526] 0,071 0,001 0,003 0,503 0,008 0,002 Bloque A: ITT Lima 547 (-2,259) (-0,035) 19% (-0,011) 566 (-2,275) (-0,036) 38% (-0,015) [32 810] [32 810] [32 810] [32 826] [32 826] [32 826] 8,643*** 0,135*** 0,045*** 5,625* 0,088* 0,035** No-Lima 539 (-3,280) (-0,051) 16% (-0,016) 546 (-2,892) (-0,045) 27% (-0,018) [21 700] [21 700] [21 700] [21 700] [21 700] [21 700] 9,819* 0,153* 0,055** 7,17 0,112 0,043 Total 544 (-5,548) (-0,086) 18% (-0,028) 558 (-5,203) (-0,081) 34% (-0,033) [54 510] [54 510] [54 510] [54 526] [54 526] [54 526] 0,216 0,003 0,009 1,532 0,024 0,006 Lima 547 (-6,878) (-0,107) 19% (-0,035) 566 (-6,948) (-0,109) 38% (-0,046) Bloque B: LATE [32 810] [32 810] [32 810] [32 826] [32 826] [32 826] 22,143** 0,345** 0,114** 14,409* 0,225* 0,091* No-Lima 539 (-8,995) (-0,140) 16% (-0,045) 546 (-7,776) (-0,122) 27% (-0,048) [21 700] [21 700] [21 700] [21 700] [21 700] [21 700] Nota: Se reportan los promedios para el grupo de control. Todas las estimaciones son obtenidas por MCO. Se incluyen como controles efectos fijos para los 12 estratos (modelo base). Entre paréntesis se reporta el error estándar —clusterizado en el nivel de escuelas—; y entre corchetes, el número de observaciones. *** p < 0,01, ** p < 0,05, * p < 0,1. Cambiando la mentalidad de los estudiantes Cuadro 10 Principales resultados, controlando por características de la escuela Resultados Matemática Comprensión Lectora Rendimiento satisfactorio Rendimiento satisfactorio Puntaje en la ECE Puntaje en la ECE Ámbito de intervención o en proceso de serlo o en proceso de serlo Coef. Coef. Puntaje Promedio Coef. Puntaje Promedio Coef. Bruto Estandarizado Bruto Estandarizado promedio (en %) promedio (en %) (I) (II) (III) (IV) (V) (VI) 3,315* 0,052* 0,018* 2,608 0,041 0,014 Total 544 (-1,810) (-0,028) 18% (-0,009) 558 (-1,695) (-0,026) 34% (-0,011) [54 510] [54 510] [54 510] [54 526] [54 526] [54 526] 0,199 0,003 0,003 0,71 0,011 0,003 Bloque A: ITT Lima 547 (-2,098) (-0,033) 19% (-0,011) 566 (-2,166) (-0,034) 38% (-0,014) [32 810] [32 810] [32 810] [32 826] [32 826] [32 826] 7,900** 0,123** 0,040** 5,532** 0,087** 0,034** No-Lima 539 (-3,171) (-0,049) 16% (-0,016) 546 (-2,713) (-0,042) 27% (-0,017) [21 700] [21 700] [21 700] [21 700] [21 700] [21 700] 9,502* 0,148* 0,050* 7,477 0,117 0,041 Total 544 (-5,338) (-0,083) 18% (-0,027) 558 (-4,973) (-0,078) 34% (-0,032) [54 510] [54 510] [54 510] [54 526] [54 526] [54 526] 0,608 0,009 0,009 2,174 0,034 0,009 Lima 547 (-6,435) (-0,100) 19% (-0,033) 566 (-6,674) (-0,104) 38% (-0,043) Bloque B: LATE [32 810] [32 810] [32 810] [32 826] [32 826] [32 826] 21,016** 0,327** 0,107** 14,714** 0,230** 0,089* No-Lima 539 (-8,966) (-0,140) 16% (-0,045) 546 (-7,505) (-0,117) 27% (-0,047) [21 700] [21 700] [21 700] [21 700] [21 700] [21 700] Nota: Se reportan los promedios para el grupo de control. Todas las estimaciones son obtenidas por MCO. Se incluyen como controles efectos fijos según estrato y características generales de la escuela: si la escuela es solo para estudiantes de sexo masculino, solo para estudiantes de sexo femenino o mixta; si la escuela es de turno mañana o tarde, o si ofrece ambos turnos; y si la escuela pertenece al programa de educación intercultural bilingüe. Entre paréntesis se reporta el error estándar —clusterizado a nivel de escuelas—; y entre corchetes, el número de observaciones. *** p < 0,01, ** p < 0,05, * p < 0,1. 59 60 Cuadro 11 Principales resultados en el nivel de escuelas Sin controles Con controles Matemática Comprensión Lectora Matemática Comprensión Lectora Ámbito de intervención Coef. Coef. Coef. Coef. Bruto Estandarizado Bruto Estandarizado Bruto Estandarizado Bruto Estandarizado (I) (II) (III) (IV) (V) (VI) (VII) (VIII) 2,869 0,107 2,114 0,076 3,208* 0,119* 2,415 0,087 Total (1,777) (0,066) (1,600) (0,057) (1,727) (0,064) (1,540) (0,055) [799] [799] [799] [799] [799] [799] [799] [799] 0,188 0,007 1,038 0,037 0,302 0,011 1,088 0,039 Bloque A: ITT Lima (2,014) (0,075) (1,919) (0,069) (2,020) (0,075) (1,919) (0,069) [391] [391] [391] [391] [391] [391] [391] [391] 5,439* 0,202* 3,146 0,113 6,094** 0,227** 3,808 0,137 No-Lima (2,896) (0,108) (2,542) (0,091) (2,789) (0,104) (2,394) (0,086) [408] [408] [408] [408] [408] [408] [408] [408] 6,444 0,240 4,749 0,170 7,258* 0,270* 5,463 0,196 Total (3,964) (0,147) (3,576) (0,128) (3,874) (0,144) (3,460) (0,124) [799] [799] [799] [799] [799] [799] [799] [799] 0,478 0,018 2,642 0,095 0,771 0,029 2,774 0,099 Lima (5,096) (0,190) (4,869) (0,175) (5,093) (0,189) (4,853) (0,174) Bloque B: LATE [391] [391] [391] [391] [391] [391] [391] [391] 10,981* 0,408* 6,351 0,228 12,485** 0,464** 7,802 0,280 No-Lima (5,765) (0,214) (5,084) (0,182) (5,600) (0,208) (4,832) (0,173) [408] [408] [408] [408] [408] [408] [408] [408] Nota: Todas las estimaciones son obtenidas por MCO, e incluyen efectos fijos según estrato. En el panel B se controla, además, por características generales de la escuela: si la escuela es solo para estudiantes de sexo masculino, solo para estudiantes de sexo femenino o mixta; si es de turno mañana, tarde, o si tiene ambos turnos; y si pertenece al programa de educación intercultural bilingüe. Entre paréntesis se reporta el error estándar; y entre corchetes, el número de escuelas. *** p < 0,01, ** p < 0,05, * p < 0,1. Cambiando la mentalidad de los estudiantes Resultados 61 en estudiantes de bajo rendimiento, pero si en él o ella se logra generar una “mentalidad de crecimiento”, podría cambiar sus actitudes hacia los alumnos de bajo rendimiento, así como sus estrategias pedagógicas. A partir de la información disponible en el cuestionario dirigi- do al estudiante de la ECE construimos un indicador para medir la expectativa educativa del estudiante. Además, construimos indicado- res para medir la autopercepción de los estudiantes sobre sus propias capacidades en Matemática y Comunicaciones. Los ítems utilizados para construir cada uno de estos indicadores se reportan en el anexo 3. En el caso de la autopercepción de las capacidades en Matemática y Comunicaciones, utilizamos como indicador el primer factor obte- nido a partir de la extracción de componentes principales de los ítems que corresponden a cada concepto. También se hace uso de este cuestionario para construir dos in- dicadores referidos a los docentes. Una limitación en este caso es que no contamos con información específica sobre el tutor-docente que llevó a cabo las sesiones, sino en general sobre los docentes que es- tán a cargo del alumno. Teniendo en cuenta esta limitación, a partir del autorreporte de los alumnos se obtiene un indicador que mide los esfuerzos pedagógicos de los docentes, y otro que mide su apoyo socioemocional (ver en el anexo 3 los ítems utilizados). En este caso también se utiliza como indicador el primer factor obtenido a partir de la extracción de componentes principales. Los posibles impactos de EtM en cada una de las dimensiones mencionadas se reportan en el cuadro 12. El resultado más interesante es el que muestra que EtM tuvo un impacto positivo en las expectativas educativas de los estudiantes. Es- pecíficamente, en la muestra total, pertenecer a una escuela asignada a la innovación EtM aumenta la probabilidad de que el estudiante as- pire a seguir educación superior universitaria en 1,4 p. p. Al igual que 62 Cuadro 12 Mecanismos Autopercepción Autopercepción Expectativa por educación superior Esfuerzo pedagógico de Apoyo socioemocional acerca de la acerca de la universitaria los docentes de los docentes capacidad matemática capacidad lectora Expectativa (I) (II) (III) (IV) (V) promedio (a) (b) (a) (b) (a) (b) (a) (b) (a) (b) 0,011* 0,014** -0,002 -0,003 -0,008 -0,004 0,03 0,028 0,012 0,009 Total 80% (-0,006) (-0,006) (-0,016) (-0,016) (-0,017) (-0,017) (-0,020) (-0,019) (-0,019) (-0,019) [51 896] [51 896] [48 890] [48 890] [48 914] [48 914] [44 464] [44 464] [47 661] [47 661] 0,007 0,008 -0,007 -0,006 -0,022 -0,019 0,037 0,037 0,014 0,014 Bloque A: ITT Lima 81% (-0,007) (-0,007) (-0,020) (-0,020) (-0,022) (-0,022) (-0,026) (-0,026) (-0,025) (-0,024) [30 899] [30 899] [29 192] [29 192] [29 151] [29 151] [26 471] [26 471] [28 515] [28 515] 0,018* 0,027*** 0,004 0 0,012 0,017 0,02 0,013 0,008 0,001 No-Lima 80% (-0,011) (-0,010) (-0,027) (-0,026) (-0,028) (-0,026) (-0,029) (-0,030) (-0,029) (-0,030) [20 997] [20 997] [19 698] [19 698] [19 763] [19 763] [17 993] [17 993] [19 146] [19 146] 0,032* 0,041** -0,007 -0,009 -0,024 -0,011 0,085 0,079 0,033 0,026 Total 80% (-0,018) (-0,018) (-0,045) (-0,046) (-0,048) (-0,048) (-0,056) (-0,056) (-0,053) (-0,054) [51 896] [51 896] [48 890] [48 890] [48 914] [48 914] [44 464] [44 464] [47 661] [47 661] 0,021 0,023 -0,021 -0,018 -0,067 -0,059 0,111 0,114 0,042 0,043 Bloque B: LATE Lima 81% (-0,023) (-0,022) (-0,061) (-0,061) (-0,065) (-0,066) (-0,081) (-0,080) (-0,075) (-0,075) [30 899] [30 899] [29 192] [29 192] [29 151] [29 151] [26 471] [26 471] [28 515] [28 515] 0,046 0,071** 0,011 0 0,03 0,044 0,052 0,034 0,022 0,002 No-Lima 80% (-0,029) (-0,030) (-0,068) (-0,071) (-0,072) (-0,069) (-0,075) (-0,080) (-0,075) (-0,080) [20 997] [20 997] [19 698] [19 698] [19 763] [19 763] [17 993] [17 993] [19 146] [19 146] Nota: Se reporta el promedio para el grupo de control. Todas las estimaciones se han obtenido por MCO. Los resultados de la columna (a) corresponden al modelo base —efectos fijos según estrato—, mientras que los de la columna (b) controlan, además, por las características generales de la escuela. Entre paréntesis se reporta el error estándar (clusterizado a nivel de escuelas); y entre corchetes, el número de observaciones. *** p < 0,01, ** p < 0,05, * p < 0,1. Cambiando la mentalidad de los estudiantes Resultados 63 en los casos anteriores, este resultado se explica por el impacto de la asignación a EtM en la submuestra de no-Lima. En este caso tampoco se halla un efecto en la submuestra de Lima, lo cual es consistente con los resultados anteriores. Por otro lado, no encontramos evidencia de que EtM haya influido en la autopercepción de las capacidades de los estudiantes en Matemática y Comunicaciones. Tampoco encontramos evidencia de un impacto en las actitudes del docente. Estos resultados no son del todo sorprendentes y podrían explicarse por el hecho de que el indicador utilizado no mide la percepción del estudiante sobre el tutor-docente —quien es la persona que podría haber cambiado su mentalidad—, sino sobre todos los docentes que interactúan con él, quienes no necesariamente están familiarizados con la innovación. 7. ANÁLISIS REGIONAL Los resultados hasta aquí mostrados distinguen entre los estudiantes de Lima y de fuera de Lima, en Áncash y Junín. Se reportan los resultados de esta manera a fin de maximizar la potencia estadística, pues la muestra de escuelas en Lima es similar en tamaño que las de Áncash y Junín juntas. Sin embargo, es importante entender hasta qué punto los resultados difieren por región. Estos resultados se reportan en los cuadros 13, 14 y 15. Lo que sugieren los resultados desagregados para las tres regiones es que los impactos se concentran en Áncash. Si se consideran el modelo base y el intento-de-tratar (cuadro 13, bloque A), en Áncash la asignación a EtM aumentó el puntaje en Matemática y Comprensión Lectora en 0,20 y 0,12 d. e. (respectivamente), e incrementó la probabilidad de que el estudiante se ubique en la categoría “satisfactoria” o “en proceso” de ser satisfactoria en ambas materias en 6,0 p. p. y 4,5 p. p. (respectivamente). En el caso de Junín, los coeficientes tienen el signo deseado en todos los casos. Sin embargo, ninguno de estos coeficientes es estadísticamente significativo. Considerando los impactos de la innovación solo en aquellas escuelas que llevaron a cabo todas las sesiones (cuadro 13, bloque B), en el caso de Áncash el impacto es sustancial: el efecto de la innovación en el puntaje de Matemática y Comprensión Lectora es de 0,44 y 0,25 d. e., respectivamente. En el caso de Junín, los coeficientes son de magnitud considerable, mas no estadísticamente significativos. Estos 66 Cuadro 13 Resultados principales, por región Matemática Comprensión lectora Rendimiento satisfactorio Rendimiento satisfactorio Puntaje en la ECE Puntaje en la ECE Ámbito de intervención o en proceso de serlo o en proceso de serlo Coef. Coef. Puntaje Promedio Coef. Puntaje Promedio Coef. Bruto Estandarizado Bruto Estandarizado promedio (en %) promedio (en %) (I) (II) (III) (IV) (V) (VI) 0,071 0,001 0,003 0,503 0,008 0,002 Lima 547 (-2,259) (-0,035) 19% (-0,011) 566 (-2,275) (-0,036) 38% (-0,015) [32 810] [32 810] [32 810] [32 826] [32 826] [32 826] 12,850*** 0,200*** 0,060*** 7,426** 0,116** 0,045** Bloque A: ITT Áncash 528 (-3,576) (-0,056) 12% (-0,016) 541 (-3,613) (-0,056) 24% (-0,022) [10 603] [10 603] [10 603] [10 603] [10 603] [10 603] 4,58 0,071 0,03 3,886 0,061 0,027 Junín 548 (-5,413) (-0,084) 20% (-0,028) 551 (-4,469) (-0,070) 29% (-0,027) [11 097] [11 097] [11 097] [11 097] [11 097] [11 097] 0,216 0,003 0,009 1,532 0,024 0,006 Lima 547 (-6,878) (-0,107) 19% (-0,035) 566 (-6,948) (-0,109) 38% (-0,046) [32 810] [32 810] [32 810] [32 826] [32 826] [32 826] 28,101*** 0,438*** 0,132*** 16,235* 0,254* 0,097* Áncash 528 (-10,024) (-0,156) 12% (-0,047) 541 (-9,225) (-0,144) 24% (-0,057) Bloque B: LATE [10 603] [10 603] [10 603] [10 603] [10 603] [10 603] 14,063 0,219 0,091 11,932 0,187 0,081 Junín 548 (-16,632) (-0,259) 20% (-0,086) 551 (-13,562) (-0,212) 29% (-0,083) [11 097] [11 097] [11 097] [11 097] [11 097] [11 097] Nota: Se reportan los promedios para el grupo de control. Todas las estimaciones han sido son obtenidas por MCO. Se incluyen como controles efectos fijos para los 12 estratos (modelo base). Entre paréntesis se reporta el error estándar —clusterizado en el nivel de escuelas—; y entre corchetes, el número de observaciones. *** p < 0,01, ** p < 0,05, * p < 0,1. Cambiando la mentalidad de los estudiantes Cuadro 14 Resultados principales, por región, controlando por características de la escuela Matemática Comprensión Lectora Rendimiento satisfactorio Rendimiento satisfactorio Puntaje en la ECE Puntaje en la ECE Análisis regional Ámbito de intervención o en proceso de serlo o en proceso de serlo Coef. Coef. Puntaje Promedio Coef. Puntaje Promedio Coef. Bruto Estandarizado Bruto Estandarizado promedio (en %) promedio (en %) (I) (II) (III) (IV) (V) (VI) 0,199 0,003 0,003 0,71 0,011 0,003 Lima 547 (-2,098) (-0,033) 19% (-0,011) 566 (-2,166) (-0,034) 38% (-0,014) [32 810] [32 810] [32 810] [32 826] [32 826] [32 826] 12,236*** 0,191*** 0,058*** 7,444** 0,116** 0,046** Bloque A: ITT Áncash 528 (-3,431) (-0,053) 12% (-0,016) 541 (-3,274) (-0,051) 24% (-0,020) [10 603] [10 603] [10 603] [10 603] [10 603] [10 603] 3,577 0,056 0,021 3,184 0,05 0,017 Junín 548 (-5,335) (-0,083) 20% (-0,028) 551 (-4,389) (-0,069) 29% (-0,028) [11 097] [11 097] [11 097] [11 097] [11 097] [11 097] 0,608 0,009 0,009 2,174 0,034 0,009 Lima 547 (-6,435) (-0,100) 19% (-0,033) 566 (-6,674) (-0,104) 38% (-0,043) [32 810] [32 810] [32 810] [32 826] [32 826] [32 826] 27,407*** 0,427*** 0,130*** 16,669* 0,261* 0,102* Áncash 528 (-9,889) (-0,154) 12% (-0,047) 541 (-8,638) (-0,135) 24% (-0,053) Bloque B: LATE [10 603] [10 603] [10 603] [10 603] [10 603] [10 603] 11,81 0,184 0,069 10,511 0,164 0,056 Junín 548 (-17,325) (-0,270) 20% (-0,090) 551 (-14,026) (-0,219) 29% (-0,091) [11 097] [11 097] [11 097] [11 097] [11 097] [11 097] Nota: Se reportan los promedios para el grupo de control. Todas las estimaciones han sido obtenidas por MCO. Se incluyen como controles los efectos fijos para los 12 estratos (modelo base). Entre paréntesis se reporta el error estándar —clusterizado en el nivel de escuelas—; y entre corchetes, el número de observaciones. *** p < 0,01, ** p < 0,05, * p < 0,1. 67 68 Cuadro 15 Mecanismos, por región Autopercepción Autopercepción Expectativa por educación superior Esfuerzo pedagógico de Apoyo socioemocional acerca de la acerca de la universitaria los docentes de los docentes capacidad matemática capacidad lectora Expectativa (I) (II) (III) (IV) (V) promedio (a) (b) (a) (b) (a) (b) (a) (b) (a) (b) 0,007 0,008 -0,007 -0,006 -0,022 -0,019 0,037 0,037 0,014 0,014 Lima 81% (-0,007) (-0,007) (-0,020) (-0,020) (-0,022) (-0,022) (-0,026) (-0,026) (-0,025) (-0,024) [30 899] [30 899] [29 192] [29 192] [29 151] [29 151] [26 471] [26 471] [28 515] [28 515] 0,048*** 0,050*** 0,090** 0,081** 0,022 0,015 0,073* 0,054 0,049 0,036 Bloque A: ITT Áncash 76% (-0,014) (-0,014) (-0,036) (-0,034) (-0,035) (-0,034) (-0,041) (-0,041) (-0,039) (-0,040) [10 200] [10 200] [9 528] [9 528] [9 566] [9 566] [8 655] [8 655] [9 203] [9 203] -0,011 0,004 -0,076** -0,077** 0,002 0,032 -0,03 -0,026 -0,03 -0,034 Junín 83% (-0,015) (-0,013) (-0,036) (-0,039) (-0,043) (-0,039) (-0,041) (-0,043) (-0,043) (-0,044) [10 797] [10 797] [10 170] [10 170] [10 197] [10 197] [9 338] [9 338] [9 943] [9 943] 0,021 0,023 -0,021 -0,018 -0,067 -0,059 0,111 0,114 0,042 0,043 Lima 81% (-0,023) (-0,022) (-0,061) (-0,061) (-0,065) (-0,066) (-0,081) (-0,080) (-0,075) (-0,075) [30 899] [30 899] [29 192] [29 192] [29 151] [29 151] [26 471] [26 471] [28 515] [28 515] 0,105** 0,113** 0,199** 0,185** 0,049 0,035 0,162* 0,121 0,108 0,081 Bloque B: LATE Áncash 76% (-0,042) (-0,044) (-0,086) (-0,085) (-0,079) (-0,077) (-0,091) (-0,096) (-0,087) (-0,092) [10 200] [10 200] [9 528] [9 528] [9 566] [9 566] [8 655] [8 655] [9 203] [9 203] -0,033 0,014 -0,232* -0,253* 0,006 0,104 -0,093 -0,085 -0,09 -0,111 Junín 83% (-0,047) (-0,043) (-0,125) (-0,151) (-0,131) (-0,126) (-0,133) (-0,148) (-0,136) (-0,151) [10 797] [10 797] [10 170] [10 170] [10 197] [10 197] [9 338] [9 338] [9 943] [9 943] Nota: Se reportan los promedios para el grupo de control. Todas las estimaciones han sido obtenidas por MCO. Se incluyen como controles los efectos fijos para los 12 estratos (modelo base). Entre paréntesis se reporta el error estándar —clusterizado en el nivel de escuelas—; y entre corchetes, el número de observaciones. *** p < 0,01, ** p < 0,05, * p < 0,1. Cambiando la mentalidad de los estudiantes Análisis regional 69 resultados y los del intento-de-tratar son muy similares cuando se controla por las características generales de la escuela (cuadro 14). En cuanto a los mecanismos (cuadro 15), en el caso de Áncash se observa un impacto positivo en las expectativas educativas y en la autopercepción de la capacidad del estudiante en Matemática. No se detectan impactos en la autopercepción de la capacidad en Comunica- ción ni en las actitudes de los docentes. En el caso de Junín no se en- cuentran impactos sobre expectativas educativas. Por otro lado, de ma- nera sorpresiva, en este caso encontramos una relación negativa entra la asignación a EtM y la autopercepción de la capacidad del estudiante en Matemática. No se detectan impactos en las otras dimensiones. 8. DISCUSIÓN DE LOS RESULTADOS Se encontró evidencia de que es posible mejorar el rendimiento educa- tivo mediante un cambio en la mentalidad de los estudiantes, especí- ficamente inculcando en ellos una “mentalidad de crecimiento”. Esto demuestra el potencial de las intervenciones socioemocionales para ac- tivar el potencial educativo de los estudiantes, particularmente en con- textos en los que su rendimiento es bajo. Es destacable que, habiendo transcurrido como máximo 3 meses entre la realización de las sesiones de tutoría de EtM y el momento en el cual los estudiantes rindieron la ECE (2,2 meses en promedio), EtM haya tenido un impacto de intento-de-tratar mayor o igual que 0,05 desviaciones estándar con un costo de intervención de 0,2 USD por estudiante. Asimismo, se debe enfatizar el rol que cumplieron los tutores-docentes, quienes fueron los encargados de llevar a cabo las sesiones de EtM en los colegios. EtM alcanzó un impacto mayor en Matemática que en Compren- sión Lectora. Cabe destacar que la intervención llegó a los estudiantes por intermedio de los tutores-docentes, quienes son de diversas espe- cialidades, y no se intentó llegar específicamente a los profesores de Matemática o de Lenguaje. Teniendo este dato en consideración, el hecho de que el impacto en Matemática haya sido más elevado puede deberse a varias razones. En primer lugar, el porcentaje de alumnos con un aprendizaje por debajo del esperado es mayor en Matemática que en Comprensión Lectora, tanto en el nivel nacional como en Áncash, Junín y Lima. En 72 Cambiando la mentalidad de los estudiantes la medida en que puede resultar más fácil alcanzar un impacto sobre los rendimientos cuando estos son bajos, se podrían explicar en parte los resultados de este estudio. En segundo lugar, es posible que los mensajes principales de EtM sean más fáciles de aplicar en el campo de la Matemática en el cor- to plazo, mientras que en el área de Comprensión Lectora requieran un mayor proceso de maduración. La evidencia internacional sugiere que la Matemática suele ser un campo en el que el docente presenta una mayor incidencia relativa en comparación con el de Comprensión Lectora, en el cual la influencia del hogar suele ser mayor (Marcotte 2007). Así, los estudiantes podrían haber contado con mayores herra- mientas para aplicar lo aprendido en el campo de la Matemática. En tercer lugar, es importante mencionar que el artículo “¿Sabías que puedes hacer crecer tu inteligencia?” incidía en la posibilidad de que, mediante la práctica, los estudiantes podrían alcanzar mejores resultados en Matemática, lo cual podría haber tenido una influencia en los ejemplos propuestos por los tutores-docentes y en la manera en que los alumnos interiorizaron el concepto de mentalidad de crecimiento. Los resultados se deben, probablemente, a una combinación de los tres factores mencionados, así como a otros procesos no observables en el aula y fuera de ella. Respecto a los mecanismos que actúan detrás de los efectos ha- llados, para este piloto solo se contó con un pequeño conjunto de variables para analizar a partir de la información disponible en el cuestionario de la ECE. El principal hallazgo es que EtM tuvo un impacto sobre las expectativas educativas de los estudiantes, pues las incrementó. Ello sugiere que otras competencias socioemocionales de los estudiantes podrían haber mejorado gracias a su exposición al pro- grama. En el caso de la autopercepción de los estudiantes respecto a Discusión de los resultados 73 sus propias capacidades, la evidencia no es del todo concluyente, pues en promedio no se encuentra un impacto; si bien se observa un im- pacto con el signo esperado en Áncash, sucede lo contrario en Junín. Es importante notar que hay una serie de mecanismos que podrían haberse puesto en marcha respecto a la motivación y los esfuerzos de los estudiantes, y que no son observables en los datos. Más aún, es po- sible que parte de los efectos hallados se deban no solo a un cambio en la mentalidad de los estudiantes, sino también a una transformación en la mentalidad de los tutores-docentes que recibieron el paquete y que desarrollaron la sesión. Ellos también podrían haber cambiado sus actitudes para con los alumnos y contribuido, así, a las mejoras observadas. Esto tampoco es observable. Destaca la heterogeneidad regional de los resultados. Los impactos fueron de magnitud importante en la submuestra de Áncash, mientras que en la submuestra de Lima los estimadores puntuales son cercanos a cero, y en la submuestra de Junín los impactos no son estadísticamente significativos. Si bien los impactos solo son detectables en Áncash, no se descarta del todo la ausencia de un impacto en Junín debido a la poca potencia estadística disponible para esta submuestra. Si uno observa los estimadores puntuales, en el caso de Junín la magnitud de los efectos está a medio camino entre Áncash (donde son altos) y Lima (donde son cercanos a cero). Más allá de lo anterior, existen algunas razones que podrían explicar que los impactos sean mayores en la submuestra de Áncash. En primer lugar, una razón directa es que el rendimiento en Matemática y Comprensión Lectora es más bajo en esta región. En la medida en que es más fácil mejorar el puntaje promedio cuando este es bajo, ello podría explicar en parte el resultado hallado. La otra cara de esta moneda es que no hubo un impacto en la submuestra de Lima, región donde los rendimientos son relativamente altos. 74 Cambiando la mentalidad de los estudiantes En segundo lugar, el porcentaje de escuelas que recibió el paquete de EtM fue mayor en esta región, lo que está relacionado con cuestiones logísticas, en particular con que en este caso hubo una mayor facilidad para llegar a las escuelas. Esto puede explicar los resultados, pero solo en parte. Específicamente, puede explicar los resultados hallados en el intento-de-tratar, pero no necesariamente los resultados del impacto de EtM en las escuelas que llevaron a cabo todas las sesiones. En tercer lugar, en el subgrupo de escuelas que recibieron el pa- quete, el porcentaje de las que llevaron a cabo todas las sesiones tam- bién fue mayor en Áncash, lo cual sugiere que las escuelas de esta región o bien tuvieron mayor tiempo disponible para realizar las se- siones o bien mayor interés en implementarlas, o ambos. Cabe men- cionar que el equipo de monitoreo telefónico prestó igual atención a las tres regiones. Respecto al tiempo disponible de las escuelas, los representantes de un porcentaje no trivial de las ubicadas en Junín mencionaron que no tuvieron tiempo de llevar a cabo las sesiones porque estaban desarrollando otro programa de tutorías. En cuanto al interés del director y de los tutores-docentes por llevar a cabo las se- siones, si bien es una posibilidad que este haya sido mayor en Áncash, no es directamente observable en los datos. En cuarto lugar, como las estadísticas descriptivas muestran, las escuelas de la submuestra de Áncash cuentan con mejor infraestructura básica que las de la submuestra de Junín, lo que podría haber facilitado la implementación de las sesiones, debido, por ejemplo, a la mayor disponibilidad de salones. Los factores anteriores podrían explicar, al menos parcialmente, por qué los impactos fueron mayores en la submuestra de Áncash. Sin embargo, no explican del todo por qué el impacto de la submuestra de Lima fue estadísticamente cero. Como se mencionó, una posibilidad es que es más difícil mejorar el rendimiento educativo en contextos en Discusión de los resultados 75 los que este es relativamente alto. Sin embargo, el rendimiento en Ma- temática de Junín y Lima es similar, y si bien en Junín no se detectan resultados estadísticamente significativos, los estimadores puntuales son de magnitud importante. Otra posibilidad de la ausencia de un resultado en Lima está relacionada con la estructura organizativa de las escuelas en esta región, la cual suele ser compleja debido a que son centros educativos de gran tamaño, con un alto número de secciones y de alumnos por salón. Las escuelas de la submuestra de Lima son considerablemente más grandes que las de Áncash y Junín. Es posible que, en estos contextos, el método de entrega y de comunicación con las escuelas no haya funcionado bien. En particular, en escuelas con un elevado número de secciones hay menos control sobre las labores llevadas a cabo por los tutores-docentes, tanto por parte del director como del coordinador de tutorías. Asimismo, en escuelas con un ma- yor ratio de alumnos por docente es más difícil llevar a cabo las sesio- nes de EtM, pues el elemento clave de estas es la lectura del artículo, tarea que puede ser más difícil de implementar en clases grandes. Si bien no es posible dilucidar de manera concluyente las razones que expliquen la heterogeneidad regional, la existencia de esta es in- teresante en sí misma y pone en evidencia, nuevamente, que el diseño de las intervenciones debe tener en cuenta las características del con- texto local. En particular, los resultados demuestran que si bien EtM tiene un amplio potencial, no hay una fórmula que garantice que esta intervención funcione en todos los contextos. 9. CONCLUSIONES Y RECOMENDACIONES El programa EtM se introdujo de manera aleatoria en una muestra de 800 escuelas públicas en Áncash, Junín y Lima. Los resultados de- muestran que hasta tres meses después de la intervención, EtM tuvo un impacto en el rendimiento académico de los estudiantes. Consi- derando nuestro resultado más conservador (intento-de-tratar), el im- pacto es de 0,05 desviaciones estándar en Matemática por una inver- sión de 0,2 USD por estudiante. Es decir, la innovación es altamente costo-efectiva. También se detectan impactos positivos en Compren- sión Lectora en el nivel subregional. Los resultados son robustos al cumplimiento imperfecto de la intervención, sea porque los paquetes no llegaron a ciertas escuelas o porque, ahí donde llegaron, el cumpli- miento de las sesiones de EtM fue imperfecto. En el nivel regional, los resultados más importantes se concentran en Áncash. En la otra cara de la moneda se encuentra Lima, donde el impacto fue nulo. Si bien es cierto que la proporción de paquetes de EtM enviados de manera exitosa a las escuelas fue mayor en Áncash, la facilidad para hacer llegar los paquetes en esta región solo puede explicar parcialmente los resultados hallados, pues si se restringe solo a aquellas escuelas donde el paquete fue entregado se observa que la tasa de cumplimiento —porcentaje de escuelas que llevaron a cabo todas las sesiones— fue también mayor en Áncash. Sugerimos que la heterogeneidad regional encontrada puede estar relacionada con aspectos tales como el tiempo e interés que hayan tenido los tutores 78 Cambiando la mentalidad de los estudiantes docentes en llevar a cabo las sesiones, y con características de las escuelas —tales como su estructura organizacional y tamaño— que están relacionadas. Asimismo, el rendimiento inicial de los alumnos también importa; en este caso, era más bajo en Áncash, lo que daba mayor margen para mejorar. Los hallazgos resaltan la importancia de invertir en competencias socioemocionales como medio para mejorar el rendimiento de los estudiantes. Más aún, se identifica a EtM como una intervención altamente costo-efectiva, y que es posible implementar en las escuelas públicas. El papel de los tutores-docentes fue fundamental, pues ellos llevaron a cabo las sesiones a partir de un set de instrucciones relativamente sencillo, y sin capacitación adicional. Frente a estos resultados, se abre una serie de posibilidades para aplicar EtM en una escala mayor. Sin embargo, para dar este paso es importante considerar también la heterogeneidad regional observada. Es claro que si se masificara esta versión de EtM, no necesariamente tendría impactos en todas las regiones. Por ello, será importante evaluar variantes de la intervención, a fin de poder entender cuál es la versión (o versiones) de EtM que tiene más sentido masificar. Relacionado con lo anterior, aún se necesita generar evidencia sobre la efectividad de EtM en distintos contextos: por ejemplo, según si el colegio es de jornada escolar completa o de jornada escolar regular, pequeño o grande, o está ubicado en zona urbana o rural. En línea con ello, actualmente se viene colaborando con el Minedu en variantes de EtM, lo que incluye el uso de material audiovisual para poder llegar a un espectro más amplio de estudiantes, por ejemplo, a los que tienen un menor nivel de comprensión lectora y/o un tipo de inteligencia más visual. Asimismo, se está desarrollando material para escuelas ubicadas en zonas rurales, y se está extendiendo el contenido para explicar con mayor detalle cómo los estudiantes pueden aplicar lo aprendido en Conclusiones y recomendaciones 79 el día a día de sus escuelas. Dado que EtM se está llevando a cabo en el marco de una colaboración con MineduLAB, un laboratorio de innovación instalado en el sector público, los resultados hallados alimentarán directamente la formulación de política pública. REFERENCIAS BIBLIOGRÁFICAS Aronson, Elliot (1999). The power of self-persuasion. American Psycho- logist, 54(11), 875-884. Aronson, Joshua; Carrie Fried y Catherine Good (2002). Reducing the effects of stereotype threat on African American college students by shaping theories of intelligence. Journal of Experi- mental Social Psychology, 38(2), 113-125. Bandura, M. y Carol Sorich Dweck (1985). The relationship of concep- tions of intelligence and achievement goals to achievement-related cognition, affect and behavior. Unpublished manuscript, Har- vard University. Blackwell, Lisa A.; Kali H. Trzesniewski y Carol Sorich Dweck (2007). Theories of intelligence and achievement across the junior high school transition: a longitudinal study and an intervention. Child Development, 78(1), 246-263. Bruhn, Miriam y David McKenzie (2008). In pursuit of balance: randomization in practice in development field experiments. American Economic Journal: Applied Economics, 1(4), 200-232. Cohen, Geoffrey L.; Julio García, Nancy Apfel y Allison Master (2006). Reducing the racial achievement gap: a social-psychological intervention. Science, 313(5791), 1307-1310. Cohen, Geoffrey L.; Julio García, Valerie Purdie-Vaughns, Nancy Apfel y Patricia Brzustoski (2009). Recursive processes in self- affirmation: intervening to close the minority achievement gap. Science, 324(5925), 400-403. 82 Cambiando la mentalidad de los estudiantes Cunha, Flavio y James J. Heckman (2008). Formulating, identifying and estimating the technology of cognitive and noncognitive skill formation. Journal of Human Resources, 43(4), 738-782. Dweck, Carol Sorich y Ellen L. Leggett (1988). A social-cognitive approach to motivation and personality. Psychological Review, 95(2), 256-273. Dweck, Carol Sorich; Chi Yue Chiu y Ying-yi Hong (1995). Implicit theories and their role in judgments and reactions: a word from two perspectives. Psychological inquiry, 6(4), 267-285. Dweck, Carol Sorich (2006). Mindset: the new psychology of success. Random House Incorporated. Evans, David y Anna Popova (2015). What really works to improve learning in developing countries?: an analysis of divergent findings in systematic reviews. Policy Research Working Paper, 7203. World Bank. Favara, Marta y Alan Sánchez (2017). Psychosocial competencies and risky behaviours in Peru. IZA Journal of Labor & Development, 6(3). Favara, Marta; Pablo Lavado y Alan Sánchez (2016). Understanding teenage fertility, cohabitation, and marriage: the case of Peru. Avances de Investigación, 22. Lima: GRADE. Glewwe, Paul y Karthik Muralidharan (2015). Improving school educa- tion outcomes in developing countries: evidence, knowledge gaps, and policy implications. Working Paper, 15/001. RISE. Good, Catherine; Joshua Aronson y Michael Inzlicht (2003). Improving adolescents’ standardized test performance: An intervention to reduce the effects of stereotype threat. Journal of Applied Developmental Psychology, 24(6), 645-662. Heckman, James; Jora Stixrud y Sergio Urzua (2006). The effects of cognitive and noncognitive abilities on labor market outcomes Referencias bibliográficas 83 and social behavior. Journal of Labour Economics, 24(3), 411- 482. Hulleman, Chris S. y Judith M. Harackiewicz (2009). Promoting in- terest and performance in high school science classes. Science, 326(5958), 1410-1412. Marcotte, Dave. E. (2007). Schooling and test scores: a mother-natural experiment. Economics of Education Review, 26(5), 629-640. Miyake, Akira; Lauren Kost-Smoth, Noah D. Finkelstein, Steven J. Pollock, Geoffrey L. Cohen y Tiffany A. Ito (2010). Reducing the gender achievement gap in college science: a classroom study of values affirmation. Science, 330(6008), 1234-1237. Mueller, Claudia y Carol Sorich Dweck (1998). Praise for intelligence can undermine children's motivation and performance. Journal of Personality and Social Psychology, 75(1), 33-52. Oyserman, Daphna; Deborah Bybee y Kathy Terry (2006). Possible selves and academic outcomes: how and when possible selves impel action. Journal of Personality and Social Psychology, 91(1), 188-204. Paunesku, David; Gregory M. Walton, Carissa L. Romero, Eric N. Smith, David S. Yeager y Carol Sorich Dweck (2015). Mindset interventions are a scalable treatment for academic underachievement. Psychological Science, 26(6), 784-793. Shnabel, Nurit; Valerie Purdie-Vaughns, Jonathan E. Cook, Julio García y Geoffrey L. Cohen (2013). Demystifying values- affirmation interventions: writing about social belonging is a key to buffering against identity threat. Personality and Social Psychology Bulletin, 39(5), 663-676. Yeager, David S.; Carissa Romero, Christopher S. Hulleman, Barbara Schneider, Cintia Hinojosa, Kate Flint y Daniel Greene (2016). Using design thinking to improve psychological interventions: 84 Cambiando la mentalidad de los estudiantes the case of the growth mindset during the transition to high school. Journal of Educational Psychology, 108(3), 374-391. Yeager, David Scott; Rebecca Johnson, Brian Spitzer, Kali Trzesniewski, Joseph Powers y Carol Sorich Dweck (2014). The far-reaching effects of believing people can change: implicit theories of personality shape stress, health, and achievement during adolescence. Journal of Personality and Social Psychology, 106(6), 867-884. Yeager, David y Gregory Walton (2011). Social-psychological inter- ventions in education. Review of Educational Research, 81(2), 267-301. Walton, Gregory M. y Geoffrey L. Cohen (2011). A brief social-be- longing intervention improves academic and health outcomes among minority students. Science, 331(6023), 1447-1451. Walton, Gregory M. y Geoffrey L. Cohen (2007). A question of be- longing: race, social fit, and achievement. Journal of Personality and Social Psychology, 92(1), 82-96. Wilson, Timothy. D. y Patricia W. Linville (1982). Improving the academic performance of college freshmen: attribution therapy revisited. Journal of Personality and Social Psychology, 42(2), 367-376. Wilson, Timothy. D. y Patricia W. Linville (1985). Improving the performance of college freshmen with attributional techniques. Journal of Personality and Social Psychology, 49(1), 287-293. ANEXOS Anexo 1 Autores Muestra de Marco teórico Resumen del tratamiento Resumen de resultados Impacto en el estudiantes rendimiento Wilson y Estudiantes Hacer que los estudiantes En una sesión, los estudiantes del Una semana después, los 0,27 puntos en Linville con atribuyan sus resultados grupo de tratamiento vieron un estudiantes del grupo de un examen GRE (1982, 1985) dificultades académicos a factores temporales video de estudiantes mayores que tratamiento obtuvieron un año después. académicas (inestables) en vez de a factores describían cómo al inicio les había mejores puntajes en un de primer año permanentes (estables) puede costado adaptarse a la escuela, pero examen GRE. Un año de escuela motivarlos a esforzarse más y a después su rendimiento había después, el impacto sobre el secundaria no rendirse frente a las mejorado. En el grupo de control, rendimiento fue aún mayor adversidades en la escuela. los estudiantes vieron un video de y su probabilidad de desertar los mismos estudiantes mayores, se redujo en 80%. pero hablando acerca de sus intereses académicos y sociales. Aronson, Estudiantes Enseñar a los estudiantes que la En una sesión, los estudiantes del Al final del año académico, 0,23 puntos en un Fried y Good negros y inteligencia es maleable puede grupo de tratamiento escribieron tanto los estudiantes negros examen GRE un (2002) blancos de protegerlos de estereotipos cartas a estudiantes menores como los blancos obtuvieron año después. escuela negativos. argumentando que la inteligencia mejores resultados en un secundaria es maleable. Los estudiantes del examen GRE. Tras el grupo de control escribieron cartas tratamiento, los estudiantes sustentando la teoría de inteligencias negros (pero no los blancos) múltiples. Otro grupo de control reportaron una mayor no escribió cartas. identificación con la escuela. 86 Autores Muestra de Marco teórico Resumen del tratamiento Resumen de resultados Impacto en el estudiantes rendimiento Good, Estudiantes Hacer que los estudiantes Los estudiantes del grupo de En los tres grupos de 1,13, 1,30 y 1,50 Aronson negros, atribuyan sus resultados tratamiento se reunieron a lo largo tratamiento, las estudiantes puntos en un e Inzlicht hispanos y académicos a factores temporales de dos meses con sus mentores e mujeres obtuvieron mejores examen de (2003) latinos de (inestables) en vez de a factores intercambiaron algunos correos resultados en exámenes Matemática bajos recursos permanentes (estables) puede electrónicos durante el año escolar. estandarizados de Matemática, estandarizado en de sétimo motivarlos a esforzarse más y a no Los mentores reforzaron ideas según lo que ayudó a cerrar las cada grupo de grado en rendirse frente a las adversidades tres tipos de tratamiento: reforzaban brechas de género. Tanto tratamiento, escuelas en la escuela. la idea de que los resultados se deben hombres como mujeres respectivamente rurales. a factores temporales (inestables); mejoraron sus puntajes de (solo mujeres). reforzaban la teoría implícita de la Comprensión Lectora. inteligencia (esta es maleable); y reforzaban los dos mensajes. En el grupo de control, los mentores entregaron mensajes contra el consumo de drogas. Cohen Estudiantes Hacer que los estudiantes afirmen En una o varias sesiones de clase de Al final del primer semestre, 0,30 puntos en un y otros negros y valores relevantes para ellos puede 15 a 20 minutos, los estudiantes del los estudiantes negros del examen para los (2006), blancos de protegerlos de estereotipos grupo de tratamiento redactaron grupo de tratamiento obtuvie- estudiantes negros Cohen bajos recursos negativos. acerca de los valores que ellos consi- ron mejores resultados, y se al final del primer y otros de sétimo importantes personalmente. En el redujo la brecha con los estu- semestre; 0,46 en (2009) grado en grupo de control, los estudiantes diantes blancos en un 40%. un examen para los escuelas escribieron acerca de valores que no Dos años después, este grupo estudiantes negros suburbanas son importantes para ellos, pero que de estudiantes obtuvo mejores en un examen GRE lo pueden ser para otras personas. resultados en un examen GRE. luego de dos años. Cambiando la mentalidad de los estudiantes Anexos Autores Muestra de Marco teórico Resumen del tratamiento Resumen de resultados Impacto en el estudiantes rendimiento Oyserman, Estudiantes Hacer que los estudiantes de Durante 10 sesiones, los estudiantes Dos años después, los 0,28 puntos en un Bybee y negros, hispa- minorías étnicas vean que sus del grupo de tratamiento escribieron estudiantes del grupo de examen GPA dos Terry (2006) nos y latinos metas futuras están cerca, son acerca de sus metas futuras. Asimis- tratamiento obtuvieron años después. de bajos consistentes con su identidad mo, completaron ejercicios para mejores resultados en un recursos de racial y son alcanzables puede acercarse a estas, y para convertir los examen GPA. Hubo menos octavo grado incrementar su motivación. retos en algo normal y no en algo faltas, menos reclamos por solo para “blancos”. Los integran- mal comportamiento y menos tes del grupo de control tomaron síntomas depresivos. Además, clases electivas estándar. la probabilidad de repetir octavo grado se redujo en 60% tras el tratamiento. Blackwell, Estudiantes Enseñar a los estudiantes que la En ocho sesiones semanales, los Al final del año académico, 0,30 puntos en un Trzesniewski negros, hispa- inteligencia es maleable y crece estudiantes del grupo de trata- los estudiantes del grupo de examen de y Dweck nos y latinos con el esfuerzo puede motivarlos miento participaron en talleres para tratamiento obtuvieron Matemática al (2007) de bajos a esforzarse más y a no rendirse aprender técnicas de estudio y mejores puntajes en final del año recursos de frente a las adversidades en la conocer cómo funciona el cerebro y Matemática. escolar. sétimo grado escuela. de qué manera puede hacerse más en escuelas fuerte. En el grupo de control, los urbanas estudiantes solo aprendieron técnicas de estudio. 87 Autores Muestra de Marco teórico Resumen del tratamiento Resumen de resultados Impacto en el 88 estudiantes rendimiento Walton y Estudiantes Hacer que los estudiantes En una sesión de una hora, los estu- Los estudiantes negros del 0,24 puntos en un Cohen negros y atribuyan sus preocupaciones al diantes del grupo de tratamiento res- grupo de tratamiento examen GPA para (2007, 2011) blancos de hecho de que recién empiezan la pondieron una encuesta en la que se lograron mejorar sus los estudiantes primer año de escuela, en vez de a su identidad mencionaba que, al inicio, muchos es resultados a lo largo de la negros al final de la universidad racial, puede mejorar su sentido tudiantes sienten que no pertenecen carrera, redujeron la brecha carrera. de pertenencia social e incremen- a la escuela, pero que luego esas preo- de raza en un 52%, era 25% tar su motivación y rendimiento. cupaciones desaparecen. Después más probable que se redactaron un ensayo y dieron un ubicaran en los primeros discurso dirigido a nuevos estudian- lugares de la clase, y tes con sus mismas preocupaciones. reportaron estar más felices En el grupo de control, los estudian- luego de tres años. tes recibieron información irrelevante acerca del sentido de pertenencia. Hulleman y Estudiantes Hacer que las lecciones de Cada tres o cuatro semanas, los estu- Al final del semestre, los estu- 0,80 puntos en un Harackiewicz diversos Ciencia sean relevantes para los diantes del grupo de tratamiento es- diantes del grupo de trata- examen de Ciencia (2009) étnicamente, estudiantes (en un nivel personal) cribían un ensayo en el que describían miento que creían que iban a para los estudiantes de medianos puede incrementar su interés, su el material estudiado en la clase de tener un mal desempeño en con bajas expecta- recursos, de esfuerzo y su rendimiento, Ciencia durante la semana y cómo Ciencia obtuvieron mejores tivas en el curso al octavo grado especialmente entre los que no podría aplicarse en sus vidas. Los resultados. No se encontraron final del semestre. esperan sacar buenos puntajes en estudiantes del grupo de control impactos positivos en el Ciencia. resumían los temas de la clase. rendimiento de los estudian- tes que ya esperaban tener un buen desempeño. Cambiando la mentalidad de los estudiantes Anexos Autores Muestra de Marco teórico Resumen del tratamiento Resumen de resultados Impacto en el estudiantes rendimiento Miyake y Estudiantes Hacer que los estudiantes afirmen En una o varias sesiones de clase de Al final del curso de 15 0,33 puntos en un otros (2010) hombres y valores relevantes para ellos puede 15 a 20 minutos, los estudiantes del semanas, se eliminó la brecha examen para las mujeres en protegerlos de estereotipos grupo de tratamiento escribieron de género en la clase de Física mujeres al final del una clase de negativos. acerca de los valores que ellos consi- entre los estudiantes que curso. Física de deran importantes personalmente. recibieron el tratamiento. escuela En el grupo de control, los estudian- secundaria tes escribieron acerca de valores que no son importantes para ellos, pero que lo pueden ser para otras personas. Shnabel y Estudiantes Hacer que los estudiantes escriban En una sesión, los estudiantes del Los estudiantes del grupo de 0,34 puntos en un otros (2013) negros y acerca de su pertenencia e identifi- grupo de tratamiento indicaron tratamiento empezaron a los estudiantes blancos de cación con su ámbito social puede los valores que ellos consideraban escribir más acerca de su negros. sétimo grado protegerlos frente a estereotipos importantes personalmente y escri- pertenencia e identificación negativos. bieron sobre ellos. En el grupo de con su ámbito social. Ello les control, los estudiantes indicaron permitió incrementar su los valores que consideraban menos puntaje en un examen GPA importantes y escribieron por qué al final del periodo. pueden ser relevantes para otras personas. 89 90 Autores Muestra de Marco teórico Resumen del tratamiento Resumen de resultados Impacto en el estudiantes rendimiento Yeager y Estudiantes de Hacer que los estudiantes En una sesión, los estudiantes del grupo de Ocho meses después de la 0,34 puntos en otros (2014) noveno grado entiendan que la persona- tratamiento leyeron un artículo que mencio- intervención, los estudiantes un examen de con un bajo lidad y la inteligencia son naba que las personas pueden cambiar. Luego, del grupo de tratamiento Comprensión rendimiento maleables puede ayudarlos leyeron cómo estudiantes mayores enfrentaron presentaban mejores Lectora y en Álgebra a manejar mejor el estrés el estrés y el conflicto con sus pares utilizando indicadores de control del Matemática. de empezar la secundaria la información que habían leído. Finalmente, estrés, salud física y y, así, a mejorar sus les escribieron a futuros estudiantes sus pro- resultados educativos. resultados educativos. pios ejemplos de cómo utilizar lo aprendido. En el grupo de control, los estudiantes reci- bieron información acerca de la maleabilidad de la condición atlética. Paunesku Estudiantes en Enseñar a los estudiantes En el primer grupo de tratamiento, durante Al final del semestre, los 8 puntos y otros (2015) diversas que la inteligencia depen- una sesión de 45 minutos, los estudiantes le- estudiantes del grupo de porcentuales más escuelas y de de del esfuerzo y que en- yeron artículos científicos en la computadora tratamiento que tenían los en la probabilidad varios grados tiendan por qué es im- y escribieron cartas que reforzaban la idea de peores resultados educativos de obtener un portante estudiar puede que la inteligencia es maleable. En el segundo mejoraron sus puntajes en puntaje motivarlos a esforzarse grupo de tratamiento, los estudiantes escri- un examen GPA. Asimismo, satisfactorio en un más y mejorar su bieron acerca de cómo cómo deseaban que el estos estudiantes redujeron examen GPA para rendimiento. mundo sea un mejor lugar y luego redactaron su probabilidad de desertar los estudiantes acerca de por qué estudiar puede ayudarlos de la escuela. con menor a cumplir su objetivo. El tercer grupo de tra- rendimiento. tamiento participó en ambos tipos de ejercicio. El grupo de control participó en sesiones no relevantes. Cambiando la mentalidad de los estudiantes Anexos Autores Muestra de Marco teórico Resumen del tratamiento Resumen de resultados Impacto en el estudiantes rendimiento Yeager y Estudiantes de Enseñar a los estudiantes que la En una sesión, los estudiantes del En el corto plazo, los 0,13 puntos en un otros (2016) noveno grado inteligencia depende del esfuerzo grupo de tratamiento leyeron un estudiantes del grupo de examen GPA para y que entiendan por qué es artículo científico que señalaba que tratamiento empezaron a los estudiantes con importante estudiar puede ellos pueden hacer crecer su preferir los problemas menor motivarlos a esforzarse más y inteligencia si se esfuerzan. Luego complejos a los más fáciles. rendimiento. mejorar su rendimiento. tuvieron que señalar un ejemplo de Al final del curso, los cómo pueden volverse más inteli- resultados en un examen gentes. Finalmente, escribieron una GPA mejoraron para todos carta, dirigida a un futuro estudiante los estudiantes tratados y se que enfrente dificultades en la escuela, redujo la probabilidad de que en la que lo alentaban a no rendirse. los que presentaban mayores El grupo de control no recibió esta dificultades académicas sesión. obtuvieran un bajo puntaje. 91 92 Cambiando la mentalidad de los estudiantes Anexo 2 Una posible limitación del estudio es que no se logró enviar los paque- tes pedagógicos de EtM a todos los colegios asignados al tratamiento. En total, de los 400 colegios seleccionados aleatoriamente para par- ticipar en la intervención, 60 no llegaron a recibir los paquetes por problemas logísticos: 40 estaban ubicados en zonas remotas, y 20 eran muy grandes y los costos de impresión, demasiado elevados. Como ejercicio de robustez, se estiman nuevamente los impactos, pero omi- tiendo tanto las zonas alejadas a las que el courier no pudo acceder como los 20 colegios más grandes del grupo de control. Esta muestra está compuesta por 362 colegios asignados al tratamiento; y 363, al grupo de control. Los resultados son similares que lo obtenido inicial- mente con la muestra total de colegios. Resultados en los que se consideran los colegios más pequeños (14 secciones o menos) Anexos y que se encuentran en zonas accesibles Matemática Comprensión lectora Puntaje en la ECE Rendimiento Puntaje en la ECE Rendimiento Ámbito de intervención Coef. Coef. Nota Promedio Coef. Nota Promedio Coef. Bruto Estandarizado Bruto Estandarizado promedio (en %) promedio (en %) (Ia) (Ia) (IIa) (IIb) (IIIa) (IIIb) (Ia) (Ia) (IIa) (IIb) (IIIa) (IIIb) 3,875* 3,394* 0,060* 0,053* 0,020** 0,017* 2,702 2,317 0,042 0,036 0,017 0,013 Total 543 (-2,012) (-1,996) (-0,031) (-0,031) 18% (-0,010) (-0,010) 557 (-1,922) (-1,872) (-0,030) (-0,029) 33% (-0,012) (-0,012) [43 523] [43 523] [43 523] [43 523] [43 523] [43 523] [43 540] [43 540] [43 540] [43 540] [43 540] [43 540] 0,694 0,709 0,011 0,011 0,007 0,006 0,928 0,948 0,015 0,015 0,007 0,006 Bloque A: ITT Lima 545 (-2,367) (-2,330) (-0,037) (-0,036) 18% (-0,012) (-0,012) 565 (-2,479) (-2,413) (-0,039) (-0,038) 37% (-0,016) (-0,015) [25 441] [25 441] [25 441] [25 441] [25 441] [25 441] [25 457] [25 457] [25 457] [25 457] [25 457] [25 457] 8,397** 7,136** 0,131** 0,111** 0,040** 0,034* 5,226* 4,37 0,082* 0,068 0,031 0,024 No-Lima 540 (-3,491) (-3,551) (-0,054) (-0,055) 18% (-0,017) (-0,018) 546 (-3,024) (-2,961) (-0,047) (-0,046) 27% (-0,019) (-0,019) [18 082] [18 082] [18 082] [18 082] [18 082] [18 082] [18 083] [18 083] [18 083] [18 083] [18 083] [18 083] 8,668* 7,572* 0,135* 0,118* 0,046* 0,038* 6,047 5,172 0,095 0,081 0,037 0,029 Total 543 (-4,610) (-4,542) (-0,072) (-0,071) 18% (-0,023) (-0,023) 557 (-4,387) (-4,245) (-0,069) (-0,066) 33% (-0,028) (-0,027) [43 523] [43 523] [43 523] [43 523] [43 523] [43 523] [43 540] [43 540] [43 540] [43 540] [43 540] [43 540] 1,567 1,561 0,024 0,024 0,015 0,013 2,097 2,089 0,033 0,033 0,016 0,013 Bloque B: LATE Lima 545 (-5,369) (-5,153) (-0,084) (-0,080) 18% (-0,028) (-0,027) 565 (-5,640) (-5,350) (-0,088) (-0,084) 37% (-0,036) (-0,034) [25 441] [25 441] [25 441] [25 441] [25 441] [25 441] [25 457] [25 457] [25 457] [25 457] [25 457] [25 457] 18,536** 16,046* 0,289** 0,250* 0,089** 0,076* 11,536* 9,823 0,180* 0,154 0,067 0,054 No-Lima 540 (-8,063) (-8,260) (-0,126) (-0,129) 18% (-0,039) (-0,041) 546 (-6,915) (-6,811) (-0,108) (-0,106) 27% (-0,043) (-0,043) [18 082] [18 082] [18 082] [18 082] [18 082] [18 082] [18 083] [18 083] [18 083] [18 083] [18 083] [18 083] Nota: se reportan los promedios para el grupo de control. Todas las estimaciones son obtenidas por MCO. Los resultados de la columna (a) corresponden al modelo base —efectos fijos según estrato—, mientras que los de la columna (b) controlan, además, por las características generales de la escuela. Entre paréntesis se reporta el error estándar —clusterizado en el nivel de escuelas—; y entre corchetes, el número de observaciones. *** p < 0,01, ** p < 0,05, * p < 0,1. 93 94 Cambiando la mentalidad de los estudiantes Anexo 3 Expectativa educativa ¿Cuál crees que será el nivel educativo más alto que alcanzarás? Opciones de respuesta: No terminaré secundaria Terminaré la secundaria Terminaré una carrera técnica Terminaré una carrera universitaria Terminaré una maestría o doctorado Autopercepción acerca de la capacidad en Matemática 1. Puedo entender cualquier tema que se relacione con Matemática 2. Cuando nos enseñan un tema nuevo de Matemática, lo aprendo sin mayor dificultad 3. Creo que puedo comprender un tema difícil en Matemática 4. Cuando doy un examen de Matemática, estoy seguro(a) de que puedo responder bien las preguntas 5. Puedo ayudar a mis compañeros(as) con las tareas de Matemática que ellos no entienden 6. Puedo hacer sin ayuda una tarea de Matemática 7. Confío en que puedo aprobar Matemática sin problema 8. Soy bueno(a) resolviendo problemas matemáticos 9. Me siento más capaz mientras voy aprendiendo más cosas en Ma- temática 10.Siento que soy bueno(a) en Matemática Opciones de respuesta: Nunca, Pocas veces, Muchas veces, Siempre Autopercepción acerca de la capacidad lectora 1. Me siento seguro(a) estudiando lo que me enseñan en Comunica- ción Anexos 95 2. Puedo responder correctamente si me preguntan sobre algún tema de la clase de Comunicación 3. Soy capaz de comprender todo lo que nos enseñan en Comunica- ción 4. Cuando dejan tareas individuales de Comunicación, las puedo re- solver sin ayuda 5. Me siento seguro(a) cuando resuelvo un examen de Comunicación 6. Puedo ayudar a mis compañeros(as) con las tareas de Comunica- ción que les parecen difíciles 7. Cuando participo en clase de Comunicación, confío en que me irá bien 8. Tengo un buen desempeño en Comunicación 9. Me es fácil entender rápidamente lo que leo 10.Tengo la seguridad de que aprobaré Comunicación sin problemas Opciones de respuesta: Nunca, Pocas veces, Muchas veces, Siempre Esfuerzo pedagógico de los docentes 1. Al iniciar la clase, nos explican lo que vamos a hacer y aprender 2. Al iniciar la clase, nos hacen recordar lo que hicimos en la clase anterior 3. Para explicar los temas, usan ejemplos de la vida cotidiana y de la actualidad 4. Nos enseñan un tema usando diferentes materiales (separata con ejercicios, figuras geométricas de papel, revistas, carteles con ideas fuerza, presentación en PowerPoint, etcétera) 5. Nos explican cómo se relacionan entre ellos los temas que estamos estudiando 6. Al iniciar la clase, nos preguntan lo que sabemos sobre el tema que veremos 7. Pasamos rápidamente de un tema a otro sin terminar de entender el tema anterior 96 Cambiando la mentalidad de los estudiantes 8. Cuando nos preguntan, nos piden que argumentemos nuestras ideas 9. Cuando nos preguntan, esperan que respondamos al pie de la letra sin dar nuestras propias ideas 10.Nos hacen preguntas para asegurarse de que hayamos entendido el tema 11.Supervisan que todos participemos cuando realizamos trabajos en clase 12.Cuando nos revisan los trabajos o exámenes, nos dejan anotaciones explicándonos en qué debemos mejorar 13.Cuando nos devuelven nuestros trabajos o exámenes, nos explican qué estamos haciendo bien 14.Se dan cuenta cuando cometemos un error al responder una pre- gunta y nos lo explican 15.Nos dan recomendaciones sobre cómo aprender mejor lo que nos enseñan 16.Nos explican qué aprenderemos cuando nos dejan un trabajo en clase Opciones de respuesta: Nunca, Pocas veces, Muchas veces, Siempre Apoyo socioemocional de los docentes 1. Mis profesores nos incentivan a estudiar 2. Mis profesores nos brindan ayuda adicional cuando la necesitamos 3. Mis profesores nos felicitan cuando hacemos un buen trabajo 4. Mis profesores me hacen sentir mal cuando me equivoco 5. Mis profesores escuchan con atención mis opiniones 6. Mis profesores me explican con amabilidad cuando no entiendo algo 7. Cuando me equivoco en una tarea, los profesores me critican frente a mis compañeros Opciones de respuesta: Nunca, Pocas veces, Muchas veces, Siempre PUBLICACIONES RECIENTES DE GRADE LIBROS 2017 Otro urbanismo para Lima: más allá del mejoramiento de ba- rrios Jitka Molnárová, Luis Rodríguez Rivero, Álvaro Espinoza y Ricardo Fort (Eds.) PUCP, Universidad Científica del Sur y GRADE 2016 ¿Agroindustria en la Amazonía?: posibilidades para el desarrollo inclusivo y sostenible de la palma aceitera en el Perú Ricardo Fort y Elena Borasino (Eds.) 2016 Industrias extractivas y desarrollo rural territorial en los Andes peruanos: los dilemas de la representación política y la capacidad de gestión para la descentralización Gerardo Damonte y Manuel Glave (Eds.) 2016 ¿Combinando protección social con generación de oportunidades económicas?: una evaluación de los avances del programa Haku Wiñay Javier Escobal y Carmen Ponce (Eds.) 2015 ¿Es necesaria una estrategia nacional de desarrollo rural en el Perú?: aportes para el debate y propuesta de implementación Ricardo Fort, María Isabel Remy y Héctor Paredes 2015 Agricultura peruana: nuevas miradas desde el Censo Agropecuario Javier Escobal, Ricardo Fort y Eduardo Zegara (Eds.) 98 Cambiando la mentalidad de los estudiantes 2015 Estudio especializado sobre población afroperuana (EEPA) Martín Benavides, Juan León, Lucía Espezúa y Alejandro Wangeman GRADE y Ministerio de Cultura DOCUMENTOS DE INVESTIGACIÓN 2016 Los efectos de la violencia doméstica sobre la salud infantil de los niños y las niñas menores de cinco años en el Perú Juan León, Martín Benavides, Marcela Ponce de León y Lu- cía Espezúa Documento de Investigación, 82 2016 ¿Cómo perciben los niños, niñas y adolescentes el papel del Estado y su relación con ellos?: reflexiones a partir de los servicios de edu- cación y salud Vanessa Rojas Arangoitia Documento de Investigación, 81 2016 Consecuencias de la violencia doméstica contra la mujer en el progreso escolar de los niños y niñas del Perú Lorena Alcázar y Diego Ocampo Documento de Investigación, 80 2015 Estructura agraria y dinámica de pobreza rural en el Perú Javier Escobal y Carmen Armas Documento de Investigación, 79 2015 Expansión y diversificación de la educación superior universita- ria, y su relación con la desigualdad y la segregación Martín Benavides, Juan León, Frida Haag y Selene Cueva Documento de Investigación, 78 Publicaciones recientes de GRADE 99 2015 Violencia familiar y acceso a la justicia en el mundo rural: estu- dios de caso de cuatro comunidades Martín Benavides y Paloma Bellatin Documento de Investigación, 77 2015 Inversión pública y descentralización: sus efectos sobre la pobreza rural en la última década Ricardo Fort y Héctor Paredes Documento de Investigación, 76 AVANCES DE INVESTIGACIÓN (serie digital) 2017 The value of redistribution: natural resources and the formation of human capital under weak institutions Jorge M. Agüero, Carlos Felipe Balcázar, Stanislao Maldo- nado y Hugo Ñopo Avances de Investigación, 28 2017 Cambios en la actividad agropecuaria en un contexto de cambio climático y estrés hídrico. El caso de las cuencas de Ica y Pampas Karla Vergara y Andrea Ramos Avances de Investigación, 27 2017 Más que una guardería. El tránsito de Wawa Wasi a Cuna Más en Jicamarca Virginia Rey Sánchez Avances de Investigación, 26 2017 Promoting prenatal health care in poor rural areas through condi- tional cash transfers: evidence from Juntos in Peru Juan José Díaz y Víctor Saldarriaga Avances de Investigación, 25 100 Cambiando la mentalidad de los estudiantes 2016 ¿Saliendo del agro? Empleo no agropecuario, conectividad y dina- mismo rural en el Perú Héctor Paredes Avances de Investigación, 24 2016 Maternal depression symptomatology and child well-being outco- mes: limited evidence for a causal relationship Javier Escobal y Sara Benites Avances de Investigación, 23 2016 Understanding teenage fertility, cohabitation, and marriage: the case of Peru Marta Fávara, Pablo Lavado y Alan Sánchez Avances de Investigación, 22 2016 El uso del castigo físico por parte del docente, y el rendimiento de los estudiantes en la sierra peruana Alejandra Miranda Avances de Investigación, 21 2016 Effects of fertility on women’s working status Miguel Jaramillo Avances de Investigación, 20 Brief de políticas ANÁLISIS & PROPUESTAS 2017 Mejor inversión pública para evitar más desastres: brechas y prio- ridades de infraestructura en los barrios vulnerables de Lima Álvaro Espinoza y Ricardo Fort Análisis & Propuestas, 38 2017 Derechos colectivos sobre la tierra: un activo esencial para la sos- tenibilidad de las comunidades pastoriles y el medio ambiente en el altiplano andino Gerardo Damonte, Manuel Glave y Sandra Rodríguez Análisis & Propuestas, 37 Publicaciones recientes de GRADE 101 2017 Trayectorias educativas en el Perú: desde la infancia hasta la adul- tez temprana Santiago Cueto, Alejandra Miranda, Juan León y María Cristina Vásquez Análisis & Propuestas, 36 2017 Collective land rights: an essential asset for pastoral communities in order to sustain their livelihoods and the environment in the andean altiplano Gerardo Damonte, Manuel Glave y Sandra Rodríguez Análisis & Propuestas, 35 2016 Comprendiendo el embarazo, la convivencia y el matrimonio en la adolescencia: el caso del Perú Alan Sánchez, Marta Fávara y Pablo Lavado Análisis & Propuestas, 34 2016 ¿Agroindustria en la Amazonía?: posibilidades para el desarrollo inclusivo y sostenible de la palma aceitera en el Perú Ricardo Fort y Elena Borasino Análisis & Propuestas, 33 2016 Combinando programas sociales y programas productivos para en- frentar la pobreza extrema en áreas rurales: la evidencia de Haku Wiñay Javier Escobal y Carmen Ponce Análisis & Propuestas, 32 2016 Collective Land Tenure Regimes and Vulnerability Reduction in Pastoralist Societies of the Andean Altiplano Gerardo Damonte y Sandra Rodríguez Análisis & Propuestas, 31 2016 Regímenes de tenencia colectiva de la tierra y reducción de la vul- nerabilidad de las sociedades pastoras del altiplano Gerardo Damonte y Sandra Rodríguez Análisis & Propuestas, 30 102 Cambiando la mentalidad de los estudiantes 2015 Crecimiento y segmentación en el Perú Miguel Jaramilo y Bárbara Sparrow Análisis & Propuestas, 29 2015 Características socioeconómicas y rendimiento de los estudiantes en el Perú Santiago Cueto, Juan León y Alejandra Miranda Análisis & Propuestas, 28 Véanse estas y otras publicaciones en http://www.grade.org.pe/publicaciones. CAMBIANDO LA MENTALIDAD DE LOS ESTUDIANTES: EVALUACIÓN DE IMPACTO DE ¡EXPANDE TU MENTE! SOBRE EL RENDIMIENTO ACADÉMICO EN TRES REGIONES DEL PERÚ se terminó de imprimir en el mes de agosto del 2017 en los Talleres de Impresiones y Ediciones Arteta E.I.R.L. 106 Cambiando la mentalidad de los estudiantes