Políticas Basadas en Evidencia: se mueve el péndulo otra vez?

Graduate School of Education, Harvard University (twitter: @felbarrera)

Textos y Educación

Durante los años setentas y ochentas, los programas de textos escolares absorbían una parte importante de los recursos de la ayuda internacional para educación en países en vías de desarrollo. El soporte conceptual para la inversión en textos escolares era simple: las escuelas en esos países no contaban con textos escolares, y por consiguiente, sus alumnos no aprendían. Como evidencia de esta hipótesis —e.g., a mayor número de textos, mayor aprendizaje— algunos investigadores usaban datos de encuestas de colegios que mostraban una relación positiva entre textos y aprendizaje.

A inicios de los noventas, un grupo de economistas —encabezados por Michael Kremer— intentaron probar la hipótesis mediante un experimento: a un grupo de escuelas en Kenia, escogidas al azar, se les dio textos, a otras no, permitiendo establecer causalmente el efecto de los textos. Los resultados de ese simple experimento fueron asombrosos: al cabo de un par de años no existía ninguna diferencia en promedio en el aprendizaje en las escuelas que recibieron los textos en comparación con las escuelas que no los recibieron. Lo que habían encontrado investigadores anteriores era una correlación positiva: los colegios con estudiantes de hogares de mayores ingresos y con mayor número de textos tenían mejores resultados que los colegios con estudiantes de hogares más pobres y con menor número de textos. La causalidad no era de textos a aprendizaje; era de ingreso a aprendizaje y a textos.

Más importante aún, los investigadores encontraron que el programa impactó positivamente a los niños que antes del programa sabían leer más, usualmente provenientes de hogares más pudientes. Los maestros, al recibir los textos, concentraron su esfuerzo en los niños más avanzados, los que podían beneficiarse efectivamente de los textos. Por consiguiente, la intervención abrió aún más la brecha educativa entre pobres y ricos. Asimismo, el estudio mostró otro resultado igualmente interesante: el gasto en educación de los hogares de los niños en el colegio con textos disminuyó, en contraste con el gasto de los hogares de los niños en los colegios sin textos. Los hogares respondieron a la política, y sustituyeron la inversión interna del hogar por los insumos externos (los resultados se encuentran publicados en el estudio “Many Children Left Behind? Textbooks and Test Scores in Kenya.” Glewwe, P., M. Kremer, and S. Moulin. 2009. American Economic Journal: Applied Economics, 1(1): 112–35). Por supuesto, a la luz de estos resultados, la implicación de política sobre textos en los colegios cambia sustancialmente.

A partir de ese momento, la agenda de desarrollo basada en políticas “intuitivas”, sin tener evidencia sobre los efectos de las intervenciones, se enfrentó a una agenda que busca establecer los efectos de las políticas de manera rigurosa. Varios economistas de desarrollo—con Esther Duflo y Abhijit Banerjee como sus dos más claros abanderados—comenzaron un ejercicio sistemático e incremental para mover la frontera del conocimiento y de esta forma probar qué funciona en políticas contra la pobreza. El objetivo final de esta nueva agenda de investigación es cimentar Políticas Basadas en Evidencia (PBE). Gracias a esta nueva agenda, el conocimiento sobre los efectos de programas educativos ha avanzado significativamente en los ultimos15 años, y hoy en día entendemos mucho mejor qué lleva a los hogares a enviar niños a la escuela; sabemos más sobre incentivos a profesores; sabemos mucho más sobre el impacto de proveer insumos en las escuelas sobre aprendizaje. Esta agenda de investigación abarca campos como la educación, salud, microfinanzas, pensiones, y mercado laboral, entre otros muchos.

Por supuesto, los “experimentos”, basados en loterías, no son la única forma de establecer relación causal. Otra parte de esta nueva agenda de investigación se ha dedicado a mover la frontera en las técnicas estadísticas que permiten establecer una relación causal. Actualmente existe un mayor conocimiento sobre los supuestos y estimación de diversos modelos econométricos que permiten encontrar efectos causales.

La contra-revolución

Un blog reciente (acá) escrito por Rosalind Eyben y Chris Roche en la página de Oxfam (una de las más importantes NGOs de ayuda a países en vías de desarrollo) generó un gran debate al presentar una visión crítica de la agenda de Políticas Basadas en Evidencia (PBE). Ese blog es representativo de una “contra-revolución” a la PBE.

Uno de los argumentos del blog es que el enfoque de PBE es inaplicable en temas complejos (“…evidence-based approaches with their ‘gold standard’ of experimental or quasi-experimental design, have been criticised as being inapplicable to complex issues”). Posiblemente las primeras evaluaciones de impacto intentaron aproximar el problema de desarrollo por medio de intervenciones relativamente simples, pero con gran impacto en la inversión de recursos escasos. Tener o no tener textos en el colegio es una intervención simple pero que acapara recursos importantes del sector. Otro ejemplo, más moderno si se quiere, es el efecto de los computadores en educación. Bajo la creencia de que los computadores pueden mejorar la educación, se está invirtiendo cantidades asombrosa de dinero en computadores en los colegios. Dos evaluaciones de programas a larga escala, uno en Perú y otro en Colombia, siembran dudas de que los computadores por sí solos tengan algo de impacto en educación. Estos dos ejemplos muestran una idea simple: existen aún preguntas sobre el impacto de acciones muy básicas que merecen ser estudiadas a fondo.

Más importante aún, evaluaciones recientes han estudiado intervenciones muy complejas. Por mencionar algunas, existen evaluaciones rigurosas de impacto de colegios privados subvencionados por el gobierno; de transferencias condicionadas a acumulación de capital humano; o de extra-maestros con reducción de tamaño de clases y mayor poder de la comunidad en las decisiones educativas. Por supuesto, entre más compleja la evaluación, más difícil saber cuáles elementos son los relevantes para explicar impacto. Sin embargo, la última generación de evaluaciones ha comenzado a utilizar de forma creativa variaciones en los mecanismos de impacto para establecer cuáles son los canales de trasmisión de las políticas.

Un segundo argumento del blog es que, “En ausencia de debate político, el enfoque (de PBE) puede exacerbar la tendencia de ver a las personas como sujetos que necesitan tratamiento, en vez de ciudadanos con voz política” (“In the absence of political debate, this approach can exacerbate the tendency to see people as subjects requiring treatment, rather than as citizens with political voice.”) Este argumento tampoco tiene mucho sustento. Para comenzar, el estatus quo anterior no oía mucho a los ciudadanos. La política que no se basa en evidencia está basada en el interés (altruista o no) del político, sin necesariamente consultar lo que sucede con los ciudadanos. No es menester recordar los casos de políticos que invierten recursos públicos buscando el bien particular. Estoy convencido que una de las ventajas del PBE es precisamente romper el estatus quo de políticos aplicando programas no técnicos, con afán de lucro personal.

Segundo, precisamente un área de mayor interés y creatividad del enfoque de políticas basadas en evidencia es investigar cómo funciona (y si funciona) la idea de involucrar a los ciudadanos en decisiones de la comunidad. Esta área investiga los efectos de dar verdadera voz a los ciudadanos. La evidencia es, por decir lo menos, mixta. En algunos casos, como en la evaluación de Oportunidades/Progresa, existe evidencia que el empoderamiento de mujeres/madres ha resultado fundamental para aumentar el capital humano de los hogares más pobres. En otros, como en la evaluación de un programa que involucra a las familias en la educación de los niños en India, ha dado resultados nulos.

Eyben y Roche dicen, a manera de crítica, que “el enfoque de la (política) basada en evidencia está pre-ocupado con evitar el sesgo y aumentar la precisión de los estimadores de efectos” (en el texto original, “evidence-based approaches are pre-occupied with avoiding bias and increasing the precision of estimates of effect.”). Es cierto: es importante encontrar estimadores insesgados de los efectos de programas, no por un ejercicio meramente académico, sino porque muchos estimadores sesgados pueden llevar a conclusiones erróneas. La PBE está interesada en encontrar estimadores insesgados precisamente porque el interés final es encontrar cuáles programas sociales sirven y sus mecanismos de impacto.

El ejemplo de textos y educación puede ilustrar el punto: todos los estudios anteriores al de Glewwe, Kremer y Moulin mostraban una correlación importante entre textos y educación. Sin embargo, es muy posible que exista doble causalidad: no es que los textos causen mayor logro en aprendizaje, es que las familias con mayores ingresos y padres más educados, por una parte, tienen hijos(as) con mejores resultados en pruebas estandarizadas, y por otra, invierten más en libros y educación. La causalidad es de educación a textos, no de textos a educación. Tal como lo muestra el artículo de Glewwe, Kremer y Moulin, los textos pueden aumentar la brecha educativa entre pobres y ricos, en contra del objetivo final de reducir pobreza.

Sobre tecnócratas y políticos

Al inicio de los años setenta, un grupo de técnicos colombianos —liderados por Rodrigo Botero— comenzó el centro de investigación Fedesarrollo. Uno de los objetivos fundamentales del centro fue (y aún lo es) generar datos económicos de buena calidad para guiar las políticas públicas del país. Fedesarrollo, rápidamente, comenzó a cambiar el discurso de política pública, siempre sustentado en datos e investigación. La respuesta de los políticos no se hizo esperar. Los políticos dictaminaron que Fedesarrollo era un grupo de tecnócratas que no conocía el país, y que sus discusiones estaban lejos de la realidad colombiana. Asimismo arguyeron que detrás de los fríos números se escondían seres humanos, con realidades muy diferentes a los indicadores. Por supuesto, los políticos (y los hacedores de política) prefieren, algunas veces, no ser medidos.

Este debate entre políticos y técnicos –que no es exclusivo de Colombia—tiene un sabor similar al de la contra-revolución de la política basada en evidencia. Los “practicantes” de desarrollo arguyen que la realidad es compleja, y que detrás de los análisis se esconde una realidad que ellos conocen de primera mano. En esta medida, los investigadores, con sus fríos modelos y econometría, no conocen la dura realidad de la pobreza. Por supuesto, existen investigadores que no conocen el contexto donde se implementan las políticas, y ese es un error grave individual, más no un problema sistémico del PBE.

El estudio riguroso del efecto de las políticas públicas está cumpliendo un papel fundamental en la pelea contra la pobreza. Sólo espero que la contra-revolución sea un movimiento focalizado y relativamente corto. Volver a las políticas basadas en un “yo opino”, un “yo quiero” o un “mi intuición me dice” me parece desastroso, y es el mejor camino para que la pobreza gane la batalla.