Usando evidencia rigurosa en la toma de decisiones:  el caso de los laboratorios de aprendizaje de J-PAL

Por Magdalena Valdés Lutz, Directora Ejecutiva J-PAL LAC.

Como ciudadanos siempre hemos requerido que quienes buscan solucionar las problemáticas sociales de nuestro entorno lo hagan basándose en la mayor y mejor información posible. Cada uno de nosotros lo hace al tomar cualquier decisión en nuestra vida personal: al decidir al colegio que asistirán nuestros hijos, la ruta que escogeremos para llegar al trabajo, el emprendimiento que comenzaremos, entre otras. Todas estas decisiones las tomamos en base a la mayor información que podamos encontrar. Nunca a la ligera. Y si alguien nos ofreciera evidencia rigurosa sobre alguno de estos aspectos, sin dudar la aceptaríamos para tomar estas decisiones aún más informadamente.

Sin embargo, no ocurre lo mismo cuando se toman decisiones importantes a nivel país, a nivel comunal, o decisiones que involucren recursos públicos. La evidencia rigurosa, por alguna razón, pasa a tener un rol menos relevante, a ser menos requerida e incluso, menos respetada. ¿Por qué? ¿Por qué no mostramos el mismo celo a usar evidencia cuando tomamos decisiones de alcance público? Esto no sería un problema si los índices de desarrollo humano de nuestra región mostraran un progreso sostenido o si al menos estos índices avanzaran de manera proporcional con en el gasto social que se ha realizado en la región. Pero lamentablemente, los problemas de pobreza y de inequidad en la región persisten y aún no tenemos evidencia ni claridad de cómo resolverlos tanto en políticas públicas generales o a nivel de programas específicos que podrían ser parte de esta solución. El problema, por ende, es que al momento de tomar decisiones aún sabemos poco.

En los distintos gobiernos de la región existen variados esfuerzos para medir resultados y monitorear si las metas prometidas a los electores fueron cumplidas. Este es un primer gran paso, ya que se está comenzando a transparentar el gasto público y a monitorear si las actividades planificadas se realizaron como debían. Sin embargo, aún no existen las mismas herramientas sistematizadas para identificar el impacto final de aquellos programas o para respaldarlos con evidencia rigurosa existente. Por ejemplo, ¿cuantó impactará en el aprendizaje de los más niños más vulnerables de Chile, la reforma educacional que se está implementando? Interrogantes del mismo tipo podrían surgir en otros países de la región respecto al impacto de sus propias políticas públicas.

Una evaluación rigurosa de impacto puede darnos respuestas muy relevantes tanto como para el diseño de un programa como para su costo-efectividad. Este último punto es extremadamente relevante en países en desarrollo como los latinoamericanos. Otro factor positivo de una evaluación científica es que pueden convertirse -en alguna medida- en evidencia que se use como guía para programas similares en contextos equivalentes. Es decir, si las evaluaciones de impacto rigurosas se hicieran de manera sistemática en Latinoamérica, podríamos estar resolviendo más preguntas sobre la efectividad de distintas políticas y así replicarlas en diferentes lugares dentro de nuestro contexto latinoamericano.

Pero si usar evidencia es importante ¿por qué no es usada de manera sistemática por los gobiernos de la región? ¿Cuáles han sido las principales barreras?

Para empezar, como ya lo mencionamos, hoy existe poca evidencia científica de qué ha funcionado y qué no ha sido exitoso para resolver distintas problemáticas sociales. No sucede así en la medicina, por ejemplo, donde el uso de estudios aleatorizados es considerado como el «estándar de oro» al momento de testear nuevos procedimientos. En las ciencias sociales apenas se ha comenzado a reconocer el potencial aporte de las evaluaciones aleatorizadas para las políticas públicas. Por esta razón, quienes tienen que diseñar políticas hoy no cuentan con mucha información para usar como base. Esto último nos lleva a un segundo problema: los ciclos de generación de evidencia son, en general, distintos y no coincidentes a los ciclos políticos. Es probable pensar que a muchos gobernantes les gustaría contar hoy con información para tomar decisiones, pero también que sus incentivos para generar esa evidencia no serán los mismos si eventualmente la información generada termina siendo un insumo para el gobernante que lo reemplazará, más aún si es de una coalición política distinta. Esto implica que, muchas veces, si el ciclo necesario para aprender sobre un programa se extiende sobre un ciclo de gobierno, la posibilidad de evaluar es menor. Una tercera barrera, es la inadecuada cultura de evaluación en los gobiernos de la región, donde la evaluación es vista muchas veces como una herramienta de auditoría, en vez de ser vista como una herramienta de aprendizaje e innovación pública. Esto evita que se generen incentivos internos a desarrollar equipos de trabajo, educar a expertos o poner en marcha procesos que les permitan a los gobiernos saber y aprender si el programa en el que trabajan tendrá un verdadero impacto. Finalmente, levantar evidencia rigurosa no es una tarea fácil. Nuestro comportamiento como seres humanos, nuestras decisiones y el mundo en el que nos movemos no pueden enfrascarse y observarse desde un laboratorio. Por lo tanto, existen muchas preguntas que se no se podrán responder de manera causal usando metodologías rigurosas. Esta dura realidad muchas veces desalienta a quienes creen que evaluar sus programas es primordial.

Con el objetivo de ayudar a los gobiernos a sobrepasar gran parte de estas barreras, en J-PAL LAC hemos comenzado a desarrollar laboratorios de evaluación de impacto que se instalan dentro de distintos organismos gubernamentales interesados en aprender. Y me resulta muy gratificante ver que estas iniciativas están comenzando a sortear las dificultades mencionadas anteriormente. Muestra de esto fue escuchar el miércoles 1 de junio en la conferencia del LAb4 de la Alianza del Pacífico (APEC) al Ministro de Educación del Perú, Jaime Saavedra, hablar sobre el laboratorio de Innovación MineduLAB que junto al Ministerio comenzamos a implementar el año 2014. En esta ocasión el ministro enfatizó que al usar la metodología rigurosa de J-PAL, el MineduLAB se ha convertido en una herramienta útil para la gestión ya que les permite aprender -antes de expandir un programa- si éste funciona como se pensaba o no.

Entrando más en detalle sobre cómo funciona MineduLAB en la práctica, tendríamos que partir describiendo a qué nos referimos en particular con “laboratorio”: un laboratorio de aprendizaje es una unidad dentro de un ministerio, gabinete o entidad pública que busca identificar innovaciones o preguntas de diseño de políticas públicas que se quieran resolver para así lograr alcanzar un mayor impacto social. El equipo del laboratorio se encarga de reunir a profesores especializados en determinadas temáticas para que testeen rigurosamente la efectividad de los programas antes de que estas ideas sean universalizadas a la población. Al conjunto de actividades que realiza un laboratorio lo llamamos ciclo de innovación y aprendizaje.

Es así como en el MineduLAB instalado en el Ministerio de Educación del Perú ya se han comenzado a evaluar 10 innovaciones de política pública en dos ciclos de aprendizaje durante el 2015 y el 2016. Hoy, ya se cuenta con resultados preliminares de tres de estas innovaciones por lo que estos primeros aprendizajes ya pueden ser incorporados por el Ministerio en la toma de decisiones de los programas testeados.

MineduLAB es una experiencia pionera en la región y hoy enfrenta un segundo gran desafío: el actual cambio de gobierno en Perú. Si el reciente gobierno electo decide respaldar esta iniciativa con la misma fuerza que lo hizo el Ministro Saavedra, entonces podremos decir que este laboratorio será la punta de lanza de los nuevos desafíos que están naciendo al alero de esta experiencia. En Chile, por ejemplo, la División de Innovación del Ministerio de Economía, liderado por su jefe Andrés Zahler, ha sido un gran aliado y está comenzando a capacitar a equipos de diferentes programas en estas temáticas, instalando así estos conceptos dentro del Ministerio y sus principales unidades. En Brasil, el Ministerio de Medio Ambiente también ha comenzado su cruzada y en México el programa de transferencias monetarias condicionadas más importante de la región (PROSPERA) liderado por Paula Hernández ha comenzado a tomar los primeros pasos en esta dirección, esto por mencionar algunos ejemplos en la región.

Muchas veces cuando se piensa en evidencia, pensamos en detectives, en lupas y científicos. En J-PAL cuando pensamos en evidencia pensamos en programas sociales que logran encontrar las herramientas más costo-efectivas para que la gente salga de la pobreza. En J-PAL creemos que la evidencia puede ser una herrmaienta que ayude a acelerar los esfuerzos que se hacen para combatir la pobreza. Y aunque aún es muy temprano para decir que en Latinoamérica estamos comenzando a ver un cambio en la manera en que diseñamos las políticas públicas, creemos que ya hay muchos interesados en tener mayor claridad si programas costosos que estaremos implementando para cambiar la vida de los más vulnerables, realmente tienen ese impacto esperado. Esperamos que más y más países de Latinoamérica se sumen a este cambio.