En años recientes, la evaluación de impacto y la evidencia empírica han adquirido mayor importancia para el diseño e implementación de políticas públicas. Sin embargo, existen múltiples dificultades para extraer conclusiones o implicaciones de política a partir de estudios existentes. Por un lado, la evidencia a favor o en contra de una determinada intervención de política suele estar basada en un único estudio con datos para un solo país. Muchos estudios influyentes (en particular aquellos realizados hace varios años) no utilizan métodos adecuados para resolver problemas de selección, sesgo de variable omitida, etc. Además, los datos no siempre están disponibles para que otros investigadores repliquen el análisis original, o exploren otras especificaciones o extensiones.
Además de estos problemas metodológicos, está el problema de validez externa. Incluso cuando el análisis de un determinado estudio es impecable, es difícil establecer si la misma intervención tendría efectos similares en una población o país diferente. Dado que la academia tiende a recompensar la novedad, los investigadores tienen pocos incentivos profesionales para estudiar en un país distinto los efectos de una intervención ya estudiada (y publicada) en otro contexto.
En casos en los cuales existen múltiples estudios sobre la misma política en distintos países (por ejemplo, transferencias condicionadas, o proyectos de micro-finanzas) los resultados suelen ser contradictorios y/o la magnitud de los efectos muy diferente. Es difícil establecer si dichas diferencias entre estudios se deben a variaciones en los detalles de la intervención, en el análisis, en la población afectada, o todas las anteriores. A esto hay que sumarle el “sesgo de publicación”: las revistas especializadas suelen publicar los resultados de intervenciones con efectos estadísticamente significativos, por lo cual, en la práctica, muchos estudios de intervenciones con efectos modestos o poco precisos no se hacen públicos. Sin embargo, para el diseño de políticas es igual de importante saber qué funciona y qué no funciona. Recientemente han habido avances importantes y se han desarrollado nuevos métodos para establecer qué tanto se pueden generalizar los resultados de evaluaciones de impacto diversas, recomiendo en particular el trabajo de Rachael Meager y de Eva Vivalt.
Todos los problemas señalados anteriormente son apenas una muestra de las dificultades para la acumulación de evidencia en las ciencias sociales. Estos problemas pueden llevar a que en algunos casos se implementen políticas con base en evidencia muy limitada. También puede ocurrir que no se implementen políticas con mucho potencial pero para las cuales no hay evidencia suficiente.
En respuesta a esto, Evidence in Governance and Politics (EGAP), una organización de científicos sociales de distintos lugares del mundo interesados en temas de gobierno, elecciones y políticas públicas (entre otros) lanzó una iniciativa llamada Metaketa (que significa “acumulación” en el idioma euskera). La idea de esta iniciativa es financiar 6-7 equipos de investigadores para estudiar de manera coordinada intervenciones similares en países distintos. Cada ronda de financiación se enfoca en intervenciones sobre un tema diferente. Los equipos de investigadores que deseen hacer parte de cada ronda deben comprometerse con ciertos principios que buscan abordar muchos de los problemas descritos anteriormente y que resumo a continuación:
- Todos los equipos deben evaluar las intervenciones mediante experimentos con asignación aleatoria. Esto minimiza problemas asociados con sesgo de variable omitida o sesgo de selección (entre otros) que son comunes en estudios no-experimentales.
- Para abordar el problema de validez externa, los diferentes equipos deben realizar la intervención en contextos (países) distintos. Por ejemplo, cada una de las rondas realizadas hasta el momento ha tenido al menos un equipo trabajando en países de África, América Latina y Asia.
- Para minimizar problemas de comparación y agregación entre estudios habrá coordinación en la medición de variables dependientes y de control, así como en los detalles de la intervención (intervención o tratamiento común).
- Se realizará un meta-análisis combinando los datos de todos los estudios para estimar el efecto promedio de la intervención.
- Para preservar los incentivos profesionales de los investigadores, cada equipo podrá implementar además de la intervención común una intervención alternativa, específica a su estudio (usualmente una variante de la intervención común). De esta forma se promueven la replicación y la innovación.
- Transparencia: cada equipo deberá registrar, previo a la intervención, el diseño de la misma, el plan de pre-análisis y un número limitado de hipótesis a evaluar. Los detalles del meta-análisis también serán pre-registrados. Previo a la divulgación de los estudios, todo el análisis será replicado por un equipo independiente de investigadores. Adicionalmente, los datos y programas de todos los estudios estarán públicamente disponibles para uso de otros investigadores.
- Todos los investigadores se comprometen a divulgar y publicar los resultados de sus estudios, sin importar si encuentran efectos estadísticamente significativos de la intervención, de si se confirman las hipótesis pre-registradas, etc. Con esto se pretende evitar el sesgo de publicación.
Metaketa está inspirada en trabajos anteriores realizados por Henrich et.al. (2004) y Banerjee et. al (2013) que coordinaron estudios similares en poblaciones diferentes. Sin embargo, la idea es convertir el proyecto en un marco metodológico más general que guíe investigaciones futuras.
La primera ronda de Metaketa (Metaketa I), de la cual hice parte como co-investigador del equipo de México, tuvo lugar entre 2013 y 2018 y se enfocó en los efectos del acceso a la información sobre el comportamiento electoral de los votantes y la corresponsabilidad de los gobernantes. En es este link pueden encontrar mayores detalles y descargar las publicaciones realizadas por cada equipo de investigación. Los resultados del meta-análisis serán publicados próximamente en un artículo en la revista Science Advances. Adicionalmente, en el libro “Information, Accountability, and Cumulative Learning: Lessons from Metaketa I”, que será publicado por Cambridge University Press en Julio de este año, pueden encontrar una descripción detallada de la iniciativa y capítulos sobre los resultados de la intervención común en cada país. En el libro se discuten también muchos de los retos en la implementación de esta idea; no siempre es fácil coordinar una intervención común en contextos diferentes y aún hay mucho espacio para mejorar. Los interesados en el libro pueden encontrar más detalles aquí.
A la fecha han habido tres rondas adicionales de Metaketa que todavía se encuentran en marcha:
Metaketa II: Tributación
Metaketa III: Gobernanza de los Recursos Naturales
Metaketa IV: Policía Comunitaria
Invito a los lectores de Foco Económico a que hagan seguimiento a los estudios y publicaciones que saldrán en los próximos años de todas estas rondas de Metaketa. Más importante aún, hace pocos días salió la convocatoria de Metaketa V, que se enfocará en comprender y fomentar la participación política de las mujeres en regímenes semi-democráticos (regímenes híbridos). Todos los investigadores interesados en participar en este ronda pueden enviar sus propuestas antes del 9 de agosto de 2019. Mayores detalles en el siguiente link. ¡Participen!
Referencias:
Banerjee, Abhijit, Esther Duflo, Nathanael Goldberg, Dean Karlan, Robert Osei, William Parienté, Jeremy Shapiro, Bram Thuysbaert and Christopher Udry (2015), “A Multifaceted Program Causes Lasting Progress for the Very Poor: Evidence from Six Countries”, Science, 348(6236).
Dunning, Thad, Guy Grossman, Macartan Humphreys, Susan Hyde, and Craig McIntosh (Eds.), Information, Accountability, and Cumulative Learning: Lessons from Metaketa I, forthcoming, Cambridge University Press.
Dunning, Thad and co-authors, «Voter Information Campaigns and Political Accountability: Cumulative Findings from a Preregistered Meta-Analysis of Coordinated Trials», Science Advances, forthcoming.
Henrich, Joseph, Robert Boyd, Samuel Bowles, Colin Camerer, Ernst Fehr, and Herbert Gintis (2004), Foundations of Human Sociality: Economic Experiments and Ethnographic Evidence from Fifteen Small-Scale Societies, Oxford University Press.
Meager, Rachael (2019), “Understanding the Average Impact of Microcredit Expansions: A Bayesian Hierarchical Analysis of Seven Randomized Experiments”, American Economic Journal: Applied Economics, 11(1), 57-91.
Vivalt, Eva (2019), “How Much Can We Generalize from Impact Evaluations?”, Working Paper, http://evavivalt.com/wp-content/uploads/How-Much-Can-We-Generalize.pdf
