En un artículo, publicado en la serie de artículos de discusión NBER (National Bureau of Economic Research), mostramos que quienes implementan políticas públicas están interesados en su evaluación de impacto y están dispuestos a revisar sus acciones y actuar sobre la base de la evidencia producida por la ciencia.
Llegamos a esa conclusión después de realizar experimentos en alianza con la Confederación Nacional de Municipios (CNM). Los experimentos mostraron que i) los gestores públicos locales – entre ellos alcaldes, legisladores y secretarios de gobierno – estaban dispuestos a “pagar” para conocer los resultados de una evaluación y, posteriormente, actualizar sus creencias con base en la evidencia presentada; ii) los alcaldes que fueron invitados a participar en una sesión sobre evidencia empírica de una política simple que facilita la recaudación de impuestos locales terminaron adoptando la política en mayor número que los alcaldes que no fueron invitados.
¿A qué pregunta responde nuestra investigación?
En las últimas décadas, hemos visto un enorme crecimiento en la cantidad de evaluaciones que buscan medir los impactos de las políticas gubernamentales, los programas de las ONG y otros implementadores. Estos trabajos han generado un amplio conocimiento sobre qué tipos de programas funcionan y cuáles no para mejorar indicadores en las áreas de educación, salud, entre otras. Sin embargo, ¿los gestores públicos están interesados en conocer los resultados de estas evaluaciones? ¿Estas evaluaciones cambian las creencias de los administradores sobre la efectividad de la política evaluada? Y finalmente, ¿la evidencia que prueba la efectividad de una política realmente aumenta su adopción por parte de los gerentes?
¿Por qué esto es relevante?
Para que la sociedad se beneficie de la evidencia sobre las políticas públicas, es importante que las respuestas a las preguntas anteriores sean positivas. Sin embargo, es posible que los gerentes utilicen los resultados de la evaluación de manera selectiva, simplemente para «confirmar» sus convicciones, sin cambiar de opinión. Los gerentes pueden incluso cambiar de opinión, pero pueden existir barreras de diferente naturaleza para la adopción de la política comprobadamente eficaz, tal que el aprendizaje que aportan las pruebas no importe realmente en la toma de decisiones. Este trabajo muestra que la falta de acceso a evidencia empírica es un obstáculo para la adopción de políticas probadas en los gobiernos municipales de Brasil.
Resumen de la investigación
Los investigadores del trabajo asociaron con CNM y participaron en 15 de sus conferencias entre 2016 y 2018 para llevar a cabo dos experimentos. Uno de los experimentos midió el impacto de proporcionar información sobre los resultados de las evaluaciones de impacto sobre la adopción de una política pública (experimento de “adopción de políticas”). El otro experimento fue diseñado para medir cómo los participantes procesan y valoran los resultados de la evaluación de impacto (experimento de “demanda / creencias”). La implementación de los experimentos contó con el apoyo logístico de JPAL-LAC.
En el experimento de «adopción de políticas», los investigadores invitaron a 881 alcaldes a una sesión informativa sobre la evidencia durante el evento Seminarios Nuevos Gerentes 2016, CNM. Estos alcaldes invitados fueron seleccionados al azar de un total de 1.818 alcaldes que participaron en el evento del CNM. La sesión de 30 minutos describió una intervención específica (cartas que recuerdan a los contribuyentes sus obligaciones tributarias) y los resultados de una serie de evaluaciones de impacto rigurosas que demuestran que las cartas recordatorias aumentan la probabilidad de que los contribuyentes paguen sus impuestos a tiempo. De 15 a 24 meses después de la sesión, los investigadores llamaron a los 1818 alcaldes, así como a los empleados responsables de la política tributaria en cada uno de los municipios. Así, midieron si la política de recordatorios había sido adoptada en el municipio y las creencias de los administradores sobre su efectividad.
En el experimento de «demanda / creencias», buscamos comprender cuán sofisticado es el uso de la evidencia presentada. ¿Los administradores valoran y responden a los atributos de la evidencia ofrecida, o aceptan cualquier información proporcionada por los investigadores? Los investigadores compartieron los resultados de las evaluaciones de impacto de diferentes programas de desarrollo de la primera infancia con líderes de 657 municipios, como alcaldes, legisladores locales y funcionarios municipales. Los participantes usaron tablets para leer las instrucciones y completar un cuestionario interactivo de 20 minutos que había sido diseñado para:
- Medir la disposición de los participantes a «pagar» por los resultados de la investigación en estos programas – una medida de cuánto valoraban la información (usando boletos de rifa como moneda de cambio, una práctica común en este tipo de investigaciones);
- Comprobar si actualizaron sus creencias cuando recibieron nueva información; y
- Confirmar que esta actualización de creencias y este interés en la investigación respondieron a los atributos de la investigación, como el tamaño de la muestra, la ubicación del estudio y el efecto encontrado.
¿Cuáles fueron las conclusiones?
En general, los resultados sugieren que los responsables de la formulación de políticas están interesados en los resultados de la investigación, están dispuestos a revisar sus creencias y actuar sobre la base de la evidencia empírica.
Más de un tercio (38%) de los alcaldes invitados a la sesión informativa de pruebas eligieron participar. Los investigadores encontraron que la participación en la sesión aumentó la probabilidad de que los municipios implementaran cartas recordatorias sobre el pago de impuestos en 10 puntos porcentuales (la política que se informó en la sesión), un aumento del 33% sobre el grupo que no fue invitado a la sesión.
En el experimento de «demanda / creencias», casi todos los participantes (98%) estaban dispuestos a «pagar» al menos un boleto para aprender a conocer los resultados de una evaluación de impacto en la intervención para el desarrollo de la primera infancia. Los formuladores de políticas públicas consideraron más valiosa la información de estudios con muestras grandes, pero no valoraron de manera diferente los estudios realizados en Colombia y Jamaica en comparación con los estudios realizados en Estados Unidos.
Puede haber diferentes barreras para la falta de adopción de políticas públicas efectivas en los municipios brasileños, desde la falta de capacidad técnica hasta la falta de voluntad política. Los resultados demuestran que (la falta de) acceso a la evidencia científica es una barrera relevante en el diseño e implementación de políticas públicas. Además, mostramos que la comunicación directa con los gestores puede ser una herramienta eficaz para hacer realidad las políticas públicas basadas en evidencias en los municipios brasileños.
¿Quién debería conocer estos resultados?
Policy makers, entidades que coordinan y apoyan a los gobiernos municipales y organizaciones que trabajan para compartir la evidencia generada por las evaluaciones de impacto. Los autores de esta columna están iniciando una colaboración con IPEA (Instituto de Pesquisa Econômica Aplicada ) para describir esta investigación con más detalle en un capítulo del libro “Lo que informa las políticas públicas federales” organizado por IPEA y otras instituciones.
REFERENCIAS
Hjort, Jonas, Diana Moreira, Gautam Rao y Juan Francisco Santini. “Cómo la investigación afecta la política: evidencia experimental de 2150 municipios brasileños”. NBER Working Paper No. 25491, julio de 2019.
Este artículo fue publicado originalmente en portugués y puede accederse clickearse en el siguiente link: https://pp.nexojornal.com.br/academico/2020/Como-evid%C3%AAncia-emp%C3%ADrica-afeta-decis%C3%B5es-sobre-pol%C3%ADticas-p%C3%BAblicas
