Midiendo la efectividad del gasto gubernamental

Es práctica común justificar reformas fiscales que buscan incrementar la recaudación en un país comparando con la recaudación como proporción del PIB en otros países. En México por ejemplo, como parte de la motivación para la reforma fiscal del 2014, se argüía que esta cifra era mucho menor que la de otros países de la OCDE. Poco se dice sobre la efectividad del gasto, sobre su progresividad (en el sentido económico), y sobre su eficiencia. Esto se debe entre otras cosas a la dificultad de medir estos resultados. Esta dificultad no es curativa: no es posible aseverar que el nivel de recaudación es sub óptimamente bajo sin saber cuáles son los beneficios del gasto gubernamental. Esta es una tarea difícil pero indispensable, no sólo por transparencia ante los ciudadanos sino para la planeación misma del presupuesto.

En México –y en la gran mayoría de países– estamos muy lejos de tener un presupuesto basado en resultados. Esto obedece no solamente a consideraciones políticas, sino a que es realmente difícil medir el impacto de los programas actuales. La calidad de una evaluación de impacto depende principalmente de dos cosas: tener un grupo de control de personas/unidades que no recibieron el beneficio o programa que sean comparables a las que sí lo recibieron, y tener buenas medidas de resultados. A pesar de haber sido ejemplo internacional de buenas prácticas con el programa Progresa/Oportunidades, es raro el programa que cumple con estas condiciones en México.

¿Cómo remediar esto? El trabajo que ha hecho Coneval es importante, pero en México aún existe mucho espacio para medir la efectividad del gasto. Es verdad que no todo el gasto puede o debe sujetarse a medición de impacto, pero gran parte del gasto y de las políticas públicas implementadas sí. Pongo algunos ejemplos: la efectividad del gasto para la implementación de los juicios orales, de las becas educativas, de la certificación y exámenes de confianza en la policía, del gasto en docentes y el impacto de su calidad en los resultados, de impuestos para reducir la obesidad y exenciones incentivar la inversión, de programas de garantías de la banca de desarrollo, de programas de fomento a la ciencia y tecnología, del gasto en cárceles, de políticas de combate a la diabetes y mejora en la salud, de programas de apoyo al campo, programas para la mejora del medio ambiente, de políticas para combatir al narcotráfico… El esfuerzo de evaluación en México se ha concentrado en la política de combate a la pobreza, y me arriesgo a conjeturar que menos del 1% del gasto público tiene una evaluación de impacto rigurosa.

Al mismo tiempo en las últimas dos décadas ha habido un resurgimiento en las metodologías econométricas para evaluar impacto –que algunos llaman la “Revolución de la Credibilidad”[1]— y  una acumulación considerable de evidencia sobre qué políticas funcionan, sin embargo gran parte de las evaluaciones de impacto han sido no de programas y gasto del gobierno, sino de organizaciones de la sociedad civil (NGOs por sus siglas en inglés)[2]. Esto se debe creo yo a calendarios políticos que incentivan resultados en el corto plazo, a la falta de conocimiento de los funcionarios sobre cómo hacer una buena evaluación de impacto, y a que los programas no contemplan en su selección de beneficiarios métodos que permitan tener grupos de comparación válidos.

En mi experiencia he intentado evaluar el efecto de las becas de Conacyt para estudiar en el extranjero, el efecto de las garantías de Nacional Financiera, de los créditos de FIRA, y de algunos programas de Becas de la SEP. Aunque el financiamiento de las evaluaciones es un obstáculo importante, no es el único: en los dos primeros casos el financiamiento no vino del presupuesto gubernamental, sino instituciones extranjeras de apoyo a la investigación académica; pero no fue factible hacerlas debido a que no fue posible tener el detalle en el proceso de selección de beneficiarios que permitiera formar grupos de control.

Quisiera proponer cuatro cambios en la regulación/financiamiento que facilitarían contar con mejores evaluaciones de impacto. El primero es que el financiamiento para las evaluaciones no venga de los evaluados, sino que se dote a Coneval de presupuesto propio y suficiente para llevarlas a cabo. Coneval ya tiene algo de presupuesto pero parecería insuficiente. Calculo que con cincuenta millones de pesos anuales se podían hacer 3 o 4 evaluaciones de impacto al año importantes, esta cantidad es irrisible si se compara con el monto del gasto en México. El estado actual en el que el propio evaluado pone el financiamiento para la evaluación tiene dos problemas: genera un conflicto de interés entre el evaluado y el evaluador que le paga, y en segundo lugar añade resistencia a ser evaluado ya que además de sujetarse a la incertidumbre del resultado tiene además que desembolsar dinero.

El segundo cambio busca facilitar la negociación de Coneval vis-a-vis las Secretarias y Programas.  Para una buena evaluación se requiere cooperación del evaluado. Propongo que sea una obligación de Ley que Coneval evalúe 3 o 4 programas / políticas importantes al año en diferentes Secretarías. Esta obligación ayudaría a Coneval en la negociación con las Secretarías y los Programas. Podría pensarse en una regla de priorización general –en términos de presupuesto por ejemplo pero con flexibilidad– que establezca cuales programas se van a evaluar primero y le quite a Coneval parte de la presión de escoger cuales programas exactamente.

El tercer punto se refiere a las metodologías de selección de beneficiarios. Este punto es menos general que los anteriores, puesto que la mejor metodología depende del contexto del programa o política. Sin embargo hay tres cosas que pueden hacerse que serían de utilidad en casi en cualquier programa que disperse beneficios a personas directamente (por ejemplo becas, transferencias condicionadas, créditos, etc.). Debe tenerse un conjunto mínimo de variables en la solicitud: demográficos, datos de contacto y de elegibilidad para el programa. Este conjunto debe de incluir diversos identificadores que permitan ligar con otras bases de datos. El Registro Federal de Contribuyente RFC, el CURP, el número de credencial de elector, etc. Con la Cédula Única de Identificación (CUIS) se ha avanzado, pero fuera de Sedesol no existe este conjunto de variables que se aplique a todos los solicitantes para determinar elegibilidad. En México no es posible saber con certeza qué características tienen las empresas que fueron beneficiadas con apoyos de la banca de desarrollo por ejemplo. Puede y deberían establecerse convenios con telefónicas y con los burós de crédito para mejorar la focalización de programas sociales. Un artículo reciente en Science muestra lo efectivo que puede ser la información de telefonía para predecir ingreso.[3] Finalmente debe establecerse un sistema de puntaje objetivo y suficientemente fino (digamos de 0 a 100 puntos) con base en el cual se asigne el beneficio. Esto no solo incrementa la transparencia del proceso y deja huella de las razones de asignación, sino que también permite usar un diseño de regresión discontinua para la evaluación de impacto[4].

Cuarto, es muy necesario invertir en la obtención y almacenamiento de información administrativa, y dotar al Coneval de la facultad y obligación de opinar sobre la calidad y existencia de esta información. La administración pública federal debe tener sistemas informáticos centralizados que permitan medir desempeño. Por ejemplo, en México no es posible saber –sin un largo y tortuoso procedimiento de recabado de datos a nivel estatal– si un alumno que recibió una beca terminó el año escolar, con qué promedio y con cuántas inasistencias (entiendo que en Chile por ejemplo esto sí es posible). Tampoco es posible saber si una empresa que recibió apoyos de programas de Secretaría de Economía reportó más ventas al SAT. No existe forma de saber si el apoyado con un programa de alimentación ha tenido menos eventos de Salud en el IMSS o el Seguro Popular. Actualmente no existe la infraestructura tecnológica ni legal que permita compartir estos datos entre entidades del gobierno.

Estos cuatro puntos no involucran grandes cambios regulatorios ni grandes presupuestos (el más difícil y caro es el cuarto por supuesto), pero pueden tener importantes efectos en la efectividad del gasto ahorrar o producir decenas de miles de millones de pesos a los mexicanos. Sospecho que esto puede aplicarse a varios países de América Latina.

[1] Angrist, Pischke, Duflo, Banerjee y varios otros han tomado esta causa recientemente.

[2] Sobre todo en países en desarrollo

[3] Blumenstock , J., Cadamuro, G. y On, R. “Predicting poverty and wealth from mobile phone metadata”, Nov 2015.

[4] Este diseño compara a unidades justo aprobadas versus unidades justo rechazadas.