Evaluación del mejoramiento de infraestructura

Los proyectos de infraestructura no siempre son realizados con una evaluación ex-ante completa y adecuada. Menos frecuente todavía es el realizar una evaluación ex – post de los efectos de estas obras, dándose por descontado que los efectos de la infraestructura son positivos.[1] En parte porque una evaluación ex – post implica revisar si los impactos encontrados fueron los efectivamente planeados y si los costos y tiempos de las obras fueron los planificados, algo que raramente ocurre. Nueve de cada diez grandes proyectos de infraestructura en el mundo tienen un costo al menos 40% más elevado que el inicialmente previsto. En ferrocarriles, en particular, los costos suelen ser 45% más elevados y la demanda de pasajeros un 50% más baja que la prevista. [2]

En este post queremos resaltar un caso de una inversión en infraestructura en Argentina que sí ha tenido evaluaciones ex-ante y ha previsto una evaluación ex – post. Se trata de la mejora integral del ferrocarril Roca, ramal Plaza Constitución-La Plata (RPCLP). Nos basamos en un trabajo realizado por nosotros en el marco de la evaluación de impacto de la mejora integral del Ferrocarril Roca, ramal Plaza Constitución – La Plata.[3] En rigor, la nuestra no es una evaluación de impacto ex – post sino un seguimiento ex – durante de variables centrales. Aquí entonces, explicaremos los objetivos de la mejora integral y algunos de nuestros resultados.

La mejora integral

Con el objetivo final de mejorar el trasporte en el área metropolitana, el gobierno argentino resolvió encarar un plan integral de mejora del servicio ferroviario de pasajeros del Ramal Plaza Constitución–La Plata (RPCLP) del Ferrocarril Roca. Este ramal, de 52,6 km de extensión, resulta crucial en magnitud, con 23 millones de pasajeros transportados en 2014, representando por sí sólo el 10% del total de pasajeros de la red ferroviaria del Gran Buenos Aires.

La mejora integral, financiada en cooperación con el Banco Interamericano de Desarrollo (BID) está centrada en la renovación y electrificación del ramal, que era recorrido por trenes traccionados con locomotoras diesel y formaciones de más de 40 años de antigüedad.  El proyecto, además de la electrificación, contempla inversiones como la adquisición de nuevo material rodante, obras de señalamiento y telecomunicaciones, adecuación de estaciones, renovación y mejoramiento de vías y aparatos de vía, construcción y equipamiento de talleres y depósitos, construcción de cercos perimetrales, construcción y adecuación de viaductos, construcción de pasos a bajo nivel y obras suplementarias para drenaje, entre las más importantes.

En términos del monto previsto de la inversión, las obras más importantes del proyecto incluyen la electrificación (con una inversión prevista de USD 84 millones), mejoramiento de vías (USD 86 millones), la mejora en señalización y telecomunicaciones (USD 105 millones) y la remodelación y readecuación de estaciones (USD 42 millones). En total, la inversión prevista sumaba USD 500 millones de dólares.[4]

El objetivo del proyecto es contribuir a la reducción de tiempos de viaje y niveles de accidentalidad, mejorar la confiabilidad y confort del servicio, incrementando como resultado la participación de este ramal ferroviario en el transporte de pasajeros del corredor Buenos Aires-La Plata.

Para la ejecución de las obras el servicio del RPCLP fue interrumpido en septiembre de 2015. Comenzó a prestar servicios nuevamente, luego de la intervención en electrificación y mejora de estaciones, entre Plaza Constitución y Quilmes en febrero de 2016 y hasta Berazategui en abril de 2016. En esta etapa, se ofrecía un servicio de micros para suplir el servicio del tren entre todas las estaciones entre Berazategui y la terminal La Plata. Hacia fines de abril de 2017 se extendió el servicio hasta City Bell, incluyendo mejoras en algunas estaciones. Por otro lado, otras estaciones, como Hudson y Pereyra, todavía no habían sido remodeladas y estaban fuera de servicio a junio de 2017. Para completar el viaje, se seguía ofreciendo un servicio de micros entre Villa Elisa y la terminal. En Octubre de 2017 el ferrocarril llega a La Plata.

Resultados del seguimiento y evaluación

Para nuestro trabajo nos basamos en información de la Comisión Nacional de Regulación del Transporte (CNRT), en datos de valores de propiedades y en una encuesta específica para analizar diferentes variables del funcionamiento del ferrocarril. En este post nos centraremos en los datos de CNRT.

El desafío de evaluar cambios en las variables de funcionamiento del ramal es el de identificar un contrafactual. En otras palabras, necesitamos una estimación de la evolución del RPCLP en ausencia de la inversión de la mejora integral. En este proyecto utilizamos el método de control sintético.[5]

Muy breve e informalmente, este método se basa en identificar ramales que, en conjunto, puedan representar correctamente a la evolución del ramal de tratamiento, RPCLP, en ausencia de la inversión. Para ello, el método estadístico identifica la mejor forma de combinar los ramales que no son parte del tratamiento y que tengan en conjunto una tendencia común con la del ramal del Roca antes de la inversión. En otras palabras, el procedimiento consiste en encontrar un grupo reducido de ramales que sea similar al ramal tratado, y luego construir “el ramal de control sintético” como un promedio ponderado de estos ramales. Ese ramal sintético será el que se comparará con el ramal del Roca en los períodos post-electrificación.

Para encontrar el “ramal sintético”, el método encuentra las ponderaciones entre los ramales minimizan una distancia entre el ramal tratado y el sintético en una serie de variables explicativas. Por ejemplo, para analizar puntualidad las variables explicativas podrían ser si la señalización es la adecuada, la cantidad de pasos a nivel en el recorrido, etc.. Una medida de ajuste de este procedimiento es cuán bien el “ramal sintético” replica la tendencia del ramal tratado en los períodos pre-tratamiento.

Para cada variable de resultado analizada se utilizaron variables explicativas distintas, y se encontró un control sintético diferente. Las variables explicativas que utilizamos se componen de variables de infraestructura y funcionamiento de los ramales (información provista por CNRT) y variables socio-económicas. Las variables socioeconómicas se basan en dos fuentes alternativas de información.  En primer lugar, contamos con la encuesta ENMODO que recoge información agregada de usuarios de los distintos ramales bajo estudio. En segundo lugar, hemos cruzado espacialmente el tendido de los ramales con información censal para obtener datos agregados de condiciones socio-demográficas en las áreas de influencia de los mismos.

El gráfico 1 muestra estas series de tiempo. Analicemos trenes corridos por mes, la primera variable de resultados mostrada. En primer lugar, el control sintético logra replicar la tendencia antes de la mejora integral en casi todos los meses. Las diferencias posteriores al tratamiento muestran que el RPCLP ha tenido un incremento notorio de la cantidad de trenes, tanto con su desempeño anterior (períodos comparables en 2014) como comparado con su control sintético.[6] Esta diferencia es una estimación del efecto de la mejora integral. Efectos similares encontramos en coches corridos por mes, y asientos corridos por mes. Encontramos también que la Regularidad Global Relativa, un indicador de puntualidad (trenes puntuales en proporción de los trenes corridos), se ha incrementado sustancialmente. La cantidad de accidentes por mes (personas afectadas por accidentes) se ha visto notoriamente reducida de un promedio de 14 accidentes por mes a sólo 3 accidentes por mes.

 

Gráfico 1: Evolución para el ramal P. Const. – La Plata y su control sintético

Fuentes: resultados del método de control sintético en base a datos de CNRT, ENMODO y CNPHV. Nota: La serie RPCLP muestra la evolución de la variable en el ramal de tratamiento (línea Roca, Plaza Constitución – La Plata), mientras que RPCLP sintético representa el contrafactual según el método de control sintético, es decir, cómo hubiera evolucionado el RPCLP sin la mejora integral. Las variables analizadas en todos los casos son variables mensuales: trenes corridos por mes en el ramal; coches corridos por mes en el ramal; asientos corridos por mes en el ramal; pasajeros hasta estación intermedia construida como la cantidad de boletos comprados entre cabecera y estación intermedia en cada ramal (tanto en el RPCLP como en cada uno de los ramales que constituyen los controles sintéticos); pasajeros por asiento, construida como el número de pasajeros transportados dividido por la cantidad de asientos corridos; cumplimiento del programa es la proporción de trenes corridos sobre los trenes programados; regularidad global relativa es la proporción de trenes puntuales sobre los trenes corridos; regularidad global absoluta es la proporción de trenes puntuales sobre los trenes programados; cantidad de accidentes es la cantidad de personas afectadas por accidentes vinculados al funcionamiento del ferrocarril (incluyendo accidentes viales); accidentes sobre pasajeros totales.

 

Ahora bien, ¿son estos resultados significativos desde el punto de vista estadístico? El método del control sintético genera sólo dos observaciones por período de tiempo, por lo que es difícil realizar alguna inferencia. Por ello, recurrimos a realizar un ejercicio de permutación, es decir, rehacemos los ejercicios de control sintético con ramales que no han sido tratados.[7] Estos son estimaciones sobre placebos, y deberían generar efectos nulos. Si los efectos que encontramos son, en valor absoluto, sistemáticamente mayores a los encontrados en el RPCLP, entonces resulta que nuestro ejercicio no es significativo y estamos midiendo sólo una diferencia por mero ruido, por volatilidad de las variables o por debilidades del método (de la implementación del método a nuestras variables, por ejemplo). Estas permutaciones, entonces, nos permiten entender si nuestros resultados son significativos desde el pnto de vista estadístico.

El gráfico 2 muestra gráficamente los resultados de la permutación. La línea roja de cada gráfico es la diferencia entre el RPCLP y su control sintético (la diferencia de las series presentadas en el gráfico 1), mientras que las líneas grises son la diferencia análoga para cada estimación placebo.

En las variables de trenes, coches y asientos corridos se nota que el el efecto encontrado para el RPCLP es mayor que el efecto encontrado en la gran mayoría de los placebos, sugiriendo que los resultados son significativos para cada período de tiempo. Algo similar ocurre en la variable accidentes. Por el contrario, en cumplimiento del programa los efectos en los placebos son más fuertes que el efecto en el RPCLP, sugiriendo que aquí la estimación no es significativamente diferente de cero.

 

Gráfico 2: Diferencia entre el ramal Plaza Constitución – La Plata y el control sintético y placebos

Fuentes: resultados del método de control sintético en base a datos de CNRT, ENMODO y CNPHV. Nota: La serie RPCLP es la diferencia entre la serie RPCLP y su sintético. Las series en gris son el resultado de ejercicios placebo. El período cero representa el mes de tratamiento (para la serie RPCLP, abril de 2015). Cantidad de placebos por variable: trenes: 14, coches: 19, asientos: 19, pasajeros: 32, pasajeros por asiento: 36, cumplimiento: 20, RGR: 32, RGA: 29, accidentes: 25, accidentes/pasajeros: 11. Siguiendo a la literatura se han eliminado a los resultados placebo que generaban un error cuadrático medio pre-tratamiento mayor al doble que el del RPCLP.

Ahora queremos considerar sólo una estimación (resumen) del efecto de la electrificación. Podríamos mostrar los resultados de un ejercicio de diferencias en diferencias, que compararía cuánto cambió el RPCLP con lo que cambió el ramal sintético. Esta estimación tiene la ventaja de que, además de brindar un único valor promedio del efecto, netearía cualquier distancia que pudiera haber entre el RPCLP y su sintético antes del tratamiento. (Por ejemplo, en la variable accidentes hay una diferencia entre el RPCLP y su control sintético antes del tratamiento; luego, la estimación del efecto post-tratamiento estará afectada por esa diferencia.)

Pero ¿que pasaría si aplicamos el mismo procedimiento de diferencias en diferencias a los ejercicios placebos? En la medida en que las estimaciones de diferencias en diferencias aplicadas a los placebo tengan efectos comparables o (en valor absoluto) mayor al medido para el RPCLP, entonces deberíamos pensar que la estimación no es significativa. Con esta intuición vamos a utilizar los placebo para hacer inferencia.

La tabla 1 muestra resultados de por regresiones de triples diferencias aprovechando los datos generados por los ejercicios placebo, de forma tal de brindar una única estimación del efecto de la inversión.[8]

Fuentes: resultados en base a datos de CNRT, ENMODO y CNPHV. Nota: Estimador de triple diferencia (DDD) utilizando las series presentadas en el Gráfico 2, es decir, las diferencias que surgen del método de control sintético aplicados al ramal tratado y a los placebos. Se incluyen 24 meses pre-tratamiento y 12 meses pos-tratamiento. Se excluyen los meses de marzo y abril de 2017 para evitar el efecto del corte de vías. Error estándar entre paréntesis; *** significativo al 1%,  ** significativo al 5%, *significativo al 10%. ¹ Pasajeros entre cabecera y estación intermedia. ² Cada mil pasajeros.

 

El primer punto a destacar es que la cantidad de servicios corridos se incrementó significativamente. En concreto, en el RPCLP corrieron 610 trenes, 6140 coches y 173 mil asientos más por mes que antes de las obras, en comparación con su control.

La variable pasajeros transportados muestra una caída consistente y significativa entre los períodos de abril de 2016 y julio de 2016 y aumenta, aunque de forma moderada, sólo después de la segunda mitad de 2016. Entre cabecera y estación intermedia hubo un aumento de 500 mil pasajeros mensuales en el RPCLP comparando períodos antes y después de las primeras obras de la mejora integral. Esto representa un incremento de casi 18%. En comparación, el incremento en los controles  ha sido mayor, con casi 800 mil pasajeros adicionales. Luego, hay, en comparación, una reducción moderada de la cantidad de pasajeros transportados por mes entre cabecera y estación intermedia, de alrededor de 240 mil pasajeros menos. Este resultado amerita enfatizar que esta evaluación de impacto compara la situación antes del inicio de la mejora integral con una etapa intermedia, en la cual el tren corre hasta la mitad del recorrido. Esta situación claramente reduce la demanda de usuarios cuyo destino se extiende más allá de la estación intermedia, y por ello, es esperable que el efecto en la cantidad de pasajeros transportados cambie sustancialmente cuando la mejora integral se concluya.

En la variable “cumplimiento” es la cantidad de trenes efectivamente corridos en proporción a los programados. Encontramos que el efecto es nulo (negativo pero no significativo) para esta variable, pero hay una mejora significativa en “regularidad global relativa” (trenes puntuales sobre trenes corridos) en alrededor de 13 puntos porcentuales. Esto implicaría que la relación entre trenes corridos y programados no mejoró pero sí la puntualidad de los servicios que efectivamente corrieron. El efecto sobre la regularidad global absoluta (RGA, trenes puntuales sobre trenes programados) es moderado (la RGA es la multiplicación de las dos variables anteriores). En suma, la programación más exigente (con más servicios programados) el cumplimiento no mejoró en comparación con otras líneas similares, pero la puntualidad de los servicios corridos sí tuvo una mejora significativa.

Para las variables de accidentes se observa que luego de la inversión hubo una reducción de entre 9 y 11 accidentes por mes. Hay también una caída de la cantidad de personas accidentadas cada mil pasajeros.

Conclusiones

Los resultados presentados aquí no son efecto de la mejora integral del RPCLP dado que todavía no ha terminado y dado que, durante los períodos analizados, el tren todavía no corría hasta La Plata. Por lo tanto, son sólo una serie de indicadores para seguimiento, pero de los cuales podemos sacar varias conclusiones.

Dentro de los resultados podemos destacar que la cantidad de servicios se incrementó, con una programación de trenes es más exigente. Antes de las inversiones, la programación de trenes incluía salidas cada 24 minutos, mientras que después de la electrificación la salida programada es cada 15 minutos.[9] Esta programación más exigente no implicó más cancelaciones, sino una proporción de cancelaciones similar, e incluso se logró una mejora sustancial en la puntualidad de los trenes corridos.

Otro efecto importante desde todo punto de vista es la reducción de accidentes. Cuál es la razón de la reducción de accidentes, todavía no está claro. Seguramente la mejora en las unidades hacen que el viaje sea más seguro. El cierre automático de puertas es un cambio importante, en un tren en la cual los pasajeros podían viajar “colgados”, algo que sistemáticamente genera accidentes graves. La reducción de accidentes podría ser incluso más importante, dado que todavía restan una serie de mejoras que podrían ayudar a reducir los accidentes aún más. Un ejemplo de ello son las obras de mejora en señalización que se harían durante los próximos años. El actual sistema de señalización funciona desde 1890. El sistema que se busca implementar incluye automatización de barreras en pasos a nivel y frenado automático en caso de emergencia.

En todo caso, estos resultados (y los de que eventualmente se hagan con posterioridad) son importantes para tener presente en las próximas obras de mejora del sistema ferroviario del AMBA. El Plan Integral de Obras para la Red Metropolitana de Trenes prevé una inversión de USD 14 mil millones.[10] En particular, la electrificación y mejoras previstas en el San Martín parecen ser comparables a las analizadas para el RPCLP. Los efectos en reducción de accidentes en el Roca, ¿serán comparables a los que se logren en el San Martín? Habrá que esperar a que se implementen las obras en el San Martín… y se evalúen.

 

[1] Un ejemplo de evaluación ex – post de un mega proyecto de infraestructura es la evaluación del Eurotunel, que argumenta que el impacto económico de esta gigantesca inversión fue negativo (Anguera, 2005, The Channel Tunnel, an ex – post economic evaluation, Association for European Transport and contributors; Chevroulet, Sevestre, Geambasu, Reynaud, 2007, “Review of Eurotunnel’s Decision-Making Process, A critical appraisal of Ex-ante vs. Ex-post studies”. CMD WP 2007-001).

[2] Flyvbjerg, 2007, “Policy and planning for large-infrastructure projects: problems, causes, cures”. Environment and Planning B: Planning and Design, v. 34, ps 578 – 597.

[3] Este post se basa en el informe realizado para la UEC y el BID por Guadalupe Dorna y Hernán Ruffo “Evaluación de Impacto. Proyecto de Mejora Integral del Ferrocarril Gral. Roca, Ramal Plaza Constitución – La Plata” (Diciembre 2017). Aprovechamos para agradecer a Martín González Rozada, que participó en una primera etapa de esta evaluación. También queremos destacar la inmejorable asistencia por parte de Nicolás Cruces y Agustina Colonna. Agradecemos a Verónica Vittone, Lucila Belsanti, Julio Castellanos, de la UEC, Ministerio de Transporte, quienes nos ayudaron a conseguir los datos e información complementaria para esta evaluación. También agradecemos a Julieta Abad y Oscar Mitnik del BID por sus oportunos comentarios.

[4] Una descripción breve puede encontrarse en la página web de la UEC.

[5] Para una descripción del método y aplicaciones iniciales ver Abadie y Gardeazabal, 2003. «The Economic Costs of Conflict: A Case Study of the Basque Country,» American Economic Review, v. 93(1), ps 113-132. Para una discusión más general ver Doudchenko e Imbens, 2016. «Balancing, Regression, Difference-In-Differences and Synthetic Control Methods: A Synthesis,» NBER Working Papers 22791. Dos aplicaciones interesantes a efectos sobre variables macroeconómicas son Campos, Coricelli y Moretti, 2014, “Economic Growth and Political Integration: Estimating the Benefits from Membership in the European Union Using the Synthetic Counterfactuals Method”, IZA Discussion Papers 8162, y Reynaerts y Vanschoonbeek, 2016, “The Economics of State Fragmentation – Assessing the Economic Impact of Secession,” MPRA Paper 69681.

[6] Una excepción son los meses de marzo y abril. En marzo de 2017 se extendió el servicio hasta las estaciones Villa Elisa y City Bell, pero sin detenerse en 3 estaciones intermedias (Plátanos, Hudson y Pereyra). Por ese motivo, vecinos de Hudson realizaron cortes en las vías, durante marzo y abril, como forma de protesta. A causa de los cortes, los trenes prestaban servicio hasta la estación Berazategui. Dado que estos servicios no cumplían con el recorrido programado, se contabilizaron como servicios cancelados, aunque se prestara el servicio entre Berazategui y Constitución. Ver información periodística sobre los cortes de vías aquí y aquí.

[7] Seguimos aquí a Abadie, Diamond y Hainmueller, 2010. «Synthetic Control Methods for Comparative Case Studies: Estimating the Effect of California’s Tobacco Control Program,» Journal of the American Statistical Association, v. 105(490), ps 493-505.

[8] Nuestra implementación de triples diferencias es parecida a la de Reynaerts y Vanschoonbeek, 2016, “The Economics of State Fragmentation – Assessing the Economic Impact of Secession,” MPRA Paper 69681.

[9] Esto surge de comparar los horarios programados para los primeros trenes de la mañana de 2012 y compararlos con 2017.

[10] Ver aquí y aquí información periodística sobre estos programas.