Validez externa en economía organizacional

Por Miguel Espinosa[1]

A diferencia de la mayoría de las entradas de este blog que escriben sobre la conclusión de un estudio, he preferido escribir sobre el inicio de uno. La invitación es para usted lector, que si este tema le interesa me ayude a mejorar los argumentos sobre las soluciones de un problema que creo no se le han dado mucho énfasis anteriormente.

Algunas veces con el fin de comprobar la validez empírica de una hipótesis el investigador enfrenta un trade-off: analizar información de múltiples organizaciones que tienen poca información cada una de ellas o de una sola organización (firma, ONG, entidad gubernamental, etc) que tiene información muy detallada.[2][3]  En algunos casos la hipótesis requiere información detallada, por lo que el investigador prefiere analizar datos de una sola organización. En esta entrada llamaré al análisis de datos de una sola organización como un estudio de economía organizacional.[4]

Dentro de los múltiples problemas que tiene un estudio de estas características, uno de los primordiales es el de la validez externa del caso estudiado.

De esto se ha escrito mucho y no es mi deber ni interés, resumir que se ha dicho. Hay varias razones por las cuales el problema de validez externa es el mismo en economía organizacional que en otro tipo de estudios. (i.e. no-cumplimiento selectivo, selección no aleatoria, diferencia en las poblaciones, incentivos a la replicación, etc -por ejemplo ver Oster and Andrews (2019), Czibor et al (2019) y List (2020)-).

Sin embargo, creo que hay dos características que hace que los estudios de economía organizacional sean diferentes a otros tipos de estudios:

1. Muchas organizaciones frecuentemente no permiten compartir los datos con investigadores diferentes a los autores del estudio y
2. A veces con el fin de mantener la anonimidad de la organización y sus miembros, las organizaciones piden que alguna parte o la totalidad de la información (protocolos, encuestas, variables, métodos de normalización) no se haga pública y si se hace pública que se modifique.[5]

¿Por lo tanto, donde queda la posibilidad de verificación de validez externa con en este tipo de estudios? Creo que la clave para responder esta pregunta depende del donde “replicar” el estudio.

Es importante saber cómo seleccionar a la organización a donde se desea “replicar” el estudio, porque si seleccionamos una organización muy diferente, diferencias en los resultados pueden ser explicadas por las diferencias institucionales de las organizaciones. Por lo tanto, queremos seleccionar a una organización institucionalmente similar a la del caso estudiado.

Idealmente el investigador estudia un conjunto de organizaciones, verifica cual (es) tiene los parámetros más parecidos a la organización del estudio y revisa la validez del estudio para esas organizaciones. Sin embargo, y esta es la pregunta fundamental de esta entrada, como saber las características del conjunto de organizaciones potenciales cuando estas organizaciones no tienen datos públicos y aún peor, como saber que se busca, si la información del caso estudiado no es publica o alguna información es diferente a la real.

Esta línea de pensamiento arroja por lo menos dos posibilidades. La primera es que, dada la dificultad intrínseca en la replicación, este tipo de estudios no se deberían publicar. Esto explicaría porque es tan difícil publicar en las mejores revistas de economía este tipo de estudios. La segunda es que el concepto de aprendizaje importa más que el de validez externa, por lo que, si el editor y referees consideran que se ha aprendido algo valioso con el caso estudiado, se debería publicar.

Revisando la historia de publicaciones en top 5 de economía de los últimos 20 años, creo que hay algunos editores que creen más en lo que se puede aprender que en lo que se puede replicar. Creo que hay por lo menos tres tipos de estudios que “enseñan” algo:

1. 1. Estudios que muestran la validez de a) un modelo teórico o b) un conjunto de anécdotas que, aunque se creen ciertos por lo menos para un grupo de la población, no han tenido un test empírico riguroso.
   2. Estudios que muestran que A existe por lo menos en un caso, donde se creía que B existía en todos los casos.
   3. Estudios que muestran como implementar empíricamente conceptos teóricos (i.e. conocimiento) que se creen difíciles de medir.

Entonces, ¿cómo deberíamos avanzar esta línea de investigación de economía organizacional? Los artículos de investigación deberían estar en alguno de los tres anteriores tipos, pero además creo que deberíamos pensar en los siguientes tres márgenes:

1. 1. Así como es natural tener una sección que revisa la literatura existente, deberíamos tener un apéndice que compare los datos del estudio con algunas partes de otros estudios. Ejemplos de donde se puede concentrar esa comparación es en características de la población, el tratamiento, las variables outcome, algunos resultados etc.
   2. Probablemente ningún patrón empírico es cierto en todos los contextos empíricos. Así que deberíamos explicar que puede y que no puede ser extrapolado y ser más claros sobre la intencionalidad de la investigación. Como condición necesaria debería enseñar algo. Idealmente, los editores deberían ser más abiertos a artículos de investigación que abiertamente no tienen implicaciones de política pública u organizacional. ¿Por qué no es suficiente proponer inconclusamente una dirección de búsqueda?
   3. Finalmente, las ideas deberían estar sustentadas por un modelo teórico.

• • • Sin embargo, lo que es confuso para mí, es que muchos de los modelos teóricos no fueron creados para ser testeados empíricamente.

a. Por ejemplo, se usaron supuestos simplificadores, no porque la realidad lo mostraba así, sino porque el modelo era más tratable. Así que es posible, que encontrar validez empírica de un modelo teórico que fue creado por su elegancia teórica sea pura coincidencia.

b. También es posible que esos modelos teóricos no hayan tenido interés/información en incluir los parámetros de preferencias y restricciones relevantes para explicar los resultados empíricos. Es decir, alguna información puede no ser relevante en el modelo teórico, pero puede ser relevante para la interpretación de los resultados empíricos y su validez externa. En esta vena, el problema es similar al de generalización de los modelos teóricos. ¿La pregunta seria cuales elementos debe incluir el modelo teórico para testear la generalización de su test empírico? Fundamentalmente, al leer modelos teóricos nos deberíamos preguntar si su validez ocurre en “por lo menos alguna vez” o en “todas las veces”. ¿Idealmente, los editores deberían pensar en el contenido empírico de los artículos puramente teóricos?

Como el lector notará a esta altura, he propuesto una línea de lógica que propone más preguntas de las que responde. ¿Hacia dónde y cómo deberíamos focalizar los esfuerzos de investigación en economía organizacional?

Referencias

• Oster, Emily and Andrews, Isaiah (2019) :“A simple approximation for evaluating external validity bias” . Economics Letters 178 (2019): 58-62
• Czibor, Eszter, David Jimenez-Gomez, & John A. List, “The Dozen Things Experimental Economists Should Do (More Of),» Southern Economic Journal, (2019), 86(2), pp. 371-432
• List, John, (2020): “Non est Disputandum de Generalizability? A Glimpse into The External Validity Trial”, NBER 27535.

[1] Profesor Asistente en Universidad de Bocconi. Correo: miguel.espinosa@unibocconi.it.

[2] La información a la que me refiero esta usualmente más relacionada con productividad individual en diferentes periodos que con balances financieros empresariales (información que es “mas” fácil de encontrar en varias empresas). Es decir, la unidad de observación tiende a ser un trabajador o equipo de trabajo y no una firma.

[3] En esta entrada explicare el problema basándome en una sola organización, sin embargo, los argumentos aquí expuestos pueden ser también usados cuando se consideran “pocas” organizaciones como ocurre en algunos estudios de esta área económica.

[4] Es común entender los estudios de economía organizacional como aquellos que usan datos de una sola organización y se preocupan por entender el diseño y rendimiento de la organización estudiada.

[5] Estas modificaciones se hacen con la restricción que los resultados del estudio no cambien.