Parcial final de diseños
Potential Outcomes
Efecto causal: es definido como la comparación entre dos estados del mundo.
¿Cuál fue el efecto causal de la aspirina?
Diferencia en la severidad del dolor entre los dos estados del mundo:
- Tomó la aspirina
- No tomó la aspirina
La diferencia en la severidad del dolor de cabeza en estos dos estados del mundo es el efecto causal de la aspirina en el dolor de cabeza.
Para poder evaluar el efecto causal son necesarios los datos de los dos estados del mundo: Problema fundamental de la evaluación
Causal: solo uno de los estados del mundo es observable
Evaluando el mundo:
Siempre se compara un estado del mundo contra un contrafactual ese contrafactual puede ser explícito o implícito, pero siempre va a ser parte de la evaluación causal.
La elección de un contrafactual adecuado, es esencial para hacer una evaluación causal.
NOTACIÓN
Se tiene una variable binaria que toma valor 1 si una unidadde observación i recibe el tratamiento y 0 si no lo hace.
Importante:
i) Estamos asumiendo que solo hay dos estados del mundo.
ii) El tratamiento es cualquier intervención que pueda ser manipulada, como la de tomar una aspirina o no hacerlo.
Para cada unidad de observación i, hay dos potential outcomes pero solo un valor observado.
Potential outcomes
Yi1 Si la unidad recibiese el tratamiento
Yi0 Si la unidad no recibiese el tratamiento
Tenemos dos estados del mundo por separado para la misma persona en un mismo momento del tiempo.
Valor observado:
Yi – Es el valor de las variables y que la unidad de observación i efectivamente observamos lo que sucede.
Ecuación de conmutación: Es la ecuación que ayuda a conectar el valor observado
Di= 0,1: Variable aleatoria binaria que toma el valor 1 para los individuos i tratados, y 0 para los no tratados.
Si es asignada al tratamiento, Di= 1, entonces: 
Para el individuo i, el valor observado de ser asignado al tratamiento, toma el valor del potential outcome de ser asignado al tratamiento.
Sino es asignado al tratamiento, Di=0, entonces: 
El valor observado de ser asignado al control toma el valor del potential outcome de ser asignado al control.
EFECTOS
El efecto del tratamiento para la unidad i es:
Efectos de tratamiento promedio
ATE: Efecto promedio del tratamiento
ATT: Efecto promedio del tratamiento en los tratados
ATU: Efecto promedio del tratamiento en los no tratados
DSM y sesgo de selección
Aleatorización:
1. Asignar a cada unidad de observación un número aleatorio extraído de una distribución normal con media 0 y varianza 1.
2. Ordenamos las unidades de observación de menor a mayor en función del número aleatorio asignado.
3. Asignamos a tratamiento a las cinco primeras
SUTVA
SUTVA = Suposición de valor de tratamiento unitario estable
Se tiene que cumplir lo siguiente:
a. Todas las unidades reciben la misma dosis de tratamiento.
Es aplicado de la misma forma en todas las unidades que lo reciben.
b. Cuando una unidad es expuesta a tratamiento, los potential outcomes de las otras unidades no se ven afectados.
Las asignaciones de tratamiento no modifican los valores de potential outcomes
c. No hay efectos del equilibrio general.
Los modelos pueden ser de equilibrio general (todas las variables que se incluyen en el modelo son determinadas endógenamente) o equilibrio parcial (algunas variables se determinan en el modelo, pero otras se determinan exógenamente).
Modelos de mercado de trabajo: Incluyen demanda laboral, oferta laboral y el nivel de precios de la economía se determinan en el modelo.
Todas las condiciones del SUTVA son necesarias para la validez interna del diseño de investigación.
Diferencia en diferencias
¿Qué es?
Diseño de investigación cuantitativo en las ciencias sociales.
Es una situación en la que un tratamiento se aplica sobre algunas personas o unidades de observación.
ESTIMACIÓN
Validez interna: Suposición de tendencias paralelas. La evolución de la variable de resultados hubiera sido la misma en ambos grupos no se hubiera aplicado el tratamiento.
Estimador:
Sesgo si no hay tendencias paralelas:
El sesgo es o si la evolución en el grupo de tratamiento requiere de un contrafactual no observable.
Validez del diseño
1. Tendencias paralelas
En ausencia del tratamiento, la evolución de la variable de interés hubiera sido la misma en el grupo de tratamiento y en el grupo de control
2. SUTVA
El tratamiento no afecta al grupo de control.
Así 1 y 2 se cumplen entonces hay un buen grupo contrafactual
Modelo 2x2
Evolución temporal en el grupo de tratamiento:
Evolución temporal en el grupo de control I:
Evolución temporal en el grupo de control II:
ESTIMADOR DDD (trimple diferencia)
Limitaciones
- No permite descartar el efecto
- Es común que no se pueda identificar los mecanismos de transmisión. Problemas en países centralizados y/o homogéneos
Relación causal diferente de posibilidad de identificarla correctamente
- Siempre se necesita un grupo sin tratamiento.
PLACEBO
Cuando menos claro es el mecanismo de transmisión, más importante se hace realizar tests de placebo.
Tipos de placebo:
i. Simular el tratamiento en un momento anterior
ii. Simular el tratamiento sobre unidades de observación distintos a los que se aplicó.
iii. Evaluarlo en el momento que se aplicó y sobre las unidades de observación
Regresión discontinua
Contexto general: Dado una variable de interés, ocurre un salto o discontinuidad en una variable que la afecta.
Contrafactual: La discontinuidad se genera a partir de un umbral. Las observaciones que están antes del umbral son el grupo de control, mientras las que están después del umbral son el grupo de tratamiento.
Validez del diseño:
- Cerca del umbral, todas las variables que afectan a la de interés, pero nos son la que “salta”, varían “suavemente”.
- Cerca del umbral, el tratamiento es “como si fuera aleatorio”.
Enfoque paramétrico
Umbral:
- Sobre el umbral, no puede existir diferencias en variables inobservables.
- Al cruzar el umbral, lo único que se modifica es la aplicación del tratamiento.
- No hay manipulación del indicador.
Suposición de continuidad
Significa que no existen otras intervenciones ocurriendo cerca del umbral.
La suposición de continuidad excluye de manera explícita la posibilidad de que haya un sesgo por variables inobservables alrededor del umbral.
Todos los determinantes no observados de Y se relacionan de manera continúa con la variable running.
Tests de Placebo
Una manera de argumentar que se cumple la validez de un diseño de investigación es realizar las denominadas pruebas de placebo.
Los test de placebo consisten en elegir outcomes o períodos sobre los que no debería haber un efecto.
Los test de placebo pueden tomar varias formas. Las más comunes, caen dentro de algunas de las siguientes situaciones:
- Se evalúa el efecto sobre una variable dependiente que no debería sufrir modificaciones con el tratamiento.
- Se simula un tratamiento en un momento del tiempo en el que no se aplica.
Tópicos adicinales:
Umbrales múltiples
- Umbrales pueden cambiar por región, períodos de tiempo, etc.
- Todas las unidades reciben el mismo tratamiento cuando exceden el umbral.
Umbrales acumulativos
- El tratamiento tiene varios valores
- Diferente dosis del tratamiento dependiendo del valor de Xi.
Validez interna: La suposición de continuidad se debe cumplir en cada uno de los umbrales.
Matching
Definición: diseño muy utilizado que compara el resultado de individuos tratados con el resultado de individuos similares (pareados) no tratados.
- Es un diseño que controla por diferencias en variables observables
- Los estimadores de matching parean cada individuo tratado con un individuo observacionalmente similar, no tratado.
- En su versión más sencilla, no controla por diferencias en variables inobservables.
La idea del matching es usar técnicas estadísticas para construir un grupo de control artificial.
Esto se hace identificando para cada observación tratada una observación no tratada que tiene características observables similares.
El estimador de matching crea un grupo de comparación para los que la distribución de variables observables es la misma que la del grupo tratado.
Dos variantes de estimadores de matching:
- Estimadores de corte transversal: Requieren datos de solamente un período postintervención.
- Estimadores de matching-diferencia en diferencias: Requieren datos de antes y después del momento de la intervención.
Matching exacto
Consideremos un programa de ayuda financiera que ofrece becas a estudiantes universitarios de familias pobres. La decisión de otorgar la ayuda se hace en dos etapas:
- Paso 1: Sólo estudiantes con promedio de escolaridad e ingreso del hogar en cierto rango (como escolaridad superior a 3,2, ingreso inferior o igual a 30.000), son elegibles para la ayuda financiera.
- Paso 2: Los beneficiarios son seleccionados entre los elegibles en función de criterios que incluyen no solo variables observables (como género, escolaridad, ingreso), sino variables inobservables (como el administrativo que estaba evaluando la aplicación).
Validez interna
- Matching asume que, condicional es un conjunto de características observables, es aleatorio que una persona reciba beca o no
- En este ejemplo, las características observables son género, años de educación, promedio de escolaridad, e ingreso del hogar.
- Si tenemos una variable de resultados Y, matching asume que, condicional en las características observables, el tratamiento es aleatorio con respecto a losvalores de potential outcomes.
Z= conjunto de características observables en las que estamos haciendo el pareo
La suposición de independencia significa que el grupo de tratamiento y control tienen los mismos valores de potential outcomes:
Si requerimos un conjunto grande de características para la condicionalidad, puede ser difícil aplicar matching exacto (maldición de problemas de la dimensionalidad)
Propensity score matching
PSM resuelve el problema de la dimensionalidad
Asumimos que condicional es un conjunto de características observables (Z), la participación en el tratamiento (P) es independiente de los valores de potential outcomes.
La probabilidad de que un individuo participe en el tratamiento basándose en características observables (Z) se denomina propensity score:
Condicional en el propensity score, la decisión del individuo de participar en el tratamiento es independiente de los valores de potential outcomes.
Área de soporte común: Rango de probabilidad para el que existen tanto participantes como no participantes.
Emparejamiento por propensity score:
- Varios participantes no tienen contrafactual
- Para algunos participantes, hay muchos no participantes con propensity score similares.
Matching con remplazo: Las unidades de observación que pertenecen al grupo de control pueden ser utilizadas como contrafactual de más de una unidad de observación del grupo de tratamiento.
Una desventaja es que unas pocas observaciones del grupo de control pueden ser usadas como contrafactual para varias unidades de observación del grupo de tratamiento.
Esto hace que los resultados dependan de muy pocas observaciones como contrafactual.
El área de soporte común y el tamaño de los intervalos elegidos es una manera de controlar por este peligro potencial
Matching sin reemplazo: las unidades de observación que pertenecen al grupo de control sólo pueden ser utilizadas como contrafactual de una unidad de bservación del grupo de tratamiento.
Una desventaja es que los resultados de las estimaciones van a depender del ordenamiento inidcial de los participantes.
En los dos procesos de matching a continuación, los resultados van a ser diferentes, siendo que la muestra es la misma.
Matching de corte transversal
Validez interna
Existe un conjunto de características observadas, Z tal que los valores de potential outcomes son independientes de la participación en el programa condicional en Z.
Es posible encontrar un área de soporte común
Las variables Z no se ven afectadas por el tratamiento
Suposición de independencia
Implica que, para un grupo de personas con los mismos valores de Z, P no está correlacionada ni con Y0 ni con Y1.
Como consecuencia, condicional en Z, P no está correlacionada con las ganancias de participar en el tratamiento, Y1-Y0.
Las personas no se autoseleccionan en el tratamiento basándose en su ganancia anticipada, excepto por esa parte de la ganancia que es capturada por las variables observables Z.
Área de soporte común
Si hay observaciones que siempre van a ser asignadas al tratamiento:
La probabilidad de recibir el tratamiento es 1, ya que siempre lo van a recibir
Si hay observaciones que siempre van a ser asignadas al control:
La probabilidad de recibir el tratamiento es 0, ya que nunca lo van a recibir.
Para estas observaciones, no es posible encontrar un par similar en el otro grupo.
Requerir un área de soporte común excluye a estas observaciones del análisis
Para todos los valores de Z, la probabilidad de participar en el programa es positiva.
Para todos los valores de Z, la probabilidad de no participar en el programa es positiva.
Estimadores
Asume que para cada individuo tratado, hay solo un contrafactual no tratado.
Es una variación del estimador de vecino más cercano
Tiene como objetivo evitar emparejamiento entre observaciones lejanas
Impone una distancia máxima tolerable
Diseños experimentales
Es difícil contar con datos observacionales.
Los experimentos de encuesta son un instrumento para recuperar efectos causales cuando:
- No tenemos datos observacionales.
- Tenemos una razonable duda de que las preguntas directas vas a obtener respuestas sesgadas.
Cuatro tipos de experimentos de encuesta:
- De lista
- De viñeta
- Factoriales
- Conjoint
Experimentos de lista
Deseabilidad social
Es la necesidad que tenemos de ser aceptados por quienes nos rodean.
Objetivo
Recabar información sensible, que es poco probable que el encuestado diga la verdad si se lo cuestiona directamente.
La premisa de los experimentos de lista es que si una pregunta sensible se pregunta de manera indirecta, los encuestados van a estar más dispuestos a ofrecer su respuesta verdadera cuando las normas sociales incentivan a responder la pregunta de cierta manera.
Efecto de diseños:
Para que el experimento de lista sea válido, la respuesta a un ítem, sensible o no sensible, debe ser independiente de la inclusión de cualquier otro ítem. Esto debe cumplirse si la respuesta a un ítem depende de la comparación que hace con los otros ítems incluidos.
Efecto de ordenamientos:
La respuesta a un item no puede variar en función del orden en el cual se lo coloca entre las opciones.
Efecto techo:
Se da si existe una tendencia a contestar afirmativamente todas las afirmaciones no sensibles. En ese caso, el grupo de tratamiento puede no querer revelar su verdadera opinión sobre el ítem sensible, ya que quedaría al descubierto cuál es su opinión sobre ese ítem.
Efecto techo
Se da si existe una tendencia a contestar negativamente las afirmaciones no sensibles. Tiene la misma consecuencia que el efecto techo.
Experimento de viñeta
Los experimentos de viñeta persiguen el mismo objetivo que los experimentos de lista. A diferencia del experimento de lista, lo que difiere entre los grupos de tratamiento y control no son las opciones que se les presentan para responder, sino el enunciado principal.
Al grupo de control se le presenta un enunciado en el que se describe una serie de características
Al grupo de tratamiento se le presenta el mismo enunciado, pero se agrega una característica adicional.
Se compara la aprobación que tiene el enunciado en el grupo de control con el que tiene en el grupo de tratamiento.
Como en cualquier diseño experimental, debemos verificar si el grupo de control es un buen contrafactual.
En los experimentos de encuesta, una opción para generar ese contrafactual es preguntar al mismo individuo la opción con tratamiento y sin tratamiento. Esto puede sesgar las respuestas del encuestado, ya que se expone cual es el punto en el que está siendo evaluado.
La opción para generar un buen contrafactual es la aleatorización del tratamiento entre un grupo de encuestados. Cada encuestado recibe solo la encuesta de control o tratamiento. Debe tener igual probabilidad de ser asignado al grupo de tratamiento o control.
Se recolectan datos sobre quienes responden:
- Edad
- Genero
- Residencia
- Nivel educativo
- Ingresos
Entre otros
Cuando implementamos un experimento, necesitamos que los grupos de control y tratamiento estén balanceados. Las características de los individuos que componen uno y otro grupo sean similares.
- Variables observables
- Variables inobservables
Balance de las variables inobservables:
Por definición, no tenemos datos. Para justificarlo, debemos hacer énfasis en la asignación aleatoria del tratamiento. Se suele evaluar el balance en las variables observables.
Balance en variables observables:
Que se cumpla son condición necesaria pero no suficiente para justificar el balance en variables inobservables. Se realiza un test de medias para evaluar el balance entre distintos grupos. Una limitación importante, es que pierde validez con muestra pequeña por falta de poder estadístico.
Si los grupos no están balanceados, podemos estimar por mínimo cuadrados ordinarios una región lineal que nos permita controlar por las características no balanceadas.
Experimentos factoriales
En un experimento de viñeta, el investigador varía sólo un componente del escenario. En un experimento factorial, el investigador provee al encuestado un escenario hipotético, variando los componentes del escenario. En un experimento factorial, el investigador modifica varios componentes del escenario.
Limitaciones de los experimentos de lista y factoriales
a) Factores de confounding
Cualquier intervalo experimental que está pensada para desencadenar T podría desencadenar también Z.
Si z no varía en el diseño experimental, no podemos saber si es T, Z, o una combinación de ambas lo que afecta la variable de interés Y.
b) Equivalencia de información
Cualquier intervención experimental T puede ser interpretada de manera diferente por los distintos encuestados, por lo que cada encuestado puede estar recibiendo lo que es en efecto un tratamiento diferente.
No podemos saber si el efecto observado es causado por el tratamiento.
c) Contaminación pre-tratamiento
Los encuestados pueden encontrarse con el tratamiento fuera del experimento, lo que causaría resultados similares en el grupo de control y el de tratamiento incluso si el tratamiento afecta la variable de resultados.
Experimentos conjoint
Un experimento conjoint intenta resolver esos problemas solicitando repetidamente a los encuestados que elijan entre dos opciones y variando aleatoriamente las características de las dos opciones.
A los encuestados también se les puede solicitar que califiquen cada opción en una escala.
Permiten identificar el efecto promedio de los atributos que se aleatorizan en los perfiles. Se puede incluir una larga lista de atributos. La buena práctica sugiere variar solamente los aspectos de un perfil que pueden confundir la relación entre un aspecto primario de interés y un resultado de interés, antes que variar cualquier aspecto que pueda afectar el resultado de interés.
Audit studies
Es un diseño experimental. El objetivo es medir el efecto de distintas formas de discriminación en el mercado laboral. Las formas de discriminación más estudiadas son por raza y género.
Cierto grupo de la sociedad tienen peores resultados en el mercado laboral, las mujeres ganan menos que los hombres, la población afrodescendiente menos que el resto de la sociedad. Dos teorías para justificar las diferencias salariales: discriminación estadística y discriminación por preferencias.
Hay discriminación estadística cuando el empleador ofrece remuneraciones diferentes basándose en características observables de cada grupo. La población afrodescendiente tiene, en promedio, menos años de educación que el resto de la población. Los empleadores tienen recursos limitados para destinar al proceso de selección. Deciden en base a una característica observable y que hace referencia al promedio de la subpoblación a la que pertenece el candidato.
En la base de la discriminación estadística está una búsqueda por la eficiencia. La información incompleta, unida al costo de obtener información, hace que el empleador elija por características promedio de una subpoblación y no por características personales.
Discriminación por preferencias: cuando una persona o institución ofrece diferentes condiciones por animosidad contra un grupo al que pertenece el candidato.
Las características idénticas de las personas que se van a analizar pueden ser:
- Años de educación
- Género
- Zona de residencia
- Estado civil
Luego se mide la tasa a la que eran llamados al siguiente paso del proceso de selección los individuos del grupo de tratamiento y los del grupo de control.
Si la única diferencia entre el grupo de tratamiento y el de control es el tratamiento, la diferencia en la tasa de respuesta se puede tomar como la magnitud de la discriminación.
Limitaciones:
- Entrenamiento de actores
- Costo elevado
- Poder estadístico