Modelo de Regresión Lineal Simple: Teoría, Supuestos, Estimación por MCO y Predicción

Introducción al Modelo de Regresión Lineal Simple

• Origen econométrico del modelo: Un modelo econométrico se construye a partir de un modelo económico al cual se le añade un componente aleatorio, transformándolo en un modelo estadístico.

• Parámetros poblacionales: Los parámetros del modelo son desconocidos, por lo que resulta indispensable estimarlos a través de datos empíricos.

• Obtención de información primaria: Una forma de recolectar datos es mediante fuentes primarias, aplicando encuestas de manera directa a los individuos de la población objetivo para consultar las variables de interés.

• Ejemplo clásico de aplicación (Hill et al., 2018): Estudio de una función de gasto en comida semanal. La teoría económica establece que el gasto en comida es explicado por el nivel de ingreso familiar.

• Estructura del modelo económico:

  • Función genérica:

        $y_i = f(x_i)$

* Especificación lineal específica:

        $y_i = \beta_1 + \beta_2 x_i$

* $y_i$: Gasto en comida semanal (variable dependiente).
* $x_i$: Ingreso familiar semanal (variable independiente o explicativa).
* *Aclaración sobre la terminología de variables: * Las variables ubicadas al lado derecho de la ecuación se denominan explicativas. No todas las variables explicativas son estrictamente independientes, pero en el Modelo de Regresión Lineal Simple se asume que las explicativas son variables independientes (no correlacionadas con el término de error).

• Función de densidad condicional:

  • Si se fija un nivel de ingreso específico (por ejemplo, $x = 1000\,\text{pesos}$ semanales) y se selecciona aleatoriamente una familia de la población objetivo, su gasto en comida semanal $y_i$ es una variable aleatoria continua cuyo valor preciso se conoce únicamente tras realizar y responder la encuesta.

  • Aunque el nivel de ingreso se fije en $1000\,\text{pesos}$, los valores de gasto reportados varían entre las distintas familias. Existe una función de densidad de la variable $y$ alrededor de su media condicional.

  • Gráficamente, se genera una función de densidad condicional de $y$ dado $x = 1000$ ($f(y|x = 1000)$ ), con media condicional $E(y|x = 1000)$.

  • El mismo procedimiento se aplica para otros niveles de ingreso, como $x = 2000\,\text{pesos}$, obteniendo la función de densidad condicional $f(y|x = 2000)$ y su media condicional $E(y|x = 2000)$.

  • Conforme el ingreso $x$ se incrementa, también aumenta el Valor Esperado Condicional $E(y|x)$ del gasto en comida, lo que confirma gráficamente una relación positiva entre las variables.

  • La función de regresión es en realidad una función de esperanza condicional $E(y|x)$.

• Factores omisos y aleatoriedad: El gasto en comida de las familias no varía únicamente debido a cambios en el ingreso. Existen otros factores relevantes que inciden sobre el gasto:

  1. Número de integrantes de la familia.

  2. Preferencias alimenticias de la familia.

  3. Edad de los integrantes.

  4. Ubicación geográfica (zona urbana vs. zona rural).

  5. Aleatoriedad intrínseca en el comportamiento humano.

• Estructura del modelo econométrico: Para incorporar los factores no observados, se introduce el término residual o término aleatorio $e_i$ en la ecuación:

    $y_i = \beta_1 + \beta_2 x_i + e_i$

*   $\beta_1$ y $\beta_2$ representan los parámetros poblacionales desconocidos que deben estimarse.
*   El análisis de regresión es un método estadístico que utiliza datos empíricos para explorar las relaciones existentes entre variables. El modelo simple evalúa la relación entre una variable dependiente ($y$) y una explicativa ($x$).

Supuestos del Modelo de Regresión Lineal Simple

• 1) Modelo lineal en los parámetros: Todos los pares de observaciones $(y_i, x_i)$ extraídos aleatoriamente de la población satisfacen la relación:

    $y_i = \beta_1 + \beta_2 x_i + e_i \quad \text{para } i = 1, 2, 3, \dots, N$

¿que es ei?

• 2) Exogeneidad Estricta: El valor esperado condicional del término de error $e_i$ dado $x_i$ es igual a cero:

    $E(e_i|x_i) = 0 \quad \forall i$

*   Implicación directa: No es posible utilizar la información de la variable explicativa $x_i$ para pronosticar el error $e_i$
*   Este supuesto implica que la media condicional de $y_i$ dado $x_i$ está determinada por la Función de Esperanza Condicional lineal (Función de Regresión Poblacional):

        $E(y_i|x_i) = \beta_1 + \beta_2 x_i \quad \text{para } i = 1, 2, 3, \dots, N$

*   Esto permite descomponer la variable dependiente como:

        $y_i = E(y_i|x_i) + e_i \quad \text{para } i = 1, 2, 3, \dots, N$

• 3) Homoscedasticidad: La varianza condicional del término de error es constante para todas las observaciones:

    $\text{Var}(e_i|x_i) = \sigma^2 \quad \forall i$

*   Dado que $e_i$ es la componente aleatoria de $y_i$, las propiedades estadísticas de una determinan las de la otra. Por lo tanto, el supuesto expresado en términos de $y_i$ es:

        $\text{Var}(y_i|x_i) = \sigma^2 \quad \forall i$

• 4) No correlación en los errores (Ausencia de Autocorrelación): La covarianza condicional entre dos términos de error distintos $e_i$ y $e_j$ es igual a cero:

    $\text{Cov}(e_i, e_j|x) = 0 \quad \forall i \neq j$

*   Donde $x = x_1, x_2, \dots, x_N$

• 5) Variabilidad en la variable explicativa: Las observaciones de la variable explicativa $x_i$ deben tomar al menos dos valores distintos dentro de la muestra. La variable explicativa no puede ser una constante:

    $x_i \neq c$

• 6) Normalidad de los errores: La distribución condicional de los errores se distribuye normalmente con media cero y varianza constante $\sigma^2$:

    $e_i|x \sim N(0, \sigma^2)$

*   Expresado en términos de la variable aleatoria $y_i$:

        $y_i|x \sim N(\beta_1 + \beta_2 x_i, \sigma^2)$

• Interpretación geométrica de los parámetros de la función de regresión poblacional:

  • $\beta_1$ es el intercepto de la función: representa el valor esperado condicional de $y$ cuando $x = 0$ ($E(y|x = 0)$). En el contexto del gasto en comida, representa el gasto esperado cuando el ingreso familiar es nulo.

  • $\beta_2$ es la pendiente de la función de regresión poblacional:

        $\beta_2 = \frac{\Delta E(y|x)}{\Delta x} = \frac{d E(y|x)}{dx}$

*   $\beta_2$ representa el cambio en el valor esperado condicional de $y$ ante un incremento unitario en la variable explicativa $x$.

Estimación del MRLS mediante Mínimos Cuadrados Ordinarios (MCO)

• Levantamiento de información de campo (Puebla, 2015):

  • Población objetivo: Familias pertenecientes al municipio de Puebla.

  • Levantamiento de datos: Realizado en el año 2015 por estudiantes del curso de Econometría I de la Licenciatura en Economía de la BUAP.

  • Muestra obtenida: Un total de $N = 30$ observaciones (pares de ingreso y gasto en comida semanal por familia).

• Matriz de datos muestrales (pesos de 2015):

  • Observación 1: $y_1 = 1850$, $x_1 = 2500$

  • Observación 2: $y_2 = 945$, $x_2 = 1760$

  • Observación 3: $y_3 = 1000$, $x_3 = 5000$

  • Observación 4: $y_4 = 850$, $x_4 = 6500$

  • Observación 5: $y_5 = 1000$, $x_5 = 4100$

  • Observación 6: $y_6 = 950$, $x_6 = 2200$

  • Observación 7: $y_7 = 1260$, $x_7 = 1750$

  • Observación 8: $y_8 = 1400$, $x_8 = 2100$

  • Observación 9: $y_9 = 1250$, $x_9 = 2300$

  • Observación 10: $y_{10} = 1200$, $x_{10} = 2500$

  • Observación 11: $y_{11} = 1900$, $x_{11} = 4500$

  • Observación 12: $y_{12} = 2075$, $x_{12} = 5000$

  • Observación 13: $y_{13} = 1500$, $x_{13} = 3875$

  • Observación 14: $y_{14} = 1125$, $x_{14} = 3250$

  • Observación 15: $y_{15} = 457.5$, $x_{15} = 915$

  • Observación 16: $y_{16} = 700$, $x_{16} = 1500$

  • Observación 17: $y_{17} = 2500$, $x_{17} = 6250$

  • Observación 18: $y_{18} = 1200$, $x_{18} = 3500$

  • Observación 19: $y_{19} = 1300$, $x_{19} = 8000$

  • Observación 20: $y_{20} = 1560$, $x_{20} = 10000$

  • Observación 21: $y_{21} = 643.55$, $x_{21} = 750$

  • Observación 22: $y_{22} = 2500$, $x_{22} = 7000$

  • Observación 23: $y_{23} = 1800$, $x_{23} = 4000$

  • Observación 24: $y_{24} = 700$, $x_{24} = 1500$

  • Observación 25: $y_{25} = 1250$, $x_{25} = 2000$

  • Observación 26: $y_{26} = 3200$, $x_{26} = 3500$

  • Observación 27: $y_{27} = 3750$, $x_{27} = 4500$

  • Observación 28: $y_{28} = 713.25$, $x_{28} = 1000$

  • Observación 29: $y_{29} = 2125$, $x_{29} = 4500$

  • Observación 30: $y_{30} = 1975$, $x_{30} = 3000$

• Resumen descriptivo de los datos ($N = 30$):

  • Gasto en comida ($y$): Media $\bar{y} = 1489.31\,\text{pesos}$, Desviación Estándar = $767.3866\,\text{pesos}$, Mínimo = $457.5\,\text{pesos}$, Máximo = $3750\,\text{pesos}$.

  • Ingreso familiar ($x$): Media $\bar{x} = 3641.667\,\text{pesos}$, Desviación Estándar = $2222.133\,\text{pesos}$, Mínimo = $750\,\text{pesos}$, Máximo = $10000\,\text{pesos}$.

  • Suma de diferencias al cuadrado del ingreso: $\sum_{i=1}^{30} (x_i - \bar{x})^2 = 143198366.67$

  • Suma de productos cruzados: $\sum_{i=1}^{30} (x_i - \bar{x}) y_i = 20011857.50$

• El Principio de Mínimos Cuadrados:

  • El método consiste en ajustar una línea recta que pase a través de los datos muestrales de forma que la suma del cuadrado de las distancias verticales de cada punto observado hacia la línea sea mínima.

  • Se utilizan los cuadrados de las distancias para impedir que las desviaciones positivas cancelen a las desviaciones negativas al sumar.

  • Línea ajustada estimadora:

        $\hat{y}_i = b_1 + b_2 x_i$

* Residuales de Mínimos Cuadrados:

        $\hat{e}_i = y_i - \hat{y}_i = y_i - b_1 - b_2 x_i$

* Función objetivo a minimizar:

        $\min_{\beta_1, \beta_2} S(\beta_1, \beta_2) = \sum_{i=1}^N (y_i - \beta_1 - \beta_2 x_i)^2$

• Condiciones de Primer Orden (CPO):

  • Derivada parcial respecto a $\beta_1$ (CPO-1):

        $\frac{\partial S(\beta_1, \beta_2)}{\partial \beta_1} = -2 \sum_{i=1}^N (y_i - \beta_1 - \beta_2 x_i) = 0$

* Derivada parcial respecto a $\beta_2$ (CPO-2):

        $\frac{\partial S(\beta_1, \beta_2)}{\partial \beta_2} = -2 \sum_{i=1}^N (y_i - \beta_1 - \beta_2 x_i) x_i = 0$

• Deducción matemática del estimador del intercepto ($b_1$):

  • A partir de la CPO-1:

        $\sum_{i=1}^N (y_i - b_1 - b_2 x_i) = 0$

        $\sum_{i=1}^N y_i - N b_1 - b_2 \sum_{i=1}^N x_i = 0$

        $N b_1 = \sum_{i=1}^N y_i - b_2 \sum_{i=1}^N x_i$

        $b_1 = \bar{y} - b_2 \bar{x}$

• Deducción matemática del estimador de la pendiente ($b_2$):

  • A partir de la CPO-2:

        $\sum_{i=1}^N (y_i - b_1 - b_2 x_i) x_i = 0$

        $\sum_{i=1}^N x_i y_i - b_1 \sum_{i=1}^N x_i - b_2 \sum_{i=1}^N x_i^2 = 0$

* Sustituyendo $b_1 = \bar{y} - b_2 \bar{x}$:

        $\sum x_i y_i - (\bar{y} - b_2 \bar{x}) N \bar{x} - b_2 \sum x_i^2 = 0$

        $\sum x_i y_i - N \bar{x} \bar{y} + N b_2 \bar{x}^2 - b_2 \sum x_i^2 = 0$

        $b_2 \left( \sum x_i^2 - N \bar{x}^2 \right) = \sum x_i y_i - N \bar{x} \bar{y}$

        $b_2 = \frac{\sum x_i y_i - N \bar{x} \bar{y}}{\sum x_i^2 - N \bar{x}^2} = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} = \frac{\sum (x_i - \bar{x}) y_i}{\sum (x_i - \bar{x})^2}$

• Distinción conceptual entre Estimador y Estimación:

  • Los estimadores ($b_1$, $b_2$) son funciones algebraicas de variables aleatorias (fórmulas).

  • Las estimaciones son los valores numéricos concretos obtenidos al insertar las observaciones de una muestra en las expresiones algebraicas de los estimadores.

• Cálculo empírico de las estimaciones para la función de gasto en comida:

  • Cálculo de la pendiente estimada:

        $b_2 = \frac{20011857.50}{143198366.67} = 0.1397492$

* Cálculo del intercepto estimado:

        $b_1 = \bar{y} - b_2 \bar{x} = 1489.3100 - (0.1397492 \times 3641.6667) = 980.389989 \approx 980.39$

* Expresión de la línea de regresión estimada:

        $\hat{y}_i = 980.39 + 0.1397492 x_i$

        (o reportada simplificadamente como $\hat{y} = 980.39 + 0.1397 x_i$)

• Interpretación económica de los coeficientes estimados:

  • Pendiente estimada ($b_2 = 0.1397492$): Es la derivada de $y$ respecto a $x$ (efecto marginal de $x$ sobre $y$). Por cada peso de aumento en el ingreso familiar semanal, se espera en promedio que el gasto semanal en comida aumente en $0.1397\,\text{pesos}$ ($13.97\,\text{centavos}$). Equivalentemente, por cada $100\,\text{pesos}$ de incremento en el ingreso semanal, el gasto en comida se incrementa en promedio $13.97\,\text{pesos}$.

  • Intercepto estimado ($b_1 = 980.39$): Indica que cuando el ingreso familiar semanal es de cero pesos, el gasto semanal en comida esperado es de $980.39\,\text{pesos}$.

  • Nota cautelar sobre el intercepto: Es preciso tener cuidado en la interpretación económica del intercepto, ya que en ocasiones puede carecer de sentido práctico o económico real; sin embargo, su inclusión en la función es obligatoria para garantizar la completitud del modelo matemático.

  • Propiedad de la línea de regresión ajustada: La recta estimada siempre pasa por el punto de medias muestrales de las observaciones $(\bar{x}, \bar{y}) = (3641.67, 1489.31)$.

Resultados Computacionales de la Regresión en STATA

• Sintaxis empleada: reg y x

• Salida completa reportada por STATA:

  • Número de observaciones = $30$

  • Prueba F: $F(1, 28) = 5.48$

  • Prob > F = $0.0265$

  • Coeficiente de determinación ($R^2$) = $0.1638$

  • $R^2$ Ajustado = $0.1339$

  • Raíz del error cuadrático medio (Root MSE) = $714.17$

  • Suma de Cuadrados (SS):

    • Modelo: $SS = 2796641.13$, grados de libertad ($df$) = $1$, $MS = 2796641.13$

    • Residual: $SS = 14280944$, grados de libertad ($df$) = $28$, $MS = 510033.715$

    • Total: $SS = 17077585.2$, grados de libertad ($df$) = $29$, $MS = 588882.247$

  • Tabla de Coeficientes:

    • Variable explicativa $x$: Coeficiente = $0.1397492$, Error Estándar = $0.0596802$, valor $t = 2.34$, P > |t| = 0.027, Intervalo de Confianza al 95%: $[0.0174998, 0.2619986]$

    • Constante _cons ($b_1$): Coeficiente = $980.39$, Error Estándar = $253.4479$, valor $t = 3.87$, P > |t| = 0.001, Intervalo de Confianza al 95%: $[461.2255, 1499.554]$

Análisis de Elasticidades en el Modelo Lineal

• Definición general de elasticidad:

    $\varepsilon = \frac{\%\Delta y}{\%\Delta x} = \frac{\Delta y / y}{\Delta x / x} = \frac{\Delta y}{\Delta x} \frac{x}{y}$

*   Indica el cambio porcentual en la variable dependiente $y$ ante un incremento de un punto porcentual en la variable explicativa x$.\n*   **Derivación de la elasticidad en la Función de Esperanza Condicional:**\n    *   Dada la función de regresión E(y_i|x_i) = \beta_1 + \beta_2 x_i$, la tasa de cambio marginal es constante:$\beta_2 = \frac{\Delta E(y_i|x_i)}{\Delta x_i}.\n    *   Sustituyendo en la fórmula de elasticidad, se obtiene la elasticidad puntual:\n\n        \varepsilon_i = \beta_2 \frac{x_i}{E(y_i|x_i)}\n\n    *   Dado que el modelo es lineal, la elasticidad varía para cada par individual (x_i, y_i) a lo largo de la recta de regresión.\n*   **Estimación de la elasticidad en cada punto:**\n\n    \hat{\varepsilon}_i = b_2 \frac{x_i}{\hat{y}_i} = b_2 \frac{x_i}{b_1 + b_2 x_i}\n\n*   **Elasticidad evaluada en las medias muestrales (Elasticidad en el promedio):**\n    *   Consiste en evaluar la elasticidad en el punto promedio de los datos (x_i = \bar{x}$), lo cual implica que el valor ajustado es$\hat{y}_i = \bar{y}:\n\n        \hat{\varepsilon}_{\bar{x}} = b_2 \frac{\bar{x}}{\bar{y}}\n\n    *   Cálculo numérico para el ejemplo de gasto en comida:\n\n        \hat{\varepsilon}_{\bar{x}} = 0.1397492 \times \frac{3641.667}{1489.31} = 0.3417\n\n    *   *Interpretación:* Un incremento del 1\%$en el ingreso familiar incrementará el gasto semanal en comida en un$0.34\% en el promedio de los datos.\n*   **Elasticidad Promedio (Average Elasticity):**\n    *   Se calcula promediando la elasticidad estimada individual de cada una de las observaciones de la muestra:\n\n        \bar{\varepsilon} = \frac{1}{N} \sum_{i=1}^N \hat{\varepsilon}_i = 0.3166\n\n    *   *Diferenciación importante:* No se debe confundir la "elasticidad en el promedio de los datos" (0.3417$) con la "elasticidad promedio" ($0.3166).\n\n# Predicción y Pronóstico Puntual\n\n*   **Uso del modelo estimado:** El modelo de regresión lineal estimado permite predecir y realizar pronósticos del comportamiento de la variable dependiente y$para determinados valores hipotéticos o específicos de la variable explicativa$x$.

• Ejemplo de cálculo de un pronóstico puntual:

  • Objetivo: Pronosticar el gasto en comida promedio para una familia cuyo ingreso semanal es de $2500\,\text{pesos}$ (pesos de 2015).

  • Sustitución en la función de regresión ajustada:

        $\hat{y}_i = 980.39 + 0.1397492 \times 2500 = 1329.763$

*   *Interpretación:* En promedio, una familia que percibe un ingreso semanal de $2500\,\text{pesos}$ asignará un gasto estimado en comida de $1330\,\text{pesos}$ semanales (o $1329.763\,\text{pesos}$).

Referencias Bibliográficas

• Greene, William. (2003). Econometric Analysis. Prentice Hall, 5th Edition.

• Hill, C., Griffiths, W. and Lim, G. (2018). Principles of Econometrics. Wiley, 5th Edition.

• Wooldridge, Jeffrey. (2003). Introductory Econometrics, A modern approach. Thomson Learning, 2nd Edition.