Regresión lineal: supuestos del MCO, máxima verosimilitud y colinealidad

MatemáticasActualizado el 3,74 KB

Resumen

El documento presenta los fundamentos de la regresión lineal: los modelos poblacional, muestral y estimado, y los requisitos del método de Mínimos Cuadrados Ordinarios (MCO). Compara MCO con Máxima Verosimilitud (MV), expone las propiedades de los estimadores y explica cómo detectar la colinealidad y qué indican el R² y el R² ajustado.

Puntos clave

  • El modelo poblacional es E[Y|X] = β₀ + β₁x₁ + ... + βₚxₚ, el muestral añade un término de error ε y el estimado usa los coeficientes b.
  • MCO requiere linealidad en los parámetros, esperanza de residuales cero, homocedasticidad, estabilidad temporal y ausencia de colinealidad perfecta.
  • MCO minimiza la suma de cuadrados de los residuales y, bajo normalidad, produce los mismos estimadores que Máxima Verosimilitud.
  • Bajo los supuestos de Gauss-Markov, los estimadores MCO son insesgados, eficientes y consistentes.
  • La normalidad de los residuos es necesaria para la inferencia, no para que MCO sea MELI.
  • Señales de colinealidad: altas correlaciones simples, X'X casi singular, R² alto con coeficientes no significativos y F significativo con ningún coeficiente significativo.
  • Al agregar una variable predictora, el R² nunca disminuye, mientras que el R² ajustado puede subir o bajar.

Ponte a prueba

Modelos de Regresión Lineal

La y_est (y estimada) corresponde a una estimación del valor poblacional E[Y|X] o bien, el valor específico de yi en el modelo muestral.

  • Modelo Poblacional: E[Y|X] = β₀ + β₁x₁ + ... + βₚxₚ
  • Modelo Muestral: Y = β₀ + β₁x₁ + ... + βₚxₚ + ε (error)
  • Modelo Estimado: y_est = b₀ + b₁x₁ + ... + bₚxₚ

Requisitos del MCO (Mínimos Cuadrados Ordinarios)

  • Las variables predictoras (X) son fijadas por el investigador sin error, y la variable respuesta (Y) es observada sujeta a error.
  • El modelo es lineal en los parámetros.
  • La esperanza de los residuales es cero: E(residuales) = 0. Es decir, el residual tiene media cero.
  • Homocedasticidad: La varianza de los residuales es constante (Varianza(residuales) = constante).
  • Estabilidad temporal: El modelo no cambia significativamente en el tiempo.
  • No colinealidad perfecta entre las variables predictoras.

Propiedades del MCO

  • Minimiza el error cuadrático medio (suma de cuadrados de los residuales).
  • Produce estimadores idénticos a los de Máxima Verosimilitud (MV) bajo supuestos de normalidad.
  • Los estimadores son insesgados, eficientes y consistentes (bajo los supuestos de Gauss-Markov).
  • Bajo costo computacional.

Supuestos del Modelo de Regresión Múltiple

  • Linealidad en los parámetros (b).
  • No colinealidad perfecta en las variables exógenas (predictoras).
  • Normalidad de los residuos (necesario para inferencia, no para que MCO sea MELI).

Diferencias entre MCO y MV (Máxima Verosimilitud)

  • MCO: Minimiza el error de ajuste entre el Y observado y el Y estimado por la regresión (minimiza la suma de cuadrados de los residuales).
  • MV: Requiere que la distribución de los errores sea normal para maximizar la función de verosimilitud de la muestra.
  • MV: Provee un estimador de la varianza de los residuales (que debe ser constante).

Objetivos de los Modelos de Regresión

  • Un buen estimador debe entregar varianzas pequeñas. Una regla es tomar rangos de valores amplios para las variables predictoras (X).
  • Mostrar la relación entre las variables dependientes y las predictoras.
  • Predecir el valor de una respuesta al cambiar el valor de un predictor.
  • Dados los supuestos, los estimados son eficientes o de mínima varianza (Teorema de Gauss-Markov).
  • No se puede estimar una regresión lineal para modelos no lineales en los parámetros, ya que MCO busca minimizar el error cuadrático.
  • Los parámetros no lineales no se pueden estimar directamente con MCO porque requieren métodos basados en derivadas (que implican incrementos no lineales).

Detección de Colinealidad

  • Altas correlaciones simples entre variables predictoras.
  • La matriz X'X es casi singular o no invertible.
  • R² alto pero pocos coeficientes (b) individualmente significativos.
  • Estadístico F de ANOVA significativo, pero ningún coeficiente (b) individualmente significativo.
  • Análisis del VIF (Factor de Inflación de Varianza) y la Tolerancia.

Coeficiente de Determinación (R²)

  • Al agregar una variable predictora, el valor del R² nuevo es siempre mayor o igual al anterior.
  • Si se mantiene el número de datos (n) y se agregan variables, el R² ajustado puede aumentar o disminuir.
  • Si las variables predictoras son ortogonales (tienen correlación cero), los coeficientes de regresión simples y parciales son iguales.

Descargar

PDF Word HTML

Preguntas frecuentes

¿Qué diferencia hay entre MCO y máxima verosimilitud?

MCO minimiza la suma de cuadrados de los residuales. MV requiere que los errores sigan una distribución normal y maximiza la función de verosimilitud; bajo normalidad ambos métodos dan los mismos estimadores.

¿Cómo se detecta la colinealidad en una regresión?

Se observan altas correlaciones simples entre predictoras, una matriz X'X casi singular, un R² alto con pocos coeficientes individualmente significativos y el análisis del VIF y la tolerancia.

¿Por qué el R² nunca baja al agregar variables?

Según el texto, al agregar una variable predictora el R² nuevo es siempre mayor o igual al anterior. Por eso se usa el R² ajustado, que sí puede aumentar o disminuir.

Ponte a prueba

Tarjetas de repaso

Pulsa una tarjeta para ver la respuesta.

Test

1. ¿Qué supuesto del MCO establece que la varianza de los residuales es constante?
2. ¿Qué minimiza el método MCO?
3. ¿Para qué es necesaria la normalidad de los residuos según el texto?
4. ¿Cuál de estas es una señal de colinealidad?
5. Si las variables predictoras son ortogonales, ¿qué ocurre con los coeficientes?

Preguntas generadas con IA a partir del documento: comprueba las respuestas con el texto.