Regresión lineal: supuestos del MCO, máxima verosimilitud y colinealidad
Resumen
El documento presenta los fundamentos de la regresión lineal: los modelos poblacional, muestral y estimado, y los requisitos del método de Mínimos Cuadrados Ordinarios (MCO). Compara MCO con Máxima Verosimilitud (MV), expone las propiedades de los estimadores y explica cómo detectar la colinealidad y qué indican el R² y el R² ajustado.
Puntos clave
- El modelo poblacional es E[Y|X] = β₀ + β₁x₁ + ... + βₚxₚ, el muestral añade un término de error ε y el estimado usa los coeficientes b.
- MCO requiere linealidad en los parámetros, esperanza de residuales cero, homocedasticidad, estabilidad temporal y ausencia de colinealidad perfecta.
- MCO minimiza la suma de cuadrados de los residuales y, bajo normalidad, produce los mismos estimadores que Máxima Verosimilitud.
- Bajo los supuestos de Gauss-Markov, los estimadores MCO son insesgados, eficientes y consistentes.
- La normalidad de los residuos es necesaria para la inferencia, no para que MCO sea MELI.
- Señales de colinealidad: altas correlaciones simples, X'X casi singular, R² alto con coeficientes no significativos y F significativo con ningún coeficiente significativo.
- Al agregar una variable predictora, el R² nunca disminuye, mientras que el R² ajustado puede subir o bajar.
Modelos de Regresión Lineal
La y_est (y estimada) corresponde a una estimación del valor poblacional E[Y|X] o bien, el valor específico de yi en el modelo muestral.
- Modelo Poblacional: E[Y|X] = β₀ + β₁x₁ + ... + βₚxₚ
- Modelo Muestral: Y = β₀ + β₁x₁ + ... + βₚxₚ + ε (error)
- Modelo Estimado: y_est = b₀ + b₁x₁ + ... + bₚxₚ
Requisitos del MCO (Mínimos Cuadrados Ordinarios)
- Las variables predictoras (X) son fijadas por el investigador sin error, y la variable respuesta (Y) es observada sujeta a error.
- El modelo es lineal en los parámetros.
- La esperanza de los residuales es cero: E(residuales) = 0. Es decir, el residual tiene media cero.
- Homocedasticidad: La varianza de los residuales es constante (Varianza(residuales) = constante).
- Estabilidad temporal: El modelo no cambia significativamente en el tiempo.
- No colinealidad perfecta entre las variables predictoras.
Propiedades del MCO
- Minimiza el error cuadrático medio (suma de cuadrados de los residuales).
- Produce estimadores idénticos a los de Máxima Verosimilitud (MV) bajo supuestos de normalidad.
- Los estimadores son insesgados, eficientes y consistentes (bajo los supuestos de Gauss-Markov).
- Bajo costo computacional.
Supuestos del Modelo de Regresión Múltiple
- Linealidad en los parámetros (b).
- No colinealidad perfecta en las variables exógenas (predictoras).
- Normalidad de los residuos (necesario para inferencia, no para que MCO sea MELI).
Diferencias entre MCO y MV (Máxima Verosimilitud)
- MCO: Minimiza el error de ajuste entre el Y observado y el Y estimado por la regresión (minimiza la suma de cuadrados de los residuales).
- MV: Requiere que la distribución de los errores sea normal para maximizar la función de verosimilitud de la muestra.
- MV: Provee un estimador de la varianza de los residuales (que debe ser constante).
Objetivos de los Modelos de Regresión
- Un buen estimador debe entregar varianzas pequeñas. Una regla es tomar rangos de valores amplios para las variables predictoras (X).
- Mostrar la relación entre las variables dependientes y las predictoras.
- Predecir el valor de una respuesta al cambiar el valor de un predictor.
- Dados los supuestos, los estimados son eficientes o de mínima varianza (Teorema de Gauss-Markov).
- No se puede estimar una regresión lineal para modelos no lineales en los parámetros, ya que MCO busca minimizar el error cuadrático.
- Los parámetros no lineales no se pueden estimar directamente con MCO porque requieren métodos basados en derivadas (que implican incrementos no lineales).
Detección de Colinealidad
- Altas correlaciones simples entre variables predictoras.
- La matriz X'X es casi singular o no invertible.
- R² alto pero pocos coeficientes (b) individualmente significativos.
- Estadístico F de ANOVA significativo, pero ningún coeficiente (b) individualmente significativo.
- Análisis del VIF (Factor de Inflación de Varianza) y la Tolerancia.
Coeficiente de Determinación (R²)
- Al agregar una variable predictora, el valor del R² nuevo es siempre mayor o igual al anterior.
- Si se mantiene el número de datos (n) y se agregan variables, el R² ajustado puede aumentar o disminuir.
- Si las variables predictoras son ortogonales (tienen correlación cero), los coeficientes de regresión simples y parciales son iguales.
Descargar
PDF Word HTMLPreguntas frecuentes
¿Qué diferencia hay entre MCO y máxima verosimilitud?
MCO minimiza la suma de cuadrados de los residuales. MV requiere que los errores sigan una distribución normal y maximiza la función de verosimilitud; bajo normalidad ambos métodos dan los mismos estimadores.
¿Cómo se detecta la colinealidad en una regresión?
Se observan altas correlaciones simples entre predictoras, una matriz X'X casi singular, un R² alto con pocos coeficientes individualmente significativos y el análisis del VIF y la tolerancia.
¿Por qué el R² nunca baja al agregar variables?
Según el texto, al agregar una variable predictora el R² nuevo es siempre mayor o igual al anterior. Por eso se usa el R² ajustado, que sí puede aumentar o disminuir.
Ponte a prueba
Tarjetas de repaso
Pulsa una tarjeta para ver la respuesta.
Test
Preguntas generadas con IA a partir del documento: comprueba las respuestas con el texto.