Conceptos Esenciales de Regresión Lineal: MCO, MV y Supuestos

Modelos de Regresión Lineal

La y_est (y estimada) corresponde a una estimación del valor poblacional E[Y|X] o bien, el valor específico de yi en el modelo muestral.

• Modelo Poblacional: E[Y|X] = β₀ + β₁x₁ + ... + βₚxₚ
• Modelo Muestral: Y = β₀ + β₁x₁ + ... + βₚxₚ + ε (error)
• Modelo Estimado: y_est = b₀ + b₁x₁ + ... + bₚxₚ

Requisitos del MCO (Mínimos Cuadrados Ordinarios)

• Las variables predictoras (X) son fijadas por el investigador sin error, y la variable respuesta (Y) es observada sujeta a error.
• El modelo es lineal en los parámetros.
• La esperanza de los residuales es cero: E(residuales) = 0. Es decir, el residual tiene media cero.
• Homocedasticidad: La varianza de los residuales es constante (Varianza(residuales) = constante).
• Estabilidad temporal: El modelo no cambia significativamente en el tiempo.
• No colinealidad perfecta entre las variables predictoras.

Propiedades del MCO

• Minimiza el error cuadrático medio (suma de cuadrados de los residuales).
• Produce estimadores idénticos a los de Máxima Verosimilitud (MV) bajo supuestos de normalidad.
• Los estimadores son insesgados, eficientes y consistentes (bajo los supuestos de Gauss-Markov).
• Bajo costo computacional.

Supuestos del Modelo de Regresión Múltiple

• Linealidad en los parámetros (b).
• No colinealidad perfecta en las variables exógenas (predictoras).
• Normalidad de los residuos (necesario para inferencia, no para que MCO sea MELI).

Diferencias entre MCO y MV (Máxima Verosimilitud)

• MCO: Minimiza el error de ajuste entre el Y observado y el Y estimado por la regresión (minimiza la suma de cuadrados de los residuales).
• MV: Requiere que la distribución de los errores sea normal para maximizar la función de verosimilitud de la muestra.
• MV: Provee un estimador de la varianza de los residuales (que debe ser constante).

Objetivos de los Modelos de Regresión

• Un buen estimador debe entregar varianzas pequeñas. Una regla es tomar rangos de valores amplios para las variables predictoras (X).
• Mostrar la relación entre las variables dependientes y las predictoras.
• Predecir el valor de una respuesta al cambiar el valor de un predictor.
• Dados los supuestos, los estimados son eficientes o de mínima varianza (Teorema de Gauss-Markov).
• No se puede estimar una regresión lineal para modelos no lineales en los parámetros, ya que MCO busca minimizar el error cuadrático.
• Los parámetros no lineales no se pueden estimar directamente con MCO porque requieren métodos basados en derivadas (que implican incrementos no lineales).

Detección de Colinealidad

• Altas correlaciones simples entre variables predictoras.
• La matriz X'X es casi singular o no invertible.
• R² alto pero pocos coeficientes (b) individualmente significativos.
• Estadístico F de ANOVA significativo, pero ningún coeficiente (b) individualmente significativo.
• Análisis del VIF (Factor de Inflación de Varianza) y la Tolerancia.

Coeficiente de Determinación (R²)

• Al agregar una variable predictora, el valor del R² nuevo es siempre mayor o igual al anterior.
• Si se mantiene el número de datos (n) y se agregan variables, el R² ajustado puede aumentar o disminuir.
• Si las variables predictoras son ortogonales (tienen correlación cero), los coeficientes de regresión simples y parciales son iguales.