Conceptos Clave en Regresión Lineal: Definiciones y Explicaciones

Conceptos Fundamentales en Regresión Lineal

1) R-cuadrado: Coeficiente que mide cuánto de la varianza de y es explicado conjuntamente por las varianzas de las variables explicativas en el modelo de regresión lineal.

2) Efecto parcial: En el modelo de regresión lineal, se analiza el efecto que un cambio en una sola de las variables explicativas produce en la variable explicada, es decir, una variable explicativa cambia y el resto de variables explicativas permanecen iguales.

3) Valor predicho o ajustado: Es el valor estimado de la variable dependiente que se obtiene sustituyendo los valores de x en el modelo de regresión estimado (con los coeficientes estimados a partir de la muestra).

4) Test de ajuste global: Es un contraste de hipótesis en el que se plantea si el modelo considerado aporta alguna información sobre la variable que queremos explicar (y) o no. Se basa en contrastar si alguna de las variables explicativas consideradas es relevante para explicar y (hipótesis alternativa) o, por el contrario, ninguna de las variables consideradas es relevante para explicar y (hipótesis nula).

5) Insesgamiento: Es una propiedad de los estimadores. Un estimador es insesgado para un cierto parámetro poblacional cuando la esperanza del estimador es igual al parámetro poblacional.

6) Ordenada al origen: Es el término independiente del modelo. Es el valor de la variable dependiente cuando todas las variables explicativas son cero.

7) Colinealidad perfecta: Tenemos colinealidad perfecta en un conjunto de variables cuando una de ellas puede expresarse como una combinación lineal de las restantes.

8) Inclusión de variables irrelevantes: Cuando en un modelo de regresión se incluyen variables que no tienen efecto sobre Y. No se generan problemas de sesgo en el estimador MCO, pero se reduce la precisión de la estimación.

9) P-Value: Es el nivel de significancia más pequeño al que rechazaríamos la hipótesis nula. Pensando en el estadístico T, una vez calculado el valor observado T_obs para un caso particular (supongamos que observamos un valor positivo), nos fijamos en la probabilidad acumulada a la izquierda de -T_obs y a la derecha de T_obs. Este será nuestro P-value.

10) Insesgamiento (reiteración): Un estimador B es un estimador insesgado para el parámetro β si la esperanza de B es exactamente igual al parámetro poblacional β.

11) Homocedasticidad: Es cuando el error cometido por el modelo tiene siempre la misma varianza. En particular, si el modelo es homocedástico, el modelo de las variables explicativas no afectará a la varianza del error.

12) MCO (Mínimos Cuadrados Ordinarios): Es un procedimiento para determinar aproximadamente los valores reales de los coeficientes del modelo de regresión simple B₀ y B₁ a partir de los datos de una muestra de las variables. Busca dos valores B₁ y B₀ tales que la recta dada por B₀ + B₁X hace mínima la suma total de las distancias entre los valores de la variable Y_i y los valores de la recta B₀ + B₁X_i.

13) R-cuadrado ajustado: La idea es penalizar modelos con muchas variables. La inclusión de variables en el modelo puede reducir el R² ajustado.

14) Estadístico: Es una variable aleatoria que solo depende de parámetros conocidos. Se construye a partir de las mismas estimaciones que hemos obtenido para los estimadores, en este caso μ̂ y σ̂². Se construye bajo la hipótesis nula: no depende de la hipótesis alternativa.

15) Intervalo de confianza: Es un intervalo aleatorio que contiene el verdadero valor del parámetro con una cierta probabilidad. El intervalo de confianza nos dice cuál sería la regla de decisión con respecto a distintas hipótesis nulas (bajo un nivel de significancia de α) si quisiéramos hacer pruebas de hipótesis.

16) El test F: Se plantea en función de la diferencia de residuos del modelo restringido versus el modelo sin restringir, o en función de la diferencia de los R-cuadrado del modelo restringido y sin restringir.