Fundamentos de Modelos Lineales y Componentes Principales: Conceptos Clave en Estadística

Conceptos Fundamentales en Modelado Estadístico

Definiciones Clave

Estimador Insesgado

Cuando su valor esperado coincide con el verdadero valor del parámetro.

Componente Principal

Es una combinación lineal de las variables originales estandarizadas en la que los coeficientes que ponderan son los elementos de los autovectores.

Autovector (Vector Propio)

Eje de la componente principal.

Autovalor (Valor Propio)

Varianza de la componente principal.

Multicolinealidad Aproximada

Variables independientes que están relacionadas linealmente, pero no de forma exacta.

Comunalidad

Indica el porcentaje de información que se utiliza de cada variable según el número de componentes seleccionados.

Varianza Residual

Es una aproximación de la varianza de las perturbaciones. Una varianza residual grande es indicativo de una baja representatividad de la regresión, y viceversa.

Coeficiente de Determinación ($R^2$)

Indica la proporción de la varianza de la variable dependiente que es explicada por el modelo.

Coeficiente de Determinación Ajustado

Se utiliza para penalizar el uso de un mayor número de variables explicativas, buscando la simplicidad y evitando el sobreajuste.

Cargas Factoriales

Correlación existente entre las variables originales y las componentes principales.

Suposiciones del Modelo Lineal Clásico (MLC)

1. Sobre los Residuos (Perturbaciones)

• Esperanza Nula: El valor esperado de los errores es cero ($E(\epsilon_i) = 0$).
• Homocedasticidad: Todas las perturbaciones tienen la misma varianza (varianza constante).
• Independencia: Las perturbaciones son todas independientes; una no influye sobre la otra.
• Normalidad: Los errores siguen una distribución normal. Esto indica que el valor más probable es el valor esperado.

2. Sobre la Forma Funcional

• Linealidad: Con estos modelos solo podemos estimar relaciones lineales (rectas, parábolas, etc.).

3. Sobre los Regresores (Variables Independientes)

• Exogeneidad: Las variables independientes toman su valor fuera del modelo (se consideran datos fijos).
• Mensurabilidad: Las variables independientes se miden sin error.
• No Colinealidad: Las variables independientes no están relacionadas linealmente de forma exacta.
• Identificabilidad: El número de observaciones (filas) debe ser mayor que el número de parámetros a estimar (columnas).

4. Sobre los Parámetros

• Constancia: Los parámetros deben ser constantes en el tiempo (estabilidad paramétrica).

Propiedades de las Componentes Principales

1. Suma de Varianzas: La suma de las varianzas de las $k$ componentes principales es igual a la suma de las varianzas de las variables originales.
2. Ortogonalidad: Aunque las variables $x_i$ puedan estar correlacionadas, las componentes principales son ortogonales (no correlacionadas entre sí).
3. Máxima Dispersión: La primera componente principal define la dirección en el espacio $X$ cuya dispersión es máxima. Cada componente subsiguiente define la dirección de máxima dispersión ortogonal a las anteriores.