Conceptos Clave de Minería de Datos: Estructura, Sesgo, Árboles de Decisión, Overfitting y Underfitting
Estructura de los datos
La estructura de datos (abt) tiene tres componentes principales:
- Instancias o filas: cada fila representa un registro individual u objeto de análisis (cliente, transacción, partido).
- Features descriptivos: son las columnas que describen cada fila. Son las variables de entrada que el modelo usará para aprender: edad, sueldo, antigüedad, cantidad de reclamos. Se dividen en dos tipos según cómo se obtienen:
- Raw features: datos crudos que vienen directamente de la base de datos.
- Derivative features: variables que creamos a partir de los raw features mediante cálculos.
- Feature objetivo: es la columna especial que queremos predecir, es decir, la variable de salida del modelo.
Atributos de alta cardinalidad única
Columnas como id_cliente o el número de cédula identifican a cada persona. Nunca se incluyen como descriptive feature porque el modelo aprendería reglas únicas para esa persona, produciendo overfitting y haciendo que el modelo no sirva para clientes nuevos.
Tipos de variables
Las variables de la tabla se dividen en dos grupos:
- Variables cuantitativas: números con los que se pueden realizar cálculos matemáticos, como la edad o el sueldo.
- Variables cualitativas: representan categorías o texto, sobre las cuales no se pueden hacer cálculos. Dentro de ellas encontramos:
- Nominales: no tienen un orden natural (estado civil, barrio).
- Ordinales: tienen un orden jerárquico claro (nivel educativo, nivel de satisfacción).
- Binarias: tienen solo dos opciones posibles.
Asimetría de la distribución (sesgo)
Distribución simétrica
Se produce cuando la media, la mediana y la moda son similares; los datos están balanceados alrededor del centro.
Distribución sesgada a la derecha
Se produce cuando la moda es menor que la mediana, y la mediana es menor que la media. Esto ocurre por la presencia de outliers, es decir, valores anormales extremadamente altos.
Árbol de decisión
Un árbol de decisión es un modelo que realiza preguntas consecutivas de sí/no sobre los descriptive features para clasificar un caso en una categoría final (target). Está compuesto por:
- Nodo raíz: la primera pregunta.
- Nodos internos: las preguntas secundarias.
- Hojas: los nodos terminales, que son las respuestas finales o predicciones.
Tipos de correlación
- Correlación positiva directa: cuando una variable aumenta, la otra también aumenta, y viceversa. r mayor a 0; si se pide estimar, se indica 0,6.
- Correlación negativa o inversa: cuando una variable aumenta, la otra disminuye. r menor a 0; si se pide estimar, se indica -0,6.
- Sin correlación: cuando no existe relación entre las variables. r similar a 0.
Train/Test split
Consiste en separar los datos en dos conjuntos (70/30 u 80/20):
- Train set (80%): se utiliza para que el modelo aprenda los patrones.
- Test set (20%): contiene datos que el modelo nunca vio y se usa para evaluar su desempeño real.
¿Para qué sirve en la práctica? Para simular cómo responderá el modelo ante datos nuevos y detectar si aprendió la regla general o si simplemente memorizó los datos.
Overfitting vs. Underfitting
Overfitting
Ocurre cuando el modelo es demasiado complejo o entrenó durante demasiado tiempo. El modelo se memorizó los datos de entrenamiento, incluyendo el ruido y los detalles irrelevantes.
¿Cómo se identifica en el examen?
- Error en Train: muy bajo (o accuracy cercana al 100%).
- Error en Test: muy alto (o accuracy baja).
Underfitting
Ocurre cuando el modelo es demasiado simple o no entrenó lo suficiente. No logra capturar ni los patrones básicos de los datos.
¿Cómo se identifica en el examen?
- Error en Train: alto (malo).
- Error en Test: alto (malo).
Data Quality Report
Un Data Quality Report es un resumen tabular que evalúa la salud de los datos midiendo valores faltantes, estadísticas de tendencia y dispersión para variables numéricas, y cardinalidad junto con la moda para variables categóricas.
Los atributos con cardinalidad 1 tienen un único valor constante en todas las filas, por lo que su ganancia de información es nula (IG = 0) y deben eliminarse en el preprocesamiento, ya que no aportan poder predictivo.