Construcción y Validación de Árboles de Decisión para Clasificación
Clasificado en Matemáticas
Escrito el en español con un tamaño de 2,76 KB
Árboles de Decisión para Clasificación
Un árbol de decisión es un método de clasificación donde todas las variables de la matriz de datos, tanto la dependiente como las independientes, deben ser discretas (categóricas o numéricas discretas de dominio finito).
Entropía
Sea P = {p1, p2, …, pH} la distribución de probabilidad asociada a la variable X. Se llama entropía de la variable X, E(X), a la siguiente expresión:
La entropía de la variable X mide el grado de incertidumbre asociado a la misma. Como caso particular, suponga H = 2, es decir, que X puede tomar solo 2 valores (A y B), entonces, la entropía de X viene dada por E(X) = -p*log2(p) -(1-p)*log2(1-p).
Algoritmo ID3 para la Construcción de Árboles de Decisión
- Dada la matriz