Fundamentos de Medición y Validación en la Investigación Educativa

Consentimiento Informado

El consentimiento informado es el proceso de comunicación entre el investigador y el participante que permite que la persona decida libremente si participará o no en un estudio.

Requisitos de Forma y Contenido

Forma

• Explicar que el objetivo es entregar toda la información necesaria para decidir participar.
• Utilizar un lenguaje simple y comprensible, evitando tecnicismos.
• Presentar la información de manera clara y resumida.
• Confirmar que todos los puntos fueron explicados verbalmente.

Contenido

• Objetivos del estudio: Explicar claramente qué se investigará y por qué la persona fue seleccionada.
• Destino de la información: Explicar qué ocurrirá con los datos obtenidos. Si se usarán en investigaciones futuras, debe indicarse; para otros usos, puede requerirse un nuevo consentimiento.
• Procedimientos: Informar la frecuencia de evaluaciones, duración de las actividades y acceso a los resultados.
• Beneficios: Indicar si tendrá beneficios directos, beneficios potenciales, beneficios para terceros o para la sociedad.
• Riesgos: Explicar si hay riesgos posibles, probabilidad de ocurrencia, efectos adversos o complicaciones.
• Costos: Informar gastos de transporte, tiempo invertido, posibles compensaciones y cobertura de gastos médicos derivados del estudio.
• Confidencialidad: Garantizar la protección de los datos, el uso anónimo de la información y la no utilización por terceros ajenos al estudio.
• Contacto: Incluir datos del investigador y datos del comité de ética.
• Participación voluntaria: La persona puede retirarse cuando quiera y no sufrirá consecuencias por abandonar el estudio.
• Copia del documento: El participante debe recibir una copia firmada.

Situaciones Especiales

• Personas incompetentes para consentir: Si no pueden comprender el estudio, el consentimiento debe ser otorgado por padres, cónyuge, hijos o representante legal.
• NNA (Niños, Niñas y Adolescentes): Si el menor comprende la situación, se requiere: 1. Consentimiento del adulto responsable y 2. Asentimiento informado del menor.
• Estudios sociales: Deben informarse los objetivos del estudio, el tipo de participación solicitada, las técnicas utilizadas (grabaciones, fotografías, entrevistas, etc.) y la forma de resguardar la información. En comunidades indígenas o pueblos originarios, puede requerirse además la aprobación de la comunidad.

Validez de Contenido y Juicio de Expertos

¿Qué es la validez de contenido?

Es el juicio acerca de qué tan bien una prueba representa el universo de conductas para el cual fue diseñada. Se evalúa verificando que exista coherencia entre: constructo -> dimensiones -> indicadores -> reactivos.

¿Qué es el juicio de expertos?

Es la evaluación realizada por personas con experiencia y conocimientos reconocidos sobre el tema. Los expertos entregan: opiniones, evidencias, juicios y valoraciones.

Importancia

La validez de contenido permite verificar que:

1. El instrumento incluya todas las dimensiones del constructo.
2. Los ítems representen adecuadamente la variable.
3. Se identifiquen fortalezas y debilidades.
4. Se decida qué ítems modificar, eliminar o agregar.

Es considerada una condición necesaria para interpretar correctamente los resultados de una prueba.

Evaluación de la validez de contenido

Se analiza la calidad de los reactivos (determinar si cada ítem realmente mide el constructo) y la proporcionalidad (verificar que exista una distribución equilibrada de reactivos entre las dimensiones). La validez de contenido depende principalmente de una adecuada elaboración de los reactivos.

Selección de jueces expertos

Los expertos deben poseer:

• Experiencia: Experiencia previa realizando evaluaciones y tomando decisiones basadas en evidencia.
• Reputación: Reconocimiento profesional en el área.
• Disponibilidad: Interés y motivación para participar.
• Imparcialidad: Objetividad, confianza y adaptabilidad.

Exigencias de una Buena Medición

• Fiabilidad: Debe producir resultados similares cuando se repite la medición.
• Validez: Las conclusiones obtenidas deben representar realmente el atributo que se desea medir.
• Aplicación correcta: Debe seguirse el protocolo de administración del instrumento.
• Rango de aplicabilidad: El instrumento debe utilizarse solamente en el contexto para el cual fue diseñado.

Teoría Clásica de los Test (Spearman)

Spearman plantea la diferencia entre:

• Puntuación verdadera: Valor real del atributo psicológico.
• Puntuación observada: Resultado que obtenemos al aplicar el test.

La puntuación observada siempre contiene cierto grado de error: Puntuación observada = Puntuación verdadera + Error.

Fiabilidad o Confiabilidad

Es la capacidad de un instrumento para producir resultados consistentes y estables cuando se aplica en condiciones similares. Mientras más confiable sea una prueba, menos error tendrá y más precisas serán las mediciones.

Dimensiones de la fiabilidad

• Equivalencia: Obtener resultados similares con formas paralelas de un test.
• Estabilidad: Obtener resultados similares en momentos distintos.
• Consistencia interna: Obtener resultados coherentes entre los diferentes ítems del mismo instrumento.

Error de Medición

Es cualquier factor que provoca que la puntuación observada se aleje de la puntuación verdadera. Puede deberse a la persona evaluada, la situación de evaluación o características del instrumento.

Fuentes de error

• Factores transitorios: Cambios temporales entre una aplicación y otra (ejemplos: fatiga, estado emocional, estrés).
• Especificidad: Errores asociados al contenido particular de los ítems.
• Factores aleatorios: Variaciones impredecibles que no pueden atribuirse a causas específicas.

Formas de estimar la fiabilidad

• Formas paralelas: Se crean dos versiones equivalentes del mismo test; la fiabilidad se obtiene correlacionando ambas formas.
• Estabilidad temporal (test-retest): Se aplica el mismo test dos veces a las mismas personas. La correlación entre ambas mediciones indica estabilidad temporal; mientras más cercana a 1 sea la correlación, mayor fiabilidad.
• Consistencia interna: Evalúa el grado en que los ítems del test están relacionados entre sí y miden el mismo constructo.

Índices de Consistencia Interna

Alfa de Cronbach

Es el índice más utilizado para evaluar la consistencia interna. Los rangos sugeridos son:

• Entre 0,70 y 0,90 (Tavakol y Dennick, 2011; DeVellis, 2003; Streiner, 2003; Nunnally y Bernstein, 1994; Petterson, 1994).
• Por encima de 0,80 (Nunnally, 1987).
• Valor mínimo de 0,70 para grupos y 0,90 para escalas (Lauriola, 2012).
• 0,60 es aceptable para explorar, 0,70 para confirmar y 0,80 es "bueno" (Garson, 2013).
• Por encima de 0,90 puede implicar redundancia de ítems (Tavakol y Dennick, 2011).

Interpretación del Alfa:

• < 0,50: Inaceptable.
• 0,51 a 0,60: Pobre.
• 0,61 a 0,70: Cuestionable.
• 0,71 a 0,80: Aceptable.
• 0,81 a 0,90: Bueno.
• > 0,90: Excelente.

Limitaciones de Alfa: Puede verse afectado por el número de ítems, el número de alternativas de respuesta y la varianza del test. Además, puede ser problemático cuando el instrumento no es unidimensional.

Omega de McDonald

Es una medida alternativa de confiabilidad.

Ventajas:

• Utiliza cargas factoriales.
• Refleja mejor la verdadera fiabilidad.
• No depende de la cantidad de ítems.
• No requiere equivalencia entre ítems.
• Mayor precisión y estabilidad.

Interpretación de Omega:

• < 0,60: Baja confiabilidad.
• 0,61 - 0,70: Moderada.
• 0,71 - 0,80: Buena.
• 0,81 - 0,90: Muy buena.
• > 0,90: Excelente.

Diferencia clave entre Alfa y Omega

El Alfa es más utilizado, más fácil de calcular y se basa en correlaciones entre ítems. El Omega es más preciso, se basa en cargas factoriales, se ve menos afectado por el número de ítems y actualmente es considerado un mejor estimador de confiabilidad.

Concordancia Inter-observador: Coeficiente Kappa

Se utiliza cuando dos observadores evalúan el mismo fenómeno. Mide cuánto coinciden sus observaciones más allá de lo que podría explicarse por azar.

Características

• Puede aplicarse a tablas de cualquier dimensión.
• Requiere comparar exactamente a dos observadores.
• Sus valores van desde -1 hasta +1.

Interpretación de Kappa

• Cercano a +1 -> Alta concordancia.
• Cercano a -1 -> Alta discordancia.
• k = 0 -> La concordancia observada se explica completamente por azar.

Escala de valoración:

• 0,00: Pobre.
• 0,01 a 0,20: Leve.
• 0,21 a 0,40: Aceptable.
• 0,41 a 0,60: Moderada.
• 0,61 a 0,80: Considerable.
• 0,81 a 1,00: Casi perfecta.

Concepto Actual de Validez

Ya no se habla de la validez del test, sino de la validez de las puntuaciones obtenidas. La validación es un proceso cuyo objetivo es acumular evidencias que permitan justificar la interpretación y el uso de las puntuaciones. Por lo tanto, no se valida el test, se valida la interpretación de sus resultados para un propósito específico.

Fases de la Validación

1. Argumento interpretativo: Consiste en definir qué se pretende interpretar, qué uso tendrán las puntuaciones, qué constructo se mide, diferencias con otros constructos y relación con otras variables.
2. Argumento de validez: Consiste en evaluar si las interpretaciones propuestas son correctas. Una interpretación puede resultar válida y otra no, aun utilizando el mismo instrumento.

Fuentes de Evidencia para la Validez

Existen cinco fuentes principales:

1. Validación de contenido.
2. Proceso de respuesta.
3. Estructura interna.
4. Relación con otras variables.
5. Consecuencias del uso del test.

Tipos de Validez

Validez de Contenido

Evalúa si los ítems representan adecuadamente el constructo. Aspectos a considerar: Constructo, objetivo del test, población objetivo, definición teórica, dimensiones, indicadores, ítems, coherencia y proporcionalidad, evaluación por jueces expertos, relevancia y calidad del procedimiento de construcción.

Validez de Criterio

Se obtiene comparando los resultados del instrumento con un criterio externo que mide lo mismo. Mientras mayor sea la relación entre ambos, mayor será la validez.

A) Validez Concurrente

El criterio se mide en el presente. Ambos instrumentos se aplican al mismo grupo, idealmente al mismo tiempo (ejemplo: comparar BAI y DASS-21 para medir ansiedad).

• Método de grupos contrastados: Busca demostrar que el instrumento distingue entre personas con niveles altos y bajos del atributo medido.
• Opción 1: Comparar el 25% con puntaje alto y el 25% con puntaje bajo mediante una prueba t de Student.
• Opción 2: Comparar grupos conocidos (ej. grupo liberal vs. conservador).
• Criterio estadístico: Los resultados deben ser significativos (p < 0,05).

B) Validez Predictiva

El criterio se mide en el futuro. Evalúa la capacidad del instrumento para predecir resultados posteriores (ejemplo: prueba de ingreso universitaria y calificaciones finales). Si existe una correlación positiva alta, la validez predictiva es adecuada.

Procedimientos:

• Regresión simple: Una sola variable predictora. Criterios: R² alto (>60%), error estándar pequeño (<1), F significativa y coeficiente B significativo (p < 0,05).
• Regresión múltiple: Varias variables predictoras. Ventajas: R² suele ser mayor, menor error de medición y mayor capacidad predictiva.

Validez de Estructura Interna

Busca comprobar que el instrumento realmente mide el constructo que afirma medir. Se analiza mediante AFE (Análisis Factorial Exploratorio) y AFC (Análisis Factorial Confirmatorio).

Análisis Factorial Confirmatorio (AFC)

1. Representar gráficamente el modelo.
2. Verificar identificación del modelo: Debe existir suficiente información para estimar sus parámetros.
3. Estimar parámetros: Métodos como ML (Máxima Verosimilitud) o ULS. La elección depende del tipo de variables y la distribución de los datos.
4. Evaluar ajuste: Se analiza si los datos observados se ajustan a la teoría.

Índices de Ajuste:

• Índices incrementales: CFI y TLI deben ser mayores a 0,90.
• Índices absolutos: Evalúan cuánto se parecen la matriz observada y la predicha. RMSEA debe ser menor a 0,05 (en muestras de al menos 200 personas) y SRMR debe ser menor a 0,08 (más eficaz en muestras pequeñas).