Investigacion
Clasificado en Otras materias
Escrito el en 
español con un tamaño de 35,79 KB
Rasgos:
+restringen el significado de los objetivos generales.
+solo admiten una interpretación.
+implican tomar opciones frente a las posibles interpretaciones de los objetivos generales.
+se formulan en función de manifestaciones observables evaluables, equivalen a preguntas.
+facilitan el estructurar mejor el proyecto social.
+pueden desglosarse para su análisis.
+en general, con objetivos bien formulados puede evaluarse mejor la coherencia de toda inv.
3.4. Planteamiento de la hipótesis-acción
Una hipótesis implica un enunciado de la supuesta causa de los problemas planteados en la elección de un tema. Proporcionan una respuesta provisional al problema. Indican al investigador que es lo que necesita exactamente descubrir, le aclaran cuales son las variables con las que ha de encontrarse y las relaciones que existen entre ellas. Son el punto. de partida del proceso de inv., este en si mismo llega afirmar o negar hipótesis, a averiguar si son verdaderas o falsas. Su formulación implica ideas tentativas acerca de los factores que consideramos cruciales. En la I.A. es necesario que el grupo haga un proceso de reflexión sobre los objetivos y problemática antes de llegar a precisar las hipótesis. Una hipótesis-acción nos indica una acción a realizar que debe responder sobre todo a una autorreflexión y autocomprensión de la situación. Constituyen los elementos sustanciales del estudio.
3.5. Dinámica para probar la hipótesis-acción (diseño)
¿Cómo elaborar un buen diseño para la recogida de datos? Un buen diseño ha de prever:
-cómo se recogerán los datos (instrumentos).
-cómo se organizara la recogida de datos que permitan conocer la influencia de unos factores sobre otros, es preciso comparar los datos obtenidos por observación, entrevista o análisis doc.
-cómo seleccionarla muestra.
-qué metodología se va a utilizar, si será de tipo cuantitativo o cualitativo.
El equipo investigador debe conocer que los datos cuantitativos (ámbito experimental) se caracterizan por:
-el control de las variables intervinientes.
-la manipulación de las variables independientes.
-la extracción aleatoria de las muestras.
Las diferencias de la inv. cualitativa respecto a los métodos cuantitativos implica los pasos:
-de la reducción y operacionalización de variables a la consideración holística de la vida peculiar.
-del control de las variables a la observación abierta y flexible de la vida natural.
-del distanciamiento aséptico del invest. a la participación activa de los acontecimientos.
-de las técnicas objetivas a la observación interactiva y a la entrevista.
-del diseño preestablecido al diseño flexible y emergente.
-del informe anomico al reportaje vivo.
El invest. debe conocer ambas metodologías y usar la que considere más conveniente.
Profundizaremos en algunas fases del proceso de investigación:
3.5.1. Elección de instrumentos
Al conocimiento de la realidad debemos aproximarnos con métodos e instrumentos diversos, dado que la realidad se puede conocer tanto desde dentro como desde fuera, intentando describir, analizar, valorar o interpretar lo que sucede. La variedad de métodos según Selitiz permite mantener una mayor credibilidad en los resultados. Los instrumentos son los medios técnicos que se usan para facilitar el tratamiento de los datos, propio de cada inv. y para el registro objetivo de la conducta resultante. Se usan para ordenar, elaborar e interpretar los datos que se obtienen en le estudio. Han de buscar la objetividad, representatividad y precisión.
3.5.2. Análisis de datos
Este según LaTorre y Gonzalez es la etapa de búsqueda sistemática y reflexiva de la inf. obtenida a través de los instrumentos. Constituye uno de los momentos más importantes del proceso de inv. e implica trabajar los datos, recopilarlos, organizarlos en unidades manejables, sintetizarlos, buscar regularidades, descubrir que es importante y que van a aportar a la inv.
A través del análisis pretendemos reducir los datos de nuestra inv. para expresarlos numérica y gráficamente.
Técnicas y procedimientos de análisis de datos
El análisis cualitativo presenta la ventaja de la flexibilidad pero exige un gran rigor con el fin de ir justificando todos los pasos de al inv. Explicitar la finalidad del análisis, así como explorar los datos que tenemos con el fin de:
-recopilar todos los datos.
-completar loa que aparezcan incompletos.
Aquí ya podemos relevar los aspectos más relevantes de la inv., estamos en condiciones de efectuar un primer resumen de los datos, nos ayudara formularnos un serie de preguntas sobre:
-qué sucede o cómo sucede. Indicar la primera categorización y su interpretación.
-por qué sucede: explicitar las primeras asociaciones halladas.
-en el caso de necesitar mas datos podemos recurrir a su búsqueda.
Procedimientos de análisis
Momento crítico en el proceso de la I.A. El análisis puede llevarse a cabo por enfoques diversos: de carácter deductivo e inductivo, intentando construir categorías y conceptos o intentando enumerar las frecuencias de los fenómenos observados para verificar la teoría.
Como procedimiento de análisis, según Bartolomé, podemos señalar.
-Protocolos de observación estandarizados; procede de una teoría ya elaborada, como la escala de observación de Flanders, basta con hacer un recuento de frecuencias en cada categoría. Se representan patrones de conducta y se obtienen los datos, ordenando dentro de cada intervalo de tiempo, el orden en que han ocurrido.
-Análisis de contenido; se suele usar para el análisis sistemático de documentos escritos, notas de campo, entrevistas registradas, diarios, etc. Trata de estudiar con detalle el contenido de la comunicación escrita, oral y visual. Técnica de análisis y cuantificación de los materiales.
3.6. Interpretación e integración de los resultados
Una vez recogidos y analizados los datos el investigador puede dar respuesta a los problemas que se han formulado. En la inv. educativa pretendemos comprender al realidad, pero no quedarnos en la mera comprensión, para superar esta debemos:
? integrar el trabajo que hemos efectuado en un marco mas amplio que ilumine nuestra hipótesis-acción, esto ayudara a que el investigador a partir de su propia teorizacion pueda elaborar una teoría practica (Kemmis).
? realizar 2 niveles de análisis: uno a nivel de casos y otro que permita la comparación de los mismos y los integre dentro de un marco teórico.
La interpretación de los datos exige una reflexión sistemática y critica de todo el proceso de inv. con el fin de contrastarlo con la teoría y con los resultados prácticos.
Dentro de una realidad educativa supone contrastar las hipótesis, darles o no credibilidad e insertarlas en un marco teórico que de apoyo a la practica.
3.7. Informe en la Investigación-Acción
Debe recoger el proceso seguido a lo largo de todo el trabajo con el fin de darlo a conocer a todos los implicados. Consiste en registrar lo que se ha hecho, como se ha hecho y resultados obtenidos. Presentara de manera clara los objetivos y el problema a investigar. Si se han alcanzado o no los objetivos propuestos. La hipótesis-acción (que pretendemos hacer para mejorar la situación, o que debemos cambiar y de que modo). Como hemos recogido y analizado los datos. Hacer referencia al grupo que ha aportado inf. Hacer alusión a las conclusiones. Debe recoger las sugerencias, indicaciones y cambios para cambiar la realidad.
Lewin propone un informe que recoja todas las fases hasta completar un espiral de I.A.
Hopkyns considera que el informe debe reunir los datos de forma que:
-la inv. pueda repetirse en otra ocasión.
-la evidencia usada para generar hipótesis y la acción estén claramente documentadas.
-la acción tomada como resultado de la inv. este controlada.
Para facilitar el proceso de elaboración del informe podemos destacar las siguientes fases:
? cómo evoluciono a través del tiempo la propia idea general.
? cómo la comprensión de la situación problemática evoluciono a través del tiempo.
? -qué medidas se tomaron a la luz de dicha evolución.
? en qué medida se pusieron en marcha las acciones propuestas.
? los efectos intencionados o no de las propias acciones y explicaciones de por qué ocurrieron.
? las técnicas que se seleccionaron para recabar la inf. sobre:
+la situación problemática y sus causas.
+las acciones emprendidas y sus efectos.
? los problemas que se encontraron al usar ciertas técnicas y cómo se resolvieron.
? cualquier problema ético planteado al negociar el acceso de la inf. y cómo se quiso resolver.
? cualquier problema que se planteo al negociar con los demás los pasos, tiempo, recursos y cooperación que se deseaba durante el desarrollo de “Action Research”.
3.8. Cambio producido en la práctica
La I.A. no termina con la formulación de unas conclusiones mas o menos logradas, y la redacción del informa, pues busca, en definitiva, incidir en la practica. Debemos preguntarnos:
¿Qué incidencia ha tenido la I.A. en el equipo implicado? ¿Cómo ha incidido? ¿Por qué? ¿Cómo y qué podríamos hacer para mejorar esta situación?
Exige un proceso de retroalimentación constante., por ello no termina nunca
TEMA 4
INVESTIGACIÓN EVALUATIVA
INTRODUCCIÓN
Evaluación: no se trata de una calificación al final de un periodo de enseñanza, ni tampoco solamente de comprobar el progreso de un alumno, una clase o una institución educativa sino que es todo un proceso para comprobar la utilidad de cualquier objeto.
1. ¿QUE ES LA EVALUACIÓN?
Definición: la evaluación es el enjuiciamiento sistemático de la valía o el merito de un objeto. (Joint comité on Standards for Educational Evaluation).
Desde el momento en que la evaluación, en un sentido optimo emplea procedimientos objetivos para obtener una información segura e imparcial, ya está ligada a la valoración. Su meta esencial es determinar el valor de algo que esta siendo enjuiciado.
La evaluación es una empresa compleja, esto significa que hay que poner mucho cuidado no solo cuando se recopile la inf., que debe ser de calidad, sino también cuando se clarifique y proporcione una base lógica que justifique las perspectivas de valoración utilizadas para interpretar los resultados.
Los términos valía y merito deben ser definidos para enriquecer nuestro concepto de evaluación. Aunque un programa meritorio puede no ser valido, debemos indicar que un programa que no sea meritorio no puede ser valido. Hemos de considerar estos tres criterios en el momento de realizar una evaluación:
-Las distintas expectativas del cliente.
-El merito o excelencia del servicio en cuestión.
-La necesidad del servicio (validez potencial).
Además de estos 3 aspectos es necesario considerar 2 más: la viabilidad y la equidad.
Ej.: aunque un servicio pueda ser de mucha calidad, puede que consuma más recursos de los que necesita o puede causar infinidad de problemas políticos. En cualquiera de los dos casos, el programa, en principio, debe ser modificado en esas áreas para hacerlo mas viable.
La equidad esta predominantemente relacionada con las sociedades democráticas. Se exigen las mismas oportunidades para todo el mundo y se reclama la libertad para todos.
Como dijo Kellaghan, para que exista igualdad deben existir 7 indicios de equidad:
1. los SP educativos de una sociedad deben estar pensados para toda la población.
2. todos los sectores de la sociedad deben tener el mismo tipo de acceso a los servicios.
3. todos los grupos deben disfrutar de una participación equitativa en el uso de servicios.
4. los niveles de logro no serán significativamente distintos para los diferentes grupos.
5. los conocimientos exigidos para alcanzar los objetivos del servicio no deben ser sustancialmente diferentes para los distintos grupos.
6. las aspiraciones vitales que se persiguen deben ser similares en todos los grupos.
7. el sistema de servicio deberá producir resultados similares en lo que se refiere a la mejora en el bienestar de todos los grupos sociales.
También, debemos considerar otros 3 aspectos de la evaluación:
1º. se refiere a si la evaluación necesita ser comparativa.
2º. se refiere a las principales utilizaciones e la evaluación.
3º. se pregunta hasta qué punto los evaluadores necesitan cualificaciones especiales.
En general, creemos que la evaluación debe ser comparativa antes de que empiece el proceso o antes de suscribirse a un servicio, no comparativa durante el proceso, y periódicamente comparativa después del proceso y/o la utilización continuada.
Que una evaluación deba ser comparativa o no depende de lo que se quiera conseguir de esa evaluación, en cuanto a su utilización se refiere. Consideramos 3 utilizaciones:
-Perfeccionamiento; se refiere a la inf. que se proporciona para asegurar la calidad de un servicio o para mejorarla. Hay que prestar mucha atención a la naturaleza y necesidades de los consumidores, y a la relación existente entre le
proceso y los resultados. Los evaluadores deberían estar muy en contacto con el personal del programa. Plan de evaluación flexible y receptivo.
-Recapitulación; análisis retrospectivos acerca de proyectos ya terminados. La inf. no va dirigida al personal encargado de su desarrollo, sino a los patrocinadores y consumidores. Debe incluir una valoración de la eficacia de lo invertido.
-Ejemplificación; la evaluación y la inv. son actividades distintas. La primera se dedica a considerar todos los criterios que se usan en la determinación de un valor, mientras que la segunda se limita más bien al estudio de ciertas variables que tienen un interés teórico. Las evaluaciones suelen usar métodos subjetivos y no están tan controladas ni sujetas a manipulación como las invs..
3. TIPOS O MODELOS DE EVALUACIÓN
3.1. Clasificación de Stufflebeam
Éste presenta 3 amplios grupos en los que podemos encuadrar la evaluación:
Tipos de evaluación
Definición de evaluación Enjuiciamiento sistemático de la valía o el mérito de un objeto
Pseudo-evaluaciones Pseudo-evaluaciones Son las que utilizan la evaluación para conseguir sus objetivos: -Investigaciones encubiertas - Estudios realizados para la comunicación
Cuasievaluaciones Cuasievaluaciones A veces van encaminadas a enjuiciar el valor o mérito de un objeto, otras no -Estudios basados en objetivos -Estudios basados en la experimentación
Verdaderas evaluaciones Verdaderas evaluaciones Son las que están basadas en el valor y mérito del objeto estudiado: -Estudios de orientación de la decisión -Estudios centrados en el cliente -Estudios políticos -Estudios basados en el consumidor
Pseudoevaluaciones
-Investigaciones encubiertas; sus organizadores son una amenaza que deben afrontar los clientes. La intención del cliente al encargar una inv. encubierta es conseguir asistencia para obtener, mantener o incrementar una esfera de influencia, poder o dinero. Los métodos típicos con los que se llevan a cabo las evaluaciones encubiertas incluyen el análisis de documentos, la vigilancia de los implicados, los estudios simulados, las invs. privadas y los expedientes secretos. Dado que la inf. puede ser revelada para crear una falsa imagen del valor de un objeto, o no revelada, para ocultar una situación, este método se llama pseudoevaluacion.
-Estudios realizados para la comunicación; estudio planificado, realizado y usado para satisfacer propósitos que tengan que ver con las relaciones publicas, aquí las necesidades informativas del propagandista son organizadores previos. La intención del estudio es ayudar al cliente a crear una imagen positiva de una institución, programa, sistema y similares. Los métodos típicos en estos estudios son las inspecciones, pruebas y la utilización de asesores expertos.
Cuasievaluaciones
Estos estudios empiezan con un problema concreto y luego buscan la metodología apropiada para solucionar ese problema.
-Estudios basados en objetivos; los organizadores previos se suelen basar en algún informe sobre los objetivos. Estos pueden ser determinados por los clientes, por personas cuyo trabajo se esta valorando, por el evaluador,…El propósito es determinar si los objetivos han sido alcanzados y así concluir si se ha tenido éxito en le trabajo que se ha valorado. Las audiencias mas frecuentes son los creadores de programas, patrocinadores, administrativos y proveedores de servicios. Los métodos típicos incluyen la recopilación y el análisis de los datos sobre el trabajo en cuestión. Su pionero es Ralph Tyler.
-Estudios basados en la experimentación; son de cuasievaluacion porque incluyen cuestiones y metodologías a veces relacionadas, pero a veces no, con el juicio de valores.
La inv. experimental trae a la memoria la advertencia de Kaplan contra la llamada “ley del instrumento” según el cual el método es equivalente a una inv. Los organizadores previos son la exposición de problemas, las hipótesis y el estudio de cuestiones. El propósito mas común de un experimento es determinar o demostrar vínculos casuales entre ciertas VD e VI (método de enseñanza, test con calificaciones,…). Los métodos típicos son los planes experimentales y cuasiexperimentales. Los pioneros son Linquist, Campbell y Stanley, Suchmam y Conbach y Show.
Ventaja: proporcionan métodos sólidos para la determinación de relaciones causales relativamente inequívocas entre el programa y los resultados.
Problemas: el método, a menudo, no resulta factible a la hora de señalar los límites de la especialidad y proporciona una inf. mucho mas restringida de la que es necesaria para evaluar programas de educación, salud y bienestar. Tienden a proporcionar una inf. final que no resulta útil como guía para el procesote desarrollo.
Otro tipo de estudios: comprobación de programas, sistemas de inf. administrativa y los estudios de responsabilidad.
Las verdaderas evaluaciones
Para Stufflebeam son aquellas que evitan los estudios tendenciosos y recomiendan la realización de invs. de conjunto basadas en cuestiones de valor y merito.
-Estudios de orientación de la decisión; subraya que la evaluación debe ser utilizada tanto para el perfeccionamiento de un programa, como para enjuiciar su valor. Las decisiones a tomar proporcionan organizadores previos para los estudios de orientación de la decisión. Su intención es proporcionar conocimientos y bases valorativas para tomar y justificar decisiones. Los métodos adecuados para llevar a cabo estos estudios son: inspecciones, valoración de las necesidades, estudios de casos, series de recomendaciones, observaciones estructurales y planificaciones experimentales y cuasiexperimentales. Su pionero pp. pionero fue Cronbach.
Ventaja: anima a los grupos profesionales, y organizaciones gubernamentales, a usar la evaluación continua y sistemáticamente para planificar y llevar a cabo los servicios que satisfacen las necesidades del cliente.
Limitación: la colaboración imprescindible entre el evaluador y el que toma las decisiones puede conducir a una distorsión de los resultados. La metaevaluacion externa se usa para contrarrestar estas posibles desviaciones.
-Estudios centrados en el cliente; se centran principalmente en ayudar a aquellos que realizan un servicio cotidiano a valorar y perfeccionar sus contribuciones. Los organizadores previos son las preocupaciones y problemas del programa del servicio. Su propósito es ayudar a la gente que forma parte de un servicio loca a comprender como funcionan las necesidades de ese servicio y el grado en que este es respetado y valorado. Los métodos típicos son el estudio de casos, informes contrapuestos, sociodramas y lo que Stake llama “evaluación respondiente”. Su pp. pionero es Stake.
Virtud: se trata de un inv. activa en la que se ayuda a la gente que realiza programas a dirigir sus propias evaluaciones.
Defecto: su ausencia de credibilidad externa y la posibilidad de ser manipulado por ciertos elementos locales que, en efecto, ejercen un gran control sobre la evaluación.
-Estudios políticos; sirven para identificar y valorar los meritos de varias políticas que compiten en una sociedad. Su organizador previo es una determinada cuestión política. Su propósito es describir y valorar los costos y beneficios potenciales de diversas políticas aplicables a una institución de terminada o a la sociedad. Los métodos utilizados incluyen la Delphi Technique, la planificación experimental y cuasiexperimental, los guiones, los pronósticos y los procedimientos judiciales. Su pp. pionero es Joseph Rice.
Ventaja: resultan esenciales como guía de las instituciones y de la sociedad.
Inconveniente: acaban corrompidos por el ambiente político en que se desarrollan.
-Estudios basados en el consumidor; el evaluador es el inteligente sustituto del consumidor. Los organizadores previos son los valores y necesidades de la sociedad. Su propósito es juzgar los valores relativos de los bienes y servicios alternativos y así ayudar a los contribuyentes y clientes a saber elegir en sus adquisiciones de esos bienes y servicios. Los métodos incluyen listas de control, la valoración de las necesidades, la evaluación de los objetivos, la planificación experimental y cuasiexperimental, el análisis de modus operando y el análisis de los costes. Su pp. pionero fue Scriven.
Ventajas: se trata de una valoración sólida en independiente concebida para proteger a los consumidores de productos y servicios de muy baja calidad.
Inconveniente: puede llegar a independizarse tanto de quienes lo practican que quizá no pueda ayudarles a la hora de servir mejor a los consumidores. Es muy costoso.
3.2. Clasificación de De Ketele
Objeto de la evaluación Funciones de la evaluación Acción Rendimiento de las personas en formación Principales procesos Objeto de la evaluación Funciones de la evaluación Acción Rendimiento de las personas en formación Principales procesos
Evaluación de orientación Decisión general: Pasar a una nueva fase de acción Decisiones especificas: 1. Determinar los objetos (evaluación de contexto). 2. Determinar las posibilidades de éxito en la acción (evaluación predictiva). 3. Fijar las estrategias y los medios (evaluación de los “entrantes”). 4. Anticipar la realidad (evaluación preventiva) Decisión general: Comenzar un nuevo aprendizaje Decisiones especificas: 1. Determinar la orientación que conviene a la persona. 2. Determinar su éxito, evaluar sus posibilidades en una rama formativa determinada (evaluación predictiva). 3. Determinar las características y las necesidades de la persona (evaluación de los “entrantes”). 4. Anticipar la realidad (evaluación preventiva). Análisis de las necesidades Diagnostico de los puntos fuertes y de los puntos débiles del sistema o de la persona (auditoria de un sistema o evaluación de diagnostico)
Evaluación de regulación Evaluación de regulación Decisión general Decisión general Tomar medidas durante el proceso con vistas a convertir la acción en mas eficaz. Decisiones especificas: 1. Modificar las estrategias. 2. Modificar los recursos humanos. 3. Modificar los recursos materiales. Decisión general Decisión general Tomar medidas con vistas a facilitar el aprendizaje a lo largo del proceso. Decisiones especificas 1. Tomar medidas individuales en lo relativo al sujeto que aprende (evaluación formativa). 2. Modificar las estrategias de aprendizaje a nivel de grupo (evaluación formadora). Diagnostico de los puntos fuertes y de los puntos débiles a nivel del producto provisional, de los procedimientos y del proceso (auditoria de un sistema, evaluación de diagnostico de aprendizaje). Evaluación de regulación Decisión general Tomar medidas durante el proceso con vistas a convertir la acción en mas eficaz. Decisiones especificas: 1. Modificar las estrategias. 2. Modificar los recursos humanos. 3. Modificar los recursos materiales. Decisión general Tomar medidas con vistas a facilitar el aprendizaje a lo largo del proceso. Decisiones especificas 1. Tomar medidas individuales en lo relativo al sujeto que aprende (evaluación formativa). 2. Modificar las estrategias de aprendizaje a nivel de grupo (evaluación formadora). Diagnostico de los puntos fuertes y de los puntos débiles a nivel del producto provisional, de los procedimientos y del proceso (auditoria de un sistema, evaluación de diagnostico de aprendizaje).
Evaluación de certificación Decisión general Certificar el éxito o el fracaso de la acción, en función de la consecución de los objetivos fijados. Decisiones especificas: 1. Retribuir la acción. 2. Reconducir la acción. 3. Admitirla. Decisión general Certificar el éxito o el fracaso de la persona en función de un nivel de rendimiento exigido. Decisiones especificas: 1. seleccionar o admitir (evaluación de selección). 2. Expedir los certificados necesarios para la vida en sociedad. 3. Clasificar a las personas (evaluación de clasificación) Estudio de los efectos a corto, medio y largo plazo. Balance (evaluación del producto, evaluación descriptiva referida a un criterio, o, por el contrario sumativa).
4. META DE LA EVALUACIÓN
Propósito: para Stufflebeam es la utilidad, para ser útil una evaluación debe tener como núcleo todo un proceso científico que la avale.
Objetivo: aumentar la efectividad en la realización de un programa.
5. PROCESO DE LA INVESTIGACIÓN EVALUATIVA
Es un proceso constatado y orientado sistemática e intencionalmente a conocer la utilidad de un objeto y mejorarlo. Exige rigurosidad en el proceso.
5.1. El proceso según distintos autores
Siguiendo a De la Orden. Diferencias de la evaluación comparada con la inv. estricta:
-los juicios de valor se explicitan no solo en la selección y definición del problema, sino también en el desarrollo y aplicación de los procedimientos de estudio.
-resulta difícil, y a veces inadecuado, formular hipótesis precisas.
-la replicación es prácticamente imposible.
-los datos que hay que recoger están condicionados por la viabilidad del proceso.
-muchas variables relevantes solo superficialmente son susceptibles de control.
-el criterio de decisión es responsabilidad de la agencia administradora del programa.
-el informe evaluativo debe adaptarse a las exigencias de quien toma las decisiones.
Latorre y otros. Posibles fases de la inv. evaluativa:
1) Necesidad, problema, demanda, audiencia, expectativas
2) Propósito
3) Variables, situaciones, ámbitos, aspectos
4) Modelo, diseño, estrategia, procedimiento
5) Recogida de datos
6) Análisis de datos
7) Proceso de valoración
Juicios positivos y/o negativos
5.2. Distintas etapas del proceso
De ketele. Etapas que considera validas para todo tipo de evaluación:
Etapa 1. Examinar claramente los objetivos de evaluación.
El primer paso para la formulación de los objetivos consiste en realizar un análisis de las necesidades y según informe este análisis los objetivos pueden ser de formación o acción.
Etapa 2. Subobjetivos o criterios que queremos recoger. Si consideramos criterios con respecto al rendimiento de personas, podemos establecer criterios de apreciación y corrección; de ponderación de éxito y resolución; de comportamiento, de selección.
Etapa 3. La determinación de la inf. que ha de recogerse debe hacer referencia al objetivo perseguido y a los criterios considerados como signos de su realización.
Etapa 4. Determinar una estrategia de recogida de la inf. Después de determinarla se hará:
· o buscar la situación natural adecuada en donde esa inf. pueda se recogida,
· o suscitar o crear una situación que permita la recogida de la inf.
Etapa 5. Recoger la inf. de forma fiable. Comprende dos fases:
· obtención de la inf. por medio de los instrumentos elegidos.
· tabular la inf. de forma que podamos realizar con ella los análisis pertinentes.
Etapa 6. Confrontar la inf. recogida con los criterios planteados. Es importante que las confrontaciones las realice una sola persona, si son varias han de ponerse de acuerdo.
Etapa 7. Formulación de las conclusiones de forma clara y precisa.
El informe puede ser oral o escrito. En todo proceso subyacen los controles de validez y fiabilidad en cada una de las etapas.
6. MÉTODOS DE EVALUACIÓN
Un aspecto que diferencia la evaluación sistemática de la informal es la metodología.
Recomendamos un método ecléctico. Así creemos que los evaluadores deberían conocer un amplio espectro de técnicas adecuadas y saber como aplicarlas en los contextos evaluativos. Así, podrían valorar que técnicas son potencialmente aplicables y cuales pueden servir de un modo más eficaz a los propósitos particulares de la evaluación.
Áreas técnicas: entrevista, informes preliminares, análisis de contenido, observación, análisis político, análisis económico, informes técnicos, estudio de casos, escucha de opiniones contrapuestas, listas de control, elaboración de pruebas, análisis estadístico, teorización y administración del proyecto.
7. INFORME
Es el documento que se ha de pasar a las personas, entidades, etc., que han encargado la evaluación. Ha de estar redactado de forma clara.
Puntos que ha de contener:
? breve descripción del objeto a evaluar.
? puntos que se van a someter a estudio y valoración y el por qué de estos puntos.
? modelo o diseño empleado para valorar estos puntos.
? técnicas o métodos empleados para recoger la inf., con su justificación.
? exposición de los resultados obtenidos de forma concisa y lo mas completa posible.
? valoración de todo el proceso con los juicios positivos y negativos. Valoración de la inf. recogida, informando de las vías de acción, sus posibilidades, ventajas e inconvenientes.
? posibles decisiones a tomar.
8. TOMA DE DECISIONES
Ha de ser una planificación seria, de mejora si ese era el objetivo, o una aceptación o rechazo del objetivo a valorar. Es la fase final.
+restringen el significado de los objetivos generales.
+solo admiten una interpretación.
+implican tomar opciones frente a las posibles interpretaciones de los objetivos generales.
+se formulan en función de manifestaciones observables evaluables, equivalen a preguntas.
+facilitan el estructurar mejor el proyecto social.
+pueden desglosarse para su análisis.
+en general, con objetivos bien formulados puede evaluarse mejor la coherencia de toda inv.
3.4. Planteamiento de la hipótesis-acción
Una hipótesis implica un enunciado de la supuesta causa de los problemas planteados en la elección de un tema. Proporcionan una respuesta provisional al problema. Indican al investigador que es lo que necesita exactamente descubrir, le aclaran cuales son las variables con las que ha de encontrarse y las relaciones que existen entre ellas. Son el punto. de partida del proceso de inv., este en si mismo llega afirmar o negar hipótesis, a averiguar si son verdaderas o falsas. Su formulación implica ideas tentativas acerca de los factores que consideramos cruciales. En la I.A. es necesario que el grupo haga un proceso de reflexión sobre los objetivos y problemática antes de llegar a precisar las hipótesis. Una hipótesis-acción nos indica una acción a realizar que debe responder sobre todo a una autorreflexión y autocomprensión de la situación. Constituyen los elementos sustanciales del estudio.
3.5. Dinámica para probar la hipótesis-acción (diseño)
¿Cómo elaborar un buen diseño para la recogida de datos? Un buen diseño ha de prever:
-cómo se recogerán los datos (instrumentos).
-cómo se organizara la recogida de datos que permitan conocer la influencia de unos factores sobre otros, es preciso comparar los datos obtenidos por observación, entrevista o análisis doc.
-cómo seleccionarla muestra.
-qué metodología se va a utilizar, si será de tipo cuantitativo o cualitativo.
El equipo investigador debe conocer que los datos cuantitativos (ámbito experimental) se caracterizan por:
-el control de las variables intervinientes.
-la manipulación de las variables independientes.
-la extracción aleatoria de las muestras.
Las diferencias de la inv. cualitativa respecto a los métodos cuantitativos implica los pasos:
-de la reducción y operacionalización de variables a la consideración holística de la vida peculiar.
-del control de las variables a la observación abierta y flexible de la vida natural.
-del distanciamiento aséptico del invest. a la participación activa de los acontecimientos.
-de las técnicas objetivas a la observación interactiva y a la entrevista.
-del diseño preestablecido al diseño flexible y emergente.
-del informe anomico al reportaje vivo.
El invest. debe conocer ambas metodologías y usar la que considere más conveniente.
Profundizaremos en algunas fases del proceso de investigación:
3.5.1. Elección de instrumentos
Al conocimiento de la realidad debemos aproximarnos con métodos e instrumentos diversos, dado que la realidad se puede conocer tanto desde dentro como desde fuera, intentando describir, analizar, valorar o interpretar lo que sucede. La variedad de métodos según Selitiz permite mantener una mayor credibilidad en los resultados. Los instrumentos son los medios técnicos que se usan para facilitar el tratamiento de los datos, propio de cada inv. y para el registro objetivo de la conducta resultante. Se usan para ordenar, elaborar e interpretar los datos que se obtienen en le estudio. Han de buscar la objetividad, representatividad y precisión.
3.5.2. Análisis de datos
Este según LaTorre y Gonzalez es la etapa de búsqueda sistemática y reflexiva de la inf. obtenida a través de los instrumentos. Constituye uno de los momentos más importantes del proceso de inv. e implica trabajar los datos, recopilarlos, organizarlos en unidades manejables, sintetizarlos, buscar regularidades, descubrir que es importante y que van a aportar a la inv.
A través del análisis pretendemos reducir los datos de nuestra inv. para expresarlos numérica y gráficamente.
Técnicas y procedimientos de análisis de datos
El análisis cualitativo presenta la ventaja de la flexibilidad pero exige un gran rigor con el fin de ir justificando todos los pasos de al inv. Explicitar la finalidad del análisis, así como explorar los datos que tenemos con el fin de:
-recopilar todos los datos.
-completar loa que aparezcan incompletos.
Aquí ya podemos relevar los aspectos más relevantes de la inv., estamos en condiciones de efectuar un primer resumen de los datos, nos ayudara formularnos un serie de preguntas sobre:
-qué sucede o cómo sucede. Indicar la primera categorización y su interpretación.
-por qué sucede: explicitar las primeras asociaciones halladas.
-en el caso de necesitar mas datos podemos recurrir a su búsqueda.
Procedimientos de análisis
Momento crítico en el proceso de la I.A. El análisis puede llevarse a cabo por enfoques diversos: de carácter deductivo e inductivo, intentando construir categorías y conceptos o intentando enumerar las frecuencias de los fenómenos observados para verificar la teoría.
Como procedimiento de análisis, según Bartolomé, podemos señalar.
-Protocolos de observación estandarizados; procede de una teoría ya elaborada, como la escala de observación de Flanders, basta con hacer un recuento de frecuencias en cada categoría. Se representan patrones de conducta y se obtienen los datos, ordenando dentro de cada intervalo de tiempo, el orden en que han ocurrido.
-Análisis de contenido; se suele usar para el análisis sistemático de documentos escritos, notas de campo, entrevistas registradas, diarios, etc. Trata de estudiar con detalle el contenido de la comunicación escrita, oral y visual. Técnica de análisis y cuantificación de los materiales.
3.6. Interpretación e integración de los resultados
Una vez recogidos y analizados los datos el investigador puede dar respuesta a los problemas que se han formulado. En la inv. educativa pretendemos comprender al realidad, pero no quedarnos en la mera comprensión, para superar esta debemos:
? integrar el trabajo que hemos efectuado en un marco mas amplio que ilumine nuestra hipótesis-acción, esto ayudara a que el investigador a partir de su propia teorizacion pueda elaborar una teoría practica (Kemmis).
? realizar 2 niveles de análisis: uno a nivel de casos y otro que permita la comparación de los mismos y los integre dentro de un marco teórico.
La interpretación de los datos exige una reflexión sistemática y critica de todo el proceso de inv. con el fin de contrastarlo con la teoría y con los resultados prácticos.
Dentro de una realidad educativa supone contrastar las hipótesis, darles o no credibilidad e insertarlas en un marco teórico que de apoyo a la practica.
3.7. Informe en la Investigación-Acción
Debe recoger el proceso seguido a lo largo de todo el trabajo con el fin de darlo a conocer a todos los implicados. Consiste en registrar lo que se ha hecho, como se ha hecho y resultados obtenidos. Presentara de manera clara los objetivos y el problema a investigar. Si se han alcanzado o no los objetivos propuestos. La hipótesis-acción (que pretendemos hacer para mejorar la situación, o que debemos cambiar y de que modo). Como hemos recogido y analizado los datos. Hacer referencia al grupo que ha aportado inf. Hacer alusión a las conclusiones. Debe recoger las sugerencias, indicaciones y cambios para cambiar la realidad.
Lewin propone un informe que recoja todas las fases hasta completar un espiral de I.A.
Hopkyns considera que el informe debe reunir los datos de forma que:
-la inv. pueda repetirse en otra ocasión.
-la evidencia usada para generar hipótesis y la acción estén claramente documentadas.
-la acción tomada como resultado de la inv. este controlada.
Para facilitar el proceso de elaboración del informe podemos destacar las siguientes fases:
? cómo evoluciono a través del tiempo la propia idea general.
? cómo la comprensión de la situación problemática evoluciono a través del tiempo.
? -qué medidas se tomaron a la luz de dicha evolución.
? en qué medida se pusieron en marcha las acciones propuestas.
? los efectos intencionados o no de las propias acciones y explicaciones de por qué ocurrieron.
? las técnicas que se seleccionaron para recabar la inf. sobre:
+la situación problemática y sus causas.
+las acciones emprendidas y sus efectos.
? los problemas que se encontraron al usar ciertas técnicas y cómo se resolvieron.
? cualquier problema ético planteado al negociar el acceso de la inf. y cómo se quiso resolver.
? cualquier problema que se planteo al negociar con los demás los pasos, tiempo, recursos y cooperación que se deseaba durante el desarrollo de “Action Research”.
3.8. Cambio producido en la práctica
La I.A. no termina con la formulación de unas conclusiones mas o menos logradas, y la redacción del informa, pues busca, en definitiva, incidir en la practica. Debemos preguntarnos:
¿Qué incidencia ha tenido la I.A. en el equipo implicado? ¿Cómo ha incidido? ¿Por qué? ¿Cómo y qué podríamos hacer para mejorar esta situación?
Exige un proceso de retroalimentación constante., por ello no termina nunca
TEMA 4
INVESTIGACIÓN EVALUATIVA
INTRODUCCIÓN
Evaluación: no se trata de una calificación al final de un periodo de enseñanza, ni tampoco solamente de comprobar el progreso de un alumno, una clase o una institución educativa sino que es todo un proceso para comprobar la utilidad de cualquier objeto.
1. ¿QUE ES LA EVALUACIÓN?
Definición: la evaluación es el enjuiciamiento sistemático de la valía o el merito de un objeto. (Joint comité on Standards for Educational Evaluation).
Desde el momento en que la evaluación, en un sentido optimo emplea procedimientos objetivos para obtener una información segura e imparcial, ya está ligada a la valoración. Su meta esencial es determinar el valor de algo que esta siendo enjuiciado.
La evaluación es una empresa compleja, esto significa que hay que poner mucho cuidado no solo cuando se recopile la inf., que debe ser de calidad, sino también cuando se clarifique y proporcione una base lógica que justifique las perspectivas de valoración utilizadas para interpretar los resultados.
Los términos valía y merito deben ser definidos para enriquecer nuestro concepto de evaluación. Aunque un programa meritorio puede no ser valido, debemos indicar que un programa que no sea meritorio no puede ser valido. Hemos de considerar estos tres criterios en el momento de realizar una evaluación:
-Las distintas expectativas del cliente.
-El merito o excelencia del servicio en cuestión.
-La necesidad del servicio (validez potencial).
Además de estos 3 aspectos es necesario considerar 2 más: la viabilidad y la equidad.
Ej.: aunque un servicio pueda ser de mucha calidad, puede que consuma más recursos de los que necesita o puede causar infinidad de problemas políticos. En cualquiera de los dos casos, el programa, en principio, debe ser modificado en esas áreas para hacerlo mas viable.
La equidad esta predominantemente relacionada con las sociedades democráticas. Se exigen las mismas oportunidades para todo el mundo y se reclama la libertad para todos.
Como dijo Kellaghan, para que exista igualdad deben existir 7 indicios de equidad:
1. los SP educativos de una sociedad deben estar pensados para toda la población.
2. todos los sectores de la sociedad deben tener el mismo tipo de acceso a los servicios.
3. todos los grupos deben disfrutar de una participación equitativa en el uso de servicios.
4. los niveles de logro no serán significativamente distintos para los diferentes grupos.
5. los conocimientos exigidos para alcanzar los objetivos del servicio no deben ser sustancialmente diferentes para los distintos grupos.
6. las aspiraciones vitales que se persiguen deben ser similares en todos los grupos.
7. el sistema de servicio deberá producir resultados similares en lo que se refiere a la mejora en el bienestar de todos los grupos sociales.
También, debemos considerar otros 3 aspectos de la evaluación:
1º. se refiere a si la evaluación necesita ser comparativa.
2º. se refiere a las principales utilizaciones e la evaluación.
3º. se pregunta hasta qué punto los evaluadores necesitan cualificaciones especiales.
En general, creemos que la evaluación debe ser comparativa antes de que empiece el proceso o antes de suscribirse a un servicio, no comparativa durante el proceso, y periódicamente comparativa después del proceso y/o la utilización continuada.
Que una evaluación deba ser comparativa o no depende de lo que se quiera conseguir de esa evaluación, en cuanto a su utilización se refiere. Consideramos 3 utilizaciones:
-Perfeccionamiento; se refiere a la inf. que se proporciona para asegurar la calidad de un servicio o para mejorarla. Hay que prestar mucha atención a la naturaleza y necesidades de los consumidores, y a la relación existente entre le
proceso y los resultados. Los evaluadores deberían estar muy en contacto con el personal del programa. Plan de evaluación flexible y receptivo.
-Recapitulación; análisis retrospectivos acerca de proyectos ya terminados. La inf. no va dirigida al personal encargado de su desarrollo, sino a los patrocinadores y consumidores. Debe incluir una valoración de la eficacia de lo invertido.
-Ejemplificación; la evaluación y la inv. son actividades distintas. La primera se dedica a considerar todos los criterios que se usan en la determinación de un valor, mientras que la segunda se limita más bien al estudio de ciertas variables que tienen un interés teórico. Las evaluaciones suelen usar métodos subjetivos y no están tan controladas ni sujetas a manipulación como las invs..
3. TIPOS O MODELOS DE EVALUACIÓN
3.1. Clasificación de Stufflebeam
Éste presenta 3 amplios grupos en los que podemos encuadrar la evaluación:
Tipos de evaluación
Definición de evaluación Enjuiciamiento sistemático de la valía o el mérito de un objeto
Pseudo-evaluaciones Pseudo-evaluaciones Son las que utilizan la evaluación para conseguir sus objetivos: -Investigaciones encubiertas - Estudios realizados para la comunicación
Cuasievaluaciones Cuasievaluaciones A veces van encaminadas a enjuiciar el valor o mérito de un objeto, otras no -Estudios basados en objetivos -Estudios basados en la experimentación
Verdaderas evaluaciones Verdaderas evaluaciones Son las que están basadas en el valor y mérito del objeto estudiado: -Estudios de orientación de la decisión -Estudios centrados en el cliente -Estudios políticos -Estudios basados en el consumidor
Pseudoevaluaciones
-Investigaciones encubiertas; sus organizadores son una amenaza que deben afrontar los clientes. La intención del cliente al encargar una inv. encubierta es conseguir asistencia para obtener, mantener o incrementar una esfera de influencia, poder o dinero. Los métodos típicos con los que se llevan a cabo las evaluaciones encubiertas incluyen el análisis de documentos, la vigilancia de los implicados, los estudios simulados, las invs. privadas y los expedientes secretos. Dado que la inf. puede ser revelada para crear una falsa imagen del valor de un objeto, o no revelada, para ocultar una situación, este método se llama pseudoevaluacion.
-Estudios realizados para la comunicación; estudio planificado, realizado y usado para satisfacer propósitos que tengan que ver con las relaciones publicas, aquí las necesidades informativas del propagandista son organizadores previos. La intención del estudio es ayudar al cliente a crear una imagen positiva de una institución, programa, sistema y similares. Los métodos típicos en estos estudios son las inspecciones, pruebas y la utilización de asesores expertos.
Cuasievaluaciones
Estos estudios empiezan con un problema concreto y luego buscan la metodología apropiada para solucionar ese problema.
-Estudios basados en objetivos; los organizadores previos se suelen basar en algún informe sobre los objetivos. Estos pueden ser determinados por los clientes, por personas cuyo trabajo se esta valorando, por el evaluador,…El propósito es determinar si los objetivos han sido alcanzados y así concluir si se ha tenido éxito en le trabajo que se ha valorado. Las audiencias mas frecuentes son los creadores de programas, patrocinadores, administrativos y proveedores de servicios. Los métodos típicos incluyen la recopilación y el análisis de los datos sobre el trabajo en cuestión. Su pionero es Ralph Tyler.
-Estudios basados en la experimentación; son de cuasievaluacion porque incluyen cuestiones y metodologías a veces relacionadas, pero a veces no, con el juicio de valores.
La inv. experimental trae a la memoria la advertencia de Kaplan contra la llamada “ley del instrumento” según el cual el método es equivalente a una inv. Los organizadores previos son la exposición de problemas, las hipótesis y el estudio de cuestiones. El propósito mas común de un experimento es determinar o demostrar vínculos casuales entre ciertas VD e VI (método de enseñanza, test con calificaciones,…). Los métodos típicos son los planes experimentales y cuasiexperimentales. Los pioneros son Linquist, Campbell y Stanley, Suchmam y Conbach y Show.
Ventaja: proporcionan métodos sólidos para la determinación de relaciones causales relativamente inequívocas entre el programa y los resultados.
Problemas: el método, a menudo, no resulta factible a la hora de señalar los límites de la especialidad y proporciona una inf. mucho mas restringida de la que es necesaria para evaluar programas de educación, salud y bienestar. Tienden a proporcionar una inf. final que no resulta útil como guía para el procesote desarrollo.
Otro tipo de estudios: comprobación de programas, sistemas de inf. administrativa y los estudios de responsabilidad.
Las verdaderas evaluaciones
Para Stufflebeam son aquellas que evitan los estudios tendenciosos y recomiendan la realización de invs. de conjunto basadas en cuestiones de valor y merito.
-Estudios de orientación de la decisión; subraya que la evaluación debe ser utilizada tanto para el perfeccionamiento de un programa, como para enjuiciar su valor. Las decisiones a tomar proporcionan organizadores previos para los estudios de orientación de la decisión. Su intención es proporcionar conocimientos y bases valorativas para tomar y justificar decisiones. Los métodos adecuados para llevar a cabo estos estudios son: inspecciones, valoración de las necesidades, estudios de casos, series de recomendaciones, observaciones estructurales y planificaciones experimentales y cuasiexperimentales. Su pionero pp. pionero fue Cronbach.
Ventaja: anima a los grupos profesionales, y organizaciones gubernamentales, a usar la evaluación continua y sistemáticamente para planificar y llevar a cabo los servicios que satisfacen las necesidades del cliente.
Limitación: la colaboración imprescindible entre el evaluador y el que toma las decisiones puede conducir a una distorsión de los resultados. La metaevaluacion externa se usa para contrarrestar estas posibles desviaciones.
-Estudios centrados en el cliente; se centran principalmente en ayudar a aquellos que realizan un servicio cotidiano a valorar y perfeccionar sus contribuciones. Los organizadores previos son las preocupaciones y problemas del programa del servicio. Su propósito es ayudar a la gente que forma parte de un servicio loca a comprender como funcionan las necesidades de ese servicio y el grado en que este es respetado y valorado. Los métodos típicos son el estudio de casos, informes contrapuestos, sociodramas y lo que Stake llama “evaluación respondiente”. Su pp. pionero es Stake.
Virtud: se trata de un inv. activa en la que se ayuda a la gente que realiza programas a dirigir sus propias evaluaciones.
Defecto: su ausencia de credibilidad externa y la posibilidad de ser manipulado por ciertos elementos locales que, en efecto, ejercen un gran control sobre la evaluación.
-Estudios políticos; sirven para identificar y valorar los meritos de varias políticas que compiten en una sociedad. Su organizador previo es una determinada cuestión política. Su propósito es describir y valorar los costos y beneficios potenciales de diversas políticas aplicables a una institución de terminada o a la sociedad. Los métodos utilizados incluyen la Delphi Technique, la planificación experimental y cuasiexperimental, los guiones, los pronósticos y los procedimientos judiciales. Su pp. pionero es Joseph Rice.
Ventaja: resultan esenciales como guía de las instituciones y de la sociedad.
Inconveniente: acaban corrompidos por el ambiente político en que se desarrollan.
-Estudios basados en el consumidor; el evaluador es el inteligente sustituto del consumidor. Los organizadores previos son los valores y necesidades de la sociedad. Su propósito es juzgar los valores relativos de los bienes y servicios alternativos y así ayudar a los contribuyentes y clientes a saber elegir en sus adquisiciones de esos bienes y servicios. Los métodos incluyen listas de control, la valoración de las necesidades, la evaluación de los objetivos, la planificación experimental y cuasiexperimental, el análisis de modus operando y el análisis de los costes. Su pp. pionero fue Scriven.
Ventajas: se trata de una valoración sólida en independiente concebida para proteger a los consumidores de productos y servicios de muy baja calidad.
Inconveniente: puede llegar a independizarse tanto de quienes lo practican que quizá no pueda ayudarles a la hora de servir mejor a los consumidores. Es muy costoso.
3.2. Clasificación de De Ketele
Objeto de la evaluación Funciones de la evaluación Acción Rendimiento de las personas en formación Principales procesos Objeto de la evaluación Funciones de la evaluación Acción Rendimiento de las personas en formación Principales procesos
Evaluación de orientación Decisión general: Pasar a una nueva fase de acción Decisiones especificas: 1. Determinar los objetos (evaluación de contexto). 2. Determinar las posibilidades de éxito en la acción (evaluación predictiva). 3. Fijar las estrategias y los medios (evaluación de los “entrantes”). 4. Anticipar la realidad (evaluación preventiva) Decisión general: Comenzar un nuevo aprendizaje Decisiones especificas: 1. Determinar la orientación que conviene a la persona. 2. Determinar su éxito, evaluar sus posibilidades en una rama formativa determinada (evaluación predictiva). 3. Determinar las características y las necesidades de la persona (evaluación de los “entrantes”). 4. Anticipar la realidad (evaluación preventiva). Análisis de las necesidades Diagnostico de los puntos fuertes y de los puntos débiles del sistema o de la persona (auditoria de un sistema o evaluación de diagnostico)
Evaluación de regulación Evaluación de regulación Decisión general Decisión general Tomar medidas durante el proceso con vistas a convertir la acción en mas eficaz. Decisiones especificas: 1. Modificar las estrategias. 2. Modificar los recursos humanos. 3. Modificar los recursos materiales. Decisión general Decisión general Tomar medidas con vistas a facilitar el aprendizaje a lo largo del proceso. Decisiones especificas 1. Tomar medidas individuales en lo relativo al sujeto que aprende (evaluación formativa). 2. Modificar las estrategias de aprendizaje a nivel de grupo (evaluación formadora). Diagnostico de los puntos fuertes y de los puntos débiles a nivel del producto provisional, de los procedimientos y del proceso (auditoria de un sistema, evaluación de diagnostico de aprendizaje). Evaluación de regulación Decisión general Tomar medidas durante el proceso con vistas a convertir la acción en mas eficaz. Decisiones especificas: 1. Modificar las estrategias. 2. Modificar los recursos humanos. 3. Modificar los recursos materiales. Decisión general Tomar medidas con vistas a facilitar el aprendizaje a lo largo del proceso. Decisiones especificas 1. Tomar medidas individuales en lo relativo al sujeto que aprende (evaluación formativa). 2. Modificar las estrategias de aprendizaje a nivel de grupo (evaluación formadora). Diagnostico de los puntos fuertes y de los puntos débiles a nivel del producto provisional, de los procedimientos y del proceso (auditoria de un sistema, evaluación de diagnostico de aprendizaje).
Evaluación de certificación Decisión general Certificar el éxito o el fracaso de la acción, en función de la consecución de los objetivos fijados. Decisiones especificas: 1. Retribuir la acción. 2. Reconducir la acción. 3. Admitirla. Decisión general Certificar el éxito o el fracaso de la persona en función de un nivel de rendimiento exigido. Decisiones especificas: 1. seleccionar o admitir (evaluación de selección). 2. Expedir los certificados necesarios para la vida en sociedad. 3. Clasificar a las personas (evaluación de clasificación) Estudio de los efectos a corto, medio y largo plazo. Balance (evaluación del producto, evaluación descriptiva referida a un criterio, o, por el contrario sumativa).
4. META DE LA EVALUACIÓN
Propósito: para Stufflebeam es la utilidad, para ser útil una evaluación debe tener como núcleo todo un proceso científico que la avale.
Objetivo: aumentar la efectividad en la realización de un programa.
5. PROCESO DE LA INVESTIGACIÓN EVALUATIVA
Es un proceso constatado y orientado sistemática e intencionalmente a conocer la utilidad de un objeto y mejorarlo. Exige rigurosidad en el proceso.
5.1. El proceso según distintos autores
Siguiendo a De la Orden. Diferencias de la evaluación comparada con la inv. estricta:
-los juicios de valor se explicitan no solo en la selección y definición del problema, sino también en el desarrollo y aplicación de los procedimientos de estudio.
-resulta difícil, y a veces inadecuado, formular hipótesis precisas.
-la replicación es prácticamente imposible.
-los datos que hay que recoger están condicionados por la viabilidad del proceso.
-muchas variables relevantes solo superficialmente son susceptibles de control.
-el criterio de decisión es responsabilidad de la agencia administradora del programa.
-el informe evaluativo debe adaptarse a las exigencias de quien toma las decisiones.
Latorre y otros. Posibles fases de la inv. evaluativa:
1) Necesidad, problema, demanda, audiencia, expectativas
2) Propósito
3) Variables, situaciones, ámbitos, aspectos
4) Modelo, diseño, estrategia, procedimiento
5) Recogida de datos
6) Análisis de datos
7) Proceso de valoración
Juicios positivos y/o negativos
5.2. Distintas etapas del proceso
De ketele. Etapas que considera validas para todo tipo de evaluación:
Etapa 1. Examinar claramente los objetivos de evaluación.
El primer paso para la formulación de los objetivos consiste en realizar un análisis de las necesidades y según informe este análisis los objetivos pueden ser de formación o acción.
Etapa 2. Subobjetivos o criterios que queremos recoger. Si consideramos criterios con respecto al rendimiento de personas, podemos establecer criterios de apreciación y corrección; de ponderación de éxito y resolución; de comportamiento, de selección.
Etapa 3. La determinación de la inf. que ha de recogerse debe hacer referencia al objetivo perseguido y a los criterios considerados como signos de su realización.
Etapa 4. Determinar una estrategia de recogida de la inf. Después de determinarla se hará:
· o buscar la situación natural adecuada en donde esa inf. pueda se recogida,
· o suscitar o crear una situación que permita la recogida de la inf.
Etapa 5. Recoger la inf. de forma fiable. Comprende dos fases:
· obtención de la inf. por medio de los instrumentos elegidos.
· tabular la inf. de forma que podamos realizar con ella los análisis pertinentes.
Etapa 6. Confrontar la inf. recogida con los criterios planteados. Es importante que las confrontaciones las realice una sola persona, si son varias han de ponerse de acuerdo.
Etapa 7. Formulación de las conclusiones de forma clara y precisa.
El informe puede ser oral o escrito. En todo proceso subyacen los controles de validez y fiabilidad en cada una de las etapas.
6. MÉTODOS DE EVALUACIÓN
Un aspecto que diferencia la evaluación sistemática de la informal es la metodología.
Recomendamos un método ecléctico. Así creemos que los evaluadores deberían conocer un amplio espectro de técnicas adecuadas y saber como aplicarlas en los contextos evaluativos. Así, podrían valorar que técnicas son potencialmente aplicables y cuales pueden servir de un modo más eficaz a los propósitos particulares de la evaluación.
Áreas técnicas: entrevista, informes preliminares, análisis de contenido, observación, análisis político, análisis económico, informes técnicos, estudio de casos, escucha de opiniones contrapuestas, listas de control, elaboración de pruebas, análisis estadístico, teorización y administración del proyecto.
7. INFORME
Es el documento que se ha de pasar a las personas, entidades, etc., que han encargado la evaluación. Ha de estar redactado de forma clara.
Puntos que ha de contener:
? breve descripción del objeto a evaluar.
? puntos que se van a someter a estudio y valoración y el por qué de estos puntos.
? modelo o diseño empleado para valorar estos puntos.
? técnicas o métodos empleados para recoger la inf., con su justificación.
? exposición de los resultados obtenidos de forma concisa y lo mas completa posible.
? valoración de todo el proceso con los juicios positivos y negativos. Valoración de la inf. recogida, informando de las vías de acción, sus posibilidades, ventajas e inconvenientes.
? posibles decisiones a tomar.
8. TOMA DE DECISIONES
Ha de ser una planificación seria, de mejora si ese era el objetivo, o una aceptación o rechazo del objetivo a valorar. Es la fase final.