Planificar la evaluación: el plan de evaluación

1. Tipos de evaluación

• Va a depender de los objetivos que se pretendan conseguir en la evaluación y de la fase del proceso de intervención, siguiendo la lógica de la intervención social.
• En la etapa de diseño de la intervención social, la evaluación diagnóstica y del diseño constituyen el eje de las posibles evaluaciones.
• Cuando hay en marcha algún cambio, pero lleva poco tiempo, la evaluación de la implementación es la más adecuada, aunque ya se puede hablar de evaluación de resultados y económica.
• Cuando los cambios están asimilados y llevan tiempo funcionando, lo lógico es centrarse en la evaluación de resultados, impacto, económica y seguimiento.
• Podemos diferenciar cinco tipos de evaluaciones:
  • DIAGNÓSTICA: tiene como finalidad el definir y conocer las necesidades de un grupo o contexto social para hacerle frente.
  • De DISEÑO, tiene como finalidad conocer las debilidades del programa.
  • De la IMPLEMENTACIÓN, permite conocer si está resultando como se preveía en un tiempo y contexto determinado.
  • De RESULTADOS, pretende determinar si se han logrado los objetivos formulados en el diseño, en términos de resultados y efectos.
  • METAEVALUACIÓN es la evaluación del diseño del plan de evaluación.

2. La planificación de la evaluación: el plan de evaluación

• Nos centramos en la estructura general de la evaluación, en la estructura interna del Plan de Evaluación y en los principales elementos. Puede ser aplicado a los cuatro primeros tipos de evaluación, atendiendo a las peculiaridades de cada una de ellos
• Toda evaluación está compuesta de cuatro etapas o fases (cuadro 1). La estructura es la fase más amplia y específica que corresponde con el «Plan de evaluación», donde hay que clarificar y jerarquizar los contenidos a evaluar, definir las técnicas que vamos a utilizar, sin olvidar los criterios de evaluación y las personas encargadas de realizarla. En definitiva planificar la evaluación.
• A partir del artículo publicado por Cronbach en 1963, la evaluación da un giro, se comienza a dejar de lado, en parte, la orientación positivista, para pasar a una que fomenta la reflexión y genera nuevas ideas y áreas de cambio y métodos de apoyo.
• Afirma que la elaboración de un plan de investigación de la evaluación es un arte complejo que requiere mentalidad abierta, conciencia política y buena comunicación entre las etapas planificación e implementación. Su propuesta es la que aparece en la figura 1.

• La planificación se resuelve en el problema de cómo debe efectuarse el reparto de los recursos investigativos, basándose en una selección prioritaria, según consideraciones prácticas y políticas. Para ello, insiste en la realización de una planificación previsora y flexible, cree que la planificación debe ser «un proceso reflexivo y desarrollado».
• Concibe la planificación como una tarea conjunta, bajo la responsabilidad compartida de un equipo y realizada en dos niveles:
• En un primer momento, se establecen prioridades y competencias entre los miembros, denominada divergente, en la que se enumeran las posibles cuestiones a considerar, haciendo un repaso detallado del origen de tales cuestiones o problemas, del tratamiento y los procesos y de las metas fijadas.
• En una segunda fase es dónde y cuándo se realiza con detalle la planificación interna del equipo, dirigida a la obtención de planes construidos sobre la experiencia y la interacción recíproca de todos los miembros del mismo, llamada convergente, en la que se asignan prioridades entre las diferentes cuestiones planteadas. Pasamos de lo ideal a lo real y posible.

• Así, la planificación se convierte en un esfuerzo reflexivo que integra los procesos y evita el carácter restrictivo de la ocupación exclusiva de los objetivos. Es lo que McDonald y otros llaman evaluación democrática, que implica, planificarla en una comisión representativa de todos los implicados: profesionales, usuarios y administración pública, para conseguir un principio esencial, el desarrollar un espíritu de pertenencia, llegar a un consenso sobre los elementos importantes de la intervención. En la organización del proceso evaluador, el primer paso es identificar los grupos con interés en el programa (figura 2, Patton, pág. 191).
• Entre los aspectos a evaluar, están todos los relacionados con las actuaciones de los profesionales tales como: formación, conocimiento de la materia, organización de las actividades, motivación, dedicación, impacto, relaciones y resultados. Asegurar de que los instrumentos, la logística y el proceso serán evaluados y revisados periódicamente, es otra de las funciones de la comisión en la fase de planificación.
• Realizada la planificación de la evaluación se pasa al diseño de investigación, delimitar el ámbito de la evaluación y observar sobre la realidad social donde se está aplicando el programa y que se ha denominado Observar/preguntar y Cronbach la llama implementación de la evaluación.  Esta etapa parte de tres principios fundamentales, cuyas iniciales constituyen el vocablo UTO:
  • Unidades. Son los individuos o clase que se va a evaluar.
  • Tratamiento. Modo de llevar a cabo el plan de evaluación, el cómo evaluar.
  • Operacionesdeobservación. Modo de recoger la información: test, observación, la aplicación del plan de evaluación.
• A veces, le añade una S de «setting» que hace referencia al marco de acción del programa a evaluar. También diferencia entre
• «UTO», que hace referencia a la planificación ideal
• y «uto», que hace alusión al ejemplo concreto, a la muestra en vez de a la población.
• Siguiendo el modelo de Cronbach, el proceso a seguir implica, primeramente, constituir el equipo de evaluación, encargado de planificar e implementar la evaluación.
• En la etapa de planificación, analizan las ventajas e inconvenientes de la evaluación, los aspectos a evaluar, implicados, temporalización, técnicas e instrumentos de evaluación,  es fase divergente. En la fase convergente presentan el diseño a todos los implicados, para negociar todos los aspectos que incluye el proceso y que tiene como finalidad la reflexión.
• En la etapa de implementación, intervienen en las unidades de evaluación y en los procesos que cada una desarrolla, mediante las técnicas e instrumentos seleccionados.
• Analizar es la fase donde se estudia la información recogida y se estiman los resultados y efectos causados por la intervención del programa.
• La última fase es la de juicio de valor, por lo que es necesario establecer los criterios sobre los que se va a realizar y quiénes son los encargados de hacerlo.
• La elaboración del Plan de evaluación es importante y de máxima relevancia en el proceso de evaluación, donde se toman las decisiones que van a configurar el tipo de evaluación, estructura, determina y cierra las fases de la evaluación y los contenidos, evaluadores y parámetros sobre los que hacer el juicio de valor, sin olvidar que observar, analizar y juzgar corresponden a lo denominado «Aplicación del Plan de Evaluación».

3. La estructura del plan de evaluación

• En lo referente a la descripción del programa, Weis deja claro que «tan importante como conceptualizar los resultados deseados constituye conceptualizar la naturaleza del programa…». Lo que interesa es la familiarización con el programa, todas y cada una de las peculiaridades del objeto de estudio, qué se pretende conseguir, cómo se piensa con seguir, a quién va dirigido y, por encima de todo, dónde se piensa aplicar o se está aplicando.
• Todo programa se realiza en un marco social que tiene consecuencias para su eficacia. El contexto próximo es el de la organización que financia y lleva a cabo el programa, pero en algunos casos es necesario abrir el marco de actuación por conflicto con lo que pretende; ¿estamos en condiciones de asegurar que los resultados se deben a los efectos del programa o a otra variable que no controlamos? Dar respuesta a éste y a otros interrogantes es lo que se intenta con el estudio pormenorizado del programa.
• Es necesario conocer también la literatura especializada, ya que nos va a dar ideas de cómo diseñar nuestro plan de evaluación, comparar y establecer paralelismos y diferencias, y no cometer errores que otros ya han estudiado y solucionado, a lo que se denomina estado de la cuestión o antecedentes. Después se debe decidir sobre cada una de las siguientes opciones evaluativas:
• Según dónde se sitúe el evaluador
• Evaluación interna o autoevaluación es el proceso por el que los propios responsables del programa analizan su funcionamiento y se plantean los siguientes objetivos:
  • • ver si se está haciendo lo que se propuso;
    • verificar si se está consiguiendo lo que se buscaba o lo contrario.
• Evaluación externa cuando agentes externos son quienes analizan su funcionamiento, con el objeto de obtener una visión global del grado de desarrollo real del programa.
• Según las finalidades últimas de la evaluación de programas o proyectos:
• la de rendir cuentas (Accountability); se refiere a criterios de eficacia social, ya que en los programas de acción social se utilizan fondos públicos, es preciso estudiar su utilización, garantías de que se trabaja con seriedad y eficacia. Por esto «la accuuntability» requiere algún tipo de evaluación del coste/eficacia.
• la de comparar programas (Assessment,); es medir en resultados numéricos los efectos de un programa, como:
  • • el número de beneficiarios de cada programa;
    • comprobar los costes por unidad;
    • diferenciar los programas por los resultados obtenidos;
    • establecer «ranking» entre los distintos programas, a nivel regional o nacional;
    • determinar la dedicación del personal implicado
    • conocer el nivel de acceso de los beneficiarios en cada programa. servicio, etc..
• la de realizar una evaluación formativa; que contribuya al perfeccionamiento del programa. Se realiza a lo largo de la vida del programa y se va constatando la validez de todos los componentes con respecto al logro de los objetivos. Está planteada básicamente con el fin de poder ir tomando las decisiones necesarias para readaptar los componentes a los objetivos iniciales.
• la de evaluar un proceso (evaluación sumativa), está orientada a comprobar los resultados finales de un programa y sirve para adaptar, continuar, aplicar o rechazarlo. Proporciona información a los patrocinadores sobre el nivel alcanzado en relación con los objetivos y cumple tres grandes funciones:
  • • atestiguar el logro de los objetivos,
    • certificar el estado y capacidad del programa
    • y comprobar su vigencia.
• Otra decisión a tomar es si la evaluación será global, parcial o mixta.
  • • Si es global, molar u holística, todas las partes, todos los sujetos implicados y todas las fases deben ser tenidos en cuenta de manera globalizadora. Ha de responder al principio de unidad.
    • Si es parcial o molecular supone delimitar la evaluación a un aspecto de su totalidad, como pueden ser, beneficiarios, resultados previstos o imprevistos... evaluar su diseño, aplicación y resultados, sólo algunas fases o subfases.
    • La evaluación mixta es la combinación de ambas, contar de partida con un conocimiento general y a través del mismo detectar (función diagnóstica) los niveles, funciones, relaciones o comportamientos que parecen poner de manifiesto dificultades, conflictos e irregularidades, lo que permite tomare decisiones de mejora y la posterior evaluación localizada en esos aspectos, más detallada y profunda.
• Según la perspectiva en la que se enmarca la evaluación. Tendencias generales:
  • • la perspectiva positivista/cuantitativista, denominada investigación evaluativa, se caracteriza por su preocupación por el control de las variables y la medida de resultados expresados numéricamente; su fundamento está en la Psicología y en las Ciencias exactas. Surge tras la publicación en 1966 por Campbell y Stanley de los diseños preexperimentales, experimentales y cuasiexperimentales, adquiriendo el rango de paradigma dominante. A principio de los 80 entra en crisis porque «la realización de auténticos experimentos sociales es muy difícil o imposible, siempre requiere un gran esfuerzo económico, llevando mucho tiempo, por lo que sus resultados muchas veces no resultan ni útiles ni utilizables». A raíz de tales críticas aparece un concepto de evaluación, de carácter cualitativo
    • la perspectiva naturalista/cualitativista llamada etnográfica. Según Coox y Reichardt, su interés radica en la descripción de los hechos observados para interpretarlos en el contexto global en el que se producen, con el fin de explicar los fenómenos, su fundamento es la Etnografía y la Sociología. Su objetivo es «proporcionar un punto de vista comprensible de la totalidad del programa». Son más numerosos los ejemplos de evaluación cuantitativa y también se da la evaluación bajo la complementariedad de perspectivas.
• Según los objetivos a conseguir al evaluar un programa de intervención social. Pueden variar según la procedencia de la iniciativa de la evaluación y de sus pretensiones más inmediatas. La evaluación implica hacer un juicio de valor, pero realizar un estudio de evaluación implica proporcionar la información suficiente para permitir esa labor que debe tenerse clara, de lo contrario se puede ser víctima de la complejidad de intereses que suelen llevar implícitos la mayoría de los programas de intervención social.
• Uno de los objetivos es mejorar la calidad de la intervención social para dar respuesta a las necesidades sociales detectadas.
• Otro es identificar los puntos fuertes y débiles en los programas, a fin de perfeccionar la intervención, con la ayuda de la infraestructura institucional.
• Según los intereses de los responsables, necesitan una evaluación que les permita aclarar determinadas cuestiones, pero según quien o quienes, esperan objetivos muy diferentes. Por ello es necesario conocer los objetivos implícitos y los explícitos: «la pluralidad de intereses puede repercutir de diversa manera en el proceso de evaluación. Ante todo, por la dificultad de definir la mejor perspectiva desde la que abordar la evaluación» (Subirats). Por ello, los profesionales de la evaluación deben señalar con precisión los objetivos, diferenciado entre:
• objetivos generales, entre ellos destaca el conocimiento de los procesos de aplicación y resultados de la intervención pública
• objetivos específicos. Entre ellos, dependiendo de la finalidad de evaluación:
  • • Proporcionar diferentes propuestas en la toma de decisiones.
    • Conocer la opinión de los usuarios
    • Conocer el grado en que se aplica tal como fue previsto.
    • Conocer los efectos colaterales y derivados de la aplicación del programa, como la resolución de conflictos de la organización
    • Mejorar sus prácticas y procedimientos.
    • Añadir o desechar estrategias técnicas específicas al programa.
    • Conocer su eficiencia/eficacia.
• En lo referente a los enfoques o modelos, House los agrupa en seis tipos ideales para analizar la realidad, agrupados en dos bloques, los modelos inductivos y los deductivos. El panorama de los enfoques que puede adoptar la evaluación de programas de acción social tiene el carácter de la diversidad y la evolución seguida por la disciplina a través de distintos modelos, iniciado con la perspectiva positivista, copiada de las ciencias naturales, para llegar a la diversidad metodológica que permita acceder a la concreta dimensión del objeto.
• Enfoque basado en objetivos conductuales (o en metas). Parte del análisis de los objetivos y comprueba si se han alcanzado y si hay discrepancia entre objetivos y resultados. Tiene en cuenta la productividad y responsabilidad, sin preocuparse por la eficiencia, muy utilizado en educación y en las Administraciones. Promovido por Tyler, es sencillo y directo pero con limitaciones. Permite decidir si un programa ha logrado sus objetivos, pero no dice cómo se consiguen o por qué no se han logrado, ni mide los resultados imprevistos. Requiere la especificación y delimitación de los objetivos medibles, lo que resulta difícil o imposible.
• El enfoque que prescinde de los objetivos constituye una reacción directa frente al anterior. Scriven sostiene que el evaluador no sólo no tiene que basar su evaluación en los objetivos, sino que debe evitar informarse sobre ellos, para que no le lleven a sesgos tendenciosos. Debe contemplarse en el contexto de la preocupación de Scriven por la reducción de los efectos de los sesgos en la evaluación. Entre sus limitaciones destacan:
  • • que durante la evaluación los evaluadores están continuamente solicitados, debiendo cuidarse de mantener la vigilancia sobre la evaluación,
    • que los evaluadores actúan de modo semejante al de un detective que ha de descubrir claves y extraer información, o como un juez instructor que trata de determinar conexiones. Por el modus operandi, el evaluador, como el investigador, ha de establecer una relación casual entre causa y efecto.
• Enfoque de toma de decisión. Tiene presente la conexión entre la evaluación y la toma de decisiones, aunque varíen los responsables y el modo en que se llevan a cabo. Ha de estructurarse a partir de las decisiones, lo que suele aludir al responsable máximo. La metodología descansa en la técnica de encuesta o entrevistas y el evaluador trabaja más sobre las variaciones en el medio donde se desarrolla que tratando de montar experimentos.
• El enfoque de análisis de sistemas se centra en la medida de los resultados. El producto es medir la eficiencia del programa. Los datos son cuantitativos, las medidas de los resultados se relacionan con los procesos mediante técnicas estadísticas. Requiere un buen modelo experimental y su objetivo es ser una evaluación lo más objetiva posible. El principal problema que plantea es que, si bien proporciona pruebas válidas y fiables, caen en un reduccionismo excesivo que no concuerda con la complejidad humana. Economistas y directivos son los que más se inclinan por este modelo.
• Enfoque de revisión profesional (acreditación). Puede ser de gran utilidad en la evaluación del diseño de programas de intervención social y de la implementación, especialmente cuando se realice una evaluación global del programa.
• Estudio de casos o negociación, se centra en la revisión de las partes del programa, utilizando la percepción de los sujetos que participan y el propio evaluador. Pretende mejorar la comprensión que tienen los destinatarios, presentándoles cómo lo ven otros. La cuestión principal que se plantea es qué les parece el programa. Las limitaciones so.
  • • la autenticidad, las bases que permitan fiarse de los resultados.
    • fijar los límites de la investigación
    • circunscribirse a las categorías en las que puedan asimilarse y comprenderse los datos.
• Resuelve el problema del evaluador procurando representar todas las posturas significativas de valor en el estudio del caso, extrayendo sus criterios y normas, y dejando al lector que sopese y equilibre estos elementos.

4. La Metaevaluación del plan de evaluación

• «Empiece en casa». Scriven defiende que la Metaevaluación debe convertirse en un imperativo profesional de los evaluadores, evaluar primero nuestro trabajo y luego a los demás. La define como un «proceso de análisis que consiste en hacer un juicio de valor sobre la misma evaluación», es la evaluación del diseño del plan de evaluación de cualquier programa a implementar. También se denomina «evaluación de la evaluabilidad. Stufflebeam dice que es «el proceso que busca evaluar y describir una actividad de evaluación, y juzgar bajo ciertos criterios que caracterizan una buena evaluación».
• Fernández Ballesteros introduce las pretensiones de los responsables y la define como un «proceso que pretende fijar los criterios que nos permitan determinar la calidad de la evolución y elegir los que más se ajusten al caso y a la necesidades y pretensiones de las organizaciones patrocinadoras de programas».
• Atendiendo a la lógica de la intervención deberá realizarse antes que la implementación, así nos aproximamos a una evaluación de diseño, con la intención de poder detectar las posibles debilidades del plan de evaluación. Pero su prefijo «meta» dice que sería después de la evaluación. Scriven defienden esta postura y señala como aportación de la misma:
• Ser una valoración al mérito por los esfuerzos realizados en la evaluación previa.
• Es útil para tomar decisiones, señalar responsabilidades y proporcionar información para la toma de decisiones, así como para los futuros evaluadores en sus futuras evaluaciones.
• Es una evaluación formativa al retroalimentar con nuevos conocimientos
• Según Stufflebeam, busca encontrar la utilidad de los informes de evaluación, siendo una forma de potenciar la evaluación, al comprobar si ha sido útil para prácticas posteriores o para los responsables.
• En el análisis práctico, el objeto es constatar que el plan de evaluación es viable detectar las posibles debilidades antes de su implementación. La metaevaluación se asemeja a la evaluación basada en el juicio del profesional más que en la medición objetiva de resultados.
• Para operativizar de una manera clara todo el proceso de metaevaluación, el cuadro 3 sintetiza las tres cuestiones claves de todo proceso de evaluación:
• ¿qué evaluar? La respuesta la tenemos al concretar los siguientes aspectos:
  • Proporciona el plan de evaluación un perfil del programa que se va a evaluar, se contempla:
    • qué es lo que se desea obtener con el programa (objetivos);
    • grado o cantidad de la condición a ser lograda (variables, metas e indicadores);
    • quiénes constituyen el sector de beneficiario del programa (destinatarios o usuarios);
    • qué área geográfica abarca (cobertura espacial);
    • cómo se realiza y qué procedimientos se utilizan (métodos y actividades);
    • cuáles son los componentes del programa (recursos humanos, económicos);
    • cuándo se ejecuta el programa.
  • Delimita el nivel organizativo en el que se va a hacer la evaluación. se debería dar respuesta a cuestiones tales como:
    • Si los instrumentos de evaluación a utilizar miden lo realmente importante de cara a los resultados
    • Si las variables elegidas proporcionan la información que necesitamos
    • Si la muestra elegida es la más acertada
    • Si los objetivos están claramente definidos
    • Si existe un cronograma de evaluación
    • Si contamos con suficientes recursos técnicos y económicos
    • Si el modelo de evaluación es el más adecuado
    • Si diseño de evaluación responde a las peculiaridades del programa
    • quién realiza la evaluación
  • Especifica qué se va a evaluar. Constatar si se han delimitado los indicadores de todos y cada uno de los aspectos a evaluar, que el plan de evaluación sea preciso, se centre en aquellas cuestiones relevantes y respondan a los objetivos. Algunas de las cuestiones son:
    • ¿cómo se evalúan las conexiones del programa con el contexto?
    • ¿cómo se controlan los sesgos derivados de los intereses políticos en juego?
    • ¿quiénes son los beneficiarios de la evaluación?
    • ¿qué información se requiere para hacer una evaluación de calidad?
  • Recoge el plan de análisis de los resultados y el control del trabajo de campo. Los métodos estadísticos y análisis cualitativo son importantes en este tipo de evaluación. El plan de evaluación tiene que presentar qué se va a utilizar en el análisis, ya que de ello dependerán los resultados y señalar qué tipo de análisis se puede hacer.
  • Señala las características del informe de evaluación. Cómo se presentarán los resultados, será meramente descriptivo o, por el contrario, da una explicación de cada hecho. Otra cuestión relevante son los baremos, en base a los cuales se hace el juicio de valor: ¿están especificados? ¿quién realiza el juicio de valor?
• Quién realiza la metaevaluación, quiénes son los encargados de hacer el juicio de valor sobre las bondades o deficiencias del plan de evaluación. Lo aconsejable es que sean expertos aunque no en todos los casos; cada plan de evaluación tiene sus propias peculiaridades que será necesario estudiar.
• El cómo evaluar, qué técnica o técnicas y procedimiento puede utilizarse en la recogida de información. Se señalan dos técnicas, entre las posibles:
  • • El Estudio Delphi está basado en el análisis de la opinión de expertos, en un campo lo más amplio y diversificado posible, en un mismo tema para obtener cierto consenso sobre determinadas tendencias, y cuenta con todas las posibilidades de conseguir una visión rica e integrada. Dos aspectos configuran su metodología:
      • la estricta confidencialidad, lo que permite conseguir mayor objetividad
      • la utilización de un segundo cuestionario muy breve con el que se intenta clasificar las áreas de aparente desacuerdo en cuanto a los resultados preliminares y permite alcanzar el consenso o la no posibilidad unificar las conclusiones.
    • El Cuestionario de Valoración del Plan de Evaluación, referido a todos los aspectos relevantes de mismo como objetivos, actividades, recursos, etc.
• El informe de la metaevaluación del plan de evaluación se elabora una vez que se dispone del juicio de los expertos y debe incluir los resultados y recomendaciones para la mejora del mismo. A partir de él los responsables del plan estarán en condición de tomar la decisión más oportuna: implementarlo tal y como estaba diseñado, introducir mejoras o prescindir de él.
• La metaevaluación, como carta de presentación de los evaluadores, debe de responder a unos criterios de validez. Como señala Stufflebeam «el objetivo de la Metaevaluación es asegurar la calidad de los servicios evaluativos, evitar o enfrentarse a las prácticas ilegales o a los servicios que no son de interés público, señalar el camino para el perfeccionamiento de la profesión y promover una mayor comprensión de la empresa evaluativo». Señala los criterios en la realización de la metaevaluación:
• Validez interna,
• validez externa,
• fiabilidad,
• objetividad,
• relevancia,
• importancia,
• alcance
• y credibilidad
• 
• Cronbach introduce un criterio importante en la metaevaluación, el de reducción de incertidumbres, relacionada con la selección de los interrogantes prioritarios. Debe examinarse si se han formulado claramente, son pertinentes y acertados. Introduce conceptos como el de incremento de la efectividad y la incertidumbre prioritaria, señalando que a veces los interrogantes se generan en los elementos subyacentes al funcionamiento del programa. Los interrogantes aportados por Cronbach nos pueden servir:
• ¿Los interrogantes de la evaluación formulados son los acertados, se derivan del problema identificado y de sus relaciones causales?
• ¿Identifican elementos clave de esa problemática?
• ¿Contribuyen a reducir la incertidumbre que prioritariamente debe aclararse con la evaluación?
• ¿Están presentes las voces de todos los usuarios en la formulación de los interrogantes de evaluación?
• ¿La metodología seleccionada es la óptima para responder a los interrogantes seleccionados?
• ¿Los interrogantes verdaderamente guían el método escogido o se está prefiriendo el método sobre los interrogantes?
• ¿Los interrogantes de evaluación han sido revisados y si ha sido necesario reelaborados de acuerdo con los cambios generados en el contexto del programa a evaluar?
• ¿Las conclusiones de la evaluación identifican dónde es posible realizar cambios?
• ¿cuál es la información que hay que generar y cuál no?

5. Aplicación y seguimiento del plan de evaluación

• Evaluado el diseño del plan de evaluación estamos en condición de realizar la evaluación del programa de intervención social. Antes de iniciar el plan se debe comenzar por la realización de un estudio piloto, que tiene como intención probar las técnicas seleccionadas para la obtención de información. Si se utiliza el cuestionario, se tienen que depurar los problemas de sentido de las preguntas, comprensión, lenguaje y temporalización.
• Con la puesta a punto de los instrumentos se pasa a la recogida de información, uno de los momentos claves, al ser la base sobre la que se realizará el juicio de valor. No podemos olvidar la responsabilidad que conlleva por las repercusiones cuando afecta a personas.
• Al finalizar la evaluación se plantea la publicidad del informe de evaluación, sobre todo, cuando lo que se evalúa es el trabajo de profesionales implicados en la intervención social, que tienen el derecho y la obligación de recibir la retroacción de los usuarios a través de un programa de evaluación bien administrado.
• Si son los profesionales los que deben decidir a quiénes se enviarán los resultados, nos lleva a plantear la confidencialidad y seguridad. Se aconseja tener en el proceso de evaluación de la preactiva profesional por parte de los usuarios las siguientes precauciones:
• Evitar que la evaluación provoque ansiedad, conflictos y confusión. Si la evaluación destruye el ambiente de trabajo y perjudica la organización de la intervención social no vale para nada.
• 
• Evitar establecer un programa de evaluación en situaciones de crisis y conflicto.

 TEMA 8  LA EVALUACIÓN DIAGNÓSTICA

1. Definición de evaluación diagnóstica.

Es la que tiene como finalidad el definir y conocer las necesidades de un grupo o contexto social pan hacerle frente. Refleja el proceso de definición del problema, el grupo y la necesidad de intervención social y responde a las siguientes preguntas evaluativas:

• ¿Cuál es el problema/as?
• ¿Cuáles son las necesidades?
• ¿Cuáles son las causas del problema?
• ¿A quién afecta y en qué medida?

                                                           2. La estructura del plan de evaluación diagnóstica

El plan de evaluación es una tarea de máxima relevancia en el proceso, es donde se toman todas las decisiones de la evolución diagnóstica (cuadro 1).

• La descripción del contexto social a evaluar es la primera aproximación y familiarización a la realidad, haciendo una descripción física y respondiendo a:

• ¿dónde está ubicado ese contexto?
• Cuál es su historia de formación como entidad?
• ¿Cómo se ha ido formado?
• Qué acontecimientos han determinado su realidad?

• La contextualización del objeto a evaluar con otras entidades de rango superior, saber qué relación guarda con otros contextos próximos. Un barrio no es unidad independiente del resto, comparten elementos comunes y guardan relación. Se trata de asegurar, una vez finalizada la evaluación, que los resultados se deben a la realidad misma o a otra variable que no controlamos.
• El estado de la cuestión o antecedentes. Es necesario conocer también la literatura especializada, sobre todo, en lo referido a ese contexto, lo que nos va a dar ideas para diseñar el  plan de evaluación, comparar y establecer paralelismos y diferencias, para no cometer errores que otros ya han detectado, estudiado y solucionado.
• Las opciones evaluativas. Lo más aconsejable, es hacer una evaluación externa; sin que ello impida el poder ser interna, como en el caso de querer conocer la realidad de una comunidad terapéutica, los implicados en la misma podrían hacerla.
• La finalidad de la evaluación diagnóstica puede ser muy variada:

• se plantea conocer los distintos problemas sociales y explicar su origen y causas. Cabe mencionar otras como:
• rendir cuentas sobre el gasto
• comparar dos realidades sociales distintas
• ver cómo evoluciona una realidad a través de distintas intervenciones sociales
• evaluar un proceso de intervención social en ese contexto.

• Otra decisión a tomar es si la evaluación será global, parcial o mixta.

• Si optarnos por una global, molar u holística todas las áreas y sujetos implicados forman parte del análisis. Ha de responder al principio de unidad, que explica la elaboración, aplicación y resultados y debería atender a todos los contenidos del cuadro 1.
• Que sea parcial o molecular supone delimitar la evaluación a un aspecto o parte de su totalidad. Cada elemento es estudiado por separado.
• La combinación de una evaluación global y una parcial es la mixta, caracterizada por contar con un conocimiento general del contexto y a través de él detectar los problemas que, una vez diagnosticados, se centra en la profundización de los más relevantes.

• La perspectiva en la que se enmarca la evaluación. Tanto la perspectiva positiva como la naturalista/cualitativista responden a sus características. El optar por una u otra depende del objeto de estudio y no de las preferencias.
• Los objetivos pueden variar según el grupo o persona del que procede la iniciativa y de sus pretensiones inmediatas. La evaluación implica hacer un juicio de valor, pero realizar un estudio de evaluación implica proporcionar la información para permitir esa labor juzgadora sin ser víctima de intereses políticos, sociales o económicos.

• conocer los principales problemas sociales de ese contexto
• identificar las necesidades generales de las personas en los distintos ámbitos y que marcan los diferentes objetivos específicos, como:
  • Conocer las necesidades de las familias.
  • Estudiar las necesidades de la tercera edad.
  • Conocer los problemas de los discapacitados.
  • Estimar las necesidades de los toxicómanos.
  • Conocer las necesidades de los inmigrantes.

Los responsables necesitan una evaluación diagnóstico que les permita aclarar:

• Qué población es la más necesitada
  • Si se deben asignarse más fondos
  • Qué población debería ser objeto prioritario
  • qué grupos están en situación de exclusión
  • qué familias se encuentran en el umbral de la pobreza

• Los enfoques más adecuados para este tipo de evaluación son:

• de sistemas,
• toma de decisiones,
• sin objetivos
• de estudio de casos.

3. Ejemplo de evaluación diagnóstica: la evaluación de los planes autonómicos sobre drogas

La Delegación del Gobierno para el Plan Nacional sobre Drogas encargó al Grupo de Investigación «Análisis de los problemas sociales en Andalucía» de la Universidad de Granada una Evaluación Diagnóstica que pretende conocer el alcance del problema y sus características. Como objetivos específicos persigue:

• describir los programas destinados a la prevención, intervención asistencial e incorporación social de drogodependientes;
• conocer su desarrollo y funcionamiento y analizar algunos de los resultados obtenidos;
• revisar los estudios e investigaciones referidas al ámbito de la drogadicción
• estudiar la coordinación entre las diferentes administraciones

Modelo de evaluación diagnóstica

PROCEDIMIENTO A SEGUIR

1º -  EVALUAR A LOS RESPONSABLES DE LAS COMUNIDADES AUTÓNOMAS

UN CUESTIONARIO DE RECOGIDA DE INFORMACION.

2°-  ANÁLISIS DE LA INFORMACIÓN DEI. CUESTIONARIO.

3º-  REALIZAR EL TRABAJO DE CAMPO OBSERVACIÓN PARTICIPANTE Y

ENTREVISTAS SEMI-ESTRUCTURADAS.

4º -  ANÁLISIS Y TRIANGULACIÓN DE LOS RESULTADOS.

5°-   INFORME PRELIMINAR.

6°-   COMISIÓN INTERAUTONÓMICA.

7º -  INFORME FINAL

FASE II: JUICIO DE VALOR

RESPONSABLES

Figura 1. Elaboración propia.

Es difícil aunar y comparar situaciones dispares, de zonas muy diversas en densidad y tamaño de la población situaciones particulares respecto al consumo de drogas. El estudio parte de una visión general sobre la situación del consumo, las consecuencias, la estructura y funcionamiento del Plan, los recursos, las principales áreas de intervención: Prevención, Intervención Asistencial, Incorporación Social, Estudios e Investigaciones y, la relación que se establece con ONG’s.

Esta evaluación ha permitido conocer la situación particular de las CCAA, superando los «miedos» a ser evaluados y demostrando la que se deriva de esta práctica. Se ha pretendido que resulte útil para tomar decisiones y para los profesionales.

3.1. El proceso de la evaluación: descripción de las fases

En primer lugar se familiarizaron con los conceptos del ámbito de las drogodependencias, diferentes según la CCAA, para extraer indicadores comunes que permitieran establecer comparaciones. A partir de ellos se elaboró un cuestionario que hacía referencia, en algunos ítems, a definiciones de conceptos, y se estructuró en los siguientes bloques:

BLOQUE 1. Organización y funcionamiento del plan autonómico:

• Objetivos y necesidades
• Programación
• Evaluación
• Relación entre comunidad autónoma y local
• Estructura
• Coordinación
• Estrategia nacional 2000-2008

BLOQUE II. Recursos humanos.

BLOQUE III. Prevención.

BLOQUE IV. Intervención asistencial:

• Programación y evaluación.
• Seguimiento de los programas
• Estructura funcional y organigrama
• Recursos materiales
• Evaluación formativa

BLOQUE V. Incorporación social:

• Programación
• Desarrollo y realización de programas Evaluación
• Recursos

BLOQUE VI. Estudios e investigaciones.

El cuestionario fue modificado en numerosas ocasiones. Se trataba de aunar la metodología proporcionada desde la Sociología con la realidad desconocida del campo de las drogodependencias con sus conceptos y particularidades. Una vez realizado el estudio piloto se envió a las distintas Administraciones el cuestionario explicando los motivos de la investigación.

Se trataba de un cuestionario muy extenso, iniciándose en el proceso de planificación de las actuaciones en materia de drogas, pasando por la estructura funcional, el organigrama, el presupuesto, la evaluación y, en cada una de las áreas de intervención, los programas, la coordinación, las actividades, los recursos, los problemas, etc.

Todas las CCAA lo remitieron con la excepción de dos que decidieron no participar. El área que encontró más dificultad para fue la de Recursos Humanos, Tras esta fase y pese a algunos problemas, el resultado se calificó como positivo.

Se comenzó a trabajar con los informes anuales y Planes de cada CCAA para  el conocimiento de la situación epidemiológica del consumo, para lo que se utilizaron fuentes secundarias, del Observatorio Español sobre Drogas y estudios de cada Comunidad. Se encontraron diferencias importantes; en algunas regiones resultaba muy difícil encontrar estudios y en otras el volumen era mayor.

Luego se analizaron las consecuencias derivadas del consumo, tanto las que afectan a la salud, como otros aspectos sociales. Finalmente, al informe parcial se le añadieron dos nuevos apartados: el referido al presupuesto y otro que hacía referencia a la relación con las ONG’s que participan en el campo de las drogodependencias.

Luego se añadieron los resultados de los cuestionarios, que contaban con respuestas abiertas susceptibles de ser analizadas mediante métodos cualitativos. El análisis cuantitativo no resultaba adecuado, pero se elaboró una base de datos con el programa SPSS con los datos epidemiológicos para poder recurrir a este tipo de información.

Después de una primera información descriptiva se encontraron con dos problemas:

• los cuestionarios fueron remitidos durante un año por lo que se retrasó el análisis y había diferencias en la fecha por lo que en un año podían haber cambiado muchos aspectos, por lo que hubo que actualizar la información continuamente
• faltaban explicaciones de algunas preguntas y había cuestiones que no se podían recoger con este instrumento.

           Por tanto, se inició la segunda fase: las entrevistas personales a los responsables de los Planes Autonómicos para obtener aspectos novedosos en el último año, la evolución de la situación de la drogadicción, los principales mecanismos de coordinación, la situación de los recursos humanos y económicos, los últimos programas y la valoración general de cada una de las áreas de intervención (prevención, intervención asistencial e incorporación social), la relación con las ONGs y, finalmente, los puntos fuerte y débiles en ese momento.

La programación de las entrevistas: se organizaron tres rutas que englobaban a las Comunidades más cercanas y permitían realizarlas en días consecutivos.

Analizadas las entrevistas e incluida la información actualizada procedente de nuevos Planes, leyes, estudios, etc., se elaboró el informe final de cada CCAA y otro comparativo a nivel estatal. La última fase es la disposición a los responsables del PNSD y de cada Comunidad para que hagan la valoración como expertos.

3.2. El informe de evaluación: la situación general de la drogadicción en España

La evaluación tiene como propósito proporcionar una visión general de la situación de la drogadicción en España; aquí sólo se recogen las aportaciones finales del informe.

4. Aportaciones finales: puntos fuertes y débiles

Como aspectos más significativos se pueden destacar:

• un cambio en los consumos y en los problemas derivados de los mismos. Junto con la heroína, ha empezado a cobrar una importancia creciente la cocaína. Ante estos cambios, al PND le ha seguido un nuevo documento: la Estrategia Nacional sobre Drogas 2000-2008, consensuado por todas las Administraciones, y que será adaptado en los Planes Autonómicos. El área prioritaria es la prevención, desde la Educación para la Salud, como estrategia más adecuada.
• En el área de intervención asistencial se seguirá apostando por los programas de reducción del daño, acercándolos a todos los colectivos. Se persigue consolidar el Circuito Terapéutico de Atención e Inserción Social en Drogodependencias, que tiene como objetivo integrar al drogodependiente en la sociedad. Se pretende trabajar de manera conjunta: Atención Primaria, Especializada, Salud Mental, Servicios Sociales, etc. y por parte de todas las instituciones con competencias.
• Es necesario impulsar la formación de los profesionales con especialización en postgrado y formación continuada; lograr mejores indicadores y evaluaciones de los programas y servicios y promover la investigación. Algunas de las iniciativas al respecto pasan por la creación de nuevos centros de documentación y redes de información entre los profesionales.
• también son importantes las líneas que se desarrollen en la esfera internacional, participando en Organismos Europeos e Internacionales y mejorando las relaciones bilaterales.

Se trata de cumplir los objetivos de la estrategia: un plan participativo e integrador:

• que aborde las drogas desde una perspectiva global
• que busque la generalización de la prevención escolar,
• que prevenga en el medio laboral,
• que normalice la asistencia a los drogodependientes,
• que garantice su plena cobertura asistencial e integración laboral,
• que potencie la investigación y formación,
• que desarrolle el Observatorio Español sobre Drogas
• que incida en el control de la oferta.

La labor desarrollada por el PND, los Planes Autonómicos y las diversas instituciones implicadas en la lucha contra la drogadicción, ha sido creciente y han sido muchos los aspectos conseguidos, entre ellos:

• la diversidad y consolidación de la red asistencial,
• el desarrollo normativo,
• el acercamiento a la sociedad,
• la buena coordinación y consenso,
• la calidad de los servicios prestados y su adaptación a la realidad cambiante
• la disposición e interés de los profesionales,
• el papel de las ONG’s, etc.

Hay que seguir trabajando, enfatizando en:

• la prevención, que conlleva el fomento de programas rigurosos y modelos basados en la evidencia; el trabajo con los adolescentes y en su percepción del riesgo y cambiando sus estereotipos.
• incorporación social, hay que sensibilizar a la sociedad e implicar al conjunto de la población, de modo especial a las familias. La asistencia debe ser normalizada, y se hace necesario desarrollar una red de integración sociolaboral e incidir en la población en prisión (cuadro 2).
• investigación.

         Se necesita contar con presupuesto adecuado; profesionales formados, motivados y bien retribuidos; un trabajo conjunto y consensuado y acercar la red a la población, buscando soluciones a la dispersión geográfica. La evaluación es la herramienta que ha de estar siempre presente, mostrando las debilidades y ayudando a mejorar las actuaciones.

Cuadro 2: Puntos fuertes y débiles de los Planes Autonómicos sobre Drogas

Capítulo 9 LA EVALUACIÓN DE DISEÑO

1. Definición

Tiene como finalidad detectar y conocer las posibles debilidades de un programa antes de su implementación.

Entra dentro de la lógica de la intervención social, para mejorar los programas en la fase de planificación y controlar la calidad de los procesos.

La intervención social es costosa no sólo económicamente sino por el esfuerzo, energía y tiempo que el equipo y los responsables dedican. La evaluación de diseño puede ayudar a realizar esos esfuerzos sin un costo elevado, pero si fuese muy costosa, merecería la pena aconsejar que se gasten los recursos y esfuerzos en la intervención. Es un medio para asegurar un uso más prudente y eficaz de los escasos medios humanos y materiales y para ayudar a conseguir intervenciones que logren sus objetivos con mayor probabilidad.

Supone dar respuesta a las siguientes preguntas evaluativas:

• ¿Es ésta la mejor alternativa posible para dar respuesta a las necesidades objeto de la intervención social?
• ¿Es viable la aplicación de la alternativa en ese momento?

2. La estructura del plan de evaluación de diseño

La elaboración del plan de la evaluación de diseño es donde se configura el modelo de evaluación y donde se da respuesta a las grandes preguntas de cualquier evaluación ¿qué evaluar? ¿Quién? ¿Cómo? ¿Cuándo? En el cuadro 1 se detallan los aspectos que contiene el Plan de la evaluación de diseño

• Conocer bien el programa, para una mayor familiarización con él lo que obligará a realizar una descripción de:

• El problema que intenta resolver.
• Del origen del problema.
• De la incidencia del problema.
• De las características sociodemográficas de las personas afectadas
• De los lugares en donde se manifiesta el problema.
• De las características de los profesionales implicados
• De los lugares donde no se produce o tiene menos intensidad el problema.
• De la evolución del problema.
• De las fuentes de información utilizadas para la intervención.

• El porqué del programa ayudará a conocer qué se pretende conseguir, cómo se piensa conseguir, a quién va dirigido y dónde se piensa aplicar. Conocer el contexto social próximo es de máxima relevancia, ya que de él puede depender el éxito o fracaso de la intervención, lo que nos lleva a plantear la idoneidad del proyecto, si es el mejor programa este contexto social.
• Una cuestión muy importante en la evaluación de diseño es lo referente al respaldo político de la intervención. Por muy eficaz y eficiente que pueda ser el diseño sin el respaldo de los responsables, difícilmente podrá implementarse y que tenga éxito.
• Es necesario conocer la literatura especializada, sobre todo, de evaluaciones de programas iguales al nuestro o parecidos, que nos va a dar ideas de cómo diseñar el plan de evaluación, comparar las características comunes, establecer paralelismos y diferencias y no cometer errores que otros han detectado, estudiado y solucionado. Es el estado de la cuestión o antecedentes y nos ayudará a:

• Conocer el origen del problema y qué teorías o explicaciones dan los planificadores del programa.
• Conocer los fenómenos que son responsables de la permanencia del problema.
• Conocer las estrategias, actividades e intervenciones que pueden modificarlo.

• Debemos decidir sobre cada una de las opciones evaluativas:

• evaluación interna, externa o coevaluación; Lo más aconsejable es realizar una evaluación externa, que la hagan evaluadores que no han tenido nada que ver en el diseño del programa o de la intervención
• finalidad de la evaluación; De las múltiples finalidades que puede tener, la de realizar una evaluación formativa es prioritaria y contribuye al perfeccionamiento de la intervención antes de que termine. Con esa intención es por lo que se hace la evaluación de diseño, mejorar el programa social o cual quier otro tipo de intervención social antes de su puesta en práctica. Es, por lo tanto, una evaluación planteada básicamente con el fin de poder ir tomando, de forma fundamentada, las decisiones que se consideren necesarias para readaptar los componentes del proceso a los objetivos o metas que inicialmente se fijaron.
• si es una evaluación inicial, procesual, o final: es inicial
• si optamos por una perspectiva cualitativa, cuantitativa, o complementariedad de ambas. Domina la perspectiva cualitativa, ya que el interés radica en la descripción de los hechos observados para interpretarlos en su contexto, «proporciona un punto de vista comprensible de la totalidad del programa» según Parlett y Hamilton. La perspectiva cuantitativa también está presente y uno de los instrumentos más utilizados es la técnica Delphi.
• el enfoque global o parcial; lo más aconsejable es el realizar una evaluación global molar u holística en la que todas las partes,  sujetos implicados y fases del programa deben ser tenidos en cuenta. Ante este tipo de evaluación, el programa responde al principio de unidad, que explica la elaboración, aplicación y resultados.

• Por ello, el contenido de la evaluación está formado por todos los elementos que configuran la intervención social:

a. Los objetivos:

• ¿Están claramente definidos?
• ¿Hay que añadir algunos?
• ¿Hay que reducir o eliminar otros?
• ¿Qué se considera evidencia aceptable del logro de los objetivos operativos del programa?
• ¿Qué obstáculos pueden impedir el logro de los objetivos?

b. Los usuarios o beneficiarios del programa:

• ¿Están claramente delimitados?
• ¿Habría que ampliar o reducir los posibles usuarios?
• ¿Responden los usuarios con el perfil que describe el programa?
• ¿Cuál es la razón de elegir a éstos y no a otros?

         c. La metodología de la intervención:

• ¿Está bien definida?
• ¿Se adapta a los objetivos del programa?
• ¿Intervienen todas las instituciones implicadas directa o indirectamente en el programa?
• ¿Habría que modificar, ampliar o eliminar algún aspecto?

d. Los recursos:

• ¿Son suficientes, tanto los humanos como los económicos?
• ¿Se deberían añadir algunos para mayor eficiencia y eficacia en la consecución de los objetivos?
• ¿Tiene viabilidad económica?
• ¿Está especificado el aumento de recursos que supondría un aumento en el número de usuarios?
• ¿Cuenta con el visto bueno de las instituciones implicadas?

e. Las actividades:

• ¿Están bien definidas?
• ¿Se adecuan a los objetivos del programa?
• ¿Habría que eliminar, reducir o ampliar algunas de ellas?
• ¿Están temporalizadas?
• ¿Quién realiza cada una?

• La evaluación de la evaluabilidad del programa. es la medida en la cual un determinado programa puede ser evaluado, y depende si ha sido bien planificado y pueden existir barreras que dificulten la evaluación. Puede ser considerada como un pre-requisito de la evaluación y una vía para juzgar si el planificador ha realizado un buen trabajo durante la intervención. Wholey ha identificado cuatro áreas problemáticas en la evaluación de programas que maximizan su dificultad e inoperancia:

• Falta de definición del problema implantado y de los objetivos y resultados predichos.
• Falta de base en la teoría del programa (base de las acciones interpuestas).
• Falta de claridad en los propósitos de la evaluación.
• Falta de claridad en las prioridades de la evaluación.

Un previo análisis de la capacidad de evaluar un programa evita esfuerzos y gastos innecesarios. Por eso Wholey planteó la necesidad de evaluar la evaluabilidad de un programa como paso previo formalizado

• En relación a los objetivos a conseguir pueden variar según el grupo o la persona del cual procede la iniciativa de la evaluación y de sus pretensiones más inmediatas. Pero desde un punto de vista profesional, el objetivo es determinar la idoneidad de un programa antes de su aplicación, si la intervención social planificada se ajusta a las necesidades que pretende cubrir. En definitiva:

• Estudiar la pertinencia del proyecto con la realidad social que se pretende modificar.
• Conocer la coherencia y congruencia interna del programa en cuanto a objetivos, métodos, duración y resultados esperados.
• Analizar la viabilidad de los recursos económicos y humanos.
• Estudiar las previsiones de evaluación del programa.

• En lo referente a los enfoques o modelos, destacan el:

• Enfoque de revisión profesional (acreditación). Puede ser de gran utilidad especialmente cuando se realice una evaluación global del programa.
• • Enfoque basado en objetivos (o basado en metas). Es sencillo y directo pero con importantes limitaciones. Se parte de los objetivos formulados y comprobar que el diseño que se ha elaborado es el más adecuado para terminar con el problema que se quiere corregir pero no entra en la eficiencia y eficacia del programa.. Aunque es indudable que el modelo de evaluación mediante objetivos permite decidir si con este programa se resolverá el problema,
  • Enfoque de toma de decisión. Tiene presente la conexión entre la evaluación y la toma de decisiones, aunque varíen los responsables y el modo en que se llevan a cabo. Se estructura a partir de las decisiones reales que hay que tomar, que implica al responsable y delimita la evaluación los objetivos de la misma.  

Capítulo 10 LA EVALUACIÓN DE LA IMPLEMENTACIÓN

1. Definición

Es aquella que permite conocer si el funcionamiento de la intervención social o programa esta resultando como se preveía en un tiempo y contexto determinado y tiene que ver con la calidad de la intervención social.

Uno de los aspectos clave de un programa es su implementación o puesta en marcha del programa de intervención siguiendo los esquemas fijados en su diseño y su efecto sobre los beneficiarios que puede no conseguir los efectos deseados porque no se ha puesto en marcha como se había diseñado y esperar a que se haya aplicado, puede resultar caro y poco útil, por ello, la evaluación de la implementación puede ser de gran utilidad. Se asemeja a lo que otros llaman formativa.

Se desarrolla en un proceso de tres fases:

1. Descripción de lo esencial del programa de intervención, según el diseño y documentos previos al mismo.
2. Recogida sistemática de información sobre los elementos clave del programa, cómo se aplican, cómo funcionan, etc.
3. Comparación del programa en sus partes esenciales, tal y como estaba diseñado y tal como funciona realmente.

El resultado puede ser contrastar que hay discrepancias entre el diseño y su implementación, en cuyo caso, se redefine para lograr su adecuada implementación. Aparte de la recogida de información, los aspectos clave son:

• La selección de las actividades que constituyen y definen el programa separando lo esencial y definitorio de lo accesorio.
  • La fijación de una muestra de momentos, unidades de análisis y lugares para la recogida de información, de modo que tenga validez externa.

Debe dar respuesta a las siguientes preguntas evaluativas:

• ¿Quién o quiénes son los responsables de la implementación?
  • • ¿Se ha aplicado el programa como estaba diseñado?
    • ¿Qué medios se usan pan asegurar que el programa se lleva a cabo de acuerdo a lo planificado?
    • ¿Los resultados van en la línea de los esperados?

2. El plan de evaluación de la implementación

La elaboración del plan de evaluación de la implementación y su posterior aplicación es de máxima relevancia en el proceso de evaluación, donde se toman las decisiones que van a configurar el modelo (cuadro 1)

Este tipo de evaluación puede ser visto con recelo por los profesionales al considerar que se cuestiona su manera de trabajar, pero permite realizar mejoras, se pueden alcanzar niveles de calidad cada vez mayores, lo que implica realizar cambios e innovaciones en el proceso de intervención. Para conseguir el éxito del proceso de evolución de la implementación se deben de dar, por lo menos, las siguientes condiciones institucionales:

• Debe darse una motivación interna, los responsables de la implementación deben liderar y estar comprometidos y el equipo encargado de la evaluación tiene que haber recibido el respaldo institucional y de sus autoridades.
  • Los responsables deben brindar apoyo administrativo y recuros al equipo evaluador.
  • Es necesaria la participación de todos los implicados, deben dar a conocer sus opiniones que van a permitir mejorar la intervención.
  • Para que tenga sentido es importante que se comparta la cultura de la calidad de la intervención y de la calidad de la evaluación.
• Conocer bien el programa es uno de los axiomas de esta evaluación. Cuando es de carácter interno, la realizan los mismos implicados, por lo que el conocimiento del programa sobra; pero si se opta por la evaluación externa la familiarización con el programa y conocer cuáles son los rasgos y actividades que lo caracterizan, es la primera tarea a realizar por los evaluadores. Weis lo deja bien claro: «tan importante como conceptualizar los resultados deseados constituye conceptualizar la naturaleza del programa….».
• Conocer el contexto social en el que se está aplicando la intervención. Todo programa se realiza en un marco social que tiene consecuencias para su aplicación. El contexto próximo es la administración que financia y lleva a cabo el programa, pero también es necesario abrir el marco de actuación: no en pocos programas las condiciones socioeconómicas del entorno entran en conflicto con lo que se pretende y hay que asegurarse de que las condiciones socio-económicas no han variado después de realizar la evolución diagnóstica o de necesidades. La realidad social no es estática, cualquier cambio en el contexto puede incidir en la aplicación del programa y en los resultados.
• Decidir sobre las siguientes opciones evaluativas:
  • evaluación interna, externa o coevaluación; lo más aconsejable es realizar una evaluación interna o ambas a la vez, El objetivo es corregir durante el proceso cualquier anomalía detectada en la evaluación (evaluación formativa), siendo los encargados de la mejora los implicados en la intervención social. Evitar el rechazo a la evaluación y crear una cultura evaluativa es fundamental. Se entiende por coevaluación la combinación de la evaluación externa e interna, verificar los resultados de la evaluación interna con los de la externa o viceversa. Los partidarios de esta tercera opción, la mayoría, manifiestan que la externa debería completarse con la autoevaluación.
  • finalidad de la evaluación: realizar una evaluación formativa que contribuya al perfeccionamiento del programa. Se realiza a lo largo de la vida del programa y se va constatando la validez de todos los componentes (actividades, recursos, metodología, actuación de los profesionales, funcionamiento de la intervención, incidencia del medio,…) con respecto al logro de los objetivos. Se plantea con el fin de poder ir tomando, de forma fundamentada, las decisiones que se consideren necesarias para readaptar los componentes del proceso a los objetivos. Las características básicas de la evaluación formativa son las siguientes:
    • Procesual. Forma parte intrínseca al programa.
    • Integral. Abarca todos los elementos el programa.
    • Sistemática. Es un proceso riguroso.
    • Estructurante. Permite ir ajustándose a las necesidades cambiantes.
    • Progresiva.Tiene en cuenta los logros.
    • Innovadora. Permite la toma de decisiones constantemente.
    • Científica. Analiza todos los elementos del proceso para determinar el papel de cada uno.

En definitiva la evaluación formativa puede concebirse como:

• Una adaptación de los programas a las características de los beneficiarios
  • • Un proceso de investigación que se realiza a lo largo de todo el desarrollo del programa, que posibilita su conocimiento mediante la recogida de información, y adecuación al contexto. Supone una continua reflexión sobre la intervención y su perfeccionamiento y recuperación.
    • Una interacción dialéctica entre todos los elementos: profesionales, recursos, actividades y usuarios.
  • el enfoque global o parcial; lo más razonable sería optar por una evaluación global, molar u holística en la que todas las partes, sujetos implicados y todas las fases del desarrollo deben ser tenidos en cuenta de manera globalizadora. Si lo único que interesa conocer es la aplicación presupuesta, lo más aconsejable sería la evaluación parcial. La evaluación holística se basa en los siguientes supuestos:
    • Que un mejor entendimiento del programa o de los SS podría mejorar las oportunidades y experiencias de la intervención.
    • Que permite a la institución responsable determinar y producir la evidencia de hasta qué punto están implantando la calidad deseada.
    • Que un estudio global puede ayudar a los profesionales a identificar los efectos que requieran atención, y sus ventajas son:
    • Aborda la realidad tal como es, su riqueza y complejidad.
    • Es el único que permite apreciar las relaciones entre elementos y no sólo éstos de manera aislada.
    • Posibilita constatar las congruencias e incongruencias del sistema, los desajustes, desfases, faltas de coordinación y las coherencias entre los elementos.
  • si es una evaluación inicial o procesual, o final,
  • si optamos por una perspectiva cualitativa, cuantitativa, o complementariedad de ambas. Es una cuestión importante, pero será el objeto de estudio el que lo determine. Si optamos por una evaluación externa y global, la perspectiva cuantitativa puede ser la más idónea y se caracteriza por:
    • La búsqueda y la creencia en la objetividad, como resultado de la fiabilidad y validez de los instrumentos de recogida y análisis de los datos.
    • El método hipotético-deductivo es el procedimiento que puede proporcionar el rigor requerido, establecido en las ciencias naturales y en la psicología experimental. La verificación de las hipótesis o la búsqueda de apoyo empírico exigen el tratamiento estadístico y la cuantificación de las observaciones.
    • Observación rigurosa de las normas de la metodología estadística:
    • operacionalización de variables,
    • estratificación y aleatorización de las muestras,
    • construcción de instrumentos con suficiente grado de validez y fiabilidad,
    • la aplicación de diseños estructurados,
    • la correlación de conjuntos de dimensiones a lo largo de diferentes y generalmente extensas poblaciones.
    • El énfasis casi exclusivo en los productos o resultados.
    • Estricto control de las variables en proceso, neutralizando unos y manipulando y observando el efecto de otros.
    • El diseño estructurado de un proyecto de evaluación requiere la permanencia y estabilidad del programa durante un largo período de tiempo.
    • Se concentra en la búsqueda de información cuantitativa mediante medios e instrumentos objetivos.
    • Tendencia a concentrarse en la diferencia de resultados entre el grupo de control y el grupo experimental, a ignorar las diferencias individuales y a medir lo cuantificable en lugar de identificar y rastrear los efectos a largo plazo más inciertos.
    • Los datos de la evaluación tienen una utilidad específica para un destinatario determinado.
• Los objetivos pueden ser varios según el grupo o persona del cual procede la iniciativa de la evaluación y de sus pretensiones inmediatas, aunque tiene como objetivo general:
  • conocer cómo se ha puesto en marcha el programa o intervención social y determinar si existen diferencias significativas entre lo real y lo previsto
  • mejorar la calidad de la intervención social y dar respuesta a las necesidades detectadas. Los responsables necesitan una evaluación que les permita aclarar sí debería continuar el programa o sí los fondos asignados son suficientes En definitiva;
    • Informar sobre el desarrollo del programa,
    • conocer cómo se han tomado las decisiones,
    • contrastar los aspectos negativos si los hubiere.
• el enfoque o modelo. Son muchos los enfoques que podemos utilizar como:
  • Modelo basado en objetivos (o metas). Parte del análisis de los objetivos formulados y comprueba si están siendo alcanzados. Tiene en cuenta la productividad y responsabilidad, sin preocuparse por la eficiencia. Es un enfoque sencillo y directo pero con importantes limitaciones ya que no dice nada de cómo se consiguen los objetivos, o por qué no se han logrado, ni mide los resultados imprevistos.
  • El enfoque que prescinde de los objetivos. El evaluador debe procurar evitar deliberadamente informarse sobre ellos, con el fin de que no le lleven a sesgos tendenciosos. Debe contemplarse en el contexto de ver si se cubren las necesidades objeto de la intervención. destacan dos  limitaciones:
    • en el transcurso de la evaluación, los evaluadores están continuamente solicitados, debiendo cuidarse de mantener una renovada vigilancia sobre la evaluación.
    • actúan de modo semejante al de un detective que ha de descubrir claves y extraer información. Por medio del modus operandi, el evaluador ha de establecer una relación casual entre causa y efecto.
  • El enfoque de toma de decisión. Tiene presente la conexión entre la evaluación y la toma de decisiones, aunque varíen los responsables y el modo en que se llevan a cabo. La evaluación tiene que estructurarse a partir de las decisiones reales, lo que suele aludir al responsable. La metodología descansa, sobre las variaciones del medio.
  • El enfoque de revisión profesional. Puede ser de gran utilidad, especialmente cuando se realice una evaluación global del programa. Supone que los compañeros de profesión juzguen el trabajo de sus colegas.
  • El enfoque de casos (o negociación. Se centra en la revisión de las partes de las que consta el programa, utilizando la percepción de los sujetos que participan en él y del propio evaluador. Pretende mejorar la comprensión que tienen los destinatarios. Una de las limitaciones es la objetividad. Otras son el fijar los limites de la investigación y el de circunscribirse a las categorías en las que puedan asimilarse y comprenderse los datos.

3. Ejemplo de evaluación de la implementación en las políticas de igualdad

3.1. II Plan de igualdad de oportunidades entre hombres y mujeres de la Generalidad Valenciana

El Plan contempla la evaluación del mismo y entre los distintos tipos de evaluación que contempla el de la implementación. Para los creadores del plan la filosofía que lo sustenta se resume en tres grandes líneas:

• Contar con un instrumento eficaz que permita desarrollar políticas e intensificar esfuerzos pan introducir el concepto de igualdad de genero en todas políticas y actuaciones del Gobierno Valenciano.
  • Actuar no sólo desde la perspectiva de igualdad de oportunidades, sino desde la necesaria consecución de igualdad de resultados, desarrollando medidas de acción positiva.
  • Trabajar estrechamente con la sociedad valenciana.

El contenido de global contempla la realización, entre 1977 y 2000, de 178 Acciones, distribuidas en 11 Áreas de Actuación, diferenciadas por objetivos:

— Concienciación y Sensibilización de la sociedad

— Legislación

— Cultura

— Educación

— Empleo

— Medio Rural

— Salud

— Servicios Sociales

— Cooperación

— Empresa, y

— Urbanismo

3.2. La evaluación la implementación del Plan

Se aborda desde una doble perspectiva de análisis: la cuantitativa y la cualitativa. Dentro de la perspectiva cuantitativa, la evaluación de carácter externo tiene una doble dimensión: Por un lado, se realiza una evaluación formativa o de proceso, que incluye, entre otros aspectos, el análisis de la implementación, cobertura y seguimiento del Plan, por otro, se efectúa una evaluación de resultados y de impacto.

El objetivo general ha sido el conocimiento de las actuaciones que se van poniendo en marcha a lo largo de los años de vigencia y que se ha concretado en tres aspectos principales:

• Conocer el grado de cumplimiento del Plan. Señalando las acciones que se han puesto en marcha y cuáles no. Para ello se han planteado dos clasificaciones:
  • según los agentes responsables de la implementación
  • en relación con las Áreas para analizar el grado de implantación del Plan.
• Quiénes han sido los colectivos destinatarios de estas acciones.
• Conocer cómo se ha ejecutado el Plan.

El diseño de la evaluación de la implementación contempla tres fases:

• Estudio pormenorizado de todo el Plan lo que permite operacionalizar los objetivos, familiarizarse con el plan y elaborar los indicadores de medición. Igualmente se ha efectuado un análisis de todas las acciones que estaba previsto fueran implantadas.
• Elaboración de instrumentos de medición: una ficha técnica que contiene indicadores para medir la efectividad y cumplimiento. La información ha sido recogida de forma directa mediante la entrevista con los responsables.
• Recogida de la información mediante la ficha técnica, completada con la revisión de documentos, la realización de entrevistas y la observación in situ sistemática y directa.
• Análisis de la información y elaboración del informe de resultados basado en la categorización analítica efectuada:
• • • Por agentes responsables de la implementación.
    • Por áreas de actuación.
    • En función de los grupos destinatarios.
    • Por la orientación global de las acciones.
    • Balance final. 

 CAPÍTULO 11 LA EVALUACIÓN DE RESULTADOS

1. Definición

Pretende determinar si el programa ha logrado los objetivos del diseño en términos de resultados y efectos, en cantidad, calidad y extensión como característica principal. Abarcan todos los efectos de la ejecución: los objetivos globales o específicos,  positivos o negativos y directos o indirectos. Las preguntas a responder son:

— ¿Podemos asegurar que hemos alcanzado los objetivos?

— ¿Podemos calificar de éxito o fracaso la intervención?

— ¿Se han resueltos las necesidades objeto de la intervención?

— ¿Hay que terminar o continuar con el programa?

2. La estructura del plan de evaluación de resultados

Como en cualquier investigación la elaboración del plan de evaluación es fundamental (cuadro 1) y se analizan sus elementos:

• Conocer el programa, familiarizarse con el y conocer lo explícito y lo implícito de la intervención social. Weiss: «tan importante como conceptualizar los resultados deseados constituye conceptualizar la naturaleza del programa».
• conocer el contexto social toma una relevancia especial. Para Helen Simona la investigación naturalista supone estudiar los programas en sus contextos. Para no atribuir resultados a los programas que no les corresponden, hay que conocer y controlar cada una de las variables que pueden incidir y modificar el problema objeto de intervención.Weissinsiste en utilizar diseños de evaluación que controlen las variables contextuales y recomienda diseños, como el de remendado, para controlar los posibles sesgos. Se trata de responder si estamos en condiciones de asegurar que los resultados se deben los efectos del programa o a variable no controladas

Tampoco podemos olvidar la influencia política. Stufflebeam considera que la evaluación está al servicio de los directivos; Stake, que son múltiples los receptores. McDonald, aunque lo considera como un servicio a los responsables de las decisiones, reconoce la influencia de los evaluadores en la distribución de los recursos. Según Hamilton la evaluación supone una visión de la sociedad. House afirma que la evaluación forma parte de los procesos políticos. Defiende la teoría de la justicia de Rawls como compromiso del evaluador y considera que deben introducirse criterios morales en el concepto técnico de validez. Cronbach sostiene que debe ser tanto una teoría de la evaluación política como una teoría del modo de construir el conocimiento. Rechaza la postura de House y la consideración partidista y políticamente impracticable.

En definitiva se destaca la evaluación como parte de los procesos políticos. Weiss considera que es una tarea racional en un contexto político y puntualiza que:

• Las políticas y programas de evaluación son fruto de decisiones políticas.
• Los informes de evaluación se introducen en el terreno político
• La evaluación adopta una postura política.
  • decidir sobre cada una de las siguientes opciones evaluativas:
    • La finalidad última de la evaluación de resultados puede ser:
• Rendir cuentas (Accountability). Se refiere a criterios de eficacia social. En los programas de acción social se utilizan fondos públicos lo que exige garantías de seriedad y eficacia, un tipo de evaluación coste/eficacia.
• Evaluación sumativa, orientada a comprobar los resultados finales. Sirve para adaptar, aplicar o rechazar un programa y proporciona información a los patrocinadores sobre el nivel alcanzado. Cumple tres funciones:
• atestiguar el logro de objetivos,
• certificar el estado y capacidad del programa
• y comprobar su vigencia.
  • • si la evaluación de resultados será global, parcial o mixta. lo más sensato es realizar una evaluación global, molar u holística, todas las partes, sujetos implicados y fases deben ser tenidos en cuenta, ya que todos inciden en el resultado final. Ha de responder al principio de unidad como elemento que explica la elaboración, aplicación y resultados.
    • La perspectiva positivista/cuantitativista
• las enmarcadas en la perspectiva naturalista/cualitativista o etnográfica.
• las que siguen la perspectiva positivista/cuantitativa, denominada investigación evaluativa es la que mejor se adapta a este tipo de evaluación, definidas por Cook y Reichardt como la perspectiva que se caracteriza por su preocupación por el control de las variables y la medida de resultados expresados numéricamente. Weiss dice que su objetivo es medir los efectos de un programa por comparación con las metas que se propuso alcanzar, a fin de contribuir a la toma de decisiones acerca del programa. Cuando hace referencia a medir los efectos, se refiere a las cuestiones metodológicas de la investigación, a la medición y control de las variables. Estas son algunas características:
• La búsqueda y la creencia en la objetividad,  es el resultado de la fiabilidad y validez de los instrumentos de recogida y análisis de los datos.
• el método hipotético-deductivo es el procedimiento que puede proporcionar el rigor requerido. Exigen el tratamiento estadístico de los datos y la cuantificación de las observaciones.
• Observación rigurosa de las normas estrictas de la metodología estadística: operacionalización de variables, estratificación y aleatorización de las muestras, construcción de instrumentos con suficiente grado de validez y fiabilidad, aplicación de diseños estructurados, correlación de conjuntos de dimensiones.
• El énfasis casi exclusivo en los productos o resultados.
• Estricto control de las variables, neutralizando unos y manipulando y observando el efecto de otros.
• La permanencia y estabilidad del programa durante un período prolongado.
• Se concentra en la búsqueda de información cuantitativa mediante instrumentos objetivos.
• Tendencia a concentrarse en la diferencia de medias entre el grupo de control y el grupo experimental, a ignorar las diferencias individuales y a medir lo que aparece fácilmente cuantificable como resultados inmediatos, en lugar de identificar y rastrear los efectos.
• Encaja en una perspectiva teórica de la investigación evaluativa. Debe preocuparse de comprobar el grado en que se han alcanzado los objetivos.
• Los datos tienen una utilidad específica para un destinatario determinado..
  • Los criterios que mejor definen los objetivos
    • son el logro de los objetivos,
    • el valor social,
    • la utilidad,
    • la pertinencia
    • y el nivel de satisfacción de los usuarios.

Realizar un estudio de evaluación implica proporcionar información para permitir la labor juzgadora para no ser víctima intereses políticos, sociales o económicos implícitos en la mayoría de los programas de intervención social. Los objetivos a cubrir con la evaluación pueden ser, según Weiss:

1. Continuar o quitar el programa.

2. Mejorar sus prácticas y procedimientos.

3. Añadir o desechar estrategias y técnicas específicas.

4. Establecer programas semejantes en otra parte.

5. Asignar recursos entre programas que compiten entre sí.

6. Aceptar o rechazar un enfoque o teoría para el programa.

Pero no son los únicos que, entre otros desta can:

• Identificar los puntos fuertes y débiles en los programas.
• Conocer los procesos de aplicación y resultados de la intervención.
• Saber la opinión de los usuarios de los servicios.
• Saber el grado en que se aplica tal como fue previsto.
• Detectar los efectos colaterales o no esperados y derivados de su aplicación
• Resolver conflictos, pues incorpora nueva información y amplía las posibilidades de negociación y sus efectos de reducción de la autocomplacencia.
• Mejorar las prácticas, añadir o desechar estrategias y técnicas específicas.
• Conocer su eficiencia y eficacia.
  • Los posibles enfoques:
    • el de análisis de sistemas es el que mejor responde. Se centra en la medida de los resultados para medir la eficiencia del programa. Los datos que se utilizan son cuantitativos, las medidas se relacionan los análisis de correlación y otras técnicas estadísticas. Requiere un buen modelo experimental y su objetivo central es ser una evaluación lo más objetiva posible, una valoración firme cuyos resultados no varíen, aun cuando la realicen otros evaluadores.

Las principales características son:

• La evaluación se centra sólo en los resultados, concretamente en la comparación del coste/producto de los programas.
• Su base está en la teoría micro-económica de las áreas de servicios sociales
• Adopta como metodología la de las Ciencias Positivas.
• Basada la comparación en la utilización de diseños experimentales o cuasi-experimentales. Entre los más usuales están el de series temporales, el de pretest y postest y el de remiendo como lo llama Weiss.
• Los datos con los que se trabaja son cuantitativos.
• Los indicadores principales son los objetivos del programa.

Hay tres modelos que destacan: el de Suchman, Escotet y Stufflebeam.

• Para Suchman, la evaluación es un tipo de investigación aplicada y debe seguir lógica del método científico, que permite establecer relaciones causa-efecto; el método apropiado sería el experimental, porque permite detectar esas relaciones entre el programa y los resultados. La investigación evaluativa pretende demostrar la valía de alguna actividad social. Añade como objetivos de una evaluación:
• Analizar los motivos/razones de éxito y fracaso de programas, midiendo el éxito como el logro de los objetivos.
• Resaltar la filosofía base de la intervención que ha tenido éxito.
• Redefir los medios necesarios para lograr los objetivos.
• La evaluación empieza con un valor concreto, cualquier aspecto que tenga un interés particular, como ser bueno, malo, deseable…, luego se define el objetivo y se seleccionan los criterios para valorar la consecución del objetivo.
• La próxima etapa es la identificación de alguna actividad y su operacionalización. Incluye el grado en que el programa operativo ha alcanzado el objetivo predeterminado. Basándose en esta evaluación, se emite un juicio acerca de si la actividad ha resultado útil.

El proyecto de evaluación se formula con series de hipótesis, identificando las variables y explicando las relaciones causales entre ellas.

• Escotet construye su modelo basado en tres elementos: entrada, operaciones (procesos) y productos. Utiliza información tomada de los tres. La evaluación es el proceso de retroinformación mediante la utilización de un diseño experimental que permita recoger datos empíricos de la relación entre las entradas (elementos estables), los procesos (implementación) y los resultados del mismo. Su ventaja está en que excluye casi todas las limitaciones de los modelos basados en objetivos. Sus limitaciones en no contemplar las variables contextuales.
  • • Esta limitación es superada en el modelo CIPP de Stufflebeam La novedad radica en la introducción de un nuevo componente: el contexto, en el que se incluyen los aspectos económicos sociales.
  • Las decisiones metodológicas. Se hace mención a los resultados, tanto a su presentación, como a quién irán dirigidos. Debe contemplar la discusión e interpretación así como las sugerencias para la aplicación futura. En cuanto a los destinatarios, hay que dar respuesta a:
• Quiénes deben ser informados sobre los resultados
• Dónde van a publicarse los resultados
  • • Tanto el análisis de los resultados como su extensión deben ser acordados en el Plan de evaluación. La confidencialidad es una exigencia básica si así se determina.
  • Una evaluación de calidad debe cumplir las siguientes características (Stufflebeam):
    • Útil, que sirva para un mejor conocimiento de la realidad y para mejorar la intervención social.
    • Viable, que se pueda llevar a cabo sin grandes resistencias.
    • Ética, respetando los derechos de los implicados y cumpliendo los compromisos
    • Exacta, utilizar las herramientas necesarias como garantía de la validez y habilidad.

3. Ejemplo de evaluación de resultados: la Iniciativa Comunitaria Equal en Andalucía

3.1. Introducción a la iniciativa comunitaria EQUAL

Realizado por el Instituto de Desarrollo Regional de Andalucía, la IC Equal, tiene como objetivo promover nuevas maneras de combatir todas las formas de discriminación y desigualdad en relación con el mercado de trabajo a través de la cooperación institucional a escala local y transnacional, mediante intervenciones de empleo. Con la intención de que sus resultados y evaluaciones se conviertan en referentes para la mejora de las Políticas de Empleo, se articuló sobre los pitares de la estrategia europea de empleo:

• capacidad de inserción laboral,
  • • fomentar el espíritu de empresa,
    • adaptabilidad de empresas y trabajadores/as,
    • e igualdad de oportunidades.

Se crearon agrupaciones de desarrollo en las que participaron Administraciones Públicas, representantes de los agentes sociales, instituciones financieras, Universidades, centros de investigación y entidades privadas, que debían establecer un programa de trabajo transnacional con dos o más agrupaciones de otros Estados. Las actividades responden a los siguientes tipos:

• Asistencia (orientación laboral, asesoramiento empresarial, formación, prácticas laborales, ayudas a la generación de actividad e itinerarios de intervención laboral);
• estructuras y sistemas (formación de formadores/as…);
• medidas de acompañamiento;
• gestión, seguimiento y evaluación;
• ampliación de la elegibilidad,
• actuaciones transnacionales.

Equal centra los esfuerzos en tres ámbitos:

• el objetivo de los proyectos,
• el contexto en el que se plantean las actuaciones
• y el proceso de trabajo puesto en marcha.

Las agrupaciones constituidas debían plantear sus propuestas sobre la base de un análisis de las desigualdades y discriminaciones existentes en sus territorios o sectores en relación con el mercado laboral. En función de las necesidades, el programa de trabajo debía adscribirse a un área temática e incorporar un enfoque integrado tendente a mitigar las causas de la exclusión y sus consecuencias.

Hay otros los principios que los proyectos debían considerar contemplándose de forma transversal en su planificación, gestión, seguimiento y evaluación:

• igualdad de oportunidades,
  • • desarrollo de la sociedad de la información
    • promoción del medio ambiente..

3.2  Consideraciones metodológicas

El informe corresponde a los 21 Equal andaluces y es el resultado del análisis conjunto y transversal del seguimiento de cada proyecto. En el informe final se ha recopilado información de las siguientes fuentes:

• Los documentos programáticos de Equal y las principales orientaciones para la ejecución, seguimiento y evaluación de sus proyectos.
  • • Los informes semestrales de los partenariados por Equal GSE1.
    • Los informes de seguimiento individuales de los 21 proyectos.
    • Los informes de seguimiento individuales finales.
    • Las memorias finales y los informes de seguimiento y evaluación.
    • Las páginas web de los proyectos y de las entidades participantes.
    • El Catálogo de 193 productos y materiales realizado para los proyectos.

La información recabada por el sistema de seguimiento informatizado Equal GSE era insuficiente y, por tal motivo, se diseñaron herramientas para recopilar información como 84 entrevistas para elementos de carácter cualitativo, y un cuestionario o ficha de seguimiento para los aspectos más cuantitativos con un guión centrado en lo siguiente:

• La estrategia y procesos de intervención, con el objetivo de extraer la teoría del programa, es decir, las hipótesis que lo sustentan y el proceso diseñado.
  • • Sistema de Gestión, Seguimiento y Evaluación de la IC Equal en Andalucía (GSE).
    • Los mecanismos de gestión articulados entre el partenariado, con el objeto de delimitar los estamentos y relaciones que han influido en su gestión.
    • Cumplimiento de los principios rectores Equal y prioridades del FSE con el objetivo de valorar su incorporación en la estrategia de intervención del proyecto.

Del análisis destaca el realizado para conocer la influencia de las acciones en el ámbito de la creación de empresas y empleos, mediante la construcción de 2 modelos de regresión lineal simple que dieron lugar a datos altamente fiables. Entre las variables explicativas del número de empresas creadas y empleos generados se consideraron:

• Las propias de los proyectos
• Número de personas orientadas, asesoradas, formadas y en prácticas.
• La ejecución o no de actividades de formación a personas desempleadas.
• El número de socios de los partenariados.
• El porcentaje de mujeres, inmigrantes, discapacitados y colectivos excluidos beneficiarios de los proyectos.
• Si el número de asociaciones superó, o no, el 25% del total de socios.
  • • Las variables del entorno de los proyectos
• La población objetivo
• Las tasas de paro
• El ámbito rural o urbano,
• La tasa de crecimiento de las actividades empresariales.

3.3. Seguimiento evaluación

Se incorporó un proceso de evaluación al inicio, a medio camino y a su finalización. Para afrontar esta responsabilidad se presentaron dos alternativas:

• asumir el seguimiento y evaluación de forma interna y autónoma;
  • • y/ o contratar a una entidad externa para que asistiese al proceso evaluativo.

En el 81% de los proyectos se contrataron servicios para el seguimiento y la evaluación. En el 53%, las evaluaciones externas fueron independientes de las internas, mientras que en un 33% la evaluación externa utilizó los datos e informes de la interna. El proceso seguido se ha caracterizado por ser un seguimiento continuo de actividades y una evaluación final.

3.4. Metodología de la evaluación

Para el seguimiento de las actividades se desarrollaron aplicaciones informáticas, lo que facilitó la recogida de información y generó informes de seguimiento y estadísticas básicas de las usuarias y de los datos relativos a proyectos empresariales.

Los instrumentos más usados han sido las fichas de recogida de información y la definición de indicadores cuantitativos y cualitativos para el seguimiento y en menor medida, para medir el logro de objetivos e indicadores sobre cuestiones específicas como el impacto de género. También se ha utilizado cuestionarios y entrevistas con el personal técnico de los proyectos y con los/as beneficiarios/as.

Para la recogida de información que se han utilizado

• Observación continua.
• Ficha de recogida de información.
• Visitas de seguimiento.
• Grupos de trabajo de equipos técnicos.
• Entrevistas a:
• Personal técnico.
•  Organizaciones y agentes del territorio.
•  Población en general. e Personal usuario.
• Cuestionarios a:
• Personal técnico.
• Organizaciones y agentes del territorio.
• Población en general.
• Personal usuario.
• Grupos de discusión con:
• Personal técnico.
• Organizaciones y agentes del territorio.
• Población en general.
• Personal usuario.

Se observaron dificultades para diferenciar las tareas de seguimiento y para establecer las cuestiones y criterios de valor. Los seminarios y talleres organizados propiciaronla superación de esas dificultades.

3.5. Conclusiones de los procesos evaluativos y recomendaciones

El realizar 21 procesos evaluativos paralelos y coordinados ha supuesto un gran aporte al desarrollo de la cultura de evaluación y plantean su institucionalización e internalización. Entre los principales aprendizajes se manifestó la capacitación adquirida sobre la evaluación.

Una intervención de las características de Equal ha provocado que los equipos evaluadores se hayan enfrentado a una realidad compleja:

• centrada en colectivos de difícil acceso y excluidos;
  • • multidimensional, afecta a diferentes políticas
    • desarrollada en ámbitos geográficos dispersos y dispares;
    • con intervenciones que contienen objetivos múltiples y de naturaleza diversa.
    • la inclusión en la gestión de múltiples agentes, «animados» a cooperar y a trabajar de forma coordinada a través del trabajo en red.

Se optó por aplicar enfoques participativos y técnicas cualitativas, implicando a las entidades socias y se focalizó la evaluación sobre los procesos, para dar respuesta a los objetivos: identificar y difundir nuevas formas para diseñar e implementar políticas.

La experiencia ha arrojado una serie de recomendaciones a incorporar en futuros procesos evaluativos de esta naturaleza, entre las que se encuentran las siguientes:

• Incorporar la evaluación desde el diseño y dotarla de los recursos necesarios que permitan aplicar enfoques participativos y emplear las técnicas pertinentes.
• Realizar actividades de capacitación en evaluación y difusión de sus resultados dirigidas a los equipos de evaluación y gestión de los proyectos.
• Complementar y coordinar los sistemas de seguimiento y evaluación internos y externos para no saturar las fuentes, constituyendo equipos mixtos de evaluación.
• Establecer protocolos de evaluación y mecanismos de coordinación que permitan la agregación de información, homogénea y confiable. 

Capítulo 12 OPCIONES EVALUATIVAS A CONSIDERAR EN LA EVALUACIÓN DE LA INTERVENCIÓN SOCIAL

Cuando se decide evaluar, hay que adoptar una serie de decisiones evaluativas que se pueden agrupar en cinco bloques (cuadro1), cada uno de ellos implica una serie de opciones que son las que van configurando el tipo de evaluación que se desea. El evaluador irá seleccionando entre las diferentes alternativas hasta determinar su plan de evaluación.

Cuadro 1. Decisiones evaluativas en la evaluación de la intervención social

1. Modalidad            2. Finalidad              3. Nivel Análisis         4. Perspectiva

—Interna.               —Rendir cuentas.         —Global.                     —Cuantitativa.

—Externa               —Comparar.                —Parcial.                    —Cualitativa.

—Mixta.                 —Formativa.                —Mixto.                     —Complemen-

—Sumativa.                                                                                    tariedad.

5. Enfoque

1. Racionalista         2. Naturalista

1. Estamento del que parte la decisión de evaluar

La decisión de evaluar la pueden tomar:

• La administración de quien dependa el programa

—  El equipo directivo del programa.

• Los profesionales.
• Los usuarios

—  Investigadores privados.

Agrupando estos estamentos la iniciativa de la evaluación puede nacer de:

• Del propio Programa, a instancias del estamento o algún miembro. Pueden ser por:
• el deseo de mejorar la actividad del programa,
• la necesidad de solucionar un problema,
• la conveniencia de aclarar una situación
• o de profundizar en alguna vertiente del programa.
• O motivos espúreos: practicar un ajuste de cuentas, defensa de intereses particulares y apoyos para imponer decisiones o puntos de vista personales
• De instancias superiores al Programa, nacida de la inquietud por el control, del deseo de contrastar la eficacia de un programa, de brindar un camino para la mejora institucional o de rendir cuentas.
• De investigadores que pretenden realizar algún estudio. Un investigador privado puede plantear la conveniencia de efectuar una evaluación, con la finalidad de realizar una tesis doctoral u otra investigación.

Dependiendo de que el estamento que decide evaluar esté implicado o no, hay tres tipos de evaluación:

• Interna
  • Externa (ajenos al programa, como expertos en evaluación)
  • Mixta-coevaluación (combinación de las dos, primero la interna y luego la externa.)

Las tres opciones son viables, aunque lo más aconsejable sería hacer una externa o mixta que permita distanciarse de la realidad. La externa garantiza un nivel óptimo de objetividad, lo que aconseja encargar la evaluación a equipos independientes lo que legitima las conclusiones, sin embargo, los encargados pueden no suscribirlas y no comprometerse con las consecuencias. Supone un coste extra al programa y, por lo general, encuentra resistencia entre los actores del programa.

Por ejemplo, si los profesionales son los que deciden evaluar, al ser parte implicada en el programa, el tipo de evaluación a realizar será interna, si por el contrario decide la administración la evaluación será externa.

1.1. Evaluación interna o autoevaluación

Es el proceso por el que el programa se analiza a sí mismo con la finalidad de:

• Ver si se está haciendo lo que se propuso.
  • Verificar si están consiguiendo lo que se buscaba.

Estos objetivos se pueden ver frustrados por problemas que frenan la autoevaluación entre los que destacan:

• La resistencia a ser observados o ser objeto de evaluación.
• El carácter individualista de algunos profesionales.
• La falta de motivación profesional.
• la carencia de tiempo.
• Falta de apoyo técnico.
• Falta de credibilidad.
• Retraso del momento preciso.
• Ocultación de los problemas sustantivos.
• Impaciencia por obtener resultados.
• Miedo al poder punitivo de la evaluación.

Para Simons una de las premisas más importantes en las que se basa la autoevaluación, es que los profesionales y los programas son siempre autoevaluables,  tienen preparación y conocimiento para analizar, aunque no es todavía una práctica común.

No siempre que la evaluación se efectúa por los implicados, quiere decir que la iniciativa tenga que partir de ellos,  puede ser promovida desde las instancias:

• Internas: son los interesados los que sienten la necesidad de conocer realidad del programa para tomar las decisiones oportunas.
• Externas: se estimula esa necesidad desde personas o instituciones con interés y/o responsabilidad, como en los programas financiados por UE, al ser la administración Comunitaria la que estimula para realizar la evaluación interna.

A las dos dimensiones de la evaluación interna están orienta • al desarrollo del personal y a la mejora consiguiente del programa, renuende que la evaluación interna, suscitada desde instancias ínter-a es mejor al contar con el apoyo de los implicados en ei proceso.

1.1.1. Ventajas e inconvenientes de la evaluación interna o autoevaluación

          Hay unos criterios que las determinan:

• El conocimiento y comprensión a evaluar y de los problemas que conlleva, será máximo. También el peligro que encierra la falta de distancia emocional y el compromiso de los propios implicados en convertirlo en autojustificación. Este temor, es anunciado por Nuttall, que considera que la evaluación interna puede servir para reforzar la mediocridad más que para promover el cambio.
• Si la iniciativa parte de los implicados y hay una libre disposición, evita rechazos, malos entendidos y ocultación de información. Las ventajas pueden superar a los inconvenientes, destacando:
  • Su incidencia en la mejora de la profesionalidad.
  • La capacidad que le da a los programas, para resolver sus problemas
  • La valía y la fiabilidad de los datos aportados y la implicación del personal.
  • Supone un análisis y reflexión y sirve como retroalimentación.
  • Puede considerarse como un proceso de investigación en la acción.

1.2. Evaluación externa

Proceso por el que los agentes externos al programa evalúan su funcionamiento. Puede ser promovida desde:

• dentro del programa; como consecuencia del deseo de sus responsables para acreditarse o recibir una información rigurosa sobre el estado del programa, sus deficiencias, conflictos, o disfunciones o sobre las dimensiones positivas
• fuera del programa, para la comprobación de los niveles de cumplimiento, el conocimiento de la situación o de los niveles de logro de objetivos mínimos.

La evaluación externa puede ser total (de todos los aspectos del programa) o centrarse en algunas parcelas o subsistemas, además puede ser de todo el sistema se servicios sociales.

1.2.1. Ventajas e inconvenientes de la evaluación externa

Parece que la principal ventaja es confiar la evaluación a personas cuya libertad de enjuiciar esté garantizada, pero la objetividad no siempre esta garantizada.

En el caso que la contratación del especialista corra a cuenta de los responsables, puede servir para conseguir una visión más alejada y global y una mayor calidad técnica, sin embargo, la falta de independencia persiste cuando satisfacer al cliente puede ser la única vía de obtener un nuevo contrato. También presenta el riesgo de no llegar a conocer la realidad de la institución por cuestiones como:

• que la evaluación se convierta, para los profesionales, en un mecanismo de control.
• Puede que existan presiones por conseguir información rápida y sesgada.
• Se exija información en momentos y formas inoportunos.
• Se condiciona al observador para que ofrezca información con sentido determinado.
• Se falsifica la realidad para que el evaluador tenga una visión deformada
• Se utiliza la información de forma partidista, arbitraria e interesada.
• Se pretende dirigir la evaluación para que llegue a los lugares, personas, problemas y situaciones que interesan.
• La actitud reacia de los evaluados hacia los evaluadores.
• Al ser solicitados los datos desde fuera, es fácil que se den deformaciones que alteren la validez o fiabilidad.
• Las ventajas de la evaluación interna, se convierten en inconvenientes de la externa.

1.3. Evaluación mixta o coevaluación

Es la combinación de la evaluación externa e interna, cotejar los resultados entre ellas. la mayoría de los especialistas son partidarios de esta opción y manifiestan que la externa debería desembocar en la puesta en macha de mecanismos de autoevaluación institucional sistemática.

Martín la considera como conjugadora de los intereses externos e internos de la institución, aludiendo al control de los responsables de los programas, de su obligación de informar y rendir cuentas a la sociedad, pero debe ser conducido democráticamente en beneficio de la institución y de los profesionales.

Esta vía parece encontrar la solución a todos los problemas planteados en las otras, pero su implementación trae consigo inconvenientes de ambas y más tiempo y recursos.

2. Finalidad de la evaluación

Las razones que pueden llevar a decidir la evaluación de un programa social son múltiples y de muy diverso carácter. Se presentan cuatro objetivos generales:

2.1. Finalidad de rendir cuentas a la sociedad (accountability)

«Accountability» se refiere a criterios de eficacia social. Dado que se utilizan fondos públicos, la responsabilidad política, social y técnica exige garantías de seriedad y eficacia, por lo que requiere algún tipo de evaluación del costo/eficacia. No es suficiente con explicar cómo se gasta el dinero (fiscal accountability), hay que justificarlo en términos de resultados

Entre los defensores, se encuentran, Scriven y Kogan M. quien introduce un nuevo matiz al considerarla como condición y obliga a exigir responsabilidades.

J. Elliott lo define como la aceptación por la institución de la responsabilidad de evaluarse a sí misma y distingue tres tipos de accountability:

• social,
• económico
• y profesional.

          Como ejemplo, la evaluación desarrollada por Schrader del programa de desarrollo rural en la comarca de Land para evaluar la eficacia y desglosado en objetivos específicos:

• Medir la eficacia global del programa en relación con su realización física.
• Conocer la modificación del comportamiento de los beneficiarios
• Estimar la modificación del comportamiento de los empresarios.
• Conocer la modificación del comportamiento de resto de los ciudadanos.
• Conocer la implicación de las diferentes autoridades.
• Analizar la cooperación entre las diferentes administraciones.
• Medir la implementación financiera y administrativa y análisis del desarrollo socio-económico.

2.2. Comparar programas sociales

Frecuentemente se usa «assesment» como sinónimo de evaluación, pero a veces se utiliza para referirse a procesos más enfocados a lo cuantitativo y a las pruebas standard, «testing, aunque algunos sugieren que es menos un juicio y más un proceso de medida que otros tipos de evaluación; pero según Scriven, autor, « es un tipo de evaluación en la cual el juicio está basado en los resultados numéricos».

El método comparado es el más adecuado al proporcionar un conocimiento práctico y teórico de los procesos y resultados de los programas en distintos contextos o en el mismo, cuando s comparan varios. Beltrán señala que « es consecuencia de la diversidad, de la variedad de formas y procesos, de estructuras y comportamientos sociales, tanto en el espacio como en el tiempo, que llevan al examen de dos o más objetos que tienen algo en común y algo diferente» Proporciona una mirada no egocéntrica y enseña cómo la intervención va cambiando para hacer frente a diferentes problemas, cuál ha sido la respuesta o qué problemas se han encontrado.

Entre las ventajas destacan las señaladas por Hantrais, como que permite entender situaciones en diferentes contextos y detectar «debilidades» en el conocimiento, soluciones y nuevas perspectivas.

Por su objetivo y ventajas puede ser una herramienta muy útil en la evaluación de programas sociales con el objeto de comparar procesos o resultados.

2.3. Conocer la evolución de la intervención social (evaluación formativa)

Denominada así por Scriven, contribuye al perfeccionamiento de un programa, se realiza a lo largo del proceso de implementación y a través ella se constata la validez de todos los componentes (actividades, recursos, metodología, actuación de los profesionales…) con respecto al logro de los objetivos, con el fin de poder ir tomando las decisiones necesarias para readaptarlos:

• Las características básicas de la evaluación formativa son:
• Procesual. Forma parte intrínseca al programa.
• Integral Abarca a todos los elementos el programa.
• Sistemática. Es un proceso riguroso.
• Estructurante. Permite ir ajustándose a las necesidades del momento
• Progresiva. Tiene en cuenta los logros conseguidos.
• Innovadora. Permite constantemente la toma de decisiones nuevas
• Científica. Analiza todos los elementos del proceso como parte de sistema, con el fin de determinar cuál es el papel de cada uno.

En definitiva la evaluación formativa puede concebirse como:

• Una adaptación de los programas a las características de los beneficiarios
• Un proceso de investigación a lo largo de todo el programa, que posibilita su conocimiento mediante la recogida de información y adecuación al contexto. Es una continua reflexión sobre la intervención social y su perfeccionamiento y recuperación.
• Una interacción dialéctica entre todos los elementos del programa: profesionales, recursos, actividades y usuarios.

2.4. Conocer los resultados finales del programa o de la intervención social (evaluación sumativa)

Es comprobar la eficacia de los resultados de un programa y puede considerarse complementaria a la formativa. Sirve para adaptar, continuar, aplicar o rechazar un programa y proporciona información sobre el nivel alcanzado en relación con los objetivos.  Cumple tres grandes funciones???:

• atestiguar el logro de los objetivos
• y certificar el estado y capacidad de la institución encargada de su aplicación.

         Un ejemplo es la evaluación realizada por Luengo, M. A. del programa «Entrenamiento en Habilidades de Vida», cuyo objetivo general es conocer sus efectos en el último curso de E. Primaria y los objetivos específicos son:

• Evaluar la eficacia del programa para evitar el inicio del consumo de drogas (tabaco y alcohol) o retrasar la edad en que se inicia.
• Verificar si tiene efectos sobre la reducción de la frecuencia de consumo.
• Evaluar su incidencia para evitar o reducir la frecuencia de actividades antisociales.
• Evaluar su eficacia sobre variables relacionadas con el consumo como la información, las actitudes y la intención de consumo.
• Evaluar los efectos de la intervención sobre la competencia personal y social de los adolescentes.

La metáfora de Staker, puede servir para aclarar las diferencias entre evaluación formativa y sumativa: Cuando el cocinero prueba la sopa, es evaluación formativa; cuando la prueba el cliente, es sumativa, ya no existe posibilidad de cambio. Son dos concepciones diferentes de la evaluación pero no por esto son contradictorias o incompatibles. Ambas han sido implementadas en los DCB de la reforma de las enseñanzas no universitarias.

3. Nivel de análisis en la evaluación de los servicios sociales

Existen dos enfoques o niveles de análisis en la evaluación de los servicios sociales, en lo referente a la evaluación de programas, centros o conjunto de los Servicios Sociales aunque algunos autores incluyen un tercero, denominado mixto.

3.1. Nivel molar, global molar u holístico

Considera la evaluación como un todo en el que todas las partes, los sujetos y las fases deben ser tenidas en cuenta de manera globalizadora y  se basa en los siguientes supuestos:

• Que un mejor entendimiento del programa o de los Servicios Sociales podría mejorar las oportunidades y experiencias que se preven.
• Que estudios y revisiones sistemáticas permiten a la institución responsable determinar hasta qué punto se ha implantando la calidad deseada.
• Que puede ayudar a los profesionales a identificar los efectos que requieran atención.

Además, al considerar a los Servicios Sociales como organizaciones, tenernos;

• Una pluralidad de acciones que se realizan en colaboración entre los distintos miembros.
• Una concurrencia global y sistemática de esas acciones, excluyen otras causales o incidentales.
• Un cierto nivel de previsión en el comportamiento de los miembros.
• Una meta o elemento finalista de la organización que justifica su existencia, y por la que se ven impulsadas y dirigidas las acciones que en aquélla se desarrollan.

La función de organización ha de responder al principio de unidad. Un ejemplo sería la evaluación del Plan de de una institución pública o la política Social de una Consejería.

Puede definirse, desde un punto de vista novedoso, al aplicar el modelo ecológico a los Servicios Sociales Para el estudio y comprensión de las organizaciones; se plantea como un ecosistema, «conjunto de organismos de un ambiente determinado, paradigma, que basa la evaluación en los siguientes postulados:

• Resalta por igual todos los elementos del ecosistema.
• El contexto adquiere una fuerza determinante.
• Se enfatiza el carácter de las relaciones e intercambios de naturaleza psicosocial.
• Atiende a los procesos que se desarrollan en el seno de la comunidad.
• El «ser» de la institución importa más que el «deber» ser.
• El estudio de los papeles que desempeñan los actores, genera una especial perspectiva de interpretación de la realidad.
• Existen normas que se negocian o se imponen en las estructuras formal e informal.
• En la institución se crean indicadores de situación.
• Existen conexiones con el medio exterior que condicionan la dinámica que se produce en los Servicios sociales.

3.1.1. Ventajas e inconvenientes del nivel de análisis global

Aunque son numerosos los inconvenientes, las ventajas pueden superarlas,  destacando las siguientes:

• Aborda la realidad como es, en toda su riqueza y complejidad, admitiendo que los comportamientos, actitudes y relaciones de un subsistema vienen condicionados por aquellos en cuyo marco se inscriben.
• Es el único que permite apreciar las relaciones entre elementos.
• Posibilita constatar las congruencias e incongruencias del sistema, los desajustes y faltas de coordinación y así como las coherencias.

       Los inconvenientes más destacables se refieren a:

• La metodología es muy compleja ya que implica elaborar modelos metodológicos capaces de incorporar la red de relaciones y encontrar procedimientos de análisis de datos que las enfrenten.
• Supone incorporar gran cantidad de variables que sean abordadas desde diversas fuentes productoras de datos.
• Cada variable necesita una amplia red de indicadores para ganar en validez y fiabilidad, lo que produce una acumulación casi inmanejable de datos.
• La dificultad que supone conseguir de las fuentes de datos, la dedicación y el esfuerzo necesarios para contestarlos.
• No hay que olvidar la participación de todos los implicados, lo cual es una tarea ardua y difícil.

3.2. Nivel de análisis parcial o molecular

        Supone delimitar la evaluación a un aspecto o parte de su totalidad.

         Los Servicios Sociales, como institución social, son un sistema, un conjunto de elementos entre los que existen relaciones pluriformes. La evaluación parcial consistiría, en la evaluación de algunos de los subsistemas que lo componen, como puede ser, el subsistema programa.

          3.2.1. Ventajas e inconvenientes del nivel de análisis parcial

Las principales ventajas radican en que permite tener una visión más amplia, fiable y válida, por una mejor medida de las variables al ser menos.

De los inconvenientes cabe señalar que:

• Hay peligro de perder la referencia integradora y explicativa del proceso.
• Hace perder de vista la consideración del servicio como un ecosistema que explica el funcionamiento general.
• Descontextualiza el aspecto evaluado del sistema total, lo que no permite comprender el porqué de determinados fenómenos

3.3. Nivel de análisis mixto

Es una combinación de los dos niveles de análisis, caracterizado por un conocimiento general y a través del mismo detectar (función diagnóstica) los niveles, funciones, actitudes, relaciones o comportamientos que ponen de manifiesto dificultades y conflictos. Un determinado estudio de las dificultades permite la toma de decisiones de mejora, y la evaluación parcial, localizada en tales aspectos.

4. Perspectiva en la que se enmarca la evaluación

Paradigma, según Kuhn, es un concepto global similar a «visión del mundo», «filosofía» o «ortodoxia intelectual». Prescribe las áreas problemáticas, los métodos de investigación y unas normas de solución y explicación pan. Lo define como: «conjunto de asunciones interrelacionadas acerca del mundo social que proporciona un marco filosófico y conceptual para el estudio organizado del mundo social».

Tejedor dice que un paradigma sirve como guía para:

• detectar los problemas importantes de una disciplina;
• desarrollar esquemas explicativos (modelos y teoría)
• establecer criterios apropiados de trabajo (metodología, instrumentos, tipo y forma de recogida de datos)
• proporcionar las bases epistemológicas a partir de las cuales puede construirse el conocimiento.

De la definición de Kuhn, se pueden considerar dos perspectivas en la evaluación:

• Perspectiva Cualitativa, su interés radica en la descripción de hechos observados para interpretarlos en el contexto en que se producen para explicar los fenómenos, su fundamento es la Etnografía y la Sociología.
• Perspectiva Cuantitativa, se caracteriza por su preocupación por control de las variables y la medida de resultados expresados numéricamente. Se fundamenta en la psicología y las ciencias exactas.

Reichardt, Cook y otros destacan once diferencias y señalan que un paradigma consta también de un nexo con un determinado método de investigación.

Criterios diferenciales entre la perspectiva cualitativa y cuantitativa

Con referencia a la evaluación, Pérez Gómez, analiza las características que definen los enfoques:

4.1. Perspectiva cuantitativa: características

• La búsqueda y la creencia en la objetividad, resultado de la fiabilidad y validez de los instrumentos de recogida y análisis de datos.
• El único procedimiento que puede proporcionar objetividad es el hipotético-deductivo. La verificación de las hipótesis o la búsqueda de apoyo empírico para las teorías, exigen el tratamiento estadístico de los datos y la cuantificación de las observaciones.
• Observación rigurosa de las normas de la metodología estadística:
• operacionalización de variables,
• estratificación y aleatorización de las muestras,
• construcción de instrumentos de observación con suficiente validez y fiabilidad,
• aplicación de diseños estructurados,
• correlación de conjuntos de dimensiones de diferentes y extensas poblaciones.
• El énfasis casi exclusivo en los productos o resultados.
• Estricto control de las variables intervinientes. Requiere control riguroso de los factores que intervienen, neutralizando unos y manipulando y observando el efecto de otros.
• El diseño estructurado requiere la permanencia y estabilidad del programa durante un período prolongado independientemente del cambio de circunstancias.
• Se concentra en buscar información cuantitativa mediante instrumentos objetivos.
• Tendencia a concentrarse en la diferencia de medias entre el grupo de control y el experimental, a ignorar las diferencias individuales y a medir lo que aparece fácilmente cuantificable, en lugar de identificar los efectos a largo plazo más difíciles de analizar.
• El modelo encaja en una perspectiva de investigación evaluativa. Debe preocuparse únicamente de comprobar el grado en que se han alcanzado los objetivos.
• Los datos tienen una utilidad específica para un destinatario determinado.

De las críticas, destaca la que considera que la naturaleza fenómenos sociales aconseja un enfoque cualitativo, porque su complejidad no puede ser captada a través de diseños experimentales. Beltrán dice que «la Sociología que toma como modelo a las ciencias de la naturaleza traiciona su objeto». Ibáñez señala que «la tecnología estadística (distributiva) tendrá en principio lugar subordinado a la tecnología lingüística (estructural)».

La tecnología cuantitativa  plantea problemas en la medición de fenómenos sociales  y concretamente en la evaluación:

• Las escalas de estimación, los cuestionarios…que exigen valoración numérica, no dejan paso a la explicación de la realidad.
• La atribución numérica a realidades complejas es un riesgo de imprecisión y de tergiversación, agravado por la apariencia de objetividad. En la complejidad de los Servicios Sociales, con factores ideológicos, políticos, económicos, psicológicos y pedagógicos, es evidente:
• En el proceso codificador, ya que se parcela una realidad y se califica numéricamente un hecho cualitativo, desde la subjetividad del calificador,
• En el proceso decodificador, ya que se atribuye significado a los números asignados por el calificador.
• El utilizar las pautas cuantificadas como criterio de comparación resulta arbitrario y no es acertado considerar como programa «mejor», a aquel que consigue puntuaciones más altas.
• El investigador debe descifrar lo que aparece cifrado en los informes. Sólo comprendiendo las claves se puede realizar un correcto descifrado, sino, hay que realizar la operación a través de conjeturas.
• En la evaluación de un programa social no es fácil parcelar la realidad con las generalizaciones de los diseños de carácter experimental dadas sus peculiaridades e idiosincrasia. Cuando se opera con números se descontextualiza el dato y se le priva de significado.

4.2. Perspectiva cualitativa: características

• La objetividad es siempre relativa y no puede considerarse objetivo prioritario.
• Comprender una situación donde interactúan las personas con intencionalidad y significados subjetivos requiere considerar las diferentes opiniones e ideologías mediante las cuales interpretan los hechos.
• La evaluación no puede comprenderse desligada de los valores, no puede versar únicamente sobre la contrastación aséptica de resultados con objetivos preestablecidos, observables y cuantificables.
• El objetivo de la evaluación no se restringe a las conductas manifiestas o inmediatas,  los efectos secundarios y a largo plazo son tanto o más significativos
• El campo de los productos de la intervención debe ampliarse y no restringirse.
• La evaluación centrada en los procesos intenta capturar la singularidad de las situaciones concretas que pueden considerarse responsables de lo que  suceda.
• Requiere una metodología sensible a las diferencias, a los acontecimientos imprevistos, al cambio y a las manifestaciones observables y a los significados latentes
• Incorpora el conjunto de técnicas, orientaciones y presupuestos de la metodología etnológica de la investigación de campo.
• Un diseño estrictamente estructurado de antemano no puede ser instrumento adecuado, se requiere un diseño flexible que permita el «enfoque progresivo» en áreas particulares que aparecen más significativas en el curso de la investigación.
• El propósito es comprender el objeto de estudio a través de las interpretaciones, intereses y aspiraciones de los actores, para ofrecer la información que cada uno necesita para entender, interpretar e intervenir del modo más adecuado.
• El informe debe respetar el derecho a la intimidad de todos los que participan.

Filstead distingue las diferencias entre los paradigmas cualitativo y cuantitativo y afirma que el cualitativo es el que arroja más resultados adecuados para la investigación evaluativa. Entre los evaluadores, se está pasando de un énfasis en los métodos cuantitativos a una apreciación de las técnicas cualitativas.

4.3. Complementariedad de ambas perspectivas

Las dos tienen seguidores y detractores, pero las últimas tendencias apuestan por la unión de ambos. En las 40-60 toca techo la polémica cualidad/cantidad y se zanja a favor de la opción cuantitativa, mientras se mantenía para la cualitativa el papel correspondiente a las fases exploratorias de la investigación.

En los sesenta se dieron dos circunstancias que tendrían una enorme repercusión, como manifiesta Alvira:

• La crisis del justificacionismo y la separación entre contexto de descubrimiento y contexto de justificación. Anguera ve que el círculo de Viena había entrado en decadencia, y se cuestionaban la posibilidad de verificación de teorías, vertiéndose fuertes críticas por parte de posturas alternativas, como los análisis descriptivos escépticos de Achinstein y el planteamiento paradigmático de Kuhn.
• Un importante avance tecnológico en la medición, trata miento, y análisis matemático de los datos, que dio lugar al despliegue de procedimientos diversos para el tratamiento de datos cualitativos

Esto implica la reconsideración de ambas perspectivas, acortándose su distancia y en favor de su complementariedad. Alvira, Anguera, Álvarez, dicen que se ha ido asumiendo que ambas son necesarias, y que pueden funcionar conjunta y complementariamente. Cook, T. y Reichart han escrito frases como «no existe nada, excepto quizá la tradición, que impida al investigador mezclar y acomodar los atributos de los dos paradigmas para lograr la combinación que resulte más adecuada al problema de la investigación y al medio con que se cuenta», etc.

Señalan las ventajas del empleo simultáneo, resumidos en los siguientes puntos:

• La investigación evaluativa tiene propósitos múltiples que han de ser atendidos bajo las condiciones más exigentes y a menudo exige una diversidad de métodos.
• Empleados en conjunto, los dos métodos pueden vigorizarse mutuamente para brindar una percepción que no podrían conseguir por separado.
• Ningún método está libre de prejuicios. Sólo cabe llegar a la «verdad» subyacente mediante el empleo de múltiples técnicas y las correspondientes triangulaciones.

Cabe señalar los obstáculos que surgen en el empleo conjunto, destacando:

• Puede resultar caro.
  • Supone demasiado tiempo.
  • Que los investigadores carezcan de adiestramiento suficiente en ambos tipos.
  • La moda o adhesión a la forma dialéctica del debate.

Pero no son tan insalvables para no optar a tal pretensión. Es innecesaria una dicotomía entre ellos y con objeto de satisfacer las exigencias de la investigación, de la evaluación del modo más eficaz posible.

5. Enfoque de evaluación

HOUSE los agrupa en seis tipos básicos ideales que sirven para analizar la realidad. El panorama de los enfoques, denominados modelos, en la evaluación de la acción social tiene el carácter de la diversidad. Ponen de manifiesto la variedad y la evolución seguida por la disciplina a través de los distintos modelos, iniciado con la perspectiva positivista,  para llegar a la diversidad metodológica que permita acceder a la concreta dimensión del objeto al que haya de hacerse frente en cada caso (BELTRÁN 1989).

• Enfoque basado en objetivos conductuales (o basado en metas). Parte del análisis de los objetivos formulados y comprueba si se han alcanzado. Tiene en cuenta la productividad y responsabilidad, sin preocuparse por la eficiencia. Muy utilizado en educación y en las Administraciones públicas. Fue promovido por Tyler en 1950.
• Enfoque que prescinde de los objetivos; constituye una reacción al anterior. Scriven sostiene que el evaluador no sólo no tiene que basar su evaluación en los objetivos, sino que debe procurar no informarse sobre ellos, para evitar sesgos tendenciosos. La preocupación de Scriven es la reducción de los sesgos.

El evaluador debe investigar todos los resultados, ya que muchos de ellos son efectos colaterales imprevistos, que pueden ser positivos o negativos. De todos los enfoques, éste es el menos utilizado. Para muchos investigadores resulta difícil imaginar dónde encontrar criterios de evaluación fuera de los objetivos del responsable.

Ante esto, Scriven trata de desarrollar el concepto de «necesidad», que se descubre mediante su evaluación, frente a los gustos o deseos. La evaluación independiente de los objetivos se basa en el análisis de las necesidades del usuario y no de los objetivos de los responsables.

• Enfoque de toma de decisión. Tiene presente la conexión entre evaluación y toma de decisiones. La evaluación tiene que estructurarse a partir de las decisiones reales, lo que aluda al responsable.  para Stuffelbeam la evaluación es el proceso de delimitar, obtener y proporcionar información útil para posibles decisiones alternativas. Define tres ámbitos de decisión:
• homeostasia,
• incrementalismo,
• neomovilismo.

Cuatro tipos de situación:

• planificación
• estructuración,
• implementación, reciclado.

     Tres fases en la evaluación:

• delimitación,
• obtención,
• comunicación.

 Cuatro tipos de evaluación

• contexto,
• entrada (input),
• proceso,
• producto.
• Enfoque de análisis de sistemas; se centra en la medida de los resultados, el producto es medir la eficiencia. Los datos que se utilizan, son cuantitativos y las medidas de los resultados se relacionan con los procesos mediante técnicas estadísticas. Requiere un buen modelo experimental y su objetivo central es ser lo más objetiva posible, implica realizar una valoración cuyos resultados no varíen, aun cuando la realicen otros. El principal problema que plantea es que cae en un reduccionismo que no concuerda con la complejidad humana. Economistas y directivos son los que más se inclinan por el modelo.
• Enfoque de revisión profesional (acreditación). La revisión profesional ha constituido un medio fundamental de evaluación. Supone que unos profesionales juzguen el trabajo de sus colegas. Puede ser de gran utilidad en la evaluación del diseño de programas de intervención y de la implementación.

Un ejemplo interesante, consiste en la evaluación de departamentos o unidades de universidades o los tribunales de evaluación de las especialidades médicas. En todas, son los profesionales mismos los que evalúan.

• Estudio de casos (negociación). Se centra en la revisión de las partes del programa, utilizando la percepción de los que participan en él y el propio evaluador. Para House «el objetivo consiste en mejorar la comprensión que de la evaluación tenga el lector o destinatario, mostrándoles, ante todo, cómo perciben otros el programa ».

Son muchas las decisiones a tomar a la hora de evaluar, condicionadas, en la mayoría de los casos, por los objetivos de la evaluación y la formación epistemológica del evaluador.