Investigación vs evaluación?
Manuel Marín Sánchez
Francisco José Medina Díaz
Departamento de Psicología Social
Universidad de Sevilla
Nadie puede negar que nos encontramos en la actualidad en la 'Era de los Programas'. Los partidos políticos defienden ante los contrarios un programa de gobierno, las ONGs tienen programas de actuación en colectivos marginales. Los psicólogos y pedagogos elaboramos programas de intervención comunitaria. En los centros de servicios sociales existen programas de acción social. Los ayuntamientos plantean tanto programas de intervención como programas de festejos... Incluso existe un líder político español que plantea sus acuerdos de gobierno en función del programa. Por consiguiente el término programa ha estandarizado su uso en la población, denominando como tal a un conjunto de actividades heterogéneas en muy diferentes campos.
En una definición excesivamente amplia se puede definir éste como un conjunto de actividades encaminadas hacia un fin. A esta macrodefinición pueden circunscribirse acciones tan dispares como el Plan Andaluz de Investigación o las acciones de un determinado colectivo para atraer a la participación en una determinada manifestación.
Todavía complicamos un poco más el término cuando diferenciamos entre Plan, Programa y Proyecto. Tema de algunas oposiciones de los Ayuntamientos andaluces y muy empleado en la Intervención Comunitaria. La diferenciación terminológica se ha fundamentado en la generalidad. El Plan es muy general, el programa menos y el proyecto es muy concreto. A veces en la Administración la diferenciación es también jerárquica: El Plan lo marca la ley, el Programa lo propone (de obligado cumplimiento) el Delegado de turno y el Proyecto lo realizan los profesionales de base. Sin embargo en otras situaciones no está tan clara, sobre todo, la distinción entre Programa y Proyecto. Sin embargo no es este el único inconveniente que se plantea ante el uso tan generalizado del término. A lo largo del presente tema entraremos más a fondo en la problemática e intentaremos concretar en la concepción de programa, y sobre todo en una de sus fases principales: la evaluación.
El término evaluación, de prolífico tratamiento en la literatura específica, ha estado asociado a términos como valoración o justificación. En definitiva, la evaluación no es más que una toma de posición con un juicio de valor ante una acción determinada. Sin embargo es necesario delimitar claramente los posicionamientos apriorísticos a la hora de efectuar la evaluación.
Herman et al (1987) sostienen que la evaluación es la recogida sistemática de información sobre como un programa opera, sobre los efectos que debe estar teniendo y sobre otras cuestiones de interés. La información obtenida debe ser válida y creible para que pueda ser potencialmente útil de cara a las decisiones que, respecto al programa se deban tomar.
En esta definición se hace incapié en muchos aspectos. Se habla de cómo opera el programa (durante su implantación), de los efectos (resultados). Se refiere también a una valoración, que debe ser objetiva y válida. Y sobre todo nos indica que la evaluación tiene una finalidad: Aportar datos para la modificación posterior en el programa que evalúa (efecto de retroalimentación). Por lo tanto podemos inferir de esta definición que la evaluación de programas es una tarea social (porque valoramos indicadores sociales), es también una tarea política (porque pretendemos el cambio social) y técnica (porque utilizamos recursos técnicos de las Ciencias Sociales).
Otras definiciones pretenden la generalización del término a múltiples tareas humanas y sociales. Posavac y Carey (1985) definen la evaluación como Una colección de métodos, habilidades y sensibilidades necesarias para determinar si un servicio humano es necesario y probablemente será usado, si es suficientemente intenso para cubrir la necesidad identificada. Esta definición generalista y poco clara tiene un punto interesante: la consideración de la evaluación en función de las necesidades previas. Así pues se puede inferir de la misma que el proceso evaluador comienza mucho antes de la planificación de la estrategia de intervención. [[questiondown]]Cómo?: Evaluando las necesidades sociales para tenerlas como marco de referencia y su paliación como objetivo final del programa.
También es posible definir la evaluación de programas en función de sus propósitos:
(a) Determinar si el programa está alcanzando los objetivos
(b) Identificar los puntos fuertes y débiles de la implantación del mismo
(c) Determinar los costes y beneficios del mismo
(d) Decidir quién debería participar en programas similares futuros
(e) Identificar qué participantes se han beneficiado más y menos del programa
(f) Reforzar los logros alcanzados por el programa
(g) Recopilación de datos para la futura implantación del mismo
(h) Determinar si el programa fue apropiado
(i) Ayudar a la toma de decisiones. (Phillips, 1990)
Las definiciones aportadas hasta ahora han equiparado, entre lineas, la similitud entre evaluación y valoración. Sin embargo hay definiciones donde los autores no tienen ningún problema en unir ambos términos. Alvira (1991) considera la evaluación como la emisión de un juicio de valor sobre el programa que se está evaluando: Se necesitarán pues criterios de valor que vendrán determinados por los objetivos de la investigación. Fernández Ballesteros (1989) también vincula ambos términos.
El principal problema que se plantea en estas definiciones es la dialéctica objetivo-subjetivo de la evaluación. La valoración proporciona elementos subjetivos, la evaluación sin embargo parece que no. Un problema añadido es que al hablar de juicios de valor muchos 'cientifistas' se rajan las vestiduras afirmando la imposibilidad de considerar los elementos valorativos dentro de una acción científica. Sin embargo debemos considerar y analizar claramente, sin ningún posicionamiento previo, cuáles deben ser nuestros objetivos en la evaluación de un programa, y sobre todo, con qué metodos deberemos conseguir esos objetivos. Si las medidas de autoinforme, probablemente validadas, suponen un freno a nuestra evaluación deberemos utilizar otro tipo de mediciones cualitativas que nos ayuden a discriminar el cumplimiento de los objetivos.
SI bien, la investigación, como veremos más adelante, supone un esfuerzo para la consecución de datos básicos (y en menor medida aplicados), con la propiedad de generalización y los criterios de validez muy bien definidos; en la evaluación el estudio se realiza en un programa concreto, con una comunidad específica, y por lo tanto con una generalización exclusiva a dicho programa; sin el deseo de búsqueda a toda costa de la validez, sino con vistas a la utilidad de los resultados en futuras implantaciones del programa. Por tanto cuando las aspiraciones son tan diferentes, el marco y la finalidad tan distintas, no pretenderemos de ninguna manera encorsetar a la evaluación de un programa dentro de los cánones de una investigación experimental.
Sin embargo la estrategia que se debería seguir sería la búsqueda de estándares de evaluación que sean útiles como criterios externos hacia donde dirigir nuestra evaluación. En este sentido se están dando pequeños pasos, que volveremos a abordar a lo largo del tema.
El comienzo de la introducción, donde se enfatizaba la dificultad de operacionalización y sobre todo de concretización del término programa, puede servirnos de puerto de arranque para la definición de lo que es un programa.
Desde una postura ecléctica, como la de Herman et al (1987) se define un programa como cualquier acción que produce un efecto. Lo consideran como algo tangible, que sigue un procedimiento, con una distribución de roles y de responsabilidades. Así pues un programa puede ser definido como un conjunto de actividades (ordenadas y sistematizadas) que van encaminadas a la consecución de unos objetivos.
Esta amplitud en la definición nos puede llegar a concebir a cualquier cosa como un programa. Sin embargo en el area de la Psicología, y más concretamente de la Psicología Social, cuando hablamos de programa lo circunscribimos a acciones dentro de un contexto social. Esta apreciación nos hace imprescindible la diferenciación entre lo que son lineas ideológicas (Por ejemplo el Plan de gerontología), aspectos derivados de dicho plan (programas de automedicación) y acciones concretas realizadas en las instituciones (proyecto de automedicación para abuelas en los centros de Salud).
La articulación de los diferentes proyectos en los que se desmembraría un programa para conseguir las lineas ideológicas de un plan de acción tienen como fundamento una acción política: el cambio de la realidad social.
Desde nuestro punto de vista no rechazamos esta definición tan amplia de programa, pero la circunscribimos a acciones condretas dentro de un contexto social.
Si entendemos evaluar como emitir un juicio de valor sobre un objeto, en este caso un programa, la Evaluación de Programas es la emisión de un juicio de valor sobre un programa. Sin embargo a lo largo del tiempo se han ido adoptando dos ideas sobre la evluación. La primera la puede englobar la definición de Ruthman (1977) que considera la evaluación de programas como:
El empleo de métodos científicos para medir la implementación y los resultados de los programas, para ser usada en la toma de decisiones.
Es una definición orientada hacia el posteriori de la intervención, que presupone que la evaluación es algo que se hace después de cualquier intervención, para valorarla.
La segunda perspectiva queda analizada con la definición de Shadish y Reichardt (1987) (Cit Alvira, 1991) que considera a la:
Evaluación como el conocimiento empírico del mérito o valor de las actividades y objetivos de un programa.
En esta definición se propone la evaluación de los objetivos y actividades de un programa durante y después de la implantación del mismo.
Los dos estilos evaluadores quedan explicitados en los gráficos 1 y 2
Gráfico 1. Evaluación tradicional
Gráfico 2. Evaluación actual
- La evaluación supone la emisión de un juicio de valor, que debe, por supuesto, ser emitido a la vista de una información determinada, obtenida con procedimientos objetivos, válidos y fiables.
- La emisión de resultados en un momento preciso. Esta premura de tiempo obliga a que muchas veces los recursos metodológicos utilizados no sean los más apropiados.
- La inclusión en el proceso evaluador de las necesidades y prioridades de los interesados en el programa. Tendrán influencia tanto en la selección de los procedimientos de evaluación, como en la forma y en el tiempo donde se presentan los resultados, como, y lo que es más importante, la utilización que dan a los resultados de la evaluación.
Investigación y evaluación son dos términos diferentes, y conllevan dos procedimientos diferentes, en función de los objetivos diferenciales de cada uno. Según Weiss (1972) estas son las semejanzas y diferencias de la investigación y la evaluación.
Las semejanzas son las siguientes:
Desde las organizaciones más importantes dedicadas al análisis de los fenómenos sociales, han surgido orientaciones externas para la conceptualización de la evaluación de los programas. En 1980 se reunieron doce organizaciones (entre las que se encontraba la APA) para redactar el documento más importante relacionado con la evaluación de programas: El 'Standars for Evaluations of Educational programs, projects and materials'. Ofrecieron treinta recomendaciones agrupadas en cuatro áreas de la evaluación: utilidad, factibilidad, adecuación y seguridad.
A continuación analizaremos los diferentes estándares propuestos:
1. Identificación de las personas interesadas, para que sus necesidades puedan ser cubiertas
2. Credibilidad del evaluador. Las personas que evalúan deberán ser creibles y competentes, para que sus datos sean válidos
3. Amplitud y selección de la información. La información seleccionada para evaluar el programa deberá ser suficiente y pertinente, es decir, que pueda responder a las necesidades de los que desean la evaluación.
4. Interpretación con criterios de valor. Las conclusiones obtenidas deberán obtenerse de datos claros.
5. Claridad en el informe: El informe describirá tanto el objeto de la evaluación, como el contexto donde esta se desarrolla.
6. Difiusión en la información. Los resultados han de ser devueltos a las personas que han demandado la evaluación, para que puedan utilizarlos.
7. Plazos temporales: La disusión del informe a las partes interesadas debe ser muy rápida
8. Impacto de la Evaluación. Las evaluaciones deberán estar planificadas y realizadas de tal forma que permitan su seguimiento.
Los estándares de factibilidad intentan que la evaluación que se realice sea realista, prudente y económica.
1. Procedimientos prácticos y factibles. La evaluación ha de estar adecuada a los objetivos, y a los recursos disponibles, buscando como componente principal a la eficiencia
2. Viabilidad política. La evaluación ha de ser planificada y conducida con anticipación de las diferentes posiciones de los grupos de interés, de modo que se obtenga su participación en la evaluación y que no intenten sesgar los resultados.
3. Efectividad de costo. La efectividad de costo se refiere a la eficiencia del programa, es decir a la adecuación óptima entre los objetivos y los recursos disponibles.
Tratan de asegurar que la evaluación se realiza de forma legal y ética, considerando el bienestar de los implicados en la evaluación y de los afectados por los resultados.
1. Obligación formal. Las condiciones de las distintas partes implicadas en la evaluación se negociarán y establecerán por escrito.
2. Conflictos de intereses. Los conflictos de intereses suelen ser inevitables, y suponen a veces un quebradero de cabeza para los responsables de la evaluación, porque pueden poner de manifiestos las maldades de un programa realizado por los mismos que han solicitado la evaluación. Esto implica aún más la necesidad de honestidad en la realización del proceso evaluador.
3. Esposición de resultados franca y concreta. Detrás de los análisis estadísticos es posible ocultar los verdaderos resultados, enmascarar los déficits y potenciar las virtudes de un programa. Por lo tanto es muy pertinente que en el programa aparezcan explícitas las limitaciones que el programa posee.
4. Derecho del público a saber. La vuelta de los resultados a la comunidad es esencial en toda evaluación e intervención social. El proceso evaluador es de ida y vuelta, y no sólamente de ida.
5. Respeto por los derechos de los sujetos. La evaluación debe ser respetuosa, de forma que los derechos de los sujetos deben ser protegidos.
6. Interacciones humanas. Los evaluadores respetarán la dignidad humana y el valor de sus interacciones con otras personas asociadas con la evaluación.
7. Informe equilibrado: La evaluación será completa y sin sesgos, tanto en la exposición de las ventajas, como de las debilidades del programa.
8. Responsabilidad fiscal. Se recogerán todos los aspectos contables relacionados con los fondos asignados.
Se intenta asegurar la validez de los datos recogidos.
1. Identificación del objeto. El objeto de evaluación será examinado, de modo que sus aspectos puedan ser claramente identificados.
2. Análisis del contexto. El contexto en el que se desarrolla el programa será examinado, de forma que puedan identificarse las influencias segundarias que lo afecten.
3. Descripción de propósitos y procedimientos. Aquello que se pretende realizar con la evaluación deberá estar detallado clara y objetivamente, para que pueda ser valorado el grado de fidelidad.
4. Fuentes de información defendibles. Las fuentes de inforamción sobre las que se basará la evaluación han de estar lo suficientemente detalladas, para que puedan ser defendibles.
5. Medidas válidas. Los instrumentos y procedimientos de recogida de datos han de ser válidos (interna y externamente)
6. Medidas fiables. Los instrumentos y procedimientos de recogida de datos han de ser fiables (intermedidas).
7. Control sistemático de los datos. El proceso de recogida de datos ha de ser observado minuciosamente, para garantizar la objetividad y la correcta aplicación de los instrumentos de medida.
8. Análisis cuantitativo de la información. La información regogida ha de ser analizada de forma cuantitativa, para faciñitar las interpretaciones.
9. Conclusiones justificadas. Las conclusiones alcanzadas en la evluación han de estar justificadas, en función de los objetivos que nos hayamos planteado.
10. Informes objetivos. Los informes han de ser claros, fundamentados en los datos y ajenos a todo sesgo subjetivo
Desde que se plantea un estudio de evaluación, hasta que se devuelven los resultados podemos diferenciar tres grandes momentos, el antes, el durante y el después. Hasta hace poco tiempo se partía, inocentemente, de que todo el mundo estaba interesado en la realización de la evaluación, desde los responsables, que la financian, hasta los profesionales, que la realizan.
Esta actitud inocente desencadenaba en la idea de que las conclusiones obtenidas en la evaluación se iban a emplear para la mejora en la futura implantación del programa. Sin embargo la experiencia de gestores poco ilusionados con los datos obtenidos en la evaluación hizo reflexionar a los evaluadores, quienes pretendieron la introducción de medidas correctoras para paliar estos déficits, potenciando al papel de las partes implicadas en el proceso evaluador. Esta actitud ha desencadenado en dos posiciones ante las fases de la evaluación, una más tradicional y otra más moderna, diferenciadas ambas por el aspecto antes mencionado.
La primera fase que hemos de considerar en la evaluación es la familiarización con el programa a evaluar. La familiaridad está ya conseguida en la evaluación interna, pero normalmente se utiliza, en vías a incrementar la objetividad, la evaluación externa. Por consiguiente el primer paso en cualquier evaluación será la familiarización con el objeto a evaluar. Las técnicas más comunes que se pueden emplear en este paso son la observación 'in situ' del programa, el análisis de la documentación, donde quedan explícitos los objetivos y las actividades y la entrevista, a los gestores y responsables del programa.
La segunda fase es la evaluación de la evaluabilidad, donde se considerará la pertinencia de la evaluación. Las estrategias básicas de esta evaluación son verificar la correcta definición del programa, su correcta implantación, y la pertinencia de los objetivos. Las técnicas que se emplean en la evaluabilidad son el análisis documental, la observación participante mediante registros no estructurados, y la entrevista con responsables del programa.
La tercera fase es la delimitación y determinación de los objetivos de la evaluación. En esta fase hemos de dar respuesta a dos interrogantes: (a) La utilización de los resultados de la evaluación y (b) las areas a las que se debe de responder: Los servicios ofrecidos, la cobertura, los resultados del programa, el análisis de costos y beneficios.
La cuarta fase consiste en la redacción del proyecto de evaluación. Es decir: el diseño. En dicho proyecto se deben de incluir aspectos referidos a los objetivos, al diseño y recogida de datos, al presupuesto, a la calendarización, a la diferenciación de roles y al uso de los resultados. Las técnicas más apropiadas para este apartado son las propìas de la investigación social. Cuestionarios, escalas, inventarios, entrevistas, grupos de discusión... contando con las debidas garantías de validez y de fiabilidad.
En los modelos tradicionales, como vimos anteriormente se contaba con la variable de que los responsables financiadores del programa estaban interesados en los resultados de la evaluación, por el mero hecho de haberla costeado. Sin embargo a veces el interés político de los responsables de la evaluación es únicamente hacer constar el hecho de que un programa se evalúa, quedando al margen todos los aspectos de retroalimentación, que podrían mejorar la intervención psicosocial en la comunidad.
Patton (1987), considera este problema e introduce a los gestores en la evaluación, en dos fases principalmente, en la fase previa, para acordar qué y cómo evaluar, mediante grupos de trabajo, y en la fase de análisis de los resultados, para fomentar la corresponsabilidad en las conclusiones, y con ello su futura utilización con vistas a la mejora del programa. Por consiguiente se deja a entera responsabilidad del tácnico la fase de implantación del programa y de recogida de datos.
Este inciso hace que la evaluación sea más participativa, e introduce mejoras en el proceso, sin embargo las fases básicas del esquema tradicional permanecen inalteradas.
Podemos distingir dos grandes tipos de problemas a la hora de plantearnos la elaboración y evaluación de un programa: Problemas en la Programación y Problemas en la Evaluación.
- La ausencia de monitorización y control del proceso de un programa. Un programa necesita controles durante su desarrollo para que exista posibilidad de intervenir en los fallos del mismo.
- El error de ser dueños en la detección de necesidades y en la elaboración del análisis de necesidades, tomando una posición muy externa, sin pararnos a preguntarle a la comunidad.
- El exceso de confianza en nuestras especulaciones teóricas, que nos hace caer en la trampa de las atribuciones externas, 'el programa no está mal, lo que pasa es que la gente es poco solidaria...
- La escisión entre la teoría y la práctica. La programación y la acción real son diferentes, es fruto de que no contamos con los agentes sociales a la hora de programar
- Acentuar los aspectos técnicos de la programación. Obviar que la programa es algo que se hace con la comunidad
- Programamos en función de los recursos y no de los objetivos.
- Problema de toma de posicionamiento: Es difícil reconocer nuestras limitaciones, y la evaluación nos golpea con nuestros propios fallos
- Problemas de subjetividad. Cuando existen fallos tendemos a evaluar personas y no actividades o procesos de intervención
- Valoración sin feedback. La evaluación debe darnos pie a la intervención, y no sólamenta a la crítica fría de los datos objetivos.
- La imposibilidad de cuantificar determinados aspectos del desarrollo de un programa.
- La ausencia de la comunidad en el proceso de evaluación. Parece que sólo unos pocos pueden evaluar, que coinciden normalmente con los que planifican y desarrollan el programa.
- Encorsetamiento en técnicas tradicionales de medición, sobre todo los cuestionarios y las escalas. Deberíamos utilizar técncias de medida más acordes con el carácter multifacético de los programas socioeducativos, como los grupos de discusión, los grupos nominales...
- No devolvemos los datos a la comunidad, de la que parten.
Alvira (1991). Metodología de la evaluación de programas. Madrid: CIS
Fernández Ballesteros (1985). Evaluación psicológica y evaluación valorativa. Evaluación psicológica, 1; 7-35
Herman et al (1987) Program Evaluation. Beberly Hills: Sage
OMS. (1981) Evaluación de programas de salud: Ginebra: OMS
Patton (1987). How to use qualitative methods in evaluation. Beberly Hills: Sage
Rossi, PH y Freeman (1992). Evaluation: a sistematic approach. Beberly Hills: Ca, Sage
Ruthman (1977) Planing useful eavaluations. Evaluability assessment. Baberly Hills, Ca: Sage
Weiss (1972) Evaluation research. Englewood Cliff: Prentice Halls.
Weiss (1975). Evaluating action programs. Reading in social action and education. Allyn & Bacon
 |
Edutec 95 - Materials |