Sobrino, Angel; Reparaz, Charo; Santiago, Raúl; Mir, José Ignacio

La explosión del mercado multimedia educativo —en términos de cantidad— es una realidad innegable. La calidad del mismo es, cuando menos, una realidad discutible. Esta incesante aparición de nuevos productos con aparentes promesas llega a desconcertar al profesor que todavía tiene problemas para situarse en este complejo mundo: la necesidad de un análisis crítico de estos productos es un imperativo (cfr. Navarro, 1999).

No es éste, pese a lo que pudiera parecer, un problema nuevo. Como señala la exhaustiva revisión de Roig (1997, 75), ya en los años 80 la literatura destacaba, por un lado, la pobre calidad de los programas y, por otro, que al aumentar su número crecía la dificultad de los profesores para revisarlos, ya fuera por falta de formación o por la carencia de instrumentos adecuados. Las limitaciones ya mencionadas por Owston (1987) (pobreza didáctica, programación limitada, documentación inadecuada, ausencia de evaluación formativa o predominancia de la ejercitación) perduran en la actualidad y no cabe duda que gran parte de estos déficits son achacables a la ausencia de evaluación.

El desarrollo de herramientas de valoración de software de calidad contribuye directamente a tres importantes metas de la formación de los docentes en Nuevas Tecnologías: los profesores deben tener información acerca del software educativo disponible en el mercado; deben ser entrenados en las funciones de selección, revisión y evaluación de programas y, al mismo tiempo, recibir formación sobre la integración curricular del ordenador en su aula.

El Proyecto PEMGU (cfr. Santiago, 1998a).

El proyecto europeo PEMGU es una iniciativa de un consorcio de diversos centros educativos y universidades de distintos países europeos dentro del marco genérico de "Leonardo". PEMGU (Pedagogical Evaluation Methods Guidelines for Multimedia Applications), tiene como objetivo principal el asesoramiento y la formación del profesorado en el uso de multimedia educativa. Este proyecto europeo tiene una duración de tres años (1997-1999) y está parcialmente financiado con fondos de la Unión Europea.

Forman parte del proyecto europeo los siguientes miembros: Holbaek Technical Schkol (Dinamarca, coordinadores del proyecto), Pontypridd College (País de Gales), DEL (Dinamarca), EPRAL (Portugal) y Colegio Irabia (Navarra, España). El proyecto tendrá su culminación a finales de 1999, cuando se consideren alcanzados los objetivos principales del mismo.

Uno de los primeros objetivos planteados fue la creación de distintas herramientas para la evaluación de material multimedia educativo. Esta tarea fue asignada a la parte española del proyecto (Colegio Irabia), que contó con el asesoramiento del Departamento de Educación de la Universidad de Navarra.

Tras la revisión de la abundante bibliografía sobre evaluación de material multimedia educativo (cfr., por ejemplo, Roig, 1997; Squires y McDougall, 1997; Marqués, 1998) se elaboró en una primera fase un cuestionario denominado "Escala de evaluación de calidad educativa de software multimedia" (cfr. Santiago, 1998b).

En un segundo momento, y a partir de este instrumento, se construyó la escala original de 96 items divididos en los apartados que detallaremos a continuación (Repáraz, Sobrino y Santiago, 1998). Como primera validación de este cuestionario, se llevaron a cabo distintas aplicaciones con profesores que habitualmente utilizan multimedia en sus asignaturas, con el objeto de analizar el grado de comprensión de los casi 100 items de la escala y el nivel de coherencia de las respuestas de profesores que evaluaban el mismo tipo de material. Tras el análisis de los datos estadísticos, se llevaron a cabo distintas correcciones del cuestionario, como la supresión de algunos ítems, algunos añadidos y la corrección en la redacción y formulación de las preguntas.

Esta primera versión del cuestionario se tradujo al inglés y fue distribuida al resto de los socios europeos. Durante la segunda de las reuniones de trabajo del grupo —celebrada en Cardiff (País de Gales)—, se sugirieron diversas correcciones de fondo y forma para que la escala fuera lo más genéricamente aplicable en cada país independientemente del tipo de currículo o material disponible. También se solicitó de la parte española, la elaboración de un segundo cuestionario para ser administrado a los propios alumnos que trabajaban con materiales multimedia, con el objeto de conocer su opinión.

La última fase ha consistido en la adaptación de los materiales empleados (cuestionarios, escalas, bases de datos...) a un formato electrónico accesible on line a través de la red.

En líneas generales (cfr. Marqués, 1998), hay un denominador común en la estructura de los diferentes instrumentos para la valoración de software educativo. Por un lado, la evaluación del software supone la consideración de sus características intrínsecas, por otro, su adecuación al contexto en el que se quiere utilizar.

Siguiendo este mismo esquema, la escala de evaluación, en su versión larga, constaba, inicialmente, de 96 ítems agrupados en dos áreas fundamentales: evaluación de la parte técnica-instructiva del material y evaluación de la parte didáctica o curricular. En la primera (Adecuación Técnico-Instructiva), los items se refieren a aspectos técnicos del software, con objeto de valorar la adecuación de las características del producto a su finalidad instructiva. Así, se pretenden examinar aspectos como el diseño de pantalla, el grado de acceso y control de la información (navegación e interactividad) o la facilidad del uso.

En la segunda (Adecuación Didáctica o Curricular), las cuestiones se refieren a aspectos del diseño curricular, con objeto de evaluar la capacidad de integración del programa en el proceso de enseñanza-aprendizaje de una materia concreta. El objeto es analizar, dentro del diseño didáctico, si el programa responde a los objetivos, contenidos, actividades de aprendizaje y evaluación que se propone el profesor, o la propia motivación del alumno en la utilización de este tipo de materiales.

El cuestionario se completa con dos apartados que preceden el bloque de items y en el que se incluye a) la información más genérica: denominación, área de conocimiento, requerimientos técnicos etc., y b) el análisis de que tipo de material se trata: simulaciones, tutorial, ejercitación y práctica, sistema tutorial inteligente etc. También se incluye una hoja de instrucciones con los requerimientos esenciales a la hora de aplicar la escala. En el anexo puede consultarse la estructura detallada del instrumento.

Como ya hemos comentado previamente, el Proyecto PEMGU (y en concreto el cuarto autor de esta comunicación) ha desarrollado una base de datos on line de software educativo, que permite la búsqueda, a través de diferentes campos (fig. 1), entre un considerable volumen de productos multimedia [http://www.proyectogrimm.com:8081 /PEMGU_Test/ Consultas/].

En conexión con esta base de datos, se ha creado una versión reducida (45 items) de la escala, de tal forma que cada profesor puede, o bien consultar, o bien rellenar, cuestionarios de valoración de los diferentes programas a través de internet (fig.2).

Como se puede apreciar en la figura 3, los resultados de la valoración se plasman de forma intuitiva—y por supuesto promediados según las evaluaciones que haya recibido cada producto— en escalas sobre cinco puntos (apartados de valoración técnica, didáctica y global) o sobre diez (subapartados).

Además de una modesta aportación a la batería de instrumentos para la valoración de software educativo, esta escala servirá como recurso para la formación de docentes en NNTT, en un curso a través de la red que se va a celebrar próximamante (cfr. la comunicación presentada por Santiago y cols. en este mismo congreso). Como comentábamos en la introducción, los profesores no sólo deben tener constancia acerca de la calidad del software disponible; sino que, además, deben ser entrenados en las funciones de selección, revisión y evaluación de programas, lo que redundará en su formación sobre la integración curricular del ordenador en el aula.

Las personas que sigan este curso a distancia deberán acceder a la escala y completarla en referencia a un software comercializado que conozcan con suficiente profundidad, para posteriormente desarrollar un proyecto de integración curricular.

Marqués, P. (1998). Programas didácticos: diseño y evaluación. [disponible en http://www.sauce.pntic.mec.es/~alglobal].

Navarro, E. (1999). Evaluación de materiales multimedia. Comunicación y Pedagogía, 157, pp. 36-39. [disponible en http://www.doe.d5.ub.es/samial/publi/].

Owston, R. D. (1987). Software Evaluation: a Criterion-Based Approach. Scarborough: Prentice-Hall.

Repáraz, Ch.; Sobrino, A. y Santiago, R. (1998)."Escala de evaluación de calidad educativa de software multimedia".

[disponible en http://www.irabia.es/pemgu/document/raul_cyp.htm].

Roig, R. (1997). Modelos de evaluación de software educativo. Tesis doctoral. Universidad de Valencia.

Santiago, R. (1998a).: Proyecto Europeo PEMGU. Comunicación y Pedagogía, diciembre, 8-10.

Santiago, R. (1998b). Evaluación de software educativo multimedia: Proyecto PEMGU. [disponible en http://www.irabia.es/pemgu/document/].

Squires, D. y McDougall, A. (1997). Cómo elegir y utilizar software educativo. Madrid: Morata.