F. Pescador, J. Hernández y J. Arriaga

Las tecnologías de la información y de las comunicaciones pueden ser un poderoso instrumento para promover la innovación educativa y optimizar el proceso de enseñanza-aprendizaje. Pero esta posibilidad no sólo depende de facilitar el acceso a la tecnología sino de cambios metodológicos y del desarrollo de nuevos recursos didácticos que exploten las potentes capacidades que ofrecen dichas tecnologías. En este sentido el departamento de Sistemas Electrónicos y de Control viene trabajando en los últimos años en el desarrollo de una serie de herramientas que faciliten al docente la integración de estas nuevas tecnologías en la enseñanza reglada.

Dentro de esta línea de trabajos se ha creado una rama en la que se tratan de explotar las posibilidades que ofrece Internet implementando en la World Wide Web un entorno que permita a los profesores desarrollar, de forma sencilla, su propia aplicación y a los estudiantes utilizar estos recursos para actividades de refuerzo y de autoevaluación. Por tanto, el presente trabajo se centra en ahondar en las posibilidades de evaluación/autoevaluación que oferta la red Internet.

Se persigue un doble objetivo puesto que por una parte se permite al alumno "que estudia a distancia" sentirse más en contacto con el profesor y con el resto de los "compañeros virtuales" y por otro permite al profesor conocer los progresos de sus respectivos alumnos así como su grado de motivación.

El desarrollo del proyecto se ha dividido en tres fases:

Uno de los aspectos que mayor interés suscita en la actualidad a la hora de plantearse la realización de experiencias de enseñanza a distancia es el problema asociado a la evaluación de los conocimientos adquiridos. Así mismo parece evidente que algunas de las nuevas tecnologías facilitarían la realización de una evaluación continua de los conocimientos. En este sentido el departamento de Sistemas Electrónicos y de Control lleva desde 1993 trabajando en el desarrollo de una herramienta que permita tanto la evaluación, como la autoevaluación y el refuerzo de los conocimientos del alumno. Esta herramienta ha sido denominada SARE desde sus primeras versiones (Sistema de Autor orientado al Refuerzo y la Evaluación).

El sistema se basa en el modelo que aparece en la figura 1. En el sistema se aprecian dos entornos que se corresponden con el trabajo del profesor y del alumno. Mediante el módulo del profesor, éste puede crear bases de datos de preguntas sobre diferentes materias basándose en preguntas tipo test, ejercicios numéricos, preguntas basadas en tablas de verdad, funciones lógicas y/o cronogramas. A partir de las bases de datos el profesor genera cuestionarios a los que puede dar diversos enfoques educativos pudiendo tratarse de pruebas de refuerzo (tutoriales), de autoevaluación (pruebas) o de evaluación (exámenes).

Fig. 1. Modelo general del Sistema SARE

Este primer módulo dispone de varias herramientas de las que cabría destacar:

1. Editor de Preguntas: ayudas para la confección de preguntas con las que se formarán bases de datos organizadas según sus propios criterios. Estas preguntas son complementadas con elementos didácticos tales como ayudas, gráficos o realimentaciones.
2. Editor de Cuestionarios que permite al profesor elegir las preguntas que quiere incluir en su prueba a partir de las existentes en diversas bases de datos.
3. Corrector de Exámenes que permite al profesor corregir las pruebas y exámenes que facilite al alumno.

El cuestionario puede elaborarse con tres enfoques educativos

• Tutorial: El alumno contesta cada pregunta y automáticamente se le proporciona información sobre su resultado
• Prueba: Al finalizar la realización del cuestionario se le presenta una relación de las preguntas acertadas y falladas así como una evaluación siguiendo los criterios que marcó el profesor. Durante la realización de este tipo de cuestionario se puede acceder a las ayudas on line para tratar de resolver las diversas cuestiones.
• Examen: Se almacenan los resultados dados por el alumno en una base de datos. Los resultados entregados por el alumno son corregidos por el módulo del profesor, quedando registrados todos los resultados y notas de cada uno de los alumnos.

El segundo módulo, o módulo del alumno, es el entorno de trabajo que permitirá resolver las preguntas elegidas por el profesor. La aplicación permite manejar al alumno ayudas gráficas, realimentaciones en caso de responder de forma correcta o incorrecta y ayudas de texto.

Con esta idea se han desarrollado diversas versiones de la herramienta empleando diversos lenguajes de programación y diversas tecnologías de desarrollo. La primera versión del sistema data del año 1993. A partir de este primer trabajo se fue evolucionando hasta la última de las versiones que data de 1997 (figura 2).

Paralelamente al desarrollo de estas versiones se han ido realizando experiencias con alumnos que han permitido emprender sucesivas mejoras e incluso redefinir alguna de las funcionamidades y que como resultado final han dado lugar al sistema que se presenta en este trabajo.

Fig. 2. Pantalla del sistema SARE v3.0 (1997)

De los resultados obtenidos en los diversos experimentos realizados se aprecia el atractivo que este método de enseñanza presenta frente al método tradicional de estudio, sin embargo, presenta una serie de limitaciones que dificultan su empleo en entornos educativos amplios como los que tratan de abordar. Algunos de los motivos que dificultan la implantación de este sistema se pueden encontrar en [1] y [2]

El objetivo fundamental de esta nueva versión es subsanar las deficiencias encontradas a la vez que dotar al sistema de nuevas herramientas que faciliten el trabajo tanto del profesor como del alumno.

El sistema se basa en un nuevo modelo de evaluación/autoevaluación distribuido (SARE distribuido) en el que el alumno no tenga el entorno instalado en su ordenador sino que acceda a él a través de Internet. De este modo se solucionarían varios de los problemas planteados por el sistema anterior, a la vez que se dotaría al sistema de nuevas características que antes no podían ser desarrolladas.

• Acceso controlado a los datos mediante un módulo de validación y acceso controlado a la información de interés en cada momento.
• Facilidad para la actualización, tanto de la aplicación en sí (sólo hay que cambiarla en el servidor) como de los cuestionarios (sólo es necesario volcarlo en el directorio adecuado).
• Mayor información de los alumnos que acceden al servicio y mayor fiabilidad por tanto de los datos obtenidos de los ejercicios y problemas.
• Posibilidad de realizar enlaces con otras páginas de información directamente en la red sin necesidad de hacer referencias a libros que probablemente el alumno no tendrá disponibles.
• Consulta a través del e-mail de forma inmediata con el profesor para solucionar posibles incidencias en la resolución de los ejercicios.
• Confidencialidad de los datos tanto personales como de los resultados obtenidos ya que estos viajan por la red encriptados.
• Certificación de los accesos que se realizan al sistema lo que facilita de algún modo el proceso de autenticación.

El nuevo entorno queda por tanto definido como una aplicación cliente-servidor, tal como muestra la figura 3 que representa el modelo de sistema que se ha desarrollado. En este entorno cabe hacer notar la existencia de dos nuevas herramientas:

• Control de acceso. Este elemento permite el acceso a los datos que se encuentran en el servidor de una forma restringida dependiendo de sus privilegios
• Sistema de análisis de datos por parte del profesor.

Figura 3. Modelo del sistema SARE Distribuido a realizar

Se trata de una herramienta de servicio de protocolo http que ha sido configurada de forma adecuada para poder servir las páginas HTML que contendrán la información del proyecto. Dicho servidor está configurado en la dirección sare.euitt.upm.es y se ha empleado un servidor seguro mediante SSL (Socket Security Layer)

Además de la configuración del servidor este sistema dispondrá de cuatro bases de datos denominadas:

• Control de acceso: Se trata de una base de datos en la que se encuentran los diversos usuarios que tienen privilegios de acceso al sistema. Los niveles de acceso pueden ser variados dependiendo de que de se trate de un alumno, un profesor, el coordinador de una asignatura, el supervisor, etc.
• Cuestionarios. Son bases de datos que contienen las preguntas que los alumnos tratarán de responder y que habrán sido previamente diseñadas por parte del profesor. Se obtienen a partir de la base de datos de preguntas que genera el profesor.
• Resultados: Se trata de una base de datos en la que se almacena toda la información que los diversos alumnos van introduciendo durante la resolución de las preguntas. Dicha base de datos será la que posteriormente se empleará en la evaluación/autoevaluación de los alumnos
• Supervisión: Mantiene información actualizada de los cuestionarios existentes en el servidor agrupándolos por asignaturas. Incluye cierta información extra para el supervisor del sistema que le facilita la administración del mismo.

Este módulo es el que menos ha debido ser modificado para poder realizar su integración en Internet. Se trata de una herramienta que se ejecuta de forma local en el ordenador del profesor. Los objetivos mínimos que debe cubrir esta aplicación son:

• Posibilidad de generar preguntas en diversos formatos [3]. Las preguntas se almacenarán en bases de datos con el fin de poder realizar un acceso remoto a las mismas.
• Capacidad para correguir los resultados introducidos por los alumnos en la base de datos de resultados que se encuentra en el servidor. A partir de esta correción se creará una nueva base de datos con los resultados académicos de los alumnos
• Capacidad para integrar de una forma sencilla tanto gráficos complementarios y explicativos como ayudas interactivas que faciliten la resolución de las cuestiones así como elementos de realimentación.
• Posibilidad de importar bases de datos desarrolladas en otros formatos que faciliten la migración del modelo de trabajo local al modelo de trabajo distribuido.
• Posibilidad de fusionar diversas bases de datos y trasladar preguntas entre ellas
• Capacidad para generar cuestionarios de preguntas con diferente criterio didáctico (prueba, examen y tutorial) y asignar la puntuación de cada una de las cuestiones para el posterior proceso de evaluación automática.

Figura 4. Entorno de desarrollo del profesor

Se trata de una aplicación desde la que el alumno puede acceder a los diversos cuestionarios. Debido a la problemática asociada a la distribución de este entorno entre los alumnos se ha optado por desarrollarlo de forma distribuida. Esto aporta diversas ventajas tanto técnicas como pedagógicas entre las que cabría destacar:

• Facilidad en la actualización de la aplicación que tan sólo requiere ser volcada sobre el servidor para poder ser ejecutada por tantos alumnos como sea necesario de forma simultánea.
• Obtención de una mayor información de las personas que han accedido al sistema pudiendo realizar estadísticas de tiempos de acceso, lugares de acceso, etc, que permitirían realizar una evaluación rigurosa de las posibilidades del sistema y su empleo por parte de los alumnos.
• Información más fiable de los resultados realizados por los alumnos puesto que todos sus movimientos y accesos van siendo registrados por el sistema.
• Seguridad puesto que los alumnos solo acceden a ciertos campos de las bases de datos preservando así la información relativa a los resultados

Para este desarrollo se optó por emplear el lenguaje de programación orientado a objetos Java. El mercado ofrece en la actualidad diversas herramientas que facilitan el trabajo de desarrollo con el lenguaje Java. Para evaluar la eficiencia de dichas herramientas se tomó la decisión de desarrollar la misma aplicación con dos plataformas diferentes [4] y [5]. En este sentido comentar que hay varios aspectos a tener en consideración a la hora de afrontar el desarrollo de este entorno como son:

• Mecanismo de acceso a la base de datos
• Tiempo de acceso a los datos remotos
• Sencillez de manejo del entorno
• Fiabilidad del entorno y de los datos registrados

Figura 5 Entornos del alumno empleando tecnologías diferentes

Se trata de una serie de applets que permiten el acceso restringido a la información incluida en el servidor. En concreto se han diseñado tres applets cuyas funcionalidades son:

1. Identificación. Se trata de una applet a través del que se pretende identificar a los usuarios que acceden al sistema. Para ello se solicita un login (DNI) y un password para acceder. Cada usuario tiene asignado un campo de privilegios que indica el tipo de operaciones que se pueden realizar en el servidor por parte del usuario. De acuerdo los privilegios establecidos para el usuario, accederá a una página en función de sus características:

• Si se trata de un alumno matriculado se le enviará a una página en la que podrá seleccionar la asignatura de la que desea realizar el cuestionario.
• En caso de tratarse de un alumno no matriculado accederá a un cuestionario de prueba como invitado.
• Si por contra se trata de un coordinador accederá a una página desde la que podrá realizar las tareas de administración de la asignatura de la que es supervisor tales como borrar usuarios, incluir nuevos, modificar passwords ..
• Si finalmente se trata del supervisor del sistema se le concederán todos los privilegios para la gestión de la base de datos

1. Selección de asignatura y del cuestionario. En el caso de que el usuario se identifique como alumno se le presentarán las asignaturas de las que se encuentra matriculado con el fin de que seleccione la asignatura en la que desea estudiar. Una vez seleccionado se le mostrarán los cuestionarios existentes (figura 6)
2. Supervisión. Se trata de un applet que se presenta en el caso de que el usuario se identifique como supervisor. Desde dicho applet y como se aprecia en la siguiente figura se pueden realizar diversas funciones de administración remota de las bases de datos de control de acceso. Las más destacadas son:

• Inclusión de nuevos usuarios y asignación a las diversas asignaturas así como creación de propietarios de asignaturas (owners).
• Definición de nuevas y borrado de asignaturas existentes.
• Creación de grupos de trabajo para asignarles privilegios y asignaturas.
• Asignación de alumnos a los coordinadores (ACL).
• Definición de los privilegios de los diversos usuarios en las diversas asignaturas.

Figura 6. Applet de control de acceso

Se trata de una herramienta de ayuda para el profesor que le permite realizar consultas sobre los resultados una vez que estos se encuentran en una base de datos corregidos. El objeto de esta aplicación es presentar información resumida con el fin de que el profesor pueda extraer sus propias conclusiones y crear sus informes a partir de los resultados extraídos. Las preguntas que se pueden realizar a la base de datos están relacionadas con:

• Estadísticas asociadas a un cuestionario concreto de una asignatura
• Estadísticas asociadas a un alumno concreto
• Búsquedas personalizadas que permiten realizar cruces entre los diversos campos que posee la base cruzando diversos campos.

Se trataría de automatizar el proceso de darse de alta en la base de datos de control de acceso con el fin de aliviar el trabajo del supervisor. Se ha diseñado un applet desde el que el alumno puede introducir sus datos personales para que el sistema le de de alta y pueda acceder a los cuestionarios de las asignaturas de las que esté matriculado. Así mismo se le asigna de forma automática un password que posteriormente debe confirmar.

Automatización del sistema de inclusión de cuestionarios. Se pretende que el profesor pueda incluir nuevos cuestionarios o consultar los ya existentes en el servidor. Para ello se ha desarrollado una herramienta que facilita la actualización de la base de datos remota de cuestionarios del servidor y la transferencia de los ficheros necesarios de forma automática (FTP). Este modelo facilita enormemente la gestión que debe realizar el profesor que desea crear sus cuestionarios a la vez que simplifica la administración del servidor.

Un problema que plantea el modelo propuesto es el de la seguridad debido a que la información que viaja por la red debe ser confidencial dado que se envían calificaciones de alumnos y datos personales. Para ello se ha dotado al sistema de dos mecanismos de seguridad:

• Servidor seguro mediante la implementación de SSL
• Empleo de servelets para el control de paso por las diversas pantallas por las que va accediendo el alumno. Para ello se emplea el popular mecanismo basado en cookies

Tras varios años de desarrollo se dispone en la actualidad de un prototipo de sistema SARE distribuido operativo en el que el diseño modular empleado permite que se pueda abordar futuros desarrollos de una forma controlada. En la actualidad nos encontramos generando material para una asignatura de libre elección denominada "Principios y Fundamentos de la Electrónica Digital" que será impartida en la Universidad Politécnica de Madrid en el curso académico 1999-2000 con alumnos de diversas titulaciones. Estas pruebas permitirán conocer mejor las posibilidades reales del sistema así como sus limitaciones pudiendo extraer información del empleo del mismo por parte de los alumnos.

En palalelo con esta prueba que se trata de realizar se continúan desarrollando mejoras en los diversos módulos que doten al sistema de una mayor flexibilidad y potencia tanto para el alumno como para el profesor.

Es necesario mencionar en este punto la labor realizada por los alumnos que han realizado el desarrollo de este proyecto desde su principio y que han tenido que padecer todos los problemas tanto del lenguaje de programación como de coordinación entre los diversos módulos. Desde estas líneas nuestro mas sincero agradecimiento a: Carmen Lahera, Carlos Vecina, Carlos Quero, Juan José Moreno, Alfonso García, Francisco de Arcos y Gonzalo Díaz.

[1] "Authoring System for Reinforcement and Evaluation". F. Pescador y J. Arriaga. Calisce’96. San Sebastian. Julio 1996. Pag195-204.

[2] "Sistema de autor orientado al refuerzo y la evaluación en entorno distribuido (SARE distribuido)" TAEE’98. III Congreso de Tecnologías Aplicadas a la Enseñanza de la Electrónica. 16-18 de Septiembre de 1998. Madrid. Pags 113-118

[3] "Integración y tratamiento de las bases de datos utilizadas en el entorno SARE para facilitar su accesibilidad a través de Internet". Carlor Quero del Pozo. PFC de la EUIT de Telecomunicación de la UPM. Marzo de 1999.

[4] "Desarrollo de una Aplicación distribuida en JAVA para Acceso remoto a las Bases de Datos del sistema S.A.R.E." Carlos Vecina Fdez de Santa Cruz. PFC de la EUIT de Telecomunicación de la UPM. Marzo de 1999.

[5] "Desarrollo de una Aplicación distribuida en JAVA para Acceso remoto a las Bases de Datos del sistema S.A.R.E." Carmen Lahera Vargas y Alfonso García. PFC de la EUIT de Telecomunicación de la UPM. Marzo de 1999.