Begoña Gros i Salvat, Gemma Mas Crespo y Marina San José Amiano.

Con esta comunicación pretendemos aportar un pequeño grano de arena a un campo tan amplio y actual como es el estudio de las listas de distribución. No se trata de analizar algunos aspectos de las mismas sino de ofrecer los resultados de un pequeño estudio realizado con el fin de reactualizar el funcionamiento de la lista y mejorar el servicio a nuestros usuarios. Se trata por tanto, de detenernos para observar cual es la realidad y cual puede ser el futuro de este foro de debate. Esperemos que nuestra experiencia y ulterior estudio pueda servir para iniciar una reflexión y discusión sobre , precisamente, los foros de debate.

Para quienes no nos conozcan, pues ya en su día nos dimos a conocer en EDUTEC de la mano de Ines Ruiz y Iolanda García, nos presentaremos.

En febrero de 1996, un mes antes que el surgimiento de EDULIST (marzo de 1996), el Vicereectorado de Docencia y Estudiantes de la Universidad de Barcelona puso en marcha, con la colaboración de la profesora Begoña Gros, el denominado "Foro Telemático de Docencia Universitaria" . Se trataba de poder dotar a los profesores de un espacio de discusión y reflexión flexible a horarios y a compromisos. Al inicio de proyecto (el primero de estas características que se ponía materializaba en el contexto universitario) se plantearon unos objetivos claros:

• Facilitar el intercambio de información sobre la práctica docente.
• Conocer experiencias de innovación que se pongan en práctica en los centros universitarios.
• Estimular la reflexión sobre la práctica docente.

A fin de llevar a cabo estos objetivos se crearon: una lista de distribución (donde se realiza propiamente lo relacionado con el Foro) y unas páginas Web.

Después de tres años de funcionamiento el foro cuenta con más de 260 suscritos, de la Universidad de Barcelona, de otras universidades y países, y con múltiples colaboraciones. Pero tanto las espectativas como las demandas han variado. Para poder darles respuesta, nos hemos sumergido en el siguiente proceso evaluativo que vamos, aunque sintéticamente, a desarrollar a continuación.

Desde nuestros inicios a hoy en día, hemos ido mejorando con la ayuda de todos y renovándonos constantemente con el fin de adaptarnos a las necesidades actuales sin olvidarnos de nuestros principios. Con esta finalidad de mejora constante decidimos iniciar un proceso de autoevalución, por así llamarlo aunque nosotros apostamos más por definirlo como proceso de autorreflexión, donde todos los implicados en el foro participasen.

Para ello iniciamos un proceso de búsqueda de antecedentes sin encontrar muchos referentes sobre cómo llevarlo a cabo. La documentación encontrada y consultada fue la siguiente:

• MARTÍN ARTACHO, JOSÉ (1998). Estudio de caso de EDULIST. En Comunicación y Pedagogía, n1 153, pp. 38-46. De ella nos nutrimos con idees sobre cómo plantearnos el camino a seguir. A diferencia de José Martín Artacho, nosotros estábamos más interesados en satisfacciones i motivaciones, en buscar la implicación activa de los suscritos.
• ROQUET GARCÍA, GUILLERMO (1998). Las listas electrónicas como recurso educativo I-II. En Netdidáctic@. Internet en el aula., n1 I (pp.2-8) -II (pp.4-13). Donde se analizan las listas de electrónicas desde una visión de aprovechamiento educativo.

Las vías de evaluación de las listas de distribución son diversas; Martín Artacho presenta su evaluación de la lista de EDUTEC como el análisis de los datos más elementales a considerar: perfil de los suscritos, número de mensajes enviados a la lista, relación entre mensajes y respuestas, temáticas de la lista, mensajes off-topic o off-list, ... hemos de tener en cuenta que se trata de una lista de carácter abierto moderada.

Por otro lado existen otros planteamientos interesantes de valoración, los relativos a la calidad de la lista. Esta etiqueta está relacionada con la información que se ofrece a los suscritos a la lista. Nosotros hemos decidido profundizar en esta segunda línea más cualitativa aunque trabajemos con elementos y valores cuantitativos. Una vez decidido en enfoque nos quedaba establecer el recurso a utilizar: analizando la información relacionada con la resolución de dudas, el estudio de nuevos temas, las orientaciones, las innovaciones,... Es decir, identificando los elementos de calidad importantes y cómo cuantificarlos para establecer un mejor perfil del foro.

Nuestra opción al respecto fue clara : queríamos acercar este proceso de reflexión a nuestros suscritos, así la mejor solución era que los miembros del Forum respondieran la encuesta que les fue facilitada por FTP y e-mail (ver annexo); a fin de evitar las incompatibilidades de formatos.

¿Por qué utilizar estas dos opciones? La respuesta es sencilla. Primero, para aquellos que se conectaran a través del navegador o quienes sólo recibieran el mensaje para leerlos luego la posibilidad de acceder a un FTP era mucho más cómodo. Por otro lado existía la posibilidad de utilizar el propio correo interno de la lista para distribuir el cuestionario facilitando el retorno usando el comando REPLY. Siendo la segunda vía la más utilizada por la muestra. Además, el cuestionario debía ser breve (a contestar con un sí o no, o marcar cruces).

Una vez facilitado el acceso a los documentos de valoración (encuestas) se determinó un periodo de respuesta; éstas fueron retornadas anónimamente para asegurar la libertad de opinión. Posteriormente se procedió a su vaciado, del cual hemos extraído los siguientes datos que estructuraremos en diferentes apartados, y sobre el que todavía estamos trabajando:

A continuación expondremos los resultados de las respuestas, así como posibles interpretaciones de los mismos. Hay que puntualizar, no obstante, que no hemos reflejado la totalidad de datos analizados por cuestión de límites de extensión, siendo este documento un reflejo del informe elaborado.

Formar grupos de personas con las que se comparte algún interés en común es una actividad habitual de gran parte de los seres humanos. En este marco, resulta lógico y natural la formación de cibergrupos,también llamados comunidades virtuales, verdaderos grupos virtuales de personas donde éstas pueden expresarse libremente. La calificación de "virtual" de estos grupos se refiere a que en su conformación no tiene lugar las categorías de "espacio" y "distancia".

No obstante detrás de las listas hay países y distancias. Para determinar el origen de los suscritos se ha considerado el dominio al que pertenece la dirección de correo. El grupo más numeroso está formado por aquellos cuya dirección termina en el dominio genérico de ".es" (223 de 263)= 88'6%

Aunque nuestro foro principalmente se dirige a los docentes de la Universidad de Barcelona, quienes representan un número importante de suscritos (193 de los 263)= 73'38%, la distribución geográfica de nuestros usuarios es más rica y diversa tanto en relación a universidades como a países (especialmente los latinoamericanos).

Como somos un foro universitario, veamos qué universitades y en qué porcentages están representadas; para ello veamos en la siguiente tabla de porcentages:

(*) los 223 con extensión ".es" y representan el 84,8% del total.

Esta tabla muestra como existe un predominio de las universidades catalanas; hemos de tener en cuenta que aunque hablamos de herramientas telemáticas las cuáles no limitan la localización geográfica, los caminos de difusión y comunicación sobre la existencia del Fórum sí que parecen limitarse al contexto geográfico.

Otro aspecto destacable en la distribución geográfica de la lista son los países, y la especial incidencia de los latinoamericanos. Unos datos que también se pueden observar en otras listas españolas como EDULIST. En nuestro caso nos encontramos con que el 6'8% de los miembros de nuestra lista provienen de países centro y sudamericanos entre los que destacan México y Argentina (ambos con 2'28% respecto al total y un 33'3% ponderado respecto a los otros países) y Venezuela y Cuba (1'14% del total y un 17'7% ponderado cada uno).

Finalmente, los dominios no geográficos (formados por las extensiones "org/edu/com") comprenden un 2'28% del total de los suscritos, habiendo excluído las direcciones "pangea.org" (0'76%) anteriormente comentadas.

Estos datos se refieren a los suscritos, pero también contamos con información sobre las visitas a nuestras páginas web, en relación a su distribución geográfica, que creemos interesante comentar a continuación. Desde que en febrero renovamos las citadas páginas del Fórum (http://www.ub.es/forum/info.htm) , llevamos un control de visitas sobre la procedencia de las mismas obteniendo los siguientes resultados:

Como se puede observar, dominan ampliamente las visitas realizadas desde países europeos constituyendo un 80,14% del total. Y teniendo en cuenta que un 10,49% son de procedencia desconocida, creemos que esta mayoría se ampliaría. Del 9,37% restante, es decir que pertenecen a otras regiones, podemos destacar la presencia de visitantes latinoamericanos con un 6,07%. Volvemos a tener tres grandes bloques entre los cuáles se destaca el de latinoamerica.

Como datos curiosos queremos introducir las visitas propias de cada dominio o país en la siguiente tabla de visitas por regionesque hemos ido recogiendo desde la renovación de la web:

De estos datos podemos elaborar el siguiente gráfico genérico donde aparecen las tres grandes regiones que se pueden destacadar:

(*)Otros: incluye al resto de países de la anterior tabla.

De la pluralidad de nuestra lista, anteriormente comentada, nuestro estudio se basará en una muestra de 47 participantes, es decir un 17'9 % de los suscritos a la lista, que son representativos del total de la población. Los rasgos identificativos de la muestra son:

• Edad: La inmensa mayoría de nuestros miembros, un 83%, superan los 45 años de edad. Dato significativo teniendo en cuenta que estamos hablando de un género de debate suscrito a la utilización de nuevas tecnologías, unos medios relativamente nuevos en nuestro campo.
• Años de docencia: Un 56% llevan entre 6 y 15 años ejerciendo la profesión, siendo la media de 14 años.
• Utilización de correo electrónico: La media está entre los 3 y los 4 años, 3,6 años concretamente. Mientras que nosotros iniciamos nuestras andaduras hace 3 años, así que algunos de ellos han aprendido con nosotros. Veámoslo.
• Años de suscripción al Fórum: La mayoría de los miembros llevan dos años suscritos en el Fórum, la media de ellos es de 2,5 años de suscripción al Fórum. Casi desde nuestros inicios.
• Frecuencia de uso del correo: el 42% lo consulta diariamente mientras que un 33% los hace de manera semanal, el resto no contesta o sólo lo consulta 1 vez al mes.

Uno de los antecedentes de las actuales listas de distribución electrónicas son los grupos o foros de personas que se intercambiaban registros de audio donde discutían sobre un tema específico, de tal manera que cada persona añadía a al cinta su aportación y la pasaba en cadena a otra, regresando a quien la había enviado. Con la introducción del Correo Electrónico el proceso se actualizó en su medio de comunicación pero no en sus finalidades; seguimos teniendo un grupo de discusión. Pero, ¿qué piensan de esto nuestros suscritos? ¿Qué consideran como lista de distribución? ¿Las listas de distribución todavía son grupos de personas con algún interés en común? En respuesta a estas preguntas, interrogamos a nuestros suscritos para saber su opinión... (los resultados están por elaborar).

Como hemos comentado al principio, el Fórum se estructura básicamente en dos apartados: el Foro de discusión y las páginas de Internet; pero estos grandes bloques contienen otros servicios menores, que intentaremos a continuación analizar.

Primeramente nos adentraremos en el espacio del Foro donde se pueden distinguir cuatro aspectos sobre los que han mostrado su grado de satisfacción nuestros suscritos y cuyos resultados se muestran en el siguiente gráfico:

Como se puede observar en este gráfico, el índice mayor de satisfacción se concentra en el espacio de discusión siendo éste de bastante. Datos que coinciden en el resto de apartados, hecho que nos lleva a la siguiente posible interpretación: nuestros suscritos se sienten bastante satisfechos con el trabajo llevado a cabo en el Foro de discusión; aunque los valores no sean muy dispares o remarcados respecto al "poco". Debemos ser humildes y afrontar los datos aquí revelados, a la vez que plantearnos mejoras al respecto para aumentar este grado valorativo de los usuarios.

Por otro lado, debemos destacar el alto número de abstenciones que dificultan poder establecer una mejor aproximación a la satisfacción real de los usuarios y así discriminar mejor su opinión. ¿A qué puede deberse? Creemos que las respuestas en blanco podrían tener su causa en el hecho que el 32% de los encuestados no consulta con asiduidad el correo electrónico, hecho que dificulta el buen seguimiento de los debates y el aprovechamiento de los mensajes informativos que semanalmente se envían a la lista.

Con relación a los elementos de calidad de las páginas web, encontramos los siguientes valores que se muestran en el siguiente gráfico:

Los datos nos muestran cómo siguen existiendo dos bloques de respuesta, el bastante y las abstenciones. Aunque a diferencia de los valores anteriores, en este gráfico se distingue con mayor claridad la opción más extendida entre aquellos que respondieron: se consideran bastante satisfechos con la organización de la información en las páginas web, se trata de información de interés y de bastante calidad. Con este sentido nos planteamos la reorganización de las anteriores páginas no sólo mejorando su aspecto físico sino su contenido, después de obtener estos datos vemos que queda mucho camino por recorrer pero nos sentimos orgullosos de los primeros resultados. Para su mejora pedimos a los suscritos sus aportaciones al respecto, pero los resultados obtenidos no son muy alentadores como muestra el siguiente gráfico donde se puede observar un considerable aumento de las abstenciones.

¿Por qué existe este alto número de respuestas en blanco en relación a las páginas web ? La respuesta a esta pregunta podría encontrarse en los resultados obtenidos en la pregunta nº16, la cual analiza la frecuencia de visita.

Si tenemos en cuenta estos valores descubrimos lo poco que los encuestados visitan las páginas que a su disposición habilita el Fórum, las cuales se actualizan casi a diario, especialmente los apartados de congresos, cursos y otras actividades, y el de documentación. Aunque entre estos datos destacaríamos que en el apartado de becas desaparece el fenómeno de la abstención. Esto nos muestra cuáles son sus preferencias de visita, llevándonos a la necesidad de agilizar con mayor ímpetu este apartado de becas. Y, por otro lado, a buscar otros caminos por los cuales hacer llegar la información de documentos, nuevas publicaciones, congresos, cursos y demás actividades de interés en el campo de la docencia universitaria; puesto que los encuestados están bastante satisfechos con los servicios del Fórum (véase pregunta 18).

Unos valores que nos dan ánimo para continuar trabajando y así mejorar nuestros servicios, limando los errores y aprendiendo de ellos. Es por ello que creemos que este proceso de reflexión nos puede ayudar a llevarlo a cabo con la ayuda de todos.

Uno de los aspectos más interesantes del Fórum lo constituyen el tratamiento de los temas y las conferencias. Éstas sirven de base para la reflexión y el ulterior debate. Los temas duran unos tres meses, en los cuales se ofrecen a la lista tres o cuatro conferencias de especialistas con quienes se puede establecer un debat durante esa semana. Posteriormente se dejan dos semanas en las que participan propiamente los miembros del Fórum y una semana más, que denominamos de régimen abierto, en la que se envían mensajes de todo tipo llegados a la lista. Aunque ésta última posibilidad de mensajes abiertos no se excluye del resto de semanas, pues contamos con un espacio semanal que identificamos como "Infowebs" donde se incluyen este tipo de mensajes abiertos.

En cuanto a la satisfacción por los temas se puede señalar que una vez observados los resultados, en general hay una alta proporción de personas que no han contestado a las cuestiones propuestas. Se ha de tener en cuenta que los primeros temas se realizaron con anterioridad a que algunos se suscribieran y que, por tanto, son desconocidos para ellos y por ello no contestan. Veamos más concretamente a lo que nos referimos:

Cabe destacar y tener en cuenta al hacer la lectura de los datos anteriores la siguiente cuestión que sugerimos y que es el grado de seguimiento de los debates. Un 19% no responde a esta cuestión y un 23% de las personas siguen poco o nada los debate con lo que difícilmente podrán tener una buena valoración de las conferencias y posteriores reflexiones. Un 58%, en cambio, dicen seguirlos mucho o bastante.

El nivel de participación es ampliamente contestado (un 85%) y afirman no participar en absoluto el 47% y poco un 32%. Por tanto, un 79% cree que no participa frente a un 6% que cree que participa mucho. Datos destacables si tenemos en cuenta que lo importante de las listas de distribución es la participación de los suscritos. Ante esta situación les planteamos la posibilidad de sugerir soluciones que inviten a participar (véanse preguntas nº21, 23, 24 y 25).

Valoramos ahora el grado de satisfacción referente a varias cuestiones de las conferencias entre los cuales, el porcentaje de personas que no contestan oscila entre un 38 y un 30%.

• Presentación de los temas: Una amplia mayoría (47%) están satisfechos de cómo se presentan los temas frente a un 18% que no lo está tanto.
• Calidad de las Conferencias: De aquí es destacable que sólo a un 4% las conferencias le parece que no tienen calidad en absoluto. El resto cree que las conferencias tienen la suficiente calidad.
• Interés de las intervenciones: Gran número de suscritos (un 49%) afirma que son muy interesantes las intervenciones de sus compañeros, frente a un 21% que las consideran poco o nada interesantes.
• Satisfacción con la participación: Vemos curiosamente cómo, en sintonía con lo que hemos podido ir vislumbrando, el grado de satisfacción de cada cual con respecto a su propia participación en el Fórum es baja. Mientras un 45% no considera su participación satisfactoria, un 17% considera que sí lo es. Las abstenciones al contestar son de un 38%.
• Grado de aprovechamiento del Fórum: Aquí, el no contesta vuelve a ser alto (7%). Mientras un 40% cree que se aprovecha poco, un 23% cree que se hace suficientemente, y no hay muchas personas en los extremos de nada o mucho.
• Actualidad de los temas: Con un 34% de abstención, un 4% cree que los temas no son actuales, mientras que algunos (un 13% cree) que lo son poco. Frente a ellos, un 32% cree que sí lo son bastante y un 17% piensa que son de máxima actualidad.

En general, hay una alta abstención a contestar las preguntas que puede dar a pensar que mucha gente no sigue en demasía los temas tratados por el Fórum y, como nos han hecho constar repetidamente, no disponen de tiempo para contestar. Delante de estos resultados nos planteamos mejoras para agilizar y adecuar nuestras actividades a esta falta de tiempo.

A lo largo del documento hemos ido perfilando algunas de las mejoras sugeridas del análisis de los datos de las encuestas y que introduciremos, para poderlas evaluar en el próximo análisis, porque éste debe ser constante y permitir el feedback al grupo. No obstante destacaremos algunos aspectos (tanto a lo que limitaciones se refiere como a mejoras) y cuestiones que a raíz de la evaluación han ido surgiendo: