Parámetros e indicadores de calidad en la evaluación de una revista electrónica. El caso de BiD: textos universitaris de biblioteconomia i documentació
[versió catalana]
Josep Manuel Rodríguez Gairín
Facultat de Biblioteconomia i Documentació
rzgairin@fbd.ub.es
Resumen
El objetivo del artículo es el establecimiento de un conjunto de parámetros e indicadores que permitan la evaluación de revistas electrónicas accesibles vía web. La metodología empleada consiste en analizar los parámetros e indicadores genéricos descritos por Lluís Codina y concretarlos, a partir de ejemplos, para que puedan ser aplicados en un recurso web específico: una revista electrónica. Una vez definidos los indicadores específicos, se procederá a evaluar con ellos la revista BiD, de la Facultat de Biblioteconomia i Documentació de la Universitat de Barcelona, con la finalidad de comprobar su funcionalidad. Del resultado del estudio, se destacan los puntos débiles que en la actualidad presenta la revista y se establecen un conjunto de propuestas destinadas a mejorarlos.
1 Introducción
La evaluación de las publicaciones periódicas es un tema tratado ya en diversos estudios, en especial, en lo que se refiere a revistas científicas y tecnológicas. En nuestro sector encontramos proyectos como Latindex (Giménez Toledo, Rodríguez Yunta, y Román, 2000) encaminados a mejorar la visibilidad y calidad de nuestras publicaciones sin distinción de la vía de difusión de las mismas. Nuestra aportación se concentrará en analizar las características que afectan a un grupo de ellas: las revistas electrónicas, en especial aquellas que se difunden a través de mecanismos hipertextuales como el web.
La elección del tipo de recurso no es casual ni aleatoria. Las revistas electrónicas constituyen un tipo de recurso web claramente acotable y de elevada importancia en nuestro entorno; son un elemento en el que el factor predominante son los contenidos y en donde los aspectos de ‘usabilidad' pueden verse influenciados por el modelo clásico de revista en formato papel sin tener presente las posibilidades adicionales que el hipertexto nos ofrece.
La elección de BiD como caso concreto de estudio obedece igualmente a una serie de razones que se detallan a continuación:
Es una revista relativamente joven pero al mismo tiempo consolidada y con el aval de calidad que le otorga la Facultat de Biblioteconomia i Documentació de la Universitat de Barcelona. Actualmente dispone de cinco números y el número de documentos publicados son suficientes para poder aplicarle de manera retrospectiva las actuaciones propuestas.
La relación de este autor con el comité de la revista y con la Facultat le permitirá implementar algunos de estos procedimientos y mejoras pasando de un modelo teórico a un modelo práctico que, en algunos casos —como en el sistema de metadatos o el motor de búsqueda—, se materializan ya en la actualidad.
En este punto es importante señalar que dicha relación es relativamente reciente y prácticamente se inicia a partir del momento de la elaboración de este documento. Carece por tanto de vicios o influencias que pudieran existir si este autor hubiera participado previamente en el diseño de la misma. Igualmente es importante señalar que las propuestas de mejora aquí descritas son únicamente eso, propuestas personales, sin que tengan ningún carácter oficial ni se presuponga que hayan sido solicitadas ni deban ser asumidas por el comité editorial de BiD.
2 Parámetros e indicadores de calidad adaptados a una revista electrónica
Para la realización de este trabajo se ha partido concretamente de la revisión de parámetros presentada por Codina en las VII Jornadas de Documentación.(Codina, 2000b)
A diferencia de comunicaciones anteriores (Codina 2000a), en donde se presentaban 14 elementos, en esta ocasión el autor establece una diferencia entre seis parámetros concretos, definidos como “Propiedades o características de los recursos digitales que serán objeto de evaluación”, y sus indicadores definidos como “Aspectos o elementos de un recurso digital que se consideran a fin de poder tomar decisiones sobre la calidad de un parámetro”.
La Tabla 1 recoge de manera esquemática dichos parámetros e indicadores. Recomendamos al lector la consulta previa de dichos trabajos ya que no es nuestro ánimo reproducir todo su contenido y en algún caso podrán encontrarse referencias que presuponen su lectura o conocimiento.
Parámetros Indicadores Autoría
Autoría del recurso bien determinada
Solvencia de la institución
Posibilidad de contactar con el autor o institución
Posibilidad de enviar mensajes al autor o institución
Contenido
Existencia de información valiosa
Volumen de información suficiente
Información contrastada y rigurosa, editada o supervisada
Información actualizada
Navegación y recuperación
Recorrer la estructura del web sin perderse
Orientaciones de contexto
Jerarquización de los contenidos
Sistema de búsqueda
Mapa de navegación o sumario
Sumarios locales o secciones
Índices temáticos, cronológicos, geográficos u onomásticos
Necesidad de desplazarse para ver la totalidad del sumario
Navegación semántica
Opciones de navegación claras
Navegación con un número limitado de clics
Ergonomía
Buena relación figura-fondo
Tipografía adecuada
Márgenes a ambos lados del texto y entre párrafos
Imágenes que completan la información textual o la entorpecen
Visualización agradable
Luminosidad
Enlaces externos
Enlaces evaluados y seleccionados
Enlaces actualizados
Valor añadido en los enlaces
Visibilidad
Título del web en la barra del navegador
Contenido del recurso en los primeros párrafos
Presencia de metaetiquetas básicas
Presencia de metaetiquetas Dublin Core
Enlaces desde otras páginas
Tabla 1. Parámetros e indicadores descritos por Codina
Consideramos que estos seis parámetros generales son perfectamente válidos para la evaluación de una revista electrónica mientras que nuestra trabajo se concentrará en concretar los indicadores específicos aplicables a este tipo de recurso.
A continuación enumeraremos cada uno de estos parámetros y estableceremos una serie de preguntas concretas que permitan al evaluador asignar una puntuación específica entre 0 y 3 puntos a cada uno de ellos.
Parámetro 1. Autoría: Adecuación y solvencia
Indicador 1. Delimitación de la responsabilidad o autoría de la información
En el caso de una revista electrónica, al igual que en una revista en formato tradicional, hemos de diferenciar entre la autoría de la propia revista y la autoría de todos sus contenidos: artículos, revisiones, editoriales, etc.
Las preguntas que podemos formularnos son:
— ¿Se especifica la entidad responsable de la publicación?
— ¿Se especifican los miembros y funciones del comité editorial?
— ¿Se especifica la autoría personal de cada aportación?
Una valoración positiva de este indicador estaría condicionada en primer lugar, por una respuesta positiva a las dos primeras preguntas. En la última, podría realizarse una valoración cuantitativa en función del porcentaje de documentos en los que está indicada la autoría. Proponemos valorar con un punto si el porcentaje de documentos en los que se especifica la autoría es superior al 60%, 2 puntos entre el 60 y el 95% y 3 puntos entre el 95 y el 100%.
Indicador 2. Evidencias de solvenciaAl igual que en el indicador anterior, debemos diferenciar la solvencia de la revista en sí misma y la de los contenidos que publica. En el primer caso, la información sobre la propia entidad responsable o parámetros bibliométricos clásicos como el factor de impacto (Garfield 1999; Garfield 2001) producido por el Institute for Scientific Information, serán los elementos a tener presentes ante una valoración.
Respecto a cada uno de los artículos, tradicionalmente el lector de un documento concreto de una revista en formato papel puede hacerse un juicio de valor de la solvencia del autor a partir de una breve reseña curricular incluida en el mismo. La información mínima sería la indicación del lugar de trabajo y cargo que suele aparecer acompañando al nombre. En otros ocasiones, encontramos al final del mismo un breve currículo que se exige al autor junto con la presentación del original. Este tipo de indicadores que llamaremos clásicos pueden delimitarse con las siguientes preguntas:
— ¿Tiene cada artículo indicación del lugar de trabajo del autor y cargo?
— ¿Tiene cada artículo una breve referencia curricular del autor/autores?
Sin embargo no debemos caer en la tentación de realizar una valoración idéntica a la qué haríamos en una versión impresa de la revista. La navegación hipertextual nos permite mejorar este parámetro usando unos indicadores hipertextuales tales como:
— ¿Tiene cada artículo un enlace al currículo vitae o a una página personal de los autores?
— ¿Enlaza el lugar de trabajo del autor a la sede web correspondiente?
A diferencia de las dos primeras preguntas, en este caso, la información adicional sobre la solvencia será dinámica y actualizada en la medida en que el propio autor o la institución la mantengan actualizada. Hay que ser consciente de que no todos los autores disponen de página personal o currículo en la red, por ello los indicadores clásicos deben mantenerse como opción alternativa. La propuesta es que al valorar este indicador se le otorgue una puntuación de 1 si cumplen los indicadores clásicos y 2 si cumplen los indicadores hipertextuales.
Un ejemplo curioso de mecanismo automático de enlace al currículo del autor —como mínimo a otras publicaciones— lo constituye la creación de URL's que interrogan bases de datos pasándoles como parámetro el nombre del autor. Desgraciadamente la base de datos que puede ofrecernos esta información no siempre estará accesible gratuitamente en Internet.
En el entorno de la documentación biomédica, en el que se mueve este autor, encontramos ejemplos interesantes basados en la consulta a MEDLINE como el que se muestra en la Figura 1.
Figura 1. Enlace a búsquedas por autor en la base de datos MEDLINE en los artículos del British Medical Journal (BMJ) como indicador de solvencia o producción científica de los mismos.
Indicador 3. Posibilidad de contactar con el autor o la revistaEl indicador clásico, en este caso, sería la presencia tanto en las páginas de la revista como en los artículos correspondientes de una dirección postal, teléfono o fax de contacto. El indicador hipertextual sería la presencia de una dirección de correo electrónico enlazada.
La opinión de este autor, como mínimo por lo que a la revista se refiere, es que el indicador hipertextual no debe sustituir al clásico sino complementarlo ya que podría darse la paradoja de que se exigiera una copia en papel del documento antes de su aceptación pero no existiera dirección postal a la que enviarlo o no disponer de un número de teléfono de contacto en donde poder hacer una consulta que requiriera una respuesta inmediata.
La valoración de este indicador requiere la presencia de indicadores clásicos de la revista, otorgándose 2 puntos si existen indicadores hipertextuales que permitan contactar con ella y 3 puntos si los hay para contactar con cada uno de los autores de los trabajos.
Indicador 4. Comunicación sobre los contenidos (rectificaciones, quejas, comentarios)
Sin duda este indicador ofrece muchas posibilidades en el entorno web y, si bien la posibilidad de enviar comentarios o rectificaciones al autor existe en muchas publicaciones, son pocas las que incorporan mecanismos que permitan adjuntar opiniones de los lectores o de expertos que a su vez sean visibles por cualquiera que acceda a la revista. (Figura 2) Consideramos este último punto muy relevante ya que recoge una de las esencias de Internet y del hipertexto.
Figura 2. Contribuciones electrónicas a un artículo de BMJ.
La opinión de los lectores como indicador de calidad en la autoría.
Valoraremos con 1 punto la existencia del simple enlace al correo electrónico del autor, con 2 puntos si existe un mecanismo explícito para enviar aportaciones o comentarios —formulario de sugerencias, botón para enviar quejas o aportaciones, etc.— y de 3 si estas aportaciones son visibles por los lectores. Entendemos que es lógico aceptar que este último mecanismo pueda estar filtrado y valorado éticamente por la propia revista.
Parámetro 2. Contenido, valor intrínseco y volumen de la información
Indicador 1. ¿Contiene información intrínsecamente valiosa o posee alguna información de valor añadido?
Aplicar este indicador al conjunto de revistas electrónicas no resulta fácil. En el caso de revistas que coexistan en versión papel y electrónica ha de ser posible preguntarse qué aspectos de la versión electrónica conducirían al lector a elegir ésta frente a la versión papel. En el caso de revistas de publicación electrónica exclusiva estos aspectos serán de obligado cumplimiento.
Así podríamos preguntarnos:
— ¿Posee la revista artículos complementarios o información adicional no disponible en la versión papel?
— ¿Dispone de algún sistema de traducción?
Aunque los enlaces a sistemas de traducción automática, como el ofrecido por Altavista (http://babelfish.altavista.com/translate.dyn), ofrecen pobres resultados, pueden ser opciones aceptables si nuestra revista tiene una cobertura internacional.
— ¿Dispone la revista de un sistema de alerta que informe de la aparición de nuevos números?
Aunque el mecanismo más sencillo es la suscripción a través de un formulario para ser informados por correo electrónico de la aparición de nuevos números, algunas editoriales han desarrollado sistemas más sofisticados (Figura 3) como perfiles temáticos a partir de una estrategia de búsqueda definida por el usuario o alertas cuando aparezcan nuevos artículos que citen el articulo que estamos visualizando. *
Figura 3. Tres sistemas de alerta diferentes ofrecidos por las revistas de Elsevier (Science@Direct) y BMJ.
— ¿Son artículos escritos para el web?
Aún son muchas las editoriales que hacen de las versiones electrónicas de las revistas simples imágenes escaneadas de las versiones en papel (Figura 4) y en caso contrario, sigue siendo frecuente encontrar una estructura de artículo que remeda a la clásica lectura continua.
Posiblemente sean los propios autores los que mantienen este vicio y no hacen caso de los postulados de Nielsen: “Si tiene un artículo largo, el mejor consejo es el de rescribirlo y abreviarlo, o fragmentarlo en páginas de hipertexto más pequeñas...” (Nielsen 2000:123). Evidentemente, ésta es tarea del autor; es él quien debe reformular su contenido escribiendo para la web (Figura 5). La simple fragmentación de un texto lineal es una solución peor “aunque a los usuarios no les gusta desplazarse, les gusta menos aún tener que esperar a que se descargue la página siguiente cuando están en medio de una historia” (Nielsen 2000:123).
Figura 4. Estructura secuencial de los artículos de Advances in Physics a partir de
generación de un formato PDF de la revista impresa. El formato PDF es recogido
“tal cual”, no se aplican enlaces ni ninguna característica hipertextual adicional.
Figura 5. Ejemplo de artículo hipertextual en el que es posible iniciar la lectura en distintos
puntos. Fuente: Lluís M. Anglada i de Ferrer. <http://www.cbuc.es/articles/bdigupf/>.
Estableceremos la valoración de este indicador como negativa —sin valoración— cuando la revista se limite a reproducir o remedar una publicación clásica (documentos PDF sin más, documentos Word, documentos HTML sin la presencia de enlaces), una valoración 1 cuando los artículos presenten evidencias de hipertextualidad simple: HTML con enlaces; una puntuación de 2 cuando además de lo anterior presente herramientas con valor añadido como los servicios de alerta o artículos complementarios si es una versión de una revista en papel y una puntuación de 3 cuando los artículos presenten una estructura hipertextual completa y dispongan de doble versión (lineal en PDF para su impresión e hipertextual para su lectura en pantalla estructurada en pequeños documentos enlazados, etc).
Indicador 2. ¿Contiene un volumen considerable o suficiente de información con relación al tema o especialidad del recurso?
Concretar este indicador, en el caso de una publicación periódica, podría plantearse con preguntas como:
— ¿Es un producto nuevo o está disponible desde hace años?
Este indicador permite medir una cierta estabilidad y consolidación del recurso. Resulta difícil establecer la proporción o antigüedad para considerar una revista consolidada, pero podríamos reservar la puntuación de 3 para aquellas revistas con mas de 10 años de experiencia o 5 años si existe una experiencia previa en otros formatos. Dejamos a criterio del evaluador el límite entre una puntuación de 1 o de 2.
— ¿Tiene cada número una cierta cantidad de documentos, secciones, etc?
Al reducirse los costes de producción y anularse los de distribución, es posible encontrar algunas revistas electrónicas que lanzan números con un par de artículos simplemente. Esta situación invalidaría la puntuación del indicador.
Indicador 3. ¿Existen evidencias de que los contenidos han sido jerarquizados según su importancia relativa?
En este caso reformularemos el indicador como:
— ¿Existen mecanismos que indiquen la importancia relativa de cada documento?
La valoración de la importancia relativa de cada documento podría establecerse con la subdivisión de cada número en secciones o con criterios cuantitativos relativos, como el porcentaje de visitas que ha recibido ese artículo respecto al total de ese número concreto. Este dato debe valorarse con cautela ya que el porcentaje de visitas depende en parte del sector de publico al que se dirija el documento.
Indicador 4. ¿Contiene evidencias de que la información ha sido contrastada o supervisada?
Una manera de valorar si la información contenida está contrastada, es analizando la bibliografía que contiene y las posibles fuentes citadas por cada autor sin que ello vaya en detrimento de aportaciones singulares basadas en la opinión directa de un autor de prestigio. Por lo tanto, la pregunta a formular para evaluar este indicador será:
— ¿Tienen los artículos bibliografía adecuada y completa?
Respecto a la supervisión, éste es un tema que queda bajo la responsabilidad de la revista: Al respecto podemos preguntarnos:
— ¿Dispone la revista de un comité de redacción?
— ¿Están disponibles en línea las instrucciones para los autores?
— ¿Existe un mecanismo de “revisión por expertos” antes de su publicación?
La valoración en este caso se efectuará asignando 1 si existe bibliografía clara, 2 si la revista dispone de mecanismos de supervisión como revisión por comité de redacción, normas para los autores (es de presuponer que rechazaría documentos que no cumplan el nivel 1) y reservaremos el nivel 3 para aquellos casos que disponga de valoración por expertos ajenos a la publicación o mecanismos hipertextuales del tipo opinión de expertos. Puede plantearse ofrecer la lectura del contenido antes de su publicación a un experto y solicitarle una valoración o reseña a incluir en el propio documento.
Indicador 5. ¿Contiene evidencias de tratarse de una información actualizada con la frecuencia adecuada al recurso?
La pregunta a aplicar en este indicador será:
— ¿Tiene marcada la revista una periodicidad y se cumple?
En este caso omitiremos la puntuación 1 y 3, únicamente usaremos la 2 si se cumple la periodicidad y dejaremos sin valoración si no es posible determinarla o no se especifica explícitamente.
Parámetro 3. Acceso a la información: navegación y recuperación
Las revistas ya sean electrónicas o en otros formatos son claros ejemplos de estructuración de la información. La revista como sede, da paso a volúmenes o grandes agrupaciones temporales —volúmenes, por años por ejemplo—, cada una de ellas se subdivide en agrupaciones de aparición —números— y cada una de estas se descompone en agrupaciones temáticas —secciones— que a su vez se componen de unidades de contenido —artículos.
Sin embargo, existe una gran diferencia entre los mecanismos de localización de información en una revista en papel o electrónica. Supongamos que un lector desea localizar el articulo de Lluís Codina publicado en la Revista española de Documentación Científica del año 2000, el número 1 del volumen 23. En el entorno clásico de una biblioteca, este lector paseará por la estantería donde se encuentra la revista hasta localizar el año, escogerá el volumen adecuado y localizará en el número concreto las paginas correspondientes. Pero si el lector pudiera sentarse en una mesa y decirle al bibliotecario: “por favor, ¿puedes traerme este artículo?” y el bibliotecario en cuestión de milisegundos se lo trajera, sin duda elegiría esta última opción. Esto es exactamente lo que puede hacer un sistema de recuperación de información basado en un motor de indización de contenidos en una revista electrónica.
Este razonamiento podría cuestionarse con la afirmación de que muchos lectores acuden a la biblioteca a revisar qué se ha publicado últimamente, pero en mi opinión esto se aplica al número en curso o como máximo a los números más actuales. Esta opción de acudir a “la biblioteca a revisar lo nuevo publicado en una revista” tiene también su traducción electrónica si se dispone de un sistema de alerta que envíe al buzón del correo electrónico del usuario el sumario de la revista a medida que se genere.
Por último, nuestro usuario tal vez desee “hojear” lo nuevo o publicado sobre un tema concreto. Este objetivo debe ser alcanzado con el uso de bases de datos documentales aunque el usuario tal vez agradecería en una biblioteca clásica una vitrina en la que figuren los últimos números de todas las revistas de “hematología” por ejemplo, para poder así revisarlas sin tener que desplazarse alfabéticamente por todas las estanterías. La traducción hipertextual de este caso sería la existencia de un sistema de navegación temática con recuperación que incluya ordenación cronológica o perfiles de alerta temáticos.
En este parámetro hemos reestructurado los 11 indicadores base en 4 mientras que los 7 restantes podrán detectarse como matizaciones que permiten establecer el nivel con que puntuamos cada uno de ellos.
Indicador 1. ¿Existe navegación estructural?
Atendiendo a la premisa planteada por Codina de no hacer más de cinco clics desde cualquier punto para ir a cualquier lugar y estructurando la información según los criterios anteriores, requeriremos la existencia de un sumario de años / volúmenes, un sumario de números de cada año y un sumario de contenido de cada número. Planteamos que cada artículo o documento disponga de una herramienta o barra de navegación que permita acceder:
- a la página principal de la revista.
- al sumario general (de volúmenes o años disponibles)
- al sumario de números del año que estamos consultando.
- al sumario de contenidos del número que estamos consultando.
- al siguiente artículo de este número.
Un buen ejemplo de este sistema de navegación es el implementado en la revista Nature (Figura 6).
Figura 6. Mecanismos de navegación de la revista Nature
Este planteamiento puede simplificarse en el caso de revistas con poco volumen o escasa periodicidad.
En este caso estableceremos una puntuación de 1 si existe una navegación estructural básica, por ejemplo un índice global que conduzca a índices de números y de aquí a los artículos. Una puntuación de 2 cuando todos los documentos incluyan como mínimo un enlace al índice global de manera que con menos de 5 clics podamos navegar entre dos puntos cualquiera del recurso y una puntuación de 3 si disponen de una barra de navegación completa como la descrita que informe de que en que nivel se encuentra el usuario y las posibilidades de acceso a cada uno de los niveles.
Indicador 2. ¿Existen opciones de acceso a la información por medio de un sistema de búsqueda estructurada por palabras o frases?
Ya hemos indicado la importancia de un sistema de búsqueda estructurada y dado que los documentos en general presentan una estructura muy definida podríamos concretar este indicador con las preguntas siguientes:
— ¿Permite búsquedas globales?
— ¿Permite limitar por campos básicos (autor, título)?
— ¿Permite limitar por campos específicos (palabras clave, resumen, bibliografía)?
— ¿Permite operadores booleanos?
— ¿Permite truncamientos?
— ¿Permite navegación por los índices?
— ¿Permite limitaciones temporales, de idioma, etc.?
En definitiva, como base de todo lo anterior, nos planteamos:
— ¿El sistema dispone de un sistema avanzado de metadatos que permita la estructuración, basados en Dublin Core por ejemplo?
De nuevo la revista Nature (Figura 7) nos ofrece una interfaz de recuperación muy completa fruto de la inclusión de metadatos en sus documentos (Apps and MacIntyere, 1999)
Figura 7. Interfaz de recuperación de información de Nature
Evidentemente un sistema de este tipo está basado en una base de datos documental o un indizador siempre que los documentos estén bien etiquetados. En este punto, y dado que el lenguaje XML tendrá un gran protagonismo en un futuro no muy lejano (Figura 8), podríamos también preguntarnos:
— ¿Disponen los documentos de un sistema de etiquetado de contenido XML por ejemplo?
Figura 8. Referencia bibliográfica estructurada en XML.
Si bien el ejemplo de la Figura 8 corresponde a una cita de una base de datos, —Medline en concreto—, en un futuro no muy lejano será la forma de estructurar el contenido completo de los artículos.
Aplicando estos criterios puntuaremos con 1 si el recurso posee un sistema de recuperación básico —casilla de búsqueda global—, con una puntuación de 2 si dispone de búsqueda avanzada que permita limitaciones por los campos básicos —autor, titulo, palabras clave— y con una puntuación de 3 si el sistema dispone de metadatos completos y hay algunas posibilidades de búsquedas superavanzadas —limitaciones por afiliación del autor, por campo bibliografía, etc.
Indicador 3. ¿Existen índices temáticos de los contenidos?
La existencia de índices temáticos es una de las grandes carencias de las revistas electrónicas y también de la mayoría de bases de datos accesibles por Internet.* Los documentalistas “clásicos” y los bibliotecarios son sin duda los primeros en notar esta carencia, acostumbrados al uso de sistemas de recuperación como los ofrecidos por Dialog <http://www.dialog.com> o las bases en CD-ROM o ERL de la empresa <http://www.silverplatter.com> en los que es posible la consulta de índices y tesauros en línea y la selección directa de términos.
En este apartado omitiremos la puntuación 1 ya que la presencia de un índice temático que permita la navegación es lo suficientemente importante como para asignarle una puntuación de 2 y reservaremos la puntuación de 3 para la existencia de estructuras jerarquizadas a modo de tesauro.
Indicador 4. ¿Existe navegación semántica?En un artículo clásico en formato papel existen varios elementos que añaden información adicional a la lectura secuencial del mismo. Entre ellos podemos destacar las notas a pie de página o al final y las citas bibliográficas en contexto. El lector, ante una nota a pie de página, abandona la lectura secuencial del mismo para acudir a la nota y, una vez leída, volverá a la posición original para continuar la lectura central del texto. Este es un tipo de navegación semántica.
Medir la navegación semántica en el contenido de un artículo electrónico puede objetivarse con la siguiente pregunta:
— ¿Están enlazadas las notas o las citas en contexto?
Ante esta pregunta podemos encontrar situaciones diversas que valoraremos con distinta ponderación.
Los artículos que simplemente recogen una copia de la versión impresa y que obligan al lector a desplazar la barra del navegador al final del documento para acceder a la nota. En esta situación consideraremos que carecen de navegación semántica.
Aquellos artículos que poseen un enlace interno desde la referencia a la nota al final del documento los puntuaremos con 1 siempre que exista la posibilidad de volver desde la nota al punto exacto —enlace bidireccional—, de otro modo el propio enlace carece de sentido.
Aquellos artículos que empleen mecanismos hipertextuales como enlaces a otro documento, capas de documento, uso del atributo “title” (Figura 9), etc. Estos mecanismos recibirán una puntuación de 2 en nuestro baremo.
Figura 9. Ejemplo de atributo “Title” en etiqueta “Anchor”. Sólo visible en Internet Explorer
Paràmetro 4. Ergonomía: Comodidad y facilidad de utilización.
Si tenemos presente que la ergonomía del recurso mide la capacidad de hacer agradable y no fatigosa la lectura del mismo y que, en el caso de las revistas electrónicas, la cantidad de información ofrecida obliga al lector a dedicar un tiempo considerable ante la pantalla, es lógico deducir que este parámetro constituye un elemento destacable en toda valoración.
Los indicadores propuestos por Codina pueden aplicarse de manera directa sin prácticamente puntualizaciones, si bien hemos preferido usarlos como calificadores de nivel de un único indicador que plantee la pregunta de si es ergonómico o no el recurso.
Como pretendemos cuantificar las respuestas al máximo a fin de evitar la subjetividad del evaluador, tendremos presente dos aspectos clave que pueden ayudarnos a determinar si la publicación contempla los temas ergonómicos.
— ¿Existe un libro de estilo de la publicación en donde se recojan aspectos como el tipo de letra, correlación texto-fondo?
Su existencia y cumplimiento se puntuará con un valor de 3.
— Caso de que no exista, ¿mantienen todos los documentos una uniformidad y es ésta ergonómica? o, por el contrario, ¿encontramos que cada documento es presentado en el formato en que el autor lo remitió?
Si se mantiene una uniformidad ergonómica puntuaremos este indicador con un valor de 2.
Para valorar si la uniformidad es ergonómica podemos hacer algunas observaciones sobre los indicadores propuestos por Codina.
Respecto a si hay una buena relación texto-fondo, este indicador parece cumplirse en prácticamente el 100% de las revistas consultadas en las que texto negro sobre fondo blanco parece ser la constante.
Con referencia a la tipografía, comentar que aunque durante una temporada el uso del tipo de letra MS Comic se extendió en muchos textos web, ésta debe reservarse para algún titular “divertido”, ya que los artículos y manuales que usan este tipo en el grueso del texto resultan bastante antiergonómicos. Personalmente comparto la opinión de Nielsen que “tipos de letra sans-serif como Verdana resultan más legibles” (Nielsen 2000:126)
Parámetro 5. Luminosidad: Presencia y calidad de los enlaces externos.
Las preguntas a plantearnos son:
— ¿Están enlazadas hipertextualmente las referencias en el texto a contenidos externos ya sea otros artículos, empresas o sedes citadas?
— ¿Están enlazadas las referencias bibliográficas?
Aunque tal vez estos aspectos sean mayoritariamente responsabilidad del propio autor, podría ponderarse el hecho de que figuren como requisitos en las normas de publicación o que la propia editorial revise la bibliografía del artículo y añada los enlaces pertinentes a la versión electrónica de la misma si existe, a empresas de suministro de documentos o a librerías en Internet como Amazon.
— ¿Hay constancia de algún sistema de revisión de enlaces?
A diferencia de las versiones papel en las que una vez publicado el texto éste permanece estático indefinidamente, los contenidos en el web son susceptibles de ser actualizados. Ya se han comentado por ejemplo, mecanismos de actualización y revisión de contenidos —inclusión de comentarios de los usuarios y respuestas del propio autor.
En el caso de los enlaces existen programas que realizan la tarea de su comprobación de forma automática. Un ejemplo lo constituye Linkbot (http://www.tetranetsoftware.com/) representado en la Figura 10.
Valoraremos con una puntuación de 2 si están enlazadas aquellas referencias que explícitamente hacen referencia a URL externas y con una puntuación de 3 si existen enlaces adicionales o mejoras como las descritas —verificación de enlaces, enlaces a servicios de suministro o librerías, listas de enlaces adicionales al tema.
Figura 10. Aspecto del verificador de enlaces Linkbot
Parámetro 6. Visibilidad: Número de enlaces que recibe de otros recursos.
Codina, en el texto citado, incluye en este parámetro tanto los indicadores encaminados a mejorar la correcta indización por parte de motores globales tipo Altavista o Google como los estudios bibliométricos encaminados a valorar el impacto de la misma.
Aunque existen estudios de análisis clásico de citas aplicados a revistas electrónicas (Harter 1996), este apartado conviene ser tratado con cautela considerando una clara diferenciación entre revistas de acceso público y revistas bajo suscripción, que son la mayoría.
Las revistas bajo suscripción estricta no necesitan concentrar esfuerzos en facilitar a los buscadores genéricos su correcta indización y la valoración de su impacto deberá realizarse por métodos tradiciones: índice de impacto en el Journal Citation Reports si figuran en él, artículos que la citan en los índices de citas —Science Citation Index, Social Science Citation Index, Art and Humanities Citation Index—, etc. No es lógico pensar que existan enlaces a documentos en los que el lector va a encontrar vetado su acceso. Una excepción a esto, cada vez más frecuente, es la implementación de sistemas “pay per view” en cuyo caso la referencia si que está disponible y el acceso al texto completo requiere un micropago. En estos casos los enlaces a estos documentos desde el entorno global de Internet si que son factibles.
Las revistas de acceso libre podrán valorarse siguiendo los parámetros de Codina:
Presencia de un título claro en el elemento TITLE del HEAD (y en consecuencia en el resumen de los indizadores)
Presencia de un resumen inicial en cada documento que puede incluir palabras clave en varios idiomas.
Presencia de metaetiquetas “Author”, “Keywords” y “Description”.
Consideraremos como indicador la presencia de elementos que facilitan la indización por motores públicos valorando con 1 la presencia de un título en la cabecera y con 2 la presencia de las metaetiquetas “Keywords” y “Description”.
En la actualidad un sistema avanzado de metaetiquetas, que siga Dublin Core, por ejemplo, no es admitido por los indizadores públicos más conocidos por lo que este indicador, propuesto por Codina en este punto, ha sido trasladado al parámetro 3. Es posible que en un futuro no muy lejano deba ser incluido en ambos.
Por lo que respecta al número de enlaces que recibe un artículo concreto puede medirse con las opciones correspondientes de Altavista o Google aunque el número de enlaces que recibe la revista en general proponemos aplicar la siguiente formula para calcular el que llamaremos Impacto Electrónico Ajustado (IEA):
(nombre d'enllaços que rep la revista – nombre d'enllaços que rep provinents de la mateixa revista) IEA = ————————————————————————————————————————— nombre d'articles o documents que conté la revista
Esta fórmula corresponde a un ajuste del factor de impacto Web WIF (Ingwersen 1998), y si bien puede remedar al factor de impacto clásico, presenta una serie de singularidades como el hecho de realizar un cómputo global, sin tener presente ni año de producción de cita ni de artículo. Esto es así porque, a diferencia del factor de impacto, en Internet los enlaces son acumulativos, es decir un enlace a nuestra revista contabilizado este año es de presuponer que continuará el año próximo con lo que las revistas con mayor antigüedad en la red tendrían una ventaja que no necesariamente reflejaría su interés actual.
Por esta razón, lo realmente valorable es la diferencia existente entre dos medidas del impacto electrónico separadas por un plazo de tiempo razonable. Consideramos que dada la facilidad en realizar esta medida y con la velocidad con que se producen cambios en Internet un periodo de un año entre las dos medidas resulta excesivo por lo que sería conveniente realizarla más frecuentemente. Parece lógico que este periodo no sea fijo para todas las revistas sino que esté en función de la frecuencia en que se incrementa la producción de la misma por lo que la medición podría coincidir con la aparición del nuevo número, justo antes de la difusión del mismo para recoger los datos del número anterior.
DIEA = IEAx + freqüència d'aparició – IEAx
Este parámetro que llamaremos diferencial de impacto electrónico ajustado (DIEA) se asemeja más a un índice bursátil que al índice de impacto clásico. Es independiente en sí mismo del resto de revistas ya que valora el incremento de popularidad del propio recurso. Un DIEA con valor 0 refleja que el incremento de enlaces externo ha sido proporcional al incremento de documentación en el recurso, valores positivos reflejan que la nueva producción del recurso ha provocado un incremento mayor en el número de enlaces mientras que un valor negativo implicaría que la nueva producción no es vinculada desde el exterior.
Evidentemente, sería posible comparar revistas en función de su mayor o menor diferencial.
3 Evaluación de la revista BiD
Situación previa
Con la finalidad de evaluar la funcionalidad de los parámetros descritos se procedió a aplicarlos al caso concreto de la revista BiD: textos universitaris de biblioteconomia i documentació. Los parámetros se pasaron a primeros de diciembre del 2000, coincidiendo con la aparición del número 5, y fueron la base de las primeras actuaciones implementadas ya en ese número, y de las propuestas de futuro que se describirán en los puntos siguientes.
La Tabla 2 recoge la evaluación efectuada. La escala de valoración se efectúa del 1 al 3 reservando la puntuación máxima de 3 para aquellos indicadores hipertextuales de mayor relevancia tal y como se ha comentado en puntos anteriores. La puntuación fruto de las mejoras incorporadas en el número 5 se recoge en rayado oblicuo.
Parámetro Puntuación
Indicador 1
2
3
Autoria Delimitación de la responsabilidad o autoría X Evidencias de solvencia X Posibilidad de contactar con el autor X Comunicación sobre los contenidos X Contenido, valor intrínseco y volumen de la información
Información de valor añadido ** Volumen de información X Jerarquización de la información X Supervisión de la informació X Periodicidad y actualización de la información X Acceso a la información: navegación y recuperación
Navegación estructural X Sistema de búsqueda estructurada Índices temáticos de los contenidos Navegación semántica X Ergonomía: comodidad y facilidad de utilización
¿Es ergonómico el recurso? X Luminosidad: presencia y calidad de los enlaces externos
¿Existen enlaces externos en los documentos? X Visibilidad: número de enlaces que recibe de otros recursos
Elementos facilitadores de indización por motores públicos
Valor del DIE Por determinar Tabla 2. Evaluación de la revista BiD
Primeres actuacions
Analizando los parámetros anteriores queda manifiesto que los puntos más débiles hacían referencia a la recuperación y a la visibilidad de la información. En ambos casos existían indicadores ausentes o con puntuación baja. Considerando que estamos analizando un recurso en el que la información y los contenidos juegan un papel fundamental es obvio que las primeras líneas de actuación deben ir dirigidas a incidir sobre estos parámetros. A este respecto la aparición del numero 5 incorporó las mejoras siguientes.
Inclusión de elementos facilitadores de su indización por motores públicos.
Los documentos incluyen en la etiqueta “Title” el título del artículo y el año y volumen. Se incluye igualmente en la cabecera las metaetiquetas “Keywords” y “Description”. Se planifica actualizar esta información en los documentos anteriores.
Inclusión de un motor de búsqueda
Dado que la incorporación de un motor propio requiere un esfuerzo y programación considerable se aplazó esta posibilidad para un futuro y se opta por usar un motor público (Figura 11) llamado Atomz <http://www.atomz.com> Se prescinde de una búsqueda básica y se configura una interfaz que permita búsqueda global, por título o por autor. Para ello es necesario adaptar unas metaetiquetas específicas que se incluyen en los documentos del número 5. Se planifica su futura inclusión en los retrospectivos.
Por la tipología de documentos se configura el sistema para que el operador por defecto sea el AND (a diferencia de la mayor parte de buscadores que emplean el OR). El sistema envía informes que recogen las búsquedas efectuadas por los usuarios y se podrá analizar si la configuración es válida y si los usuarios utilizan la interfaz como es de esperar.
Figura 11. Sistema de recuperación Atomz aplicado a BiD
Inclusión de metatiquetas siguiendo el modelo Dublin Core
Aunque Atomz no admite los esquemas Dublin Core existen distintos proyectos que nos hacen pensar que esta codificación podría ser de utilidad. En concreto varios grupos de trabajo en nuestra Facultat examinarán las posibilidades del motor de indización de la empresa Verity <http://www.verity.com> y la posibilidad de que trabaje con etiquetas Dublin Core. Inicialmente los documentos del número 5 incluyen ya estas metaetiquetas.
Un segundo aspecto ligado a la mejora de los indicadores de autoría fue enlazar aquellos artículos publicados por el profesorado de la Facultat de Biblioteconomia i Documentació a una base de datos en donde encontraremos la fotografía, teléfono, datos postales y correo electrónico. Desde esta ficha es posible también conectar con una base de datos institucional llamada GREC en la que se recogen las publicaciones de cada profesor (Figura 12). Si bien la base de datos de profesorado es gestionada centralmente por la Unitat Departamental, la base de datos GREC es alimentada y modificada directamente por el propio profesor encontrándonos en este momento en una fase de entrada voluntaria de registros.
Figura 12. Composición que muestra la secuencia de enlaces artículo - ficha del profesor - publicaciones.
Un enlace al documento original desde el currículo también es posible.
Propuestas de futuro
Siguiendo la tabla de indicadores pasamos a enumerar una serie de propuestas que permitirían acceder al nivel 3 a muchos indicadores. Recordamos que estas propuestas son realizadas por el autor de este documento y se transmitirán al comité editorial sin que ello presuponga aceptación ni consenso a priori, ni obedezcan a ningún encargo del mismo. Somos conscientes que algunas opciones pudieran exceder a las posibilidades técnicas o humanas de la revista pero han sido incluidas igualmente para ser tenidas en cuenta en un futuro. En algunos casos como la elaboración de un libro de estilo, nos consta que es un proyecto que ya está en marcha con anterioridad a esta propuesta.
Mejorar los indicadores de autoría
Establecer como normativa requerir a los autores si disponen de una página personal o una página que recoja su currículo y publicaciones. En su defecto solicitarles un breve currículo a incluir en el artículo.
Establecer enlaces para localizar otras publicaciones de ese mismo autor en bases de datos de biblioteconomía accesibles gratuitamente en Internet (DOIS, Datatheke).
Establecer algún sistema que permita recoger y consultar opiniones de los lectores.
Mejorar el valor añadido
- Incluir un enlace a algún sistema de traducción
La política de la revista ofrece la traducción de los artículos en castellano o inglés al catalán que es el idioma oficial de la misma, de manera que puedan aparecer en ambos idiomas. Desgraciadamente los costes no permiten otras combinaciones por lo que puede plantearse como alternativa un enlace a sistemas de traducción automática siempre que quede manifiesto que la revista no es responsable de la calidad de la traducción.
Establecer mecanismos de valoración cuantitativa de acceso a cada artículo respecto al total del número o al total de la revista.
Enlazar la bibliografía al catálogo de la Biblioteca de la Universidad de Barcelona
Esta opción estaría encaminada a su localización, reserva y préstamo a miembros de la UB y posible petición de copias de documentos en formato papel recogidos en la bibliografía. Posiblemente excedería las posibilidades de la revista enlazarlos a otros centros o librerías aunque sería una opción a tener en cuenta.
- Elaborar perfiles de alerta temáticos
Dado que es una publicación semestral y con una cantidad moderada de artículos podría plantearse perfiles temáticos bastante generales (tecnologías, archivística, etc.)
Mejorar el acceso a la información: navegación y recuperación
Rediseñar la barra de estado de cada artículo para que permita una navegación estructural clara a todos los niveles.
Mejorar el sistema de recuperación con el motor de recuperación de Verity y la indización de metaetiquetas Dublin Core.
Elaborar un sistema de navegación por índices temáticos.
Millorar l'ergonomia
Elaborar un libro de estilo que incluya diseño y estructura de los contenidos.
Aplicar hojas de estilo en cascada en el diseño.
Rediseñar el logotipo y el espacio de la cabecera.
Mejorar la luminosidadMejorar la visibilidad
Revisar y completar enlaces externos en los documentos.
Instaurar un sistema de revisión de enlaces automático.
Podría plantearse la creación de una breve list de enlaces de interés sobre el tema (4 ó 5 como máximo) por parte de documentalistas de la propia revista, valorados, comentados y consensuados con el autor.
Incluir los elementos que facilitan su indización por motores públicos en todos los documentos.
4 Conclusiones
La evaluación de recursos digitales es un proceso necesario que progresivamente debe instaurarse en Internet. Actualmente ya existen diversas agencias dedicadas a esta tarea. Un primer intento de aplicación directa de los parámetros propuestos por Codina ha hecho reflexionar a este autor sobre el hecho de que la existencia de recursos variados exige una concreción de los parámetros e indicadores a aplicar en cada uno de los casos, cosa que posiblemente se manifestará en grupos de evaluación o agencias temáticas.
Pero hay algo más. Dentro de una misma categoría de recursos, la cantidad puede ser tan elevada que una agencia de evaluación precise emplear varias personas a esta tarea. En este punto nos preocupaba la influencia de los criterios individuales a la hora de ponderar cada indicador y por ello proponemos unos criterios específicos objetivos que permitan al evaluador asignar una puntuación concreta. Al igual que Aguillo, consideramos que “los procesos de evaluación deben ser objetivos. Los aspectos formales tienen que ser abordados de forma fundamentalmente descriptiva, estableciendo criterios umbrales. Los aspectos sustantivos requieren aproximaciones cuantitativas” (Aguillo 2000: 235)
Somos conscientes que el factor subjetivo humano del evaluador siempre estará presente, en especial en determinados indicadores, pero hemos intentado controlarlo al máximo. Esperamos que esta aportación sirva como reflexión, se esté o no de acuerdo con ella, y abra las puertas a futuros debates.
Bibliografía
Aguillo, Isidro F. 2000. Indicadores hacia una evaluación no objetiva (cuantitativa) de sedes Web. En: 7as Jornadas Españolas de Documentación. p. 233–248. Bilbao: Universidad del País Vasco. Servicio editorial.
Apps, Ann y MacIntyere, Ross. 1999. “Metadata for the Nature Digital Archive”. Página Web, [Consulta: 15-3-2001]. Disponible en <http://epub.mimas.ac.uk/natpaper.html>.
Codina, Lluís. 2000a. Evaluación de recursos digitales en línea: conceptos, Indicadores y métodos. Revista Española De Documentación Científica. vol. 23, núm. 1, p. 9–44.
Codina, Lluís. 2000b. Parámetros e indicadores de calidad para la evaluación de recursos digitales. En: 7as Jornadas Españolas de Documentación. Bilbao: Universidad del País Vasco. Servicio editorial. p. 135–144.
Garfield, E. 1999. Journal impact factor: a brief review. CMAJ, vol. 161, núm. 8, p. 979–980.
Garfield, E. “The ISI Essays: ISI”. Página Web, [Consultada el 15/03/2001]. Disponible en <http://www.isinet.com/isi/hot/essays>.
Giménez Toledo, Elena, Luis Rodríguez Yunta, y Adelaida Román Román. 2000. Un programa para mejorar la calidad de las revistas científicas. Aplicación a las revistas españolas de biblioteconomía, documentación y archivística. 7as Jornadas Españolas de Documentación, 331–341. Bilbao: Universidad del País Vasco. Servicio editorial.
Harter, Stephen P. 1996. The Impact of Electronic Journals on Scholary Communications. A citation analysis. The Public-Access Computer Systems Review 7, no. 5. Accesible en: <http://info.lib.uh.edu/pr/v7/n5/hart7n5.html>. [Consulta: 15-3-2001].
Ingwersen, P. 1998. “The calculation of Web Impact Factors”. Journal of Documentation, vol. 54, núm. 2, p. 236–243.
Nielsen, Jakob. 2000. Usabilidad. Diseño de sitios Web. Madrid: Pearson Educación.
Data recepción: 10/4/2001. Data aceptación: 19/4/2001.
Notes
* Una excepción a esta regla es el completísimo tesauro Mesh (Medical Subject Headings) de la base de datos Medline que puede consultarse en <http://www.ncbi.nlm.nih.gov/PubMed>.
** Hemos considerado que posee valor añadido al existir un formulario de suscripción.