Paràmetres i indicadors de qualitat en l'avaluació d'una revista electrònica. El cas de BiD: textos universitaris de biblioteconomia i documentació
[versión castellana]
Josep Manuel Rodríguez Gairín
Facultat de Biblioteconomia i Documentació
rzgairin@fbd.ub.es
Resum
L'objectiu de l'article és l'establiment d'un conjunt de paràmetres i indicadors que permetin l'avaluació de revistes electròniques accessibles via web. La metodologia emprada consisteix a analitzar els paràmetres i indicadors genèrics descrits per Lluís Codina i concretar-los, a partir d'exemples, perquè puguin ser aplicats en un recurs web específic: una revista electrònica. Una vegada definits els indicadors específics, es procedirà a avaluar la revista BiD, de la Facultat de Biblioteconomia i Documentació de la Universitat de Barcelona, amb la finalitat de comprovar-ne la funcionalitat. Del resultat de l'estudi, es destaquen els punts febles que presenta actualment la revista i s'estableix un conjunt de propostes destinades a millorar-los.
1 Introducció
L'avaluació de les publicacions periòdiques és un tema tractat en diversos estudis, en especial, les revistes científiques i tecnològiques. Al nostre sector trobem projectes com ara Latindex (Giménez Toledo, Rodríguez Yunta, i Román, 2000) encaminats a millorar la visualització i la qualitat de les nostres publicacions sense distingir-ne la via de difusió. La nostra aportació es concentrarà a analitzar les característiques que n'afecten un grup: les revistes electròniques, sobretot aquelles que es difonen a través de mecanismes hipertextuals com el web.
L'elecció del tipus de recurs no és casual ni aleatòria. Les revistes electròniques constitueixen un tipus de recurs web clarament acotable i molt important en el nostre entorn; són un element en el qual el factor predominant són els continguts i on els aspectes d'“usabilitat” poden estar influïts pel model clàssic de revista en format paper sense tenir present les possibilitats addicionals que l'hipertext ens ofereix.
L'elecció de BiD com a cas concret d'estudi obeeix, igualment, a una sèrie de raons que es detallen a continuació:
És una revista relativament jove però alhora consolidada i amb l'aval de qualitat que li atorga la Facultat de Biblioteconomia i Documentació de la Universitat de Barcelona. Actualment té cinc números i el nombre de documents publicats són suficients per poder aplicar-li de manera retrospectiva les actuacions proposades.
La relació d'aquest autor amb el comitè de la revista i amb la Facultat li permetrà implementar alguns d'aquests procediments i millores i passar d'un model teòric a un model pràctic que, en alguns casos —com en el sistema de metadades o el motor de cerca—, actualment ja es materialitzen.
En aquest punt és important assenyalar que l'esmentada relació és relativament recent i pràcticament s'inicia a partir del moment de l'elaboració d'aquest document. No té, per tant, vicis o influències que podrien existir si aquest autor hagués participat prèviament en el disseny de la revista. Igualment és important assenyalar que les propostes de millora aquí descrites són únicament això, propostes personals, però no tenen cap caràcter oficial ni s'ha de pressuposar que hagin estat sol·licitades ni assumides pel comitè editorial de BiD.
2 Paràmetres i indicadors de qualitat adaptats a una revista electrònica
Per dur a terme aquesta feina s'ha partit concretament de la revisió de paràmetres presentada per Codina a les VII Jornades de Documentació (Codina, 2000b).
A diferència de comunicacions anteriors (Codina, 2000a), en què es presentaven 14 elements, aquesta vegada l'autor estableix una diferència entre sis paràmetres concrets, definits com a “propietats o característiques dels recursos digitals que seran objecte d'avaluació”, i els seus indicadors definits com a “aspectes o elements d'un recurs digital que es consideren per poder prendre decisions sobre la qualitat d'un paràmetre”.
La Taula 1 recull de manera esquemàtica els esmentats paràmetres i indicadors. Recomanem al lector la consulta prèvia dels esmentats treballs, ja que no és la nostra intenció reproduir-ne tot el contingut i en algun cas podran trobar-se referències que en pressuposen la lectura o el coneixement.
Paràmetres Indicadors Autoria
Autoria del recurs ben determinada
Solvència de la institució
Possibilitat de posar-se en contacte amb l'autor o la institució
Possibilitat d'enviar missatges a l'autor o la institució
Contingut
Existència d'informació valuosa
Volum d'informació suficient
Informació contrastada i rigorosa, editada o supervisada
Informació actualitzada
Navegació i recuperació
Recórrer l'estructura del web sense perdre's
Orientacions de context
Jerarquització dels continguts
Sistema de cerca
Mapa de navegació o sumari
Sumaris locals o seccions
Índexs temàtics, cronològics, geogràfics o onomàstics
Necessitat de desplaçar-se per veure la totalitat del sumari
Navegació semàntica
Opcions de navegació clares
Navegació amb un nombre limitat de clics
Ergonomia
Bona relació figura-fons
Tipografia adequada
Marges a tots dos costats del text i entre paràgrafs
Imatges que completen la informació textual o l'entorpeixen
Visualització agradable
Lluminositat
Enllaços externs
Enllaços avaluats i seleccionats
Enllaços actualitzats
Valor afegit en els enllaços
Visibilitat
Títol del web a la barra del navegador
Contingut del recurs en els primers paràgrafs
Presència de metaetiquetes bàsiques
Presència de metaetiquetes Dublin Core
Enllaços des d'altres pàgines
Taula 1. Paràmetres i indicadors descrits per Codina.
Considerem que aquests sis paràmetres generals són perfectament vàlids per a l'avaluació d'una revista electrònica, i la nostra feina es concentrarà a concretar els indicadors específics aplicables a aquest tipus de recurs.
A continuació enumerarem cada un d'aquests paràmetres i establirem una sèrie de preguntes concretes que permetin a l'avaluador d'assignar una puntuació específica entre 0 i 3 punts a cada un.
Paràmetre 1. Autoria: adequació i solvència
Indicador 1. Delimitació de la responsabilitat o autoria de la informacióEn el cas d'una revista electrònica, com en una revista en format tradicional, hem de diferenciar entre l'autoria de la revista i l'autoria de tots els continguts: articles, revisions, editorials, etc.
Les preguntes que podem formular-nos són:
— S'especifica l'entitat responsable de la publicació?
— S'especifiquen els membres i les funcions del comitè editorial?
— S'especifica l'autoria personal de cada aportació?
Una valoració positiva d'aquest indicador estaria condicionada, en primer lloc, per una resposta positiva a les dues primeres preguntes. En l'última, podria fer-se una valoració quantitativa d'acord amb el percentatge de documents en què està indicada l'autoria. Proposem valorar amb 1 punt si el percentatge de documents en què s'especifica l'autoria és superior al 60%, 2 punts entre el 60 i el 95% i 3 punts entre el 95 i el 100%.
Indicador 2. Evidències de solvènciaCom a l'indicador anterior, hem de diferenciar la solvència de la revista en si mateixa i la dels continguts que publica. En el primer cas, la informació sobre la mateixa entitat responsable o paràmetres bibliomètrics clàssics, com ara el factor d'impacte (Garfield, 1999; Garfield, 2001) produït per l'Institute for Scientific Information, seran els elements que cal tenir presents davant d'una valoració.
Pel que fa a cada un dels articles, tradicionalment el lector d'un document concret d'una revista en format paper pot fer judici de valor de la solvència de l'autor a partir d'una breu ressenya curricular inclosa a l'article. La informació mínima seria la indicació del lloc de treball i càrrec que sol aparèixer acompanyant el nom. Altres vegades, trobem al final un breu currículum que s'exigeix a l'autor junt amb la presentació de l'original. Aquest tipus d'indicadors que en direm clàssics poden delimitar-se amb les preguntes següents:
— Cada article té indicació del lloc de treball de l'autor i del càrrec?
— Cada article té una breu referència curricular de l'autor o autors?
Tanmateix no hem de caure en la temptació de fer una valoració idèntica a la que faríem en una versió impresa de la revista. La navegació hipertextual ens permet de millorar aquest paràmetre usant uns indicadors hipertextuals com ara:
— Cada article té un enllaç al currículum vitae o a una pàgina personal de l'autor?
— Enllaça el lloc de treball de l'autor amb el web corresponent?
A diferència de les dues primeres preguntes, en aquest cas, la informació addicional sobre la solvència serà dinàmica i actualitzada en la mesura que l'autor o la institució la mantinguin actualitzada. S'ha de ser conscient que no tots els autors disposen de pàgina personal o currículum a la Xarxa; per això els indicadors clàssics s'han de mantenir com a opció alternativa. La proposta és que quan es valori aquest indicador se li atorgui una puntuació d'1 si compleixen els indicadors clàssics i 2 si compleixen els indicadors hipertextuals.
La creació d'URL que interroguen bases de dades a partir del nom de l'autor com a paràmetre constitueix un exemple curiós de mecanisme automàtic d'enllaç al currículum de l'autor —com a mínim a les seves altres publicacions. Desgraciadament la base de dades que pot oferir-nos aquesta informació no sempre és accessible gratuïtament a Internet.
En l'àmbit de la documentació biomèdica, en el qual es mou aquest autor, trobem exemples interessants basats en la consulta a Medline com el que es mostra a la Figura 1.
Figura 1. Enllaç a cerques per autor a la base de dades Medline en els articles del British
Medical Journal (BMJ) com a indicador de solvència o producció científica dels autors.
Indicador 3. Possibilitat de posar-se en contacte amb l'autor o la revistaEn aquest cas l'indicador clàssic seria la presència, tant a les pàgines de la revista com als articles corresponents, d'una adreça postal, telèfon o fax de contacte. L'indicador hipertextual seria la presència d'una adreça electrònica enllaçada.
L'opinió d'aquest autor, com a mínim pel que fa a la revista, és que l'indicador hipertextual no ha de substituir el clàssic sinó complementar-lo, ja que podria produir-se la paradoxa que s'exigís una còpia en paper del document abans de l'acceptació, però que no existís adreça postal per enviar-lo o que no es disposés d'un número de telèfon de contacte per poder fer una consulta que requerís una resposta immediata.
La valoració d'aquest indicador requereix la presència d'indicadors clàssics de la revista, i s'atorguen 2 punts si hi ha indicadors hipertextuals que permetin de posar-s'hi en contacte i 3 punts si n'hi ha per posar-se en contacte amb cada un dels autors dels treballs.
Indicador 4. Comunicació sobre els continguts (rectificacions, queixes, comentaris)Sens dubte aquest indicador ofereix moltes possibilitats a l'entorn web i, si bé la possibilitat d'enviar comentaris o rectificacions a l'autor és possible en moltes publicacions, són poques les que incorporen mecanismes que permetin adjuntar opinions dels lectors o d'experts que a la vegada pugui veure qualsevol persona que accedeixi a la revista (Figura 2). Considerem que aquest últim punt és molt rellevant, ja que recull una de les essències d'Internet i de l'hipertext.
Figura 2. Contribucions electròniques a un article de BMJ.
L'opinió dels lectors com a indicador de qualitat en l'autoria.
Valorarem amb 1 punt l'existència del simple enllaç al correu electrònic de l'autor, amb 2 punts si hi ha un mecanisme explícit per enviar aportacions o comentaris —formulari de suggeriments, botó per enviar queixes o aportacions, etc.— i amb 3 si els lectors poden veure aquestes aportacions. Entenem que és lògic acceptar que aquest últim mecanisme pugui estar filtrat i valorat èticament per la mateixa revista.
Paràmetre 2. Contingut, valor intrínsec i volum de la informació
Indicador 1. Conté informació intrínsecament valuosa o té alguna informació de valor afegit?Aplicar aquest indicador al conjunt de revistes electròniques no és fàcil. En el cas de revistes que coexisteixin en versió en paper i en versió electrònica ha de ser possible preguntar-se quins aspectes de la versió electrònica conduirien el lector a elegir-la davant la versió en paper. En el cas de revistes de publicació electrònica exclusiva, han de complir forçosament aquests aspectes.
Així podríem preguntar-nos:
— La revista té articles complementaris o informació addicional no disponible en la versió en paper?
— Disposa d'algun sistema de traducció?
Encara que els enllaços a sistemes de traducció automàtica, com l'ofert per Altavista <http://babelfish.altavista.com/translate.dyn>, ofereixen resultats pobres, poden ser opcions acceptables si la nostra revista té una cobertura internacional.
— La revista disposa d'un sistema d'alerta que informa de l'aparició de nous números?
Encara que el mecanisme més senzill és la subscripció a través d'un formulari perquè els usuaris puguin rebre informació per correu electrònic de l'aparició de nous números, algunes editorials han desenvolupat sistemes més sofisticats (Figura 3) com ara perfils temàtics a partir d'una estratègia de cerca definida per l'usuari o alertes quan apareguin nous articles que citin l'article que estem visualitzant.
Figura 3. Tres sistemes d'alerta diferents oferts per les revistes d'Elsevier (Science@Direct) i BMJ.
— Són articles escrits per al web?
Encara són moltes les editorials que fan de les versions electròniques de les revistes simples imatges escanejades de les versions en paper (Figura 4) i, en cas contrari, continua sent freqüent trobar una estructura d'article que imita la clàssica lectura contínua.
Possiblement són els autors els que mantenen aquest vici i no fan cas dels postulats de Nielsen: “Si té un article llarg, el millor consell és el de reescriure'l i abreujar-lo, o fragmentar-lo en pàgines d'hipertext més petites [...]” (Nielsen, 2000, p. 123). Evidentment, aquesta és una tasca de l'autor; és ell qui ha de reformular el contingut escrivint per al web (Figura 5). La simple fragmentació d'un text lineal és una solució pitjor perquè “als usuaris no els agrada desplaçar-se, però encara els agrada menys haver d'esperar que es descarregui la pàgina següent quan són enmig d'una història”.(Nielsen, 2000, p. 123).
Figura 4. Estructura seqüencial dels articles d'Advances in Physics a partir de
generació d'un format PDF de la revista impresa. El format PDF és recollit “tal
qual”, no s'apliquen enllaços ni cap característica hipertextual addicional.
Figura 5. Exemple d'article hipertextual en què és possible iniciar la lectura en diferents
punts. Font: Lluís M. Anglada i de Ferrer. <http://www.cbuc.es/articles/bdigupf/>.
Establirem la valoració d'aquest indicador com a negativa —sense valoració— quan la revista es limiti a reproduir o imitar una publicació clàssica (documents en PDF sense res més, documents de Word, documents en HTML sense enllaços); una valoració 1 quan els articles presentin evidències d'hipertextualitat simple: HTML amb enllaços; una puntuació de 2 quan a més del que s'ha esmentat abans presenti eines amb valor afegit com per exemple els serveis d'alerta o articles complementaris si és una versió d'una revista en paper; i una puntuació de 3 quan els articles presentin una estructura hipertextual completa i disposin de doble versió (lineal en PDF per a la impressió i hipertextual per a la lectura en pantalla estructurada en petits documents enllaçats, etc.).
Indicador 2. Conté un volum considerable o suficient d'informació en relació amb el tema o especialitat del recurs?
La concreció d'aquest indicador, en el cas d'una publicació periòdica, podria plantejar-se amb preguntes com ara:
— És un producte nou o està disponible des de fa anys?
Aquest indicador permet de mesurar una certa estabilitat i consolidació del recurs. Resulta difícil establir la proporció o antiguitat per considerar una revista consolidada, però podríem reservar la puntuació de 3 per a aquelles revistes amb més de 10 anys d'experiència o 5 anys si hi ha una experiència prèvia en altres formats. Deixem a criteri de l'avaluador el límit entre una puntuació d'1 o de 2.
— Cada número té una certa quantitat de documents, seccions, etc.?
Com que es redueixen els costos de producció i s'anul·len els de distribució és possible trobar algunes revistes electròniques que llancen números amb simplement un parell d'articles. Aquesta situació invalidaria la puntuació de l'indicador.
Indicador 3. Hi ha evidències que els continguts han estat jerarquitzats segons la seva importància relativa?
En aquest cas reformularem l'indicador de la manera següent: Hi ha mecanismes que indiquin la importància relativa de cada document?
La valoració de la importància relativa de cada document podria establir-se amb la subdivisió de cada número en seccions o amb criteris quantitatius relatius, com ara el percentatge de visites que ha rebut aquest article respecte al total d'aquest número concret. Aquesta dada s'ha de valorar amb cautela, ja que el percentatge de visites depèn en part del sector de públic al qual es dirigeixi el document.
Indicador 4. Conté evidències que la informació ha estat contrastada o supervisada?
Una manera de valorar si la informació continguda està contrastada és analitzant la bibliografia que conté i les possibles fonts citades per cada autor sense que això vagi en detriment d'aportacions singulars basades en l'opinió directa d'un autor de prestigi. Per tant, la pregunta que s'ha de formular per avaluar aquest indicador és:
— Els articles tenen bibliografia adequada i completa?
Pel que fa a la supervisió, aquest és un tema que va a càrrec de la revista: sobre això podem preguntar-nos:
— La revista té un comitè de redacció?
— Estan disponibles les instruccions en línia per als autors?
— Hi ha algun mecanisme de “revisió per experts” abans de la publicació?
La valoració en aquest cas s'efectuarà assignant 1 si hi ha bibliografia clara, 2 si la revista té mecanismes de supervisió com ara revisió d'un comitè de redacció, normes per als autors (s'ha de pressuposar que es rebutjarien documents que no complissin el nivell 1) i reservarem el nivell 3 per a aquells casos que tinguin una valoració feta per experts aliens a la publicació o mecanismes hipertextuals del tipus opinió d'experts. Pot plantejar-se la lectura del contingut, abans de la publicació, a un expert i sol·licitar-li una valoració o ressenya per incloure al mateix document.
Indicador 5. Conté evidències de ser una informació actualitzada amb la freqüència adequada al recurs?
La pregunta que s'ha d'aplicar en aquest indicador és:
— La revista té marcada una periodicitat i es compleix?
En aquest cas ometrem la puntuació d'1 i 3: usarem únicament la de 2 si es compleix la periodicitat i deixarem sense valoració si no és possible determinar-la o no s'especifica explícitament.
Paràmetre 3. Accés a la informació: navegació i recuperació
Les revistes, ja siguin electròniques o en altres formats, són clars exemples d'estructuració de la informació. La revista com a seu dóna pas a volums o grans agrupacions temporals —volums, per anys per exemple—, cada una se subdivideix en agrupacions d'aparició —números— i cada una d'aquestes es descompon en agrupacions temàtiques —seccions— que al seu torn es componen d'unitats de contingut —articles.
Tanmateix, hi ha una gran diferència entre els mecanismes de localització d'informació en una revista en paper o en versió electrònica. Suposem que un lector vol localitzar l'article de Lluís Codina publicat a la Revista española de documentación científica de l'any 2000, el número 1 del volum 23. En l'entorn clàssic d'una biblioteca, aquest lector es passejarà per davant de la prestatgeria on hi ha la revista fins que localitzi l'any, escollirà el volum adequat i localitzarà en el número concret les pàgines corresponents. Però si el lector pogués seure en una taula i dir al bibliotecari: “si us plau, pots portar-me aquest article?” i el bibliotecari en qüestió de mil·lisegons l'hi portés, sens dubte elegiria aquesta última opció. Això és exactament el que pot fer un sistema de recuperació d'informació basat en un motor d'indexació de continguts en una revista electrònica.
Aquest raonament podria qüestionar-se amb l'afirmació que molts lectors van a la biblioteca a revisar què s'ha publicat últimament, però segons la meva opinió això s'aplica al número en curs o, com a màxim, als números més actuals. Aquesta opció d'anar a “la biblioteca a revisar el que s'ha publicat de nou en una revista” té també la traducció electrònica si es té un sistema d'alerta que enviï a la bústia del correu electrònic de l'usuari el sumari de la revista a mesura que es generi.
Finalment, pot ser que el nostre usuari vulgui “fullejar” les novetats publicades sobre un tema concret. Aquest objectiu s'ha d'assolir amb l'ús de bases de dades documentals encara que l'usuari potser agrairia en una biblioteca clàssica una vitrina en què figurin els últims números de totes les revistes d'hematologia, per exemple, per poder revisar-les sense haver de desplaçar-se per totes les prestatgeries seguint l'ordre alfabètic. La traducció hipertextual d'aquest cas seria l'existència d'un sistema de navegació temàtica amb recuperació que inclogui ordenació cronològica o perfils d'alerta temàtics.
En aquest paràmetre hem reestructurat els 11 indicadors de base en 4, mentre que els 7 restants es podran detectar com a matisacions que permeten d'establir el nivell amb què els puntuem.
Indicador 1: Hi ha navegació estructural?D'acord amb la premissa plantejada per Codina de no fer més de cinc clics des de qualsevol punt per anar a qualsevol lloc i estructurant la informació segons els criteris anteriors, caldrà que hi hagi un sumari d'anys/volums, un sumari de números de cada any i un sumari de contingut de cada número. Plantegem que cada article o document disposi d'una eina o barra de navegació que permeti accedir:
- a la pàgina principal de la revista
- al sumari general (de volums o anys disponibles)
- al sumari de números de l'any que estem consultant
- al sumari de continguts del número que estem consultant
- a l'article següent del número que consultem.
Un bon exemple d'aquest sistema de navegació és l'implementat a la revista Nature (Figura 6).
Figura 6. Mecanismes de navegació de la revista Nature
Aquest plantejament es pot simplificar en el cas de revistes amb poc volum o escassa periodicitat.
En aquest cas establirem una puntuació d'1 si hi ha una navegació estructural bàsica —per exemple un índex global que condueixi a índexs de números i d'aquí als articles—, una puntuació de 2 quan tots els documents incloguin com a mínim un enllaç a l'índex global de manera que amb menys de 5 clics puguem navegar entre dos punts qualssevol del recurs, i una puntuació de 3 si es disposa d'una barra de navegació completa com la descrita que informa en quin nivell es troba l'usuari i les possibilitats d'accés a cada un dels nivells.
Indicador 2. Hi ha opcions d'accés a la informació per mitjà d'un sistema de cerca estructurada per paraules o frases?
Ja hem indicat la importància d'un sistema de cerca estructurada i, com que els documents en general presenten una estructura molt definida, podríem concretar aquest indicador amb les preguntes següents:
— Permet cerques globals?
— Permet limitar per camps bàsics (autor, títol)?
— Permet limitar per camps específics (paraules clau, resum, bibliografia)?
— Permet operadors booleans?
— Permet truncaments?
— Permet navegació pels índexs?
— Permet limitacions temporals, d'idioma, etc.?En definitiva, basant-nos en tot el que s'ha dit anteriorment, ens plantegem:
— El sistema disposa d'un sistema avançat de metadades que permeti l'estructuració, basades en Dublín Core per exemple?
De nou la revista Nature (Figura 7) ens ofereix una interfície de recuperació molt completa fruit de la inclusió de metadades als seus documents (Apps and MacIntyere, 1999).
Figura 7. Interfície de recuperació d'informació de Nature
Evidentment un sistema d'aquest tipus està basat en una base de dades documental o un indexador sempre que els documents estiguin ben etiquetats. En aquest punt, i ja que el llenguatge XML tindrà un gran protagonisme en un futur no gaire llunyà (Figura 8), també podríem preguntar-nos:
— Els documents tenen un sistema d'etiquetatge de contingut XML per exemple?
Figura 8. Referència bibliogràfica estructurada en XML
Si bé l'exemple de la figura 8 correspon a una citació d'una base de dades, —Medline en concret—, en un futur no gaire llunyà serà la manera d'estructurar el contingut complet dels articles.
Aplicant aquests criteris establirem una puntuació d'1 si el recurs té un sistema de recuperació bàsic —casella de cerca global—; de 2 si té cerca avançada que permeti limitacions pels camps bàsics —autor, títol, paraules clau— i de 3 si el sistema disposa de metadades completes i hi ha algunes possibilitats de cerques superavançades —limitacions per afiliació de l'autor, per camp bibliografia, etc.
Indicador 3. Hi ha índexs temàtics dels continguts?L'existència d'índexs temàtics és una de les grans mancances de les revistes electròniques i també de la majoria de bases de dades accessibles per Internet.* Els documentalistes “clàssics” i els bibliotecaris són, sens dubte, els primers a notar aquesta mancança, acostumats a l'ús de sistemes de recuperació com els que ofereixen Dialog <http://www.dialog.com> o les bases en CD-ROM o ERL de l'empresa Silverplatter <http://www.silverplatter.com> en què és possible consultar índexs i tesaurus en línia i seleccionar directament els termes.
En aquest apartat ometrem la puntuació 1, ja que la presència d'un índex temàtic que permeti la navegació és prou important per assignar-li una puntuació de 2 i reservarem la puntuació de 3 per a l'existència d'estructures jerarquitzades a manera de tesaurus.
Indicador 4. Hi ha navegació semàntica?En un article clàssic en format en paper hi ha diversos elements que afegeixen informació addicional a la lectura seqüencial, entre els quals podem destacar les notes a peu de pàgina o al final i les citacions bibliogràfiques en context. El lector, davant d'una nota a peu de pàgina, abandona la lectura seqüencial per anar a la nota i, una vegada llegida, torna a la posició original per continuar la lectura central del text. Aquest és un tipus de navegació semàntica.
Mesurar la navegació semàntica en el contingut d'un article electrònic es pot objectivar amb la pregunta següent:
— Estan enllaçades les notes o les citacions en el context?
Amb aquesta pregunta podem trobar diverses situacions que valorarem amb diferent ponderació:
Els articles que simplement recullen una còpia de la versió impresa i que obliguen el lector a desplaçar la barra del navegador al final del document per accedir a la nota. En aquesta situació considerarem que no tenen navegació semàntica.
Aquells articles que tenen un enllaç intern des de la referència a la nota al final del document els puntuarem amb 1, sempre que hi hagi la possibilitat de tornar des de la nota al punt exacte —enllaç bidireccional— ja que d'altra manera l'enllaç no té sentit.
Aquells articles que emprin mecanismes hipertextuals com per exemple enllaços a un altre document, capes de document, ús de l'atribut “Title” (Figura 9), etc. Aquests mecanismes rebran una puntuació de 2 en el nostre barem.
Figura 9. Exemple d'atribut “Title” en etiqueta “Anchor”. Només visible a Internet Explorer
Paràmetre 4. Ergonomia: Comoditat i facilitat d'utilització
Si tenim present que l'ergonomia del recurs mesura la capacitat de fer agradable i no fatigosa la lectura i que, en el cas de les revistes electròniques, la quantitat d'informació oferta obliga el lector a dedicar un temps considerable davant de la pantalla, és lògic deduir que aquest paràmetre constitueix un element destacable en tota valoració.
Els indicadors proposats per Codina poden aplicar-se de manera directa sense pràcticament fer puntualitzacions, si bé ens hem estimat més usar-los com a qualificadors de nivell d'un únic indicador que plantegi la pregunta de si el recurs és ergonòmic o no.
Com que pretenem quantificar les respostes al màxim per evitar la subjectivitat de l'avaluador, tindrem present dos aspectes clau que poden ajudar-nos a determinar si la publicació preveu els temes ergonòmics.
— Hi ha un llibre d'estil de la publicació on es recullin aspectes com el tipus de lletra, la correlació text-fons, etc.?
El fet que existeixi i que es compleixi es puntuarà amb un valor de 3.
— En el cas que no hi sigui, tots els documents mantenen una uniformitat, i és ergonòmica? o, al contrari, trobem que cada document és presentat en el format en què l'autor el va remetre?
Si es manté una uniformitat ergonòmica puntuarem aquest indicador amb un valor de 2.
Per valorar si la uniformitat és ergonòmica podem fer algunes observacions sobre els indicadors proposats per Codina.
Pel que fa a si hi ha una bona relació text-fons, aquest indicador sembla que es compleix en pràcticament el 100% de les revistes consultades en les quals el text negre sobre fons blanc és la constant.
Pel que fa a la tipografia, s'ha de comentar que encara que durant una temporada l'ús del tipus de lletra MS Comic es va estendre en molts textos web, aquesta lletra s'ha de reservar per a algun titular “divertit”, ja que els articles i manuals que fan servir aquesta lletra en el gruix del text resulten bastant antiergonòmics. Personalment, comparteixo l'opinió de Nielsen segons la qual “els tipus de lletra com ara sans serif o Verdana resulten més llegibles” (Nielsen, 2000, p.126).
Paràmetre 5. Lluminositat: presència i qualitat dels enllaços externs
Les preguntes que ens hem de plantejar són:
— Estan enllaçades hipertextualment les referències al text amb continguts externs, ja sigui a altres articles, empreses o seus esmentades?
— Estan enllaçades les referències bibliogràfiques?
Encara que potser aquests aspectes siguin majoritàriament responsabilitat de l'autor, podria ponderar-se el fet que figurin com a requisits en les normes de publicació o que la mateixa editorial revisi la bibliografia de l'article i afegeixi els enllaços pertinents a la versió electrònica si existeix, a empreses de subministrament de documents o a llibreries d'Internet com Amazon.
— Hi ha constància d'algun sistema de revisió d'enllaços?
A diferència de les versions en paper en les quals una vegada publicat el text aquest roman estàtic indefinidament, els continguts en el web són susceptibles de ser actualitzats. Ja s'han comentat, per exemple, mecanismes d'actualització i revisió de continguts —inclusió de comentaris dels usuaris i respostes del mateix autor.
En el cas dels enllaços hi ha programes que fan la tasca de comprovació de manera automàtica, com per exemple Linkbot <http://www.tetranetsoftware.com/> que és representat a la Figura 10.
Valorarem amb una puntuació de 2 si estan enllaçades aquelles referències que explícitament fan referència a URL externes i amb una puntuació de 3 si hi ha enllaços addicionals o millores com les descrites —verificació d'enllaços, enllaços a serveis de subministrament o llibreries, llistes d'enllaços addicionals al tema.
Figura 10. Aspecte del verificador d'enllaços Linkbot
Paràmetre 6. Visibilitat: nombre d'enllaços que rep d'altres recursos
Codina, al text citat, inclou en aquest paràmetre tant els indicadors encaminats a millorar la correcta indexació per motors globals del tipus Altavista o Google com els estudis bibliomètrics encaminats a valorar-ne l'impacte.
Encara que hi ha estudis d'anàlisi clàssica de citacions aplicats a revistes electròniques (Harter, 1996), convé que aquest apartat es tracti amb cautela considerant una clara diferenciació entre revistes d'accés públic i revistes de subscripció, que són la majoria.
Les revistes de subscripció estricta no necessiten concentrar esforços per facilitar als cercadors genèrics la correcta indexació i la valoració de l'impacte ha de fer-se per mètodes tradicionals: índex d'impacte en el Journal Citation Reports si hi figuren articles que l'esmenten als índexs de citacions —Science Citation Index, Social Science Citation Index, Art and Humanities Citation Index—, etc. No és lògic pensar que hi ha enllaços a documents en què el lector trobarà l'accés vedat. Una excepció a això, cada vegada més freqüent, és la implementació de sistemes “pay per view”, cas en què la referència sí que està disponible i l'accés al text complet necessita un micropagament. En aquests casos els enllaços a aquests documents des de l'entorn global d'Internet sí que són factibles.
Les revistes d'accés lliure es poden valorar seguint els paràmetres de Codina:
Presència d'un títol clar en l'element “Title” del “Head” (i en conseqüència en el resum dels indexadors).
Presència d'un resum inicial a cada document que pot incloure paraules clau en diversos idiomes.
Presència de metaetiquetes “Author”, “Keywords” i “Description”.
Considerarem com a indicador la presència d'elements que faciliten la indexació per motors públics i valorarem amb 1 la presència d'un títol a la capçalera i amb 2 la presència de les metaetiquetes “Keywords” i “Description”.
Actualment un sistema avançat de metaetiquetes, que segueixi Dublín Core per exemple, no és admès pels indexadors públics més coneguts i per aquest motiu aquest indicador, proposat per Codina en aquest punt, ha estat traslladat al paràmetre 3. És possible que en un futur no gaire llunyà s'hagin d'incloure tots dos.
El nombre d'enllaços que rep un article concret pot mesurar-se amb les opcions corresponents d'Altavista o Google, però per mesurar el nombre d'enllaços que rep la revista en general proposem aplicar la fórmula següent per calcular el que anomenarem impacte electrònic ajustat (IEA):
(nombre d'enllaços que rep la revista – nombre d'enllaços que rep provinents de la mateixa revista) IEA = ————————————————————————————————————————— nombre d'articles o documents que conté la revista
Aquesta fórmula correspon a un ajust del factor d'impacte Web WIF (Ingwersen, 1998) i, si bé pot imitar al factor d'impacte clàssic, presenta una sèrie de singularitats com el fet de realitzar un còmput global, sense tenir present ni l'any de producció de la citació ni de l'article. Això és així perquè, a diferència del factor d'impacte, a Internet els enllaços són acumulatius, és a dir, un enllaç a la nostra revista comptabilitzat aquest any s'ha de pressuposar que continuarà l'any que ve amb la qual cosa les revistes amb més antiguitat a la xarxa tindrien un avantatge que no necessàriament reflectiria el seu interès actual.
Per aquest motiu, el que és realment valorable és la diferència existent entre dues mesures de l'impacte electrònic separades per un termini de temps raonable. Considerem que, gràcies a la facilitat de fer aquesta mesura i amb la velocitat amb què es produeixen canvis a Internet, un període d'un any entre totes dues mesures és excessiu i per això seria convenient fer-la més sovint. Sembla lògic que aquest període no sigui fix per a totes les revistes, sinó que depengui de la freqüència en què s'incrementa la producció de la revista; per tant, el mesurament podria coincidir amb l'aparició del nou número, just abans que es difongui, per recollir les dades del número anterior.
DIEA = IEAx + freqüència d'aparició – IEAx
Aquest paràmetre que anomenarem diferencial d'impacte electrònic ajustat (DIEA) s'assembla més a un índex borsari que a l'índex d'impacte clàssic. És independent en si mateix de la resta de revistes, ja que valora l'increment de popularitat del recurs. Un DIEA amb valor 0 reflecteix que l'increment d'enllaços externs ha estat proporcional a l'increment de documentació en el recurs; valors positius reflecteixen que la nova producció del recurs ha provocat un increment en el nombre d'enllaços, mentre que un valor negatiu implicaria que la nova producció no és vinculada des de l'exterior.
Evidentment seria possible comparar revistes segons el seu major o menor diferencial.
3 Avaluació de la revista BiD
Situació prèvia
Amb la finalitat d'avaluar la funcionalitat dels paràmetres descrits es va procedir a aplicar-los al cas concret de la revista BiD: textos universitaris de biblioteconomia i documentació. Els paràmetres es van passar a principi de desembre de 2000, coincidint amb l'aparició del número 5, i van ser la base de les primeres actuacions implementades ja en aquest número, i de les propostes de futur que es descriuran en els punts següents.
La taula 2 recull l'avaluació efectuada. L'escala de valoració està compresa entre l'1 i el 3 i es reserva la puntuació màxima de 3 per a aquells indicadors hipertextuals de més rellevància tal com s'ha comentat en punts anteriors. La puntuació que és fruit de les millores incorporades en el número 5 es recull en ratllat oblic.
Paràmetre Puntuació
Indicador 1
2
3
Autoria Delimitació de la responsabilitat o autoria X Evidències de solvència X Possibilitat de posar-se en contacte amb l'autor X Comunicació sobre els continguts X Contingut, valor intrínsec i volum de la informació
Informació de valor afegit ** Volum d'informació X Jerarquització de la informació X Supervisió de la informació X Periodicitat i actualització de la informació X Accés a la informació: navegació i recuperació
Navegació estructural X Sistema de cerca estructurada Índexs temàtics dels continguts Navegació semàntica X Ergonomia: comoditat i facilitat d'utilització
És ergonòmic, el recurs? X Lluminositat: presència i qualitat dels enllaços externs
Hi ha enllaços externs als documents? X Visibilitat: nombre d'enllaços que rep d'altres recursos
Elements facilitadors d'indexació per motors públics
Valor del DIE Per determinar Taula 2. Avaluació de la revista BiD
Primeres actuacions
Després d'analitzar els paràmetres anteriors queda clar que els punts més febles fan referència a la recuperació i a la visibilitat de la informació. En tots dos casos hi havia indicadors absents o amb puntuació baixa. Si considerem que estem analitzant un recurs en el qual la informació i els continguts tenen un paper fonamental és obvi que les primeres línies d'actuació han d'anar dirigides a incidir sobre aquests paràmetres. Pel que fa a això l'aparició del número 5 va incorporar les millores següents.
Inclusió d'elements que faciliten la indexació per motors públics.
Els documents inclouen en l'etiqueta “Title” el títol de l'article i l'any i volum. S'inclou igualment a la capçalera les metaetiquetes “Keywords” i “Description”. Es planifica actualitzar aquesta informació als documents anteriors.
Inclusió d'un motor de cerca.
Com que la incorporació d'un motor propi requereix un esforç i programació considerables es va ajornar aquesta possibilitat per al futur i s'opta per fer servir un motor públic (Figura 11) anomenat Atomz <http://www.atomz.com>. Es prescindeix d'una cerca bàsica i es configura una interfície que permeti fer una cerca global, per títol o per autor. Per a això és necessari adaptar unes metaetiquetes específiques que s'inclouen als documents del número 5. Es planifica la futura inclusió en els números retrospectius.
Per la tipologia de documents es configura el sistema perquè l'operador per defecte sigui l'AND (a diferència de la major part de cercadors que empren l'OR). El sistema envia informes que recullen les cerques efectuades pels usuaris i es podrà analitzar si la configuració és vàlida i si els usuaris utilitzen la interfície com s'espera.
Figura 11. Sistema de recuperació Atomz aplicat a BiD
Inclusió de metatiquetes seguint el model Dublín Core.
Encara que Atomz no admet els esquemes Dublín Core, hi ha diferents projectes que ens fan pensar que aquesta codificació podria ser útil. En concret diversos grups de treball a la nostra Facultat examinaran les possibilitats del motor d'indexació de l'empresa Verity <http://www.verity.com> i la possibilitat que treballi amb etiquetes Dublín Core. Inicialment els documents del número 5 ja inclouen aquestes metaetiquetes.
Un segon aspecte lligat a la millora dels indicadors d'autoria va ser enllaçar aquells articles publicats pel professorat de la Facultat de Biblioteconomia i Documentació a una base de dades on trobarem la fotografia, el telèfon, les dades postals i el correu electrònic. Des d'aquesta fitxa també és possible connectar amb una base de dades institucional anomenada GREC en la qual es recullen les publicacions de cada professor (Figura 12). Si bé la base de dades de professorat és gestionada centralment per la Unitat Departamental, la base de dades GREC és alimentada i modificada directament pel mateix professor, de manera que en aquest moment ens trobem en una fase d'entrada voluntària de registres.
Figura 12. Composició que mostra la seqüència d'enllaços article – fitxa del professor – publicacions.
També és possible establir un enllaç al document original des del currículum.
Propostes de futur
Seguint la taula d'indicadors passem a enumerar una sèrie de propostes que permetrien que molts indicadors accedissin al nivell 3. Recordem que aquestes propostes són fetes per l'autor del document i que es transmetran al comitè editorial sense que això pressuposi acceptació ni consens a priori, ni que obeeixin a cap encàrrec. Som conscients que algunes opcions podrien superar les possibilitats tècniques o humanes de la revista, però igualment han estat incloses perquè puguin ser tingudes en compte en un futur. En alguns casos, com ara pel que fa a l'elaboració d'un llibre d'estil, ens consta que és un projecte que ja estava en marxa abans d'aquesta proposta.
Millorar els indicadors d'autoria
Establir com a normativa de demanar als autors si tenen una pàgina personal o una pàgina que en reculli el currículum i les publicacions. Si no en tenen cal sol·licitar-los un breu currículum per incloure'l en l'article.
Establir enllaços per localitzar altres publicacions d'aquest mateix autor en bases de dades de biblioteconomia accessibles gratuïtament des d'Internet (DOIS, Datatheke).
Establir algun sistema que permeti recollir i consultar opinions dels lectors.
Millorar el valor afegit
- Incloure un enllaç a algun sistema de traducció.
La política de la revista ofereix la traducció dels articles en castellà o anglès al català, que n'és l'idioma oficial, de manera que puguin aparèixer en tots dos idiomes. Desgraciadament els costos no permeten altres combinacions i per aquest motiu es pot plantejar com a alternativa un enllaç a sistemes de traducció automàtica, sempre que quedi manifest que la revista no és responsable de la qualitat de la traducció.
Establir mecanismes de valoració quantitativa d'accés a cada article respecte a la totalitat del número o a la totalitat de la revista.
- Enllaçar la bibliografia al catàleg de la Biblioteca de la Universitat de Barcelona.
Aquesta opció estaria encaminada a la localització, la reserva i el préstec per a membres de la UB i a la possible petició de còpies de documents en format paper recollits en la bibliografia. Possiblement superaria les possibilitats de la revista enllaçar-los a altres centres o llibreries, encara que seria una opció que cal tenir en compte.
- Elaborar perfils d'alerta temàtics
Com que és una publicació semestral i amb una quantitat moderada d'articles, es podrien plantejar perfils temàtics bastant generals (tecnologies, arxivística, etc.).
Millorar l'accés a la informació: navegació i recuperació
Redissenyar la barra d'estat de cada article perquè permeti una navegació estructural clara a tots els nivells.
Millorar el sistema de recuperació amb el motor de recuperació de Verity i la indexació de metaetiquetes Dublín Core.
Elaborar un sistema de navegació per índexs temàtics.
Millorar l'ergonomia
Elaborar un llibre d'estil que inclogui el disseny i l'estructura dels continguts.
Aplicar en el disseny fulls d'estil en cascada.
Redissenyar el logotip i l'espai de la capçalera.
Millorar la lluminositat
Revisar i completar enllaços externs als documents.
Instaurar un sistema de revisió d'enllaços automàtic.
Es podria plantejar el fet que documentalistes de la revista creessin una llista breu d'enllaços d'interès sobre el tema (4 o 5 com a màxim), valorats, comentats i consensuats amb l'autor.
Millorar la visibilitat
Incloure els elements que faciliten la indexació per mitjà de motors públics en tots els documents.
4 Conclusions
L'avaluació de recursos digitals és un procés necessari que progressivament ha d'instaurar-se a Internet. Actualment ja hi ha diverses agències dedicades a aquesta tasca. Un primer intent d'aplicació directa dels paràmetres proposats per Codina ha fet reflexionar aquest autor sobre el fet que l'existència de recursos variats exigeix una concreció dels paràmetres i indicadors per aplicar en cada un dels casos, cosa que possiblement es manifestarà en grups d'avaluació o agències temàtiques.
Però hi ha una cosa més. Dins d'una mateixa categoria de recursos, la quantitat pot ser tan elevada que una agència d'avaluació necessiti ocupar diverses persones en aquesta tasca. En aquest punt ens preocupava la influència dels criteris individuals a l'hora de ponderar cada indicador i per això proposem uns criteris específics objectius que permetin a l'avaluador assignar una puntuació concreta. Com Aguillo, considerem que “los procesos de evaluación deben ser objetivos. Los aspectos formales tienen que ser abordados de forma fundamentalmente descriptiva, estableciendo criterios umbrales. Los aspectos sustantivos requieren aproximaciones cuantitativas” (Aguillo, 2000, p. 235).
Som conscients que el factor subjectiu humà de l'avaluador sempre serà present, en especial, en determinats indicadors, però hem intentat controlar-ho al màxim. Esperem que aquesta aportació serveixi com a reflexió, s'hi estigui o no d'acord, i obri les portes a futurs debats.
Bibliografia
Aguillo, Isidro F. (2000). “Indicadores hacia una evaluación no objetiva (cuantitativa) de sedes Web”. A: 7as Jornadas Españolas de Documentación. Bilbao: Universidad del País Vasco. Servicio editorial, p. 233-248.
Apps, Ann y MacIntyere, Ross. (1999). “Metadata for the Nature Digital Archive”. [en línia]: disponible a <http://epub.mimas.ac.uk/natpaper.html> [Consulta: 15-3-2001].
Codina, Lluís (2000a). “Evaluación de recursos digitales en línea: conceptos, Indicadores y métodos”. Revista Española de Documentación Científica, vol. 23. núm. 1, p. 9–44.
Codina, Lluís (2000b). “Parámetros e indicadores de calidad para la evaluación de recursos digitales”. A: 7as Jornadas Españolas de Documentación. Bilbao: Universidad del País Vasco. Servicio editorial. p. 135–144.
Garfield, E. (1999). Journal impact factor: a brief review. CMAJ, vol. 161, núm. 8, p. 979–980.
Garfield, E. [en línia] “The ISI Essays: ISI”. Disponible a < http://www.isinet.com/isi/hot/essays> [Consulta: 15-3-2001].
Giménez Toledo, Elena, Luis Rodríguez Yunta, i Adelaida Román Román. (2000). “Un programa para mejorar la calidad de las revistas científicas. Aplicación a las revistas españolas de biblioteconomía, documentación y archivística”. A: 7as Jornadas Españolas de Documentación. Bilbao: Universidad del País Vasco. Servicio editorial, p. 331–341.
Harter, Stephen P. (1996). The Impact of Electronic Journals on Scholary Communications. A citation analysis. The Public-Access Computer Systems Review, vol. 7, núm. 5. Disponible a: <http://info.lib.uh.edu/pr/v7/n5/hart7n5.html> [Consulta: 15-3-2001].
Ingwersen, P. (1998). The calculation of Web Impact Factors. Journal of Documentation, vol. 54, núm. 2, p. 236–243.
Nielsen, Jakob (2000). Usabilidad. Diseño de sitios Web. Madrid: Pearson Educación.
Data recepció: 10/4/2001. Data acceptació: 19/4/2001.
Notes
* Una excepció a aquesta regla és el completíssim tesaurus Mesh (Medical Subject Headings) de la base de dades Medline que pot consultar-se a <http://www.ncbi.nlm.nih.gov/PubMed>.
** Hem considerat que té valor afegit, ja que hi ha un formulari de subscripció.