Evaluación de la usabilidad en catálogos centrados en el usuario: una propuesta basada en heurísticas

 

[Versió catalana]


Daniel Muñoz-Egido

Doctorando en Documentación
Facultad de Humanidades, Comunicación y Documentación
Universidad Carlos III de Madrid

Tony Hernández-Pérez

Profesor
Departamento de Biblioteconomía y Documentación
Facultad de Humanidades, Comunicación y Documentación
Universidad Carlos III de Madrid

 

Resumen

Objetivo: analizar los actuales catálogos centrados en el usuario y herramientas de descubrimiento implementados en las bibliotecas universitarias desde el punto de vista de la usabilidad a partir de una propuesta específica basada en heurísticas.

Metodología: se han revisado los estudios de usuarios realizados en los últimos treinta años y las heurísticas empleadas hasta el momento en la bibliografía especializada para, tras la propuesta de un modelo específico de análisis de la usabilidad, analizar diferentes catálogos centrados en el usuario y herramientas de descubrimiento.

Resultados: del estudio se desprende que los nuevos catálogos centrados en el usuario todavía se encuentran lejos de alcanzar la satisfacción de los usuarios, ya que presentan importantes deficiencias relacionadas con cuadros de búsqueda que no son únicos o no recuperan en todos los recursos de la biblioteca; dificultad para comprender y evaluar la ordenación de los resultados por relevancia; utilización de facetas que no son útiles para el usuario o en número tan alto que lo abruman, y la falta de desarrollo de los aspectos sociales del catálogo, como son la participación de los usuarios mediante la inclusión de comentarios o el etiquetado de los documentos y la creación de listas personalizadas de contenidos.

Resum

Objectiu: analitzar els catàlegs actuals centrats en l'usuari i les eines de descobriment implementats a les biblioteques universitàries des del punt de vista de la usabilitat a partir d'una proposta específica basada en heurístiques.

Metodologia: s'han revisat els estudis d'usuaris fets els últims trenta anys i les heurístiques que s'han utilitzat fins ara en la bibliografia especialitzada per, després de la proposta d'un model específic d'anàlisi de la usabilitat, analitzar diferents catàlegs centrats en l'usuari i eines de descobriment.

Resultats: de l'estudi es desprèn que els catàlegs nous centrats en l'usuari encara estan lluny d'aconseguir la satisfacció dels usuaris, ja que presenten deficiències importants relacionades amb quadres de cerca que no són únics o no recuperen en tots els recursos de la biblioteca; dificultat per comprendre i avaluar l'ordenació dels resultats per rellevància; utilització de facetes que no són útils per a l'usuari o en tanta quantitat que el confonen, i la falta de desenvolupament dels aspectes socials del catàleg, com ara la participació dels usuaris mitjançant la inclusió de comentaris o l'etiquetatge dels documents i la creació de llistes personalitzades de continguts.

Abstract

Objectives: To use heuristic evaluation to analyse the usability of user-centred catalogues and discovery tools currently implemented by university libraries.

Methodology: The authors developed a specific heuristic model for analysing the usability of different user-centred library catalogues and discovery tools after reviewing the studies conducted in this field over the last thirty years.

Results: The study showed that the user experience of the next-generation university library catalogues is still far from satisfactory, evidenced in a number of serious flaws: the use of search boxes that do not stand alone or cannot search catalogues site-wide; lack of clarity in criteria in relevance-ranked results; the inclusion, often in unnecessarily large numbers, of facets that are not useful to the user; and the dearth of socially rich features, such as opportunities for users to generate content in the form of ratings, comments, tags and lists.

1 Introducción

En las últimas décadas ha crecido sustancialmente el interés por el comportamiento de los usuarios de la biblioteca y, en particular, el relacionado con el uso que estos hacen de las herramientas de recuperación de información. A partir de los años noventa del siglo xx podemos apreciar una mayor inquietud por conocer este hecho, lo cual coincide en el tiempo con los inicios, en el plano conceptual, de lo que se vinieron a llamar catálogos de nueva generación (next-generation catalogs) (Antelman; Lynema; Pace, 2006; Emanuel, 2009), si bien también pueden ser recogidos en la literatura especializada como OPAC autónomo, capa de descubrimiento, interfaz de descubrimiento u OPAC de sustitución (Yang; Wagner, 2010).

Casi desde su aparición, muchos autores manifestaron la dificultad que los usuarios encontraban a la hora de utilizar los OPAC en línea tradicionales, Borgman (1986; 1996) es quien más tempranamente y de una manera más enfática incidió en esta idea, y describió todas las habilidades y destrezas de carácter conceptual, semántico y técnico que el usuario tenía que desplegar para hacer uso de estas herramientas. Posteriormente otros autores han ahondado en esta idea (Novotny, 2004; Brophy; Bawden, 2005; Garza, 2009; Alvite Díez, 2012; Emanuel, 2011), y algunos han llegado incluso a afirmar que "muchos de los usuarios encuentran al OPAC decepcionante, frustrante, ilógico, contraintuitivo e intimidatorio" (Bawden; Vilar, 2006).

Como consecuencia, en los últimos años hemos observado el surgimiento de unas nuevas herramientas bibliotecarias, como pueden ser SUMMON, EBSCO Discovery Service, PRIMO Central, WorldCat Local o ENCORE + EDS, cuyo fin es reducir la brecha que se ha abierto entre el catálogo u OPAC tradicional en línea y el usuario. Son unas herramientas en las que se muestra un mayor interés por el usuario, ya que intentan adaptarse a su comportamiento de búsqueda y persiguen su satisfacción. Y, si hablamos de usuario y satisfacción dentro de un proceso de interacción, estamos hablando específicamente de usabilidad.

Si bien, en función de su estadio tecnológico, podemos hablar de interfaces de descubrimiento, búsqueda federada o descubrimiento en escala web (web-scale Discovery) (Burke, 2010), en general estos nuevos catálogos centrados en el usuario pretenden ofrecer una experiencia más acorde con sus características y necesidades actuales, fuertemente modeladas por la web: localizar de una manera rápida y sencilla cualquier recurso de información, independientemente de su ubicación y formato.

En este trabajo se propone un método de evaluación de la usabilidad basado en heurísticas, que nos permita cuantificar la facilidad de uso que el usuario experimenta al interactuar con estas nuevas herramientas bibliotecarias, el cual también puede servir de apoyo a nuevos procesos de diseño e implementación. Como último paso, se aplicará este modelo para evaluar los nuevos catálogos centrados en el usuario o herramientas de descubrimiento que actualmente existen en algunas de las bibliotecas universitarias españolas.

 

2 Metodología

Para la realización de un modelo de evaluación de la usabilidad de los catálogos centrados en el usuario o herramientas de descubrimiento se hizo necesario estudiar en profundidad el comportamiento informacional del usuario pasado y presente, y transformar este conocimiento en principios o heurísticas con las cuales poder medir el grado en el que estas nuevas herramientas bibliotecarias satisfacen sus expectativas y necesidades.

Encontramos en Borgman (1986; 1990), ya citada anteriormente, cuáles eran las dificultades del usuario para utilizar el OPAC en línea, y en Markey (2007) una cuantificación del uso de estas herramientas, poniendo de manifiesto algunos patrones de este comportamiento: realización de pocas consultas por parte del usuario; utilización de pocos términos para cada una de las consultas, y un empleo mínimo de los operadores booleanos, excepto el AND, y casi siempre de una manera implícita. Pero esta constatación no nos explicaba el porqué.

La respuesta a esta pregunta se encontró en entender cómo Internet, y especialmente la web, han modelado la forma en que buscamos y consumimos información (Alvite Díez, 2012; Chickering; Yang, 2014; Ávila-García, 2013; Novotny, 2004; Place, 2010; Bawden; Vilar, 2006). Se identificó a un usuario modelo que busca en los catálogos en línea de la biblioteca tal y como lo hace en Internet y, especialmente, en los grandes motores web comerciales (Fast; Campbell, 2004; Swanson; Green 2011), conducta que fue recogida de una manera clara y precisa por Novotny (2004), Novotny y Cahoy (2006) y Place (2010).

Comprendiendo el comportamiento informacional del usuario era necesario conocer, asimismo, lo que este espera de los catálogos de la biblioteca y de las herramientas de recuperación de información, que no es otra cosa que el que se comporten de la misma manera que lo hacen los motores web, proceso que ha sido denominado por algunos autores como Googlelización (Swanson; Green, 2011) o Googlezone (fusión entre Google y Amazon) (Bawden; Vilar, 2006). Wolverton y Burke (2009) han llegado a asociar a Google con el lenguaje actual de los usuarios de la información.

Por lo tanto, se identificó a un usuario que espera de los catálogos y herramientas de recuperación de información, además de un único cuadro de búsqueda y una clasificación ordenada de resultados (Novotny, 2004):

  • Sumarios y tablas de contenido.
  • Clasificación de resultados ordenada por relevancia y por coincidencia exacta de los términos.
  • Búsquedas relacionadas.
  • Sensibilidad al contexto y ayuda interactiva.

Una vez conocido el comportamiento y las expectativas de búsqueda de los usuarios, se transformaron estos principios en heurísticas que pudieran conformar este modelo de evaluación de catálogos centrados en el usuario.

Para ello, previamente se analizaron los modelos de evaluación de la usabilidad desarrollados por Nielsen y Molich (1990), Molich y Nielsen (1990), Nielsen (1994; 1995), Pierotti (1995), Constantine (1995), Instone (1997), Tognazzini (2014), Hassan Montero y Martín Fernández (2003), las HHS Guidelines (U. S. Department of Health & Human Services, 2006), la propuesta UsabAIPO (González [et al.], 2006), Travieso Rodríguez, Alonso Arévalo y Vivancos Secilla (2007) y la Norma UNE-EN ISO 92:41:151 Ergonomía de la interacción hombre-sistema (AENOR, 2008). También se estudiaron las pruebas de usabilidad de tipo cualitativo sobre herramientas de descubrimiento llevadas a cabo por Way (2010), Gross y Sheridan (2011), Emanuel (2011), Fry y Rich (2011) y Ramdeen y Hemminger (2012).

Establecidos los principios o heurísticas se agruparon en aspectos con relación a las diferentes funciones que estas nuevas herramientas deberían tener. Si bien se tomaron en consideración todas las descripciones funcionales enunciadas por Antelman, Lynema y Pace (2006), Breeding (2007a,b; 2010; 2012a,b,c,d; 2015), Vaughan (2011; 2011b), Hoeppner (2012), Alvite-Díez (2012), Chickering y Yang (2014) y Ávila-García, Ortiz-Repiso y Rodríguez-Mateos (2015), seleccionamos finalmente los aspectos recogidos por Merčun y Žumer (2008). Estas autoras identificaron seis áreas o funciones de estas nuevas herramientas de recuperación de información, entre las cuales las de búsqueda, presentación y navegación son las áreas más críticas. Fueron estas áreas o funciones las que se tomaron para establecer los aspectos o categorías de este modelo heurístico de evaluación de la usabilidad.

El último paso para la formación del modelo de evaluación consistió en la selección de una métrica que nos permitiera establecer una cuantificación del proceso. Para ello se seleccionó la aplicada en el modelo SIRIUS (Suárez Torrente, 2011). Esta métrica, a partir de una valoración de cada uno de los atributos, permite establecer un valor total de usabilidad en una escala de 0 a 100. Los valores para cada uno de los criterios pueden ser numéricos, de 0 a 10, o textuales, en función de si el criterio se cumple en todas las páginas del sitio, solo en la primera, en el primer nivel de navegación, etc. En el caso de los valores textuales se debe aplicar una correspondencia numérica a cada valor:

 

Valor
Definición
Correspondencia numérica
0... 10 0: No se cumple en absoluto.
0 1 2 3 4 5 6 7 8 9 10
10: Se cumple totalmente.
NS No se cumple en todo el sitio.
0
TP Se cumple en todas las páginas.
10
1N Sólo se cumple en el primer nivel de navegación.
7,5
2N Sólo se cumple en algunas páginas incluida la
página principal.
5
PP Sólo se cumple en la página principal.
2,5
S Se cumple el criterio.
10
N/A Criterio no aplicable al sitio.
-

Tabla 1. Valores textuales y su correspondencia numérica aplicada para el empleo de la métrica desarrollada en SIRIUS

 

Uno de los aspectos más significativos de esta métrica se encuentra en la ponderación que permite hacer de cada uno de los criterios que se evaluarán. A partir de un valor de relevancia, el sistema permite ponderar el criterio en función de su no cumplimiento, es decir, el no cumplimiento de aquellos criterios que se hayan valorado como más relevantes tendrá un peso a la baja mayor en el cómputo global que el no cumplimiento de uno menos relevante.

Para este modelo de evaluación, utilizando la métrica SIRIUS, se establecieron tres niveles de relevancia asociados a su equivalencia numérica:

 

Relevancia
Valor de relevancia
Crítico [CR]
4
Alto [AL]
2
Moderado [MO]
1

Tabla 2. Nivel de relevancia y valor de relevancia aplicados para el empleo de la métrica de usabilidad en SIRIUS

 

Una vez conformado el modelo, el último objetivo de este trabajo consistió en su aplicación para la evaluación de los catálogos centrados en el usuario o herramientas de descubrimiento implantados por algunas de las bibliotecas universitarias españolas. Para ello se seleccionaron diez bibliotecas universitarias en función de la herramienta empleada para estos nuevos catálogos y la representatividad de esta dentro del mercado de herramientas de descubrimiento.

Ávila-García, Ortiz-Repiso y Rodríguez-Mateos (2015), en su estudio sobre la implantación de este tipo de herramientas en las bibliotecas de las universidades españolas, cuantifican que el 28,4 % de ellas emplea SUMMON; el 12,2 %, EBSCO Discovery Service; el 9,5 %, PRIMO Central; el 8,1 %, WorldCat Local, y el 4,1 %, ENCORE + EDS. Trasladados estos datos proporcionalmente a nuestra muestra, se seleccionaron cuatro bibliotecas con SUMMON, cuatro con ENCORE, dos con PRIMO Central, dos con WorldCat Local y una con EBSCO HOST y VuFind, esta última por ser una iniciativa de código abierto que se consideró debería ser tomada en consideración.

 

Bibliotecas
Herramienta
Universidad de Castilla La Mancha [UCLM]
SUMMON
Universidad Carlos III de Madrid [UC3M]
SUMMON
Universidad Complutense de Madrid [UCM]
SUMMON
Universidad de Granada [UG]
ENCORE
Universitat de les Illes Balears [ULIB]
ENCORE
Universidad de La Laguna [ULL]
PRIMO
Universidad de Murcia [UM]
SUMMON
Universidad de Navarra [UN]
EBSCO
Universidad de Salamanca [USAL]
WorldCat
Universidad de Oviedo [UO]
VuFind

Tabla 3. Bibliotecas sobre las que se ha realizado la evaluación de la usabilidad de sus catálogos

 

3 Resultados

El modelo para la evaluación cuantitativa de la usabilidad, basado en heurísticas de catálogos centrados en el usuario, que se propone en este trabajo queda conformado por cuarenta y nueve criterios heurísticos agrupados en seis aspectos:

  1. Aspectos generales: recogen las heurísticas aplicables a cualquier sitio web independientemente del contexto de uso y usuarios. Los grandes principios generales descritos en la literatura especializada podrían incluirse en esta categoría.
  2. Búsqueda: uno de los aspectos críticos. Con la búsqueda el usuario espera poder reproducir el mismo comportamiento que sigue con los grandes motores de búsqueda web, con los cuales se encuentra muy satisfecho.
  3. Página de resultados y navegación: otro de los aspectos críticos. El usuario espera poder iniciar una búsqueda mediante unas pocas palabras claves genéricas para posteriormente ir refinando los resultados hasta obtener el objetivo deseado. Al mismo tiempo también espera que los resultados estén ordenados de tal manera que los primeros sean aquellos que más se ajusten a sus necesidades.
  4. Contenido enriquecido, listas de recomendación y participación de los usuarios: en términos generales, nos encontramos con aspectos de la web 2.0 con los cuales el usuario desea poder ser partícipe del proceso de recuperación y valora las opiniones de otros usuarios, registros enriquecidos y listas de recomendación, etc.
  5. Perfil de usuario y personalización: el sistema debe permitir que el usuario haga suya la herramienta proporcionándole el control sobre ciertos aspectos, tanto estéticos como de comportamiento de esta.
  6. Otras funcionalidades: funcionalidades que hacen de los catálogos herramientas más eficaces y eficientes y que son ampliamente aceptadas por los usuarios.

Dentro de los cuarenta y nueve criterios heurísticos del modelo se han establecido cinco tareas críticas en las áreas de "búsqueda" y "página de resultados y navegación" de acuerdo con Merčun y Žumer (2008). También nos ha parecido pertinente establecer una relación de cada uno de los criterios heurísticos con los atributos o principios de usabilidad a los que hace referencia. Para ello hemos utilizado, por su sencillez y facilidad de comprensión, los tres atributos principales de usabilidad descritos por Dix y otros (2010): facilidad de aprendizaje (FAC), flexibilidad (FLE) y robustez (ROB).

 

Código
Criterio de usabilidad / heurística
Val. relev.
Métrica
1 Aspectos generales
1.1 [FAC] La estructura general del sitio orientada al usuario.
[MO]
1 ... 10
1.2 [FAC] El aspecto y comportamiento general se corresponde con los deseos y expectativas del usuario, ajustándose a las tendencias y modelos actuales.
[AL]
1 ... 10
1.3 [FAC] El diseño general del sitio es coherente.
[MO]
1 ... 10
1.4 [FAC] El diseño del sitio es consistente.
[AL]
1 ... 10
1.5 [FLE] El diseño del sitio es inclusivo y promueve la accesibilidad.
[AL]
1 ... 10
1.6 [ROB] El diseño del sitio persigue el agrupamiento y la jerarquía visual.
[MO]
NS PP 2N 1N TP
1.7 [FLE] El usuario puede seleccionar el idioma de la interfaz y la traducción es completa y correcta.
[MO]
NS PP 2N 1N TP
1.8 [FAC] Existe un método de identificación de la herramienta consistente a lo largo de todo el sitio.
[MO]
NS PP 2N 1N TP
1.9 [ROB] Existen mecanismos de contacto.
[MO]
NS PP 2N 1N TP
1.10 [ROB] Existe un acceso a la "ayuda" accesible y visible a lo largo de todo el sitio.
[AL]
NS PP 2N 1N TP
1.11 [FAC] Se utilizan estándares y convenciones reconocibles y esperadas por el usuario.
[AL]
1 ... 10
1.12 [FLE] Es una interfaz limpia en la que se ha evitado el ruido visual.
[MO]
1 ... 10
1.13 [ROB] Se ha controlado el tiempo de carga de la herramienta.
[MO]
NS PP 2N 1N TP
2 Búsqueda
2.1 [ROB] Hay un cuadro de búsqueda simple para buscar en todos los recursos de la biblioteca.
[CR]
NS S
2.2 [FAC] El cuadro de búsqueda se debe encontrar presente en todas las páginas de la herramienta, ubicada en un lugar visible, y de manera consistente.
[CR]
NS PP 2N 1N TP
2.3 [ROB] El cuadro de búsqueda debe ser lo suficientemente grande.
[AL]
1 ... 10
2.4 [FLE] La búsqueda simple debe posibilitar la realización de búsquedas en lenguaje natural, por palabra clave, título, autor, tema, el uso de operadores booleanos, frase exacta y truncamiento.
[CR]
1 ... 10
2.5 [FLE] Se provee de un acceso a la búsqueda avanzada.
[AL]
NS S
2.6 [FLE] El sistema permite empezar la búsqueda por la navegación.
[MO]
NS S
2.7 [ROB] El sistema es capaz de detectar lo errores más comunes de ortografía.
[MO]
NS S
3 Página de resultados y navegación
3.1 [ROB] El sistema ordena los resultados por relevancia.
[CR]
NS S
3.2 [ROB] El principio de ordenamiento de los resultados por defecto es el de coincidencia exacta de los términos.
[MO]
NS S
3.3 [FAC] El ordenamiento por relevancia debe ser entendido fácilmente y de manera intuitiva por el usuario.
[AL]
1 ... 10
3.4 [FLE] El sistema permite al usuario seleccionar diferentes métodos de ordenación de los resultados.
[AL]
NS S
3.5 [ROB]La información que se ofrece de cada uno de los ítems recuperados permite al usuario valorar la pertinencia del ítem sin tener que recurrir a la visualización completa de los mismos.
[MO]
1 ... 10
3.6 [FLE] El sistema pagina los resultados de la búsqueda.
[MO]
NS S
3.7 [FLE] El sistema permite la interacción con los resultados / navegación por facetas / refinamiento.
[AL]
1 ... 10
3.8 [FAC] Las facetas están ordenadas y agrupadas en categorías reconocibles para el usuario (fechas de publicación, lengua, tipo de documento, etc.).
[AL]
1 ... 10
3.9 [FLE] La navegación por facetas permite al usuario construir y modificar una búsqueda completa de una manera rápida y sencilla.
[MO]
1 ... 10
3.10 [ROB] El sistema permite volver a un estado previo de la navegación / búsqueda de una manera sencilla. El sistema posibilita la opción de volver al estado inicial de la navegación / búsqueda.
[MO]
1 ... 10
3.11 [FAC] La ruta de búsqueda debe estar siempre visible.
[AL]
NS S
3.12 [ROB] El sistema ofrece ayuda contextual o interactiva al usuario.
[MO]
1 ... 10
4 Contenidos enriquecidos, listas de recomendación y participación de usuarios
4.1 [FAC] El sistema ofrece imágenes de las cubiertas de los items recuperados.
[AL]
NS S
4.2 [FAC] Las imágenes aportan valor para el usuario.
[MO]
1 ... 10
4.3 [FAC] El tamaño y resolución de las imágenes debe favorecer su reconocimiento y aprendizaje.
[MO]
1 ... 10
4.4 [ROB] Los resultados de la búsqueda deben ofrecer la visualización del resumen y/o tablas de contenido y/o pasaje que resulten significativos y útiles para el usuario.
[AL]
NS S
4.5 [ROB] El sistema debe ofrecer recomendaciones relacionadas con la búsqueda en curso.
[MO]
1 ... 10
4.6 [FLE] El sistema permite la participación del usuario.
[MO]
NS S
5 Perfil de usuario y personalización
5.1 [FLE] El sistema permite el inicio de sesión automático.
[MO]
NS S
5.2 [ROB] El sistema guarda la actividad reciente del usuario.
[MO]
NS S
5.3 [ROB] El sistema guarda un histórico de búsquedas del usuario.
[MO]
NS S
5.4 [FLE] El sistema permite al usuariuo guardar listas de contenido.
[MO]
NS S
5.5 [FLE] El sistema permite al usuario personalizar elementos de la interfaz y del contenido que se visualiza.
[AL]
1 ... 10
5.6 [FLE] El sistema permite al usuario personalizar las notificaciones que recibe por parte del sistema.
[MO]
1 ... 10
5.7 [FLE] El sistema debe permitir al usuario personalizar las recomendaciones del sistema.
[MO]
NS S
6 Otras funcionalidades
6.1 [FAC] El sistema permite la suscripción o la sindicación de contenido.
[AL]
NS S
6.2 [FLE] El sistema permite la elaboración de contenido de creación propia del centro: blogs, guías, listas de recomendaciones, listas de novedades, etc.
[MO]
NS S
6.3 [FLE] El sistema permite la descarga de los contenidos multimedia.
[MO]
NS S
6.4 [ROB] El sistema permite el uso de sistemas MMS y chat.
[MO]
NS S
6.5 [FLE] El diseño es responsivo y permite el uso multidispositivo.
[AL]
NS S

Tabla 4. Criterios heurísticos, valores de relevancia y métricas del método de evaluación de la usabilidad para catálogos centrados en el usuario

 

Este modelo para la evaluación de la usabilidad en herramientas de descubrimiento se ha aplicado a las implantadas en las diez bibliotecas de universidades españolas enumeradas anteriormente. Si bien hemos encontrado en todas las bibliotecas analizadas una voluntad y esfuerzo por implementar elementos orientados al usuario, muchos de ellos propios de las herramientas de descubrimiento que emplean, en muchas de estas ocasiones este paso no llega a alcanzar un desarrollo completo y se produce un estadio intermedio entre las características de los catálogos tradicionales y las que deberían tener aquellos totalmente centrados en el usuario.

 

Biblioteca
UCLM
UC3M
UCM
UG
ULIB
ULL
UM
UN
USAL
UO
1 Aspectos generales
54,44
80,28
62,78
52,5
48,89
72,78
65,28
79,44
45,28
74,44
2 Búsqueda
78
81
54
44
41
76
54
78
56
77
3 Página de resultados y navegación
75,45
73,65
74,45
70,91
21,36
85,44
72,27
89,1
70,45
82,27
4 Contenidos enriquecidos, listas de recomendación y participación de usuarios
42,5
61,25
36,25
68,75
60
58,51
61,25
65
26,67
50
5 Perfil de usuario y personalización
12,25
12,5
12,5
50
50
50
12,5
37,5
50
50
6 Otras funcionalidades
0
42,86
14,28
14,28
0
42,85
14,28
28,57
14,28
42,86
Total de usabilidad
55,9
67,17
54,94
53,43
36,75
72,19
55,84
70,72
52,41
71,48

Tabla 5. Usabilidad por aspectos y total de usabilidad de los catálogos centrados en el usuario de las diez bibliotecas universitarias analizadas

 

Una de las deficiencias más importantes que hemos localizado es la no disposición de un único cuadro de búsqueda para recuperar dentro de todos los recursos, propios o suscritos, de la biblioteca. En algunos de los casos, este cuadro solo recupera por defecto en una parte de los recursos de la biblioteca y, para poder hacerlo sobre la totalidad, debemos haberlo seleccionado previamente de alguna otra manera.

 

Figura 1. Cuadro de búsqueda de la página principal de la Biblioteca de la Universidad Complutense de Madrid

Figura 1. Cuadro de búsqueda de la página principal de la Biblioteca de la Universidad Complutense de Madrid

 

Este es el caso del cuadro de búsqueda que podemos encontrar en la página web de la Biblioteca de la Universidad Complutense de Madrid. Por defecto, el campo de búsqueda remite a la búsqueda dentro del catálogo local, denominado Cisne. Para poder realizar una búsqueda sobre todos los recursos, ya sean propios o suscritos de la biblioteca, debemos seleccionar "BUCea", el cual lanzará una búsqueda sobre la herramienta de descubrimiento implantada, SUMMON, en este caso en particular.

Otro aspecto relevante desde el punto de vista de la usabilidad y el cuadro de búsqueda está relacionado con la puerta de entrada al catálogo. En la mayoría de los casos estudiados, esta entrada se realiza por medio de la página principal de la biblioteca, con lo cual esta página se convierte en parte del catálogo. Y en muchas de las páginas web de las bibliotecas hay importantes déficits de usabilidad. De igual manera, los cuadros de búsqueda insertados en la página web de la biblioteca no integran algunas de las funcionalidades de las diferentes herramientas de descubrimiento utilizadas, como pueden ser la recomendación de términos de búsqueda o corrección de errores ortográficos.

 

Figura 2. Página principal de la Biblioteca de la Universidad de Murcia

Figura 2. Página principal de la Biblioteca de la Universidad de Murcia

 

En la página principal de la Biblioteca de la Universidad de Murcia podemos ver cómo se encuentra un campo de búsqueda que, si bien por defecto solo recupera en los recursos locales, se puede seleccionar para que recupere por medio de la herramienta de descubrimiento denominada por estos como Xabio. Pero la herramienta de descubrimiento también tiene una página principal, a la cual no es tan fácil o evidente acceder ya que no se enlaza directamente desde la web de la biblioteca.

Si accedemos a la página principal de la herramienta de descubrimiento, en este caso SUMMON, podemos ver que su aspecto y comportamientoes mucho más acorde con las expectativas y deseos expresados por los usuarios y ya expuestos a lo largo de este trabajo. Nos encontramos con un único cuadro de búsqueda en una página en la que solo hay un cuadro de búsqueda.

 

Figura 3. Página principal de la herramienta de descubrimiento, Xabio, implantada por la Biblioteca de la Universidad de Murcia

Figura 3. Página principal de la herramienta de descubrimiento, Xabio, implantada por la Biblioteca de la Universidad de Murcia

 

Otros aspectos sobre los que se tiene que prestar una especial atención son los relacionados con la página de resultados y la navegación. En relación con los resultados, tal y como señaló Breeding (2007a), la herramienta de descubrimiento debe hacer "magia" y, tras una consulta en lenguaje natural que en la mayoría de las ocasiones no supera los tres términos, devolver al usuario aquello que necesita.

La técnica más usual y útil para que el usuario comprenda cómo se ha realizado la ordenación por relevancia de los resultados consiste en resaltar la coincidencia de los términos de la consulta con los del documento recuperado. Normalmente, los primeros resultados son aquellos en los que en el título del documento se encuentran todos los términos de la consulta realizada. Este hecho es el que espera el usuario y, de no ser así, el no entendimiento y la frustración con los resultados obtenidos pueden hacer que el usuario se aleje del catálogo como fuente de información.

 

Figura 4. Página de resultados del catálogo de la Universidad de Salamanca

Figura 4. Página de resultados del catálogo de la Universidad de Salamanca

 

Como podemos ver en la página de resultados de la herramienta WorldCat implementada por la Biblioteca de la Universidad de Salamanca, al realizar una búsqueda con los términos guerra civil española, nos devuelve una serie de documentos que efectivamente contienen, por lo menos los primeros, todos los términos de la búsqueda, pero no los resalta para que el usuario entienda este ordenamiento de una manera clara. Hay que hacer un esfuerzo para poder entender la pertinencia del documento recuperado.

El empleo de la navegación por facetas también se presenta como un punto crítico en estos nuevos catálogos. Las facetas deben no solo ser útiles y entendibles por el usuario, sino que deben ser apropiadas también en número. Es decir, ofrecer un número muy elevado de facetas al usuario puede hacer perder la utilidad de estas y hacer que el usuario se sienta perdido entre todas las opciones posibles. Este es el caso de ENCORE, implementada por la Universidad de Granada y la Universitat de les Illes Balears, en las que el número de opciones es muy elevado. Es más adecuado mostrar desplegadas las facetas más comunes, como pueden ser los periodos temporales, tipología documental, disponibilidad, etc., y contraídas aquellas que pueden ser más selectivas para que el usuario las pueda desplegar si así lo desea.

 

Figura 5. Navegación facetada del catálogo de la Biblioteca de la Universidad de Granada

Figura 5. Navegación facetada del catálogo de la Biblioteca de la Universidad de Granada

Criterios poco desarrollados en general son los relacionados con los aspectos sociales. Si bien alcanzan una importancia moderada dentro del análisis de la usabilidad que proponemos, son aspectos que valoran positivamente los usuarios y pueden servir de aliciente para que estos se acerquen al catálogo. De especial importancia nos parece la posibilidad de guardar listas personalizadas de búsquedas y poder añadir etiquetas y comentarios a los documentos recuperados.

 

4 Conclusiones

Los nuevos catálogos centrados en el usuario y las herramientas de descubrimiento que se están desarrollando e implantado en la actualidad son la consecuencia de un mayor interés y estudio del comportamiento informacional de los usuarios. Estos estudios nos muestran a un usuario fuertemente influenciado por la web y en especial por los grandes motores de búsqueda comerciales, como pueden ser Google o Yahoo!, herramientas con las que se sienten tremendamente cómodos, lo que les hace esperar del catálogo de la biblioteca que se comporte de la misma manera: búsquedas con palabras clave genéricas por medio de un solo cuadro de búsqueda y una clasificación ordenada de resultados.

Estos nuevos catálogos aportan todas las funcionalidades del catálogo tradicional, las prestaciones de búsqueda, recuperación y presentación de las herramientas de descubrimiento, y una serie de posibilidades de enriquecimiento del contenido y prestaciones sociales como pueden ser la incorporación de comentarios o el etiquetado de documentos. Todo ello con el objetivo de acercar estas herramientas bibliotecarias a las expectativas del usuario. Es decir, sitúan al usuario y a la experiencia de uso de este como principal elemento de diseño y desarrollo, posicionando a la usabilidad, el diseño centrado en el usuario (DCU) y la experiencia de usuario (EU) como disciplinas clave de este proceso.

Por lo tanto, disponer de un sistema de evaluación cuantitativa de la usabilidad basado en heurísticas, específico para estos nuevos catálogos, puede ser una herramienta de gran utilidad, no solo para los expertos y profesionales en usabilidad o en diseño web y programación, sino también para los propios responsables de las bibliotecas y centros de documentación que los implanten, pues les permitirá conocer, con un pertinente entrenamiento y sin incurrir en unos costes elevados, la adecuación de estas herramientas a las necesidades y expectativas de los usuarios a los que sirven.

Al igual que ocurre con los estudios cualitativos de usabilidad realizados anteriormente sobre estas nuevas herramientas, del análisis de usabilidad cuantitativo realizado con el modelo propuesto, se desprende que, aunque se vislumbran importantes avances en relación con el catálogo tradicional, todavía nos encontramos lejos de aplicar aquellos cambios que satisfagan plenamente las expectativas y necesidades del usuario: simplemente localizar la información que necesitan aplicando el mínimo esfuerzo de búsqueda.

 

Bibliografía

Alvite Díez, M. L. (2012). "Redefiniendo el catálogo. Expectativas de las interfaces de descubrimiento centradas en el usuario". Investigación bibliotecológica, vol. 26, n.º 56, p. 181–204. <http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0187-358X2012000100009>. [Consulta: 11/10/2016].

Antelman, K.; Lynema, E.; Pace, A. K. (2006). "Toward a Twenty-First Century Library Catalog". Information technology and libraries, vol. 25, no. 3, p. 128–138. <http://elis.da.ulcc.ac.uk/8177/1/antelman_lynema_pace.pdf>. [Consulta: 11/10/2016].

AENOR (2008). UNE-EN ISO 9241-151: Ergonomía de la interacción hombre-sistema. Madrid: AENOR.

Ávila-García, L. (2013). Herramientas de descubrimiento en bibliotecas universitarias. Trabajo fin de máster. Universidad Carlos iii de Madrid. <http://repositorio.ual.es:8080/jspui/handle/10835/2569>. [Consulta: 11/10/2016].

Ávila-García, L.; Ortiz-Repiso, V.; Rodríguez-Mateos, D. (2015). "Herramientas de descubrimiento: ¿una ventanilla única?". Revista española de documentación científica, vol. 38, n.º 1, p. e077. <http://redc.revistas.csic.es/index.php/redc/article/view/880/1208>. [Consulta: 11/10/2016].

Bawden, D.; Vilar, P. (2006). "Digital libraries: to meet or manage user expectations". Aslib Proceedings, vol. 58, no. 4, p. 346–354.

Borgman, C. L. (1986). "Why Are Online Catalogs Hard to Use - Lessons Learned from Information-Retrieval Studies". Journal of the American Society for Information Science, vol. 37, no. 6, p. 387–400.

— (1996). "Why are Online Catalogs still hard to use?". Journal of the American Society for Information Science,
vol. 47, no. 7, p. 493–503.

Breeding, M. (2007a). "Next-Generation Library Catalogs. Chapter 1: Introduction". Library technology reports, no. 4 (July-August), p. 5–14.

— (2007b). "The Birth of a New Generation of Library Interfaces". Computers in libraries, vol. 27, no. 9 (October), p. 34–37. <http://librarytechnology.org/repository/item.pl?id=12880>. [Consulta: 11/10/2016].

— (2010). "Encore Synergy Launched for Article Discovery: A New Search Model". Information today, May, 3. <http://newsbreaks.infotoday.com/NewsBreaks/Encore-Synergy-Launched-for-Article-Discovery-A-New-Search-Model-66962.asp>. [Consulta: 11/10/2016].

— (2012a). "Library Web-Scale". Computers in libraries, vol. 32, no. 1 (January-February), p. 19–22. <http://www.librarytechnology.org/ltg-displaytext.pl?RC=16577>. [Consulta: 11/10/2016].

— (2012b). "Looking Forward to the Next Generation of Discovery Services". Computers in libraries, vol. 32, no. 2 (March), p. 28–32. <http://www.librarytechnology.org/ltg-displaytext.pl?RC=16731>. [Consulta: 11/10/2016].

— (2012c). "Tech Review and Forecast for 2013". Computers in libraries, vol. 32, no. 10 (December), p. 19–22. <http://www.librarytechnology.org/ltg-displaytext.pl?RC=17758>. [Consulta: 11/10/2016].

— (2012d). "Tendencias actuales y futuras en tecnologías de la información para unidades de información".
El profesional de la información, vol. 21, n.º 1 (enero-febrero), p. 9–15. <http://www.elprofesionaldelainformacion.com/breeding-espanol.pdf >. [Consulta: 11/10/2016].

— (2015). The Future of Library Resource Discovery: A white paper commissioned by the NISO Discovery to Delivery (D2D) Topic Committee. Baltimore: NISO. <http://www.niso.org/apps/group_public/download.php/14487/future_library_resource_discovery.pdf>. [Consulta: 11/10/2016].

Brophy, J.; Bawden, D. (2005). "Is Google enough? Comparison of an Internet search engine with academic library resources". Aslib Proceedings, vol. 57, no. 6, p. 498–512.

Burke, J. (2010). "Discovery versus Disintermediation: The new reality driven by today's end-user". VALA 2010 Conference, Melbourne, Australia. <http://www.vala.org.au/vala2010/papers2010/VALA2010_57_Burke_Final.pdf>. [Consulta: 11/10/2016].

Chickering, F. W.; Yang, S. Q. (2014). "Evaluation and Comparison of Discovery Tools: An Update". Information technology and libraries, vol. 33, no. 2 (June), p. 5–30.
<http://ejournals.bc.edu/ojs/index.php/ital/article/view/3471>. [Consulta: 11/10/2016].

Constantine, L. (1995). "What do users want? Engineering usability into software". Windows tech journal, vol. 4,
no. 12, p. 30–39.

Dix, A.; Finlay, J.; Abowd, G. D.; Beale, R. (2010). Human computer interaction. 3rd ed. Harlow: Pearson. <http://fit.mta.edu.vn/files/DanhSach/__Human_computer_interaction.pdf>. [Consulta: 11/10/2016].

Emanuel, J. (2009). "Next Generation Catalogs: What Do They Do and Why Should We Care?". Reference & user services quarterly, vol. 49, no. 2, p. 117–120. <https://faculty.washington.edu/rmjost/Readings/next_generation_catalogs_what_do_they_do.pdf>.  [Consulta: 11/10/2016].

— (2011). "Usability of the VuFind Next-Generation Online Catalog". Information technology and libraries, vol. 30, no. 1 (March), p. 44–52. <http://ejournals.bc.edu/ojs/index.php/ital/article/view/3044>. [Consulta: 11/10/2016].

Fast, K. V.; Campbell, D. G. (2004). "'I still like Google': University student perceptions of searching OPACs and the web". Proceedings of the ASIS&T SIG/CR Classification Research Group Workshop, vol. 41, no. 1, p. 138–146. <http://onlinelibrary.wiley.com/doi/10.1002/meet.1450410116/full>. [Consulta: 11/10/2016].

Fry, A.; Rich, L. (2011). "Usability Testing for e-Resource Discovery: How Students Find and Choose e-Resources Using Library Web Sites". The journal of academic librarianship, vol. 37, no. 5 (September), p. 386–401.

Garza, A. (2009). "From OPAC to CMS: Drupal as an extensible library platform". Library hi tech, vol. 27, no. 2,
p. 252–267.

González, M. P.; Lorés, J., Pascual Almenara, A.; Granollers, T. (2006). "Evaluación heurística de sitios web académicos latinoamericanos dentro de la iniciativa UsabAIPO". vii Congreso Internacional de Interacción Persona-Ordenador INTERACCION 2016. Puerto Llano, del 13 al 17 de noviembre de 2016, vol. 6, p. 143–153. <http://aipo.es/articulos/4/16.pdf>. [Consulta: 11/10/2016].

Gross, J.; Sheridan, L. (2011). "Web scale discovery: the user experience". New library world, vol. 112, no. 5/6,
p. 236–247.

Hassan Montero, Y.; Martín Fernández, F. J. (2003). "Guía de evaluación heurística de sitios web". No solo usabilidad, 30 de marzo. <http://www.nosolousabilidad.com/articulos/heuristica.htm>. [Consulta: 11/10/2016].

Hoeppner, A. (2012). "The Ins and Outs of Evaluating Web-Scale Discovery Services: Librarians around the World Are Trying to Learn What WSD Services Are and How they Work". Computers in libraries, vol. 32, no. 3 (April). <http://www.questia.com/magazine/1G1-286254697/the-ins-and-outs-of-evaluating-web-scale-discovery>. [Consulta: 11/10/2016].

Instone, K. (1997). "Site Usability Heuristics for the Web. Part 2". Web review, October. <http://instone.org/heuristics>. [Consulta: 11/10/2016].

Markey, K. (2007). "Twenty-five years of end-user searching. Part 1: Research findings". Journal of the American Society for Information Science and Technology, vol. 58, no. 8 (June), p. 1.071–1.081.

Merčun, T.; Žumer, M. (2008). "New generation of catalogues for the new generation of users: A comparison of six library catalogues". Program electronic library and information systems, vol. 42, no. 3 (January), p. 243–261.

Molich, R.; Nielsen, J. (1990). "Improving a human-computer dialogue". Communications of the ACM, vol. 33, no. 3 (March), p. 338–348.

Nielsen, J. (1994). "Enhancing the explanatory power of usability heuristics". Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM, p. 152–158. <http://doi.acm.org/10.1145/191666.191729>. [Consulta: 11/10/2016].

— (1995). "10 Usability Heuristics for User Interface Design". NN/g Nielsen Norman Group, January, 1. <http://www.nngroup.com/articles/ten-usability-heuristics/>. [Consulta: 11/10/2016].

Nielsen, J.; Molich, R. (1990). "Heuristic evaluation of user interfaces". Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM, p. 249–256. <http://doi.acm.org/10.1145/97243.97281>. [Consulta: 11/10/2016].

Novotny, E. (2004). "I Don't Think I Click: A Protocol Analysis Study of Use of a Library Online Catalog in the Internet Age". College & research libraries, vol. 65, no. 6, p. 525–537. <http://crl.acrl.org/content/65/6/525>. [Consulta: 11/10/2016].

Novotny, E.; Cahoy, E. S. (2006). "If We Teach, Do They Learn? The Impact of Instruction on Online Catalog Search Strategies". Portal: Libraries and the academy, vol. 6, no. 2, p. 155–167.

Pierotti, D. (1995). "Heuristic Evaluation: a System Checklist". Society for Technical Communication. <http://eitidaten.fh-pforzheim.de/daten/mitarbeiter/blankenbach/vorlesungen/GUI/
Heuristic_Evaluation_Checklist_stcsig_org.pdf
>. [Consulta: 11/10/2016].

Place, T. (2010). "Is Integrated Search the answer of libraries to Google?". x Workshop Rebiun sobre proyectos digitales. Diez años de proyectos digitales: cambian las bibliotecas, cambian los profesionales. Valencia, 7 y 8 de octubre de 2010. <http://riunet.upv.es/handle/10251/8678>. [Consulta: 11/10/2016].

Ramdeen, S.; Hemminger, B. M. (2012). "A tale of two interfaces: How facets affect the library catalog search". Journal of the American Society for Information Science and Technology, vol. 63, no. 4 (April), p. 702–715.

Suárez Torrente, M. C. (2011). SIRIUS: Sistema de Evaluación de la Usabilidad Web Orientado al Usuario y basado en la Determinación de Tareas Críticas. Tesis doctoral. Universidad de Oviedo. Departamento de Informática. <http://di002.edv.uniovi.es/~cueva/investigacion/tesis/Sirius.pdf>. [Consulta: 11/10/2016].

Swanson, T. A.; Green, J. (2011). "Why We Are Not Google: Lessons from a Library Web site Usability Study". The Journal of academic librarianship, vol. 37, no. 3 (May), p. 222–229.

Tognazzini, B. (2014). "First Principles of Interaction Design (Revised & Expanded)". AskTOG: Interaction Design Solutions for the Real World, March, 5. <http://www.asktog.com/basics/firstPrinciples.html>. [Consulta: 11/10/2016].

Travieso Rodríguez, C.; Alonso Arévalo, J.; Vivancos Secilla, J. M. (2007). "Usabilidad de los catálogos de las bibliotecas universitarias: propuesta metodológica de evaluación". ACIMED: revista cubana de los profesionales de la información y de la comunicación en salud, vol. 16, n.º 2 (agosto). <https://dialnet.unirioja.es/servlet/articulo?codigo=2340900>. [Consulta: 11/10/2016].

U. S. Department of Health & Human Services (2006). The Research-Based Web Design & Usability Guidelines. Version 2. Washington: U. S. Deptartment of Health & Human Services; U. S. General Services Administration. <http://guidelines.usability.gov/>. [Consulta: 11/10/2016].

Vaughan, J. (2011a). "Chapter 1: Web Scale Discovery: What and Why?". Library technology reports, no. 1 (January), p. 5–11.

— (2011b). "Investigations into library web scale discovery services". Information technology and libraries. <http://digitalscholarship.unlv.edu/lib_articles/44/>. [Consulta: 11/10/2016].

Way, D. (2010). "The Impact of Web-scale Discovery on the Use of a Library Collection". Serials review, vol. 36, no. 4 (December), p. 214–220. <http://scholarworks.gvsu.edu/library_sp/9/>. [Consulta: 11/10/2016].

Wolvertone, R. E.; Burke, J. (2009). "The OPAC is Dead: Managing the Virtual Library". The serials librarian, vol. 57, no. 3 (September), p. 247–252.

Yang, S. Q.; Wagner, K. (2010). "Evaluating and comparing discovery tools: how close are we towards next generation catalog?". Library hi tech, vol. 28, no. 4, p. 690–709. <http://www.emeraldinsight.com/journals.htm?articleid=1896437&show=abstract>. [Consulta: 11/10/2016].

 


Cita recomendada

Muñoz Egido, Daniel; Hernández Pérez, Tony (2016). "Evaluación de la usabilidad en catálogos centrados en el usuario : una propuesta basada en heurísticas". BiD: textos universitaris de biblioteconomia i documentació, núm. 37 (desembre) . <http://bid.ub.edu/es/37/munoz.htm>. DOI: http://dx.doi.org/10.1344/BiD2016.37.17 [Consulta: 24-09-2017].