Evaluación de la usabilidad en catálogos centrados en el usuario: una propuesta basada en heurísticas

1 Introducción

En las últimas décadas ha crecido sustancialmente el interés por el comportamiento de los usuarios de la biblioteca y, en particular, el relacionado con el uso que estos hacen de las herramientas de recuperación de información. A partir de los años noventa del siglo xx podemos apreciar una mayor inquietud por conocer este hecho, lo cual coincide en el tiempo con los inicios, en el plano conceptual, de lo que se vinieron a llamar catálogos de nueva generación (next-generation catalogs) (Antelman; Lynema; Pace, 2006; Emanuel, 2009), si bien también pueden ser recogidos en la literatura especializada como OPAC autónomo, capa de descubrimiento, interfaz de descubrimiento u OPAC de sustitución (Yang; Wagner, 2010).

Casi desde su aparición, muchos autores manifestaron la dificultad que los usuarios encontraban a la hora de utilizar los OPAC en línea tradicionales, Borgman (1986; 1996) es quien más tempranamente y de una manera más enfática incidió en esta idea, y describió todas las habilidades y destrezas de carácter conceptual, semántico y técnico que el usuario tenía que desplegar para hacer uso de estas herramientas. Posteriormente otros autores han ahondado en esta idea (Novotny, 2004; Brophy; Bawden, 2005; Garza, 2009; Alvite Díez, 2012; Emanuel, 2011), y algunos han llegado incluso a afirmar que "muchos de los usuarios encuentran al OPAC decepcionante, frustrante, ilógico, contraintuitivo e intimidatorio" (Bawden; Vilar, 2006).

Como consecuencia, en los últimos años hemos observado el surgimiento de unas nuevas herramientas bibliotecarias, como pueden ser SUMMON, EBSCO Discovery Service, PRIMO Central, WorldCat Local o ENCORE + EDS, cuyo fin es reducir la brecha que se ha abierto entre el catálogo u OPAC tradicional en línea y el usuario. Son unas herramientas en las que se muestra un mayor interés por el usuario, ya que intentan adaptarse a su comportamiento de búsqueda y persiguen su satisfacción. Y, si hablamos de usuario y satisfacción dentro de un proceso de interacción, estamos hablando específicamente de usabilidad.

Si bien, en función de su estadio tecnológico, podemos hablar de interfaces de descubrimiento, búsqueda federada o descubrimiento en escala web (web-scale Discovery) (Burke, 2010), en general estos nuevos catálogos centrados en el usuario pretenden ofrecer una experiencia más acorde con sus características y necesidades actuales, fuertemente modeladas por la web: localizar de una manera rápida y sencilla cualquier recurso de información, independientemente de su ubicación y formato.

En este trabajo se propone un método de evaluación de la usabilidad basado en heurísticas, que nos permita cuantificar la facilidad de uso que el usuario experimenta al interactuar con estas nuevas herramientas bibliotecarias, el cual también puede servir de apoyo a nuevos procesos de diseño e implementación. Como último paso, se aplicará este modelo para evaluar los nuevos catálogos centrados en el usuario o herramientas de descubrimiento que actualmente existen en algunas de las bibliotecas universitarias españolas.

2 Metodología

Para la realización de un modelo de evaluación de la usabilidad de los catálogos centrados en el usuario o herramientas de descubrimiento se hizo necesario estudiar en profundidad el comportamiento informacional del usuario pasado y presente, y transformar este conocimiento en principios o heurísticas con las cuales poder medir el grado en el que estas nuevas herramientas bibliotecarias satisfacen sus expectativas y necesidades.

Encontramos en Borgman (1986; 1990), ya citada anteriormente, cuáles eran las dificultades del usuario para utilizar el OPAC en línea, y en Markey (2007) una cuantificación del uso de estas herramientas, poniendo de manifiesto algunos patrones de este comportamiento: realización de pocas consultas por parte del usuario; utilización de pocos términos para cada una de las consultas, y un empleo mínimo de los operadores booleanos, excepto el AND, y casi siempre de una manera implícita. Pero esta constatación no nos explicaba el porqué.

La respuesta a esta pregunta se encontró en entender cómo Internet, y especialmente la web, han modelado la forma en que buscamos y consumimos información (Alvite Díez, 2012; Chickering; Yang, 2014; Ávila-García, 2013; Novotny, 2004; Place, 2010; Bawden; Vilar, 2006). Se identificó a un usuario modelo que busca en los catálogos en línea de la biblioteca tal y como lo hace en Internet y, especialmente, en los grandes motores web comerciales (Fast; Campbell, 2004; Swanson; Green 2011), conducta que fue recogida de una manera clara y precisa por Novotny (2004), Novotny y Cahoy (2006) y Place (2010).

Comprendiendo el comportamiento informacional del usuario era necesario conocer, asimismo, lo que este espera de los catálogos de la biblioteca y de las herramientas de recuperación de información, que no es otra cosa que el que se comporten de la misma manera que lo hacen los motores web, proceso que ha sido denominado por algunos autores como Googlelización (Swanson; Green, 2011) o Googlezone (fusión entre Google y Amazon) (Bawden; Vilar, 2006). Wolverton y Burke (2009) han llegado a asociar a Google con el lenguaje actual de los usuarios de la información.

Por lo tanto, se identificó a un usuario que espera de los catálogos y herramientas de recuperación de información, además de un único cuadro de búsqueda y una clasificación ordenada de resultados (Novotny, 2004):

• Sumarios y tablas de contenido.
• Clasificación de resultados ordenada por relevancia y por coincidencia exacta de los términos.
• Búsquedas relacionadas.
• Sensibilidad al contexto y ayuda interactiva.

Una vez conocido el comportamiento y las expectativas de búsqueda de los usuarios, se transformaron estos principios en heurísticas que pudieran conformar este modelo de evaluación de catálogos centrados en el usuario.

Para ello, previamente se analizaron los modelos de evaluación de la usabilidad desarrollados por Nielsen y Molich (1990), Molich y Nielsen (1990), Nielsen (1994; 1995), Pierotti (1995), Constantine (1995), Instone (1997), Tognazzini (2014), Hassan Montero y Martín Fernández (2003), las HHS Guidelines (U. S. Department of Health & Human Services, 2006), la propuesta UsabAIPO (González [et al.], 2006), Travieso Rodríguez, Alonso Arévalo y Vivancos Secilla (2007) y la Norma UNE-EN ISO 92:41:151 Ergonomía de la interacción hombre-sistema (AENOR, 2008). También se estudiaron las pruebas de usabilidad de tipo cualitativo sobre herramientas de descubrimiento llevadas a cabo por Way (2010), Gross y Sheridan (2011), Emanuel (2011), Fry y Rich (2011) y Ramdeen y Hemminger (2012).

Establecidos los principios o heurísticas se agruparon en aspectos con relación a las diferentes funciones que estas nuevas herramientas deberían tener. Si bien se tomaron en consideración todas las descripciones funcionales enunciadas por Antelman, Lynema y Pace (2006), Breeding (2007a,b; 2010; 2012a,b,c,d; 2015), Vaughan (2011; 2011b), Hoeppner (2012), Alvite-Díez (2012), Chickering y Yang (2014) y Ávila-García, Ortiz-Repiso y Rodríguez-Mateos (2015), seleccionamos finalmente los aspectos recogidos por Merčun y Žumer (2008). Estas autoras identificaron seis áreas o funciones de estas nuevas herramientas de recuperación de información, entre las cuales las de búsqueda, presentación y navegación son las áreas más críticas. Fueron estas áreas o funciones las que se tomaron para establecer los aspectos o categorías de este modelo heurístico de evaluación de la usabilidad.

El último paso para la formación del modelo de evaluación consistió en la selección de una métrica que nos permitiera establecer una cuantificación del proceso. Para ello se seleccionó la aplicada en el modelo SIRIUS (Suárez Torrente, 2011). Esta métrica, a partir de una valoración de cada uno de los atributos, permite establecer un valor total de usabilidad en una escala de 0 a 100. Los valores para cada uno de los criterios pueden ser numéricos, de 0 a 10, o textuales, en función de si el criterio se cumple en todas las páginas del sitio, solo en la primera, en el primer nivel de navegación, etc. En el caso de los valores textuales se debe aplicar una correspondencia numérica a cada valor:

Tabla 1. Valores textuales y su correspondencia numérica aplicada para el empleo de la métrica desarrollada en SIRIUS

Uno de los aspectos más significativos de esta métrica se encuentra en la ponderación que permite hacer de cada uno de los criterios que se evaluarán. A partir de un valor de relevancia, el sistema permite ponderar el criterio en función de su no cumplimiento, es decir, el no cumplimiento de aquellos criterios que se hayan valorado como más relevantes tendrá un peso a la baja mayor en el cómputo global que el no cumplimiento de uno menos relevante.

Para este modelo de evaluación, utilizando la métrica SIRIUS, se establecieron tres niveles de relevancia asociados a su equivalencia numérica:

Tabla 2. Nivel de relevancia y valor de relevancia aplicados para el empleo de la métrica de usabilidad en SIRIUS

Una vez conformado el modelo, el último objetivo de este trabajo consistió en su aplicación para la evaluación de los catálogos centrados en el usuario o herramientas de descubrimiento implantados por algunas de las bibliotecas universitarias españolas. Para ello se seleccionaron diez bibliotecas universitarias en función de la herramienta empleada para estos nuevos catálogos y la representatividad de esta dentro del mercado de herramientas de descubrimiento.

Ávila-García, Ortiz-Repiso y Rodríguez-Mateos (2015), en su estudio sobre la implantación de este tipo de herramientas en las bibliotecas de las universidades españolas, cuantifican que el 28,4 % de ellas emplea SUMMON; el 12,2 %, EBSCO Discovery Service; el 9,5 %, PRIMO Central; el 8,1 %, WorldCat Local, y el 4,1 %, ENCORE + EDS. Trasladados estos datos proporcionalmente a nuestra muestra, se seleccionaron cuatro bibliotecas con SUMMON, cuatro con ENCORE, dos con PRIMO Central, dos con WorldCat Local y una con EBSCO HOST y VuFind, esta última por ser una iniciativa de código abierto que se consideró debería ser tomada en consideración.

Tabla 3. Bibliotecas sobre las que se ha realizado la evaluación de la usabilidad de sus catálogos

3 Resultados

El modelo para la evaluación cuantitativa de la usabilidad, basado en heurísticas de catálogos centrados en el usuario, que se propone en este trabajo queda conformado por cuarenta y nueve criterios heurísticos agrupados en seis aspectos:

1. Aspectos generales: recogen las heurísticas aplicables a cualquier sitio web independientemente del contexto de uso y usuarios. Los grandes principios generales descritos en la literatura especializada podrían incluirse en esta categoría.
2. Búsqueda: uno de los aspectos críticos. Con la búsqueda el usuario espera poder reproducir el mismo comportamiento que sigue con los grandes motores de búsqueda web, con los cuales se encuentra muy satisfecho.
3. Página de resultados y navegación: otro de los aspectos críticos. El usuario espera poder iniciar una búsqueda mediante unas pocas palabras claves genéricas para posteriormente ir refinando los resultados hasta obtener el objetivo deseado. Al mismo tiempo también espera que los resultados estén ordenados de tal manera que los primeros sean aquellos que más se ajusten a sus necesidades.
4. Contenido enriquecido, listas de recomendación y participación de los usuarios: en términos generales, nos encontramos con aspectos de la web 2.0 con los cuales el usuario desea poder ser partícipe del proceso de recuperación y valora las opiniones de otros usuarios, registros enriquecidos y listas de recomendación, etc.
5. Perfil de usuario y personalización: el sistema debe permitir que el usuario haga suya la herramienta proporcionándole el control sobre ciertos aspectos, tanto estéticos como de comportamiento de esta.
6. Otras funcionalidades: funcionalidades que hacen de los catálogos herramientas más eficaces y eficientes y que son ampliamente aceptadas por los usuarios.

Dentro de los cuarenta y nueve criterios heurísticos del modelo se han establecido cinco tareas críticas en las áreas de "búsqueda" y "página de resultados y navegación" de acuerdo con Merčun y Žumer (2008). También nos ha parecido pertinente establecer una relación de cada uno de los criterios heurísticos con los atributos o principios de usabilidad a los que hace referencia. Para ello hemos utilizado, por su sencillez y facilidad de comprensión, los tres atributos principales de usabilidad descritos por Dix y otros (2010): facilidad de aprendizaje (FAC), flexibilidad (FLE) y robustez (ROB).

Tabla 4. Criterios heurísticos, valores de relevancia y métricas del método de evaluación de la usabilidad para catálogos centrados en el usuario

Este modelo para la evaluación de la usabilidad en herramientas de descubrimiento se ha aplicado a las implantadas en las diez bibliotecas de universidades españolas enumeradas anteriormente. Si bien hemos encontrado en todas las bibliotecas analizadas una voluntad y esfuerzo por implementar elementos orientados al usuario, muchos de ellos propios de las herramientas de descubrimiento que emplean, en muchas de estas ocasiones este paso no llega a alcanzar un desarrollo completo y se produce un estadio intermedio entre las características de los catálogos tradicionales y las que deberían tener aquellos totalmente centrados en el usuario.

Tabla 5. Usabilidad por aspectos y total de usabilidad de los catálogos centrados en el usuario de las diez bibliotecas universitarias analizadas

Una de las deficiencias más importantes que hemos localizado es la no disposición de un único cuadro de búsqueda para recuperar dentro de todos los recursos, propios o suscritos, de la biblioteca. En algunos de los casos, este cuadro solo recupera por defecto en una parte de los recursos de la biblioteca y, para poder hacerlo sobre la totalidad, debemos haberlo seleccionado previamente de alguna otra manera.

Figura 1. Cuadro de búsqueda de la página principal de la Biblioteca de la Universidad Complutense de Madrid

Este es el caso del cuadro de búsqueda que podemos encontrar en la página web de la Biblioteca de la Universidad Complutense de Madrid. Por defecto, el campo de búsqueda remite a la búsqueda dentro del catálogo local, denominado Cisne. Para poder realizar una búsqueda sobre todos los recursos, ya sean propios o suscritos de la biblioteca, debemos seleccionar "BUCea", el cual lanzará una búsqueda sobre la herramienta de descubrimiento implantada, SUMMON, en este caso en particular.

Otro aspecto relevante desde el punto de vista de la usabilidad y el cuadro de búsqueda está relacionado con la puerta de entrada al catálogo. En la mayoría de los casos estudiados, esta entrada se realiza por medio de la página principal de la biblioteca, con lo cual esta página se convierte en parte del catálogo. Y en muchas de las páginas web de las bibliotecas hay importantes déficits de usabilidad. De igual manera, los cuadros de búsqueda insertados en la página web de la biblioteca no integran algunas de las funcionalidades de las diferentes herramientas de descubrimiento utilizadas, como pueden ser la recomendación de términos de búsqueda o corrección de errores ortográficos.

Figura 2. Página principal de la Biblioteca de la Universidad de Murcia

En la página principal de la Biblioteca de la Universidad de Murcia podemos ver cómo se encuentra un campo de búsqueda que, si bien por defecto solo recupera en los recursos locales, se puede seleccionar para que recupere por medio de la herramienta de descubrimiento denominada por estos como Xabio. Pero la herramienta de descubrimiento también tiene una página principal, a la cual no es tan fácil o evidente acceder ya que no se enlaza directamente desde la web de la biblioteca.

Si accedemos a la página principal de la herramienta de descubrimiento, en este caso SUMMON, podemos ver que su aspecto y comportamientoes mucho más acorde con las expectativas y deseos expresados por los usuarios y ya expuestos a lo largo de este trabajo. Nos encontramos con un único cuadro de búsqueda en una página en la que solo hay un cuadro de búsqueda.

Figura 3. Página principal de la herramienta de descubrimiento, Xabio, implantada por la Biblioteca de la Universidad de Murcia

Otros aspectos sobre los que se tiene que prestar una especial atención son los relacionados con la página de resultados y la navegación. En relación con los resultados, tal y como señaló Breeding (2007a), la herramienta de descubrimiento debe hacer "magia" y, tras una consulta en lenguaje natural que en la mayoría de las ocasiones no supera los tres términos, devolver al usuario aquello que necesita.

La técnica más usual y útil para que el usuario comprenda cómo se ha realizado la ordenación por relevancia de los resultados consiste en resaltar la coincidencia de los términos de la consulta con los del documento recuperado. Normalmente, los primeros resultados son aquellos en los que en el título del documento se encuentran todos los términos de la consulta realizada. Este hecho es el que espera el usuario y, de no ser así, el no entendimiento y la frustración con los resultados obtenidos pueden hacer que el usuario se aleje del catálogo como fuente de información.

Figura 4. Página de resultados del catálogo de la Universidad de Salamanca

Como podemos ver en la página de resultados de la herramienta WorldCat implementada por la Biblioteca de la Universidad de Salamanca, al realizar una búsqueda con los términos guerra civil española, nos devuelve una serie de documentos que efectivamente contienen, por lo menos los primeros, todos los términos de la búsqueda, pero no los resalta para que el usuario entienda este ordenamiento de una manera clara. Hay que hacer un esfuerzo para poder entender la pertinencia del documento recuperado.

El empleo de la navegación por facetas también se presenta como un punto crítico en estos nuevos catálogos. Las facetas deben no solo ser útiles y entendibles por el usuario, sino que deben ser apropiadas también en número. Es decir, ofrecer un número muy elevado de facetas al usuario puede hacer perder la utilidad de estas y hacer que el usuario se sienta perdido entre todas las opciones posibles. Este es el caso de ENCORE, implementada por la Universidad de Granada y la Universitat de les Illes Balears, en las que el número de opciones es muy elevado. Es más adecuado mostrar desplegadas las facetas más comunes, como pueden ser los periodos temporales, tipología documental, disponibilidad, etc., y contraídas aquellas que pueden ser más selectivas para que el usuario las pueda desplegar si así lo desea.

Figura 5. Navegación facetada del catálogo de la Biblioteca de la Universidad de Granada

Criterios poco desarrollados en general son los relacionados con los aspectos sociales. Si bien alcanzan una importancia moderada dentro del análisis de la usabilidad que proponemos, son aspectos que valoran positivamente los usuarios y pueden servir de aliciente para que estos se acerquen al catálogo. De especial importancia nos parece la posibilidad de guardar listas personalizadas de búsquedas y poder añadir etiquetas y comentarios a los documentos recuperados.

4 Conclusiones

Los nuevos catálogos centrados en el usuario y las herramientas de descubrimiento que se están desarrollando e implantado en la actualidad son la consecuencia de un mayor interés y estudio del comportamiento informacional de los usuarios. Estos estudios nos muestran a un usuario fuertemente influenciado por la web y en especial por los grandes motores de búsqueda comerciales, como pueden ser Google o Yahoo!, herramientas con las que se sienten tremendamente cómodos, lo que les hace esperar del catálogo de la biblioteca que se comporte de la misma manera: búsquedas con palabras clave genéricas por medio de un solo cuadro de búsqueda y una clasificación ordenada de resultados.

Estos nuevos catálogos aportan todas las funcionalidades del catálogo tradicional, las prestaciones de búsqueda, recuperación y presentación de las herramientas de descubrimiento, y una serie de posibilidades de enriquecimiento del contenido y prestaciones sociales como pueden ser la incorporación de comentarios o el etiquetado de documentos. Todo ello con el objetivo de acercar estas herramientas bibliotecarias a las expectativas del usuario. Es decir, sitúan al usuario y a la experiencia de uso de este como principal elemento de diseño y desarrollo, posicionando a la usabilidad, el diseño centrado en el usuario (DCU) y la experiencia de usuario (EU) como disciplinas clave de este proceso.

Por lo tanto, disponer de un sistema de evaluación cuantitativa de la usabilidad basado en heurísticas, específico para estos nuevos catálogos, puede ser una herramienta de gran utilidad, no solo para los expertos y profesionales en usabilidad o en diseño web y programación, sino también para los propios responsables de las bibliotecas y centros de documentación que los implanten, pues les permitirá conocer, con un pertinente entrenamiento y sin incurrir en unos costes elevados, la adecuación de estas herramientas a las necesidades y expectativas de los usuarios a los que sirven.

Al igual que ocurre con los estudios cualitativos de usabilidad realizados anteriormente sobre estas nuevas herramientas, del análisis de usabilidad cuantitativo realizado con el modelo propuesto, se desprende que, aunque se vislumbran importantes avances en relación con el catálogo tradicional, todavía nos encontramos lejos de aplicar aquellos cambios que satisfagan plenamente las expectativas y necesidades del usuario: simplemente localizar la información que necesitan aplicando el mínimo esfuerzo de búsqueda.

Bibliografía

Alvite Díez, M. L. (2012). "Redefiniendo el catálogo. Expectativas de las interfaces de descubrimiento centradas en el usuario". Investigación bibliotecológica, vol. 26, n.º 56, p. 181–204. <http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0187-358X2012000100009>. [Consulta: 11/10/2016].

Antelman, K.; Lynema, E.; Pace, A. K. (2006). "Toward a Twenty-First Century Library Catalog". Information technology and libraries, vol. 25, no. 3, p. 128–138. <http://elis.da.ulcc.ac.uk/8177/1/antelman_lynema_pace.pdf>. [Consulta: 11/10/2016].

AENOR (2008). UNE-EN ISO 9241-151: Ergonomía de la interacción hombre-sistema. Madrid: AENOR.

Ávila-García, L. (2013). Herramientas de descubrimiento en bibliotecas universitarias. Trabajo fin de máster. Universidad Carlos iii de Madrid. <http://repositorio.ual.es:8080/jspui/handle/10835/2569>. [Consulta: 11/10/2016].

Ávila-García, L.; Ortiz-Repiso, V.; Rodríguez-Mateos, D. (2015). "Herramientas de descubrimiento: ¿una ventanilla única?". Revista española de documentación científica, vol. 38, n.º 1, p. e077. <http://redc.revistas.csic.es/index.php/redc/article/view/880/1208>. [Consulta: 11/10/2016].

Bawden, D.; Vilar, P. (2006). "Digital libraries: to meet or manage user expectations". Aslib Proceedings, vol. 58, no. 4, p. 346–354.

Borgman, C. L. (1986). "Why Are Online Catalogs Hard to Use - Lessons Learned from Information-Retrieval Studies". Journal of the American Society for Information Science, vol. 37, no. 6, p. 387–400.

— (1996). "Why are Online Catalogs still hard to use?". Journal of the American Society for Information Science,
vol. 47, no. 7, p. 493–503.

Breeding, M. (2007a). "Next-Generation Library Catalogs. Chapter 1: Introduction". Library technology reports, no. 4 (July-August), p. 5–14.

— (2007b). "The Birth of a New Generation of Library Interfaces". Computers in libraries, vol. 27, no. 9 (October), p. 34–37. <http://librarytechnology.org/repository/item.pl?id=12880>. [Consulta: 11/10/2016].

— (2010). "Encore Synergy Launched for Article Discovery: A New Search Model". Information today, May, 3. <http://newsbreaks.infotoday.com/NewsBreaks/Encore-Synergy-Launched-for-Article-Discovery-A-New-Search-Model-66962.asp>. [Consulta: 11/10/2016].

— (2012a). "Library Web-Scale". Computers in libraries, vol. 32, no. 1 (January-February), p. 19–22. <http://www.librarytechnology.org/ltg-displaytext.pl?RC=16577>. [Consulta: 11/10/2016].

— (2012b). "Looking Forward to the Next Generation of Discovery Services". Computers in libraries, vol. 32, no. 2 (March), p. 28–32. <http://www.librarytechnology.org/ltg-displaytext.pl?RC=16731>. [Consulta: 11/10/2016].

— (2012c). "Tech Review and Forecast for 2013". Computers in libraries, vol. 32, no. 10 (December), p. 19–22. <http://www.librarytechnology.org/ltg-displaytext.pl?RC=17758>. [Consulta: 11/10/2016].

— (2012d). "Tendencias actuales y futuras en tecnologías de la información para unidades de información".
El profesional de la información, vol. 21, n.º 1 (enero-febrero), p. 9–15. <http://www.elprofesionaldelainformacion.com/breeding-espanol.pdf >. [Consulta: 11/10/2016].

— (2015). The Future of Library Resource Discovery: A white paper commissioned by the NISO Discovery to Delivery (D2D) Topic Committee. Baltimore: NISO. <http://www.niso.org/apps/group_public/download.php/14487/future_library_resource_discovery.pdf>. [Consulta: 11/10/2016].

Brophy, J.; Bawden, D. (2005). "Is Google enough? Comparison of an Internet search engine with academic library resources". Aslib Proceedings, vol. 57, no. 6, p. 498–512.

Burke, J. (2010). "Discovery versus Disintermediation: The new reality driven by today's end-user". VALA 2010 Conference, Melbourne, Australia. <http://www.vala.org.au/vala2010/papers2010/VALA2010_57_Burke_Final.pdf>. [Consulta: 11/10/2016].

Chickering, F. W.; Yang, S. Q. (2014). "Evaluation and Comparison of Discovery Tools: An Update". Information technology and libraries, vol. 33, no. 2 (June), p. 5–30.
<http://ejournals.bc.edu/ojs/index.php/ital/article/view/3471>. [Consulta: 11/10/2016].

Constantine, L. (1995). "What do users want? Engineering usability into software". Windows tech journal, vol. 4,
no. 12, p. 30–39.

Dix, A.; Finlay, J.; Abowd, G. D.; Beale, R. (2010). Human computer interaction. 3rd ed. Harlow: Pearson. <http://fit.mta.edu.vn/files/DanhSach/__Human_computer_interaction.pdf>. [Consulta: 11/10/2016].

Emanuel, J. (2009). "Next Generation Catalogs: What Do They Do and Why Should We Care?". Reference & user services quarterly, vol. 49, no. 2, p. 117–120. <https://faculty.washington.edu/rmjost/Readings/next_generation_catalogs_what_do_they_do.pdf>.  [Consulta: 11/10/2016].

— (2011). "Usability of the VuFind Next-Generation Online Catalog". Information technology and libraries, vol. 30, no. 1 (March), p. 44–52. <http://ejournals.bc.edu/ojs/index.php/ital/article/view/3044>. [Consulta: 11/10/2016].

Fast, K. V.; Campbell, D. G. (2004). "'I still like Google': University student perceptions of searching OPACs and the web". Proceedings of the ASIS&T SIG/CR Classification Research Group Workshop, vol. 41, no. 1, p. 138–146. <http://onlinelibrary.wiley.com/doi/10.1002/meet.1450410116/full>. [Consulta: 11/10/2016].

Fry, A.; Rich, L. (2011). "Usability Testing for e-Resource Discovery: How Students Find and Choose e-Resources Using Library Web Sites". The journal of academic librarianship, vol. 37, no. 5 (September), p. 386–401.

Garza, A. (2009). "From OPAC to CMS: Drupal as an extensible library platform". Library hi tech, vol. 27, no. 2,
p. 252–267.

González, M. P.; Lorés, J., Pascual Almenara, A.; Granollers, T. (2006). "Evaluación heurística de sitios web académicos latinoamericanos dentro de la iniciativa UsabAIPO". vii Congreso Internacional de Interacción Persona-Ordenador INTERACCION 2016. Puerto Llano, del 13 al 17 de noviembre de 2016, vol. 6, p. 143–153. <http://aipo.es/articulos/4/16.pdf>. [Consulta: 11/10/2016].

Gross, J.; Sheridan, L. (2011). "Web scale discovery: the user experience". New library world, vol. 112, no. 5/6,
p. 236–247.

Hassan Montero, Y.; Martín Fernández, F. J. (2003). "Guía de evaluación heurística de sitios web". No solo usabilidad, 30 de marzo. <http://www.nosolousabilidad.com/articulos/heuristica.htm>. [Consulta: 11/10/2016].

Hoeppner, A. (2012). "The Ins and Outs of Evaluating Web-Scale Discovery Services: Librarians around the World Are Trying to Learn What WSD Services Are and How they Work". Computers in libraries, vol. 32, no. 3 (April). <http://www.questia.com/magazine/1G1-286254697/the-ins-and-outs-of-evaluating-web-scale-discovery>. [Consulta: 11/10/2016].

Instone, K. (1997). "Site Usability Heuristics for the Web. Part 2". Web review, October. <http://instone.org/heuristics>. [Consulta: 11/10/2016].

Markey, K. (2007). "Twenty-five years of end-user searching. Part 1: Research findings". Journal of the American Society for Information Science and Technology, vol. 58, no. 8 (June), p. 1.071–1.081.

Merčun, T.; Žumer, M. (2008). "New generation of catalogues for the new generation of users: A comparison of six library catalogues". Program electronic library and information systems, vol. 42, no. 3 (January), p. 243–261.

Molich, R.; Nielsen, J. (1990). "Improving a human-computer dialogue". Communications of the ACM, vol. 33, no. 3 (March), p. 338–348.

Nielsen, J. (1994). "Enhancing the explanatory power of usability heuristics". Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM, p. 152–158. <http://doi.acm.org/10.1145/191666.191729>. [Consulta: 11/10/2016].

— (1995). "10 Usability Heuristics for User Interface Design". NN/g Nielsen Norman Group, January, 1. <http://www.nngroup.com/articles/ten-usability-heuristics/>. [Consulta: 11/10/2016].

Nielsen, J.; Molich, R. (1990). "Heuristic evaluation of user interfaces". Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM, p. 249–256. <http://doi.acm.org/10.1145/97243.97281>. [Consulta: 11/10/2016].

Novotny, E. (2004). "I Don't Think I Click: A Protocol Analysis Study of Use of a Library Online Catalog in the Internet Age". College & research libraries, vol. 65, no. 6, p. 525–537. <http://crl.acrl.org/content/65/6/525>. [Consulta: 11/10/2016].

Novotny, E.; Cahoy, E. S. (2006). "If We Teach, Do They Learn? The Impact of Instruction on Online Catalog Search Strategies". Portal: Libraries and the academy, vol. 6, no. 2, p. 155–167.

Pierotti, D. (1995). "Heuristic Evaluation: a System Checklist". Society for Technical Communication. <http://eitidaten.fh-pforzheim.de/daten/mitarbeiter/blankenbach/vorlesungen/GUI/
Heuristic_Evaluation_Checklist_stcsig_org.pdf>. [Consulta: 11/10/2016].

Place, T. (2010). "Is Integrated Search the answer of libraries to Google?". x Workshop Rebiun sobre proyectos digitales. Diez años de proyectos digitales: cambian las bibliotecas, cambian los profesionales. Valencia, 7 y 8 de octubre de 2010. <http://riunet.upv.es/handle/10251/8678>. [Consulta: 11/10/2016].

Ramdeen, S.; Hemminger, B. M. (2012). "A tale of two interfaces: How facets affect the library catalog search". Journal of the American Society for Information Science and Technology, vol. 63, no. 4 (April), p. 702–715.

Suárez Torrente, M. C. (2011). SIRIUS: Sistema de Evaluación de la Usabilidad Web Orientado al Usuario y basado en la Determinación de Tareas Críticas. Tesis doctoral. Universidad de Oviedo. Departamento de Informática. <http://di002.edv.uniovi.es/~cueva/investigacion/tesis/Sirius.pdf>. [Consulta: 11/10/2016].

Swanson, T. A.; Green, J. (2011). "Why We Are Not Google: Lessons from a Library Web site Usability Study". The Journal of academic librarianship, vol. 37, no. 3 (May), p. 222–229.

Tognazzini, B. (2014). "First Principles of Interaction Design (Revised & Expanded)". AskTOG: Interaction Design Solutions for the Real World, March, 5. <http://www.asktog.com/basics/firstPrinciples.html>. [Consulta: 11/10/2016].

Travieso Rodríguez, C.; Alonso Arévalo, J.; Vivancos Secilla, J. M. (2007). "Usabilidad de los catálogos de las bibliotecas universitarias: propuesta metodológica de evaluación". ACIMED: revista cubana de los profesionales de la información y de la comunicación en salud, vol. 16, n.º 2 (agosto). <https://dialnet.unirioja.es/servlet/articulo?codigo=2340900>. [Consulta: 11/10/2016].

U. S. Department of Health & Human Services (2006). The Research-Based Web Design & Usability Guidelines. Version 2. Washington: U. S. Deptartment of Health & Human Services; U. S. General Services Administration. <http://guidelines.usability.gov/>. [Consulta: 11/10/2016].

Vaughan, J. (2011a). "Chapter 1: Web Scale Discovery: What and Why?". Library technology reports, no. 1 (January), p. 5–11.

— (2011b). "Investigations into library web scale discovery services". Information technology and libraries. <http://digitalscholarship.unlv.edu/lib_articles/44/>. [Consulta: 11/10/2016].

Way, D. (2010). "The Impact of Web-scale Discovery on the Use of a Library Collection". Serials review, vol. 36, no. 4 (December), p. 214–220. <http://scholarworks.gvsu.edu/library_sp/9/>. [Consulta: 11/10/2016].

Wolvertone, R. E.; Burke, J. (2009). "The OPAC is Dead: Managing the Virtual Library". The serials librarian, vol. 57, no. 3 (September), p. 247–252.

Yang, S. Q.; Wagner, K. (2010). "Evaluating and comparing discovery tools: how close are we towards next generation catalog?". Library hi tech, vol. 28, no. 4, p. 690–709. <http://www.emeraldinsight.com/journals.htm?articleid=1896437&show=abstract>. [Consulta: 11/10/2016].