Avaluació de la usabilitat en catàlegs centrats en l’usuari: una proposta basada en heurístiques

1 Introducció

Les últimes dècades ha crescut substancialment l'interès pel comportament dels usuaris de la biblioteca i, en particular, el que està relacionat amb l'ús que fan de les eines de recuperació d'informació. A partir dels anys noranta del segle xx podem apreciar una inquietud més gran per conèixer aquest fet, la qual cosa coincideix en el temps amb els inicis, en el pla conceptual, del que es van anomenar catàlegs de nova generació (next-generation catalogs) (Antelman; Lynema; Pace, 2006; Emanuel, 2009), si bé també poden ser recollits en la literatura especialitzada com ara OPAC autònom, capa de descobriment, interfície de descobriment o OPAC de substitució (Yang; Wagner, 2010).

Gairebé des de l'aparició, molts autors van manifestar la dificultat que els usuaris trobaven a l'hora d'utilitzar els OPAC en línia tradicionals. Borgman (1986; 1996) és qui més aviat i d'una manera més emfàtica va incidir en aquesta idea, i va descriure totes les habilitats i destreses de caràcter conceptual, semàntic i tècnic que l'usuari havia de desplegar per fer ús d'aquestes eines. Posteriorment altres autors han aprofundit en aquesta idea (Novotny, 2004; Brophy; Bawden, 2005; Garza, 2009; Alvite Díez, 2012; Emanuel, 2011), i alguns fins i tot han arribat a afirmar que "muchos de los usuarios encuentran al OPAC decepcionante, frustrante, ilógico, contraintuitivo e intimidatorio" (Bawden; Vilar, 2006).

Com a conseqüència, en els últims anys hem observat el sorgiment d'unes eines bibliotecàries noves, com ara SUMMON, EBSCO Discovery Service, PRIMO Central, WorldCat Local o ENCORE + EDS, amb la finalitat de reduir l'esquerda que s'ha obert entre el catàleg o OPAC tradicional en línia i l'usuari. Són unes eines en què es mostra més interès per l'usuari, ja que s'intenten adaptar al seu comportament de cerca i volen que en quedi satisfet. I, si parlem d'usuari i satisfacció dins d'un procés d'interacció, estem parlant específicament d'usabilitat.

Tot i que, en funció del seu estadi tecnològic, podem parlar d'interfícies de descobriment, cerca federada o descobriment en escala web (Burke, 2010), en general aquests nous catàlegs centrats en l'usuari pretenen oferir una experiència més d'acord amb les seves característiques i necessitats actuals, fortament modelades pel web: localitzar d'una manera ràpida i senzilla qualsevol recurs d'informació, independentment de la ubicació i el format que tinguin.

En aquest treball es proposa un mètode d'avaluació de la usabilitat basat en heurístiques, que ens permeti quantificar la facilitat d'ús que l'usuari experimenta en interactuar amb aquestes noves eines bibliotecàries, que també pot servir de suport a processos de disseny i implementació nous. Com a últim pas, s'aplicarà aquest model per avaluar els catàlegs nous centrats en l'usuari o les eines de descobriment que actualment hi ha en algunes de les biblioteques universitàries espanyoles.

2 Metodologia

Per elaborar un model d'avaluació de la usabilitat dels catàlegs centrats en l'usuari o eines de descobriment es va haver d'estudiar en profunditat el comportament informacional de l'usuari passat i present, i transformar aquest coneixement en principis o heurístiques per mesurar el grau en què aquestes noves eines bibliotecàries en satisfan les expectatives i necessitats.

Trobem a Borgman (1986; 1990), que ja hem citat anteriorment, quines eren les dificultats de l'usuari per utilitzar l'OPAC en línia, i a Markey (2007) una quantificació de l'ús d'aquestes eines, que posen de manifest alguns patrons d'aquest comportament: poques consultes fetes per part de l'usuari; utilització de pocs termes per a cadascuna de les consultes, i un ús mínim dels operadors booleans, excepte l'AND, i gairebé sempre d'una manera implícita. Però aquesta constatació no ens explicava el perquè.

La resposta a aquesta pregunta es va trobar quan es va entendre com Internet, i especialment el web, han modelat la manera en què busquem i consumim informació (Alvite Díez, 2012; Chickering; Yang, 2014; Ávila-García, 2013; Novotny, 2004; Place, 2010; Bawden; Vilar, 2006). Es va identificar un usuari model que busca en els catàlegs en ​​línia de la biblioteca tal com ho fa a Internet i, especialment, en els grans motors web comercials (Fast; Campbell, 2004; Swanson; Green, 2011), conducta que va ser recollida d'una manera clara i precisa per Novotny (2004), Novotny i Cahoy (2006) i Place (2010).

Havent entès el comportament informacional de l'usuari, també calia saber el que l'usuari espera dels catàlegs de la biblioteca i de les eines de recuperació d'informació, que no és cap altra cosa que es comportin de la mateixa manera que ho fan els motors web, procés que ha estat denominat per alguns autors com Googlelització (Swanson; Green, 2011) o Googlezone (fusió entre Google i Amazon) (Bawden; Vilar, 2006). Wolverton i Burke (2009) han arribat a associar Google amb el llenguatge actual dels usuaris de la informació.

Per tant, es va identificar un usuari que espera dels catàlegs i les eines de recuperació d'informació, a més d'un únic quadre de cerca i una classificació ordenada de resultats (Novotny, 2004):

• Sumaris i taules de contingut.
• Classificació de resultats ordenada per rellevància i per coincidència exacta dels termes.
• Cerques relacionades.
• Sensibilitat al context i ajuda interactiva.

Un cop vist el comportament i les expectatives de cerca dels usuaris, es van transformar aquests principis en heurístiques que poguessin conformar aquest model d'avaluació de catàlegs centrats en l'usuari.

Per a això, prèviament es van analitzar els models d'avaluació de la usabilitat desenvolupats per Nielsen i Molich (1990), Molich i Nielsen (1990), Nielsen (1994; 1995), Pierotti (1995), Constantine (1995), Instone (1997), Tognazzini (2014), Hassan Montero i Martín Fernández (2003), les HHS Guidelines (U. S. Department of Health & Human Services, 2006), la proposta UsabAIPO (González [et al.], 2006), Travieso Rodríguez, Alonso Arévalo i Vivancos Secilla (2007) i la Norma UNE-EN ISO 92:41:151 Ergonomía de la interacción hombre-sistema (AENOR, 2008). També es van estudiar les proves d'usabilitat de tipus qualitatiu sobre eines de descobriment dutes a terme per Way (2010), Gross i Sheridan (2011), Emanuel (2011), Fry i Rich (2011) i Ramdeen i Hemminger (2012).

Després d’haver establert els principis o heurístiques es van agrupar en aspectes amb relació a les diferents funcions que aquestes noves eines haurien de tenir. Malgrat que es van prendre en consideració totes les descripcions funcionals enunciades per Antelman, Lynema i Pace (2006, p. 14), Breeding (2007a,b; 2010; 2012a,b,c,d; 2015), Vaughan (2011a,b), Hoeppner (2012), Alvite Díez (2012), Chickering i Yang (2014) i Ávila-García, Ortiz-Repiso i Rodríguez-Mateos (2015), finalment vam seleccionar els aspectes recollits per Merčun i Žumer (2008). Aquests autors van identificar sis àrees o funcions d'aquestes noves eines de recuperació d'informació, entre les quals les de cerca, presentació i navegació són les àrees més crítiques. Van ser aquestes àrees o funcions les que es van agafar per establir els aspectes o categories d'aquest model heurístic d'avaluació de la usabilitat.

L'últim pas per formar el model d'avaluació va consistir en la selecció d'una mètrica que ens permetés establir una quantificació del procés. Per a això es va seleccionar l'aplicada en el model SIRIUS (Suárez Torrente, 2011), que, a partir d'una valoració de cadascun dels atributs, permet establir un valor total d'usabilitat en una escala de 0 a 100. Els valors per a cada un dels criteris poden ser numèrics, de 0 a 10, o textuals, en funció de si el criteri es compleix en totes les pàgines del lloc, només en la primera, en el primer nivell de navegació, etc. En el cas dels valors textuals s'ha d'aplicar una correspondència numèrica a cada valor:

Taula 1. Valors textuals i la seva correspondència numèrica aplicada per a l'ús de la mètrica desenvolupada en el SIRIUS

Un dels aspectes més significatius d'aquesta mètrica es troba en la ponderació que permet fer de cadascun dels criteris que s'avaluaran. A partir d'un valor de rellevància, el sistema permet ponderar el criteri en funció del seu no compliment, és a dir, el no compliment d'aquells criteris que s'hagin valorat com a més rellevants tindrà un pes a la baixa més gran en el còmput global que el no compliment d'un de menys rellevant.

Per a aquest model d'avaluació, utilitzant la mètrica SIRIUS, es van establir tres nivells de rellevància associats a la seva equivalència numèrica:

Taula 2. Nivell de rellevància i valor de rellevància aplicats per a l'ús de la mètrica d'usabilitat en el SIRIUS

Un cop conformat el model, l'últim objectiu d'aquest treball va consistir en l'aplicació per a l'avaluació dels catàlegs centrats en l'usuari o les eines de descobriment implantats per algunes de les biblioteques universitàries espanyoles. Per a això es van seleccionar deu biblioteques universitàries en funció de l'eina utilitzada per a aquests catàlegs nous i la representativitat d'aquesta eina dins del mercat d'eines de descobriment.

Ávila-García, Ortiz-Repiso i Rodríguez-Mateos (2015), a l'estudi sobre la implantació d'aquest tipus d'eines a les biblioteques de les universitats espanyoles, quantifiquen que el 28,4 % d'elles fa servir SUMMON; el 12,2 %, EBSCO Discovery Service; el 9,5 %, PRIMO Central; el 8,1 %, WorldCat Local, i el 4,1 %, ENCORE + EDS. Després d'haver traslladat aquestes dades proporcionalment a la nostra mostra, es van seleccionar quatre biblioteques amb SUMMON, quatre amb ENCORE, dues amb PRIMO Central, dues amb WorldCat Local i una amb EBSCO HOST i VuFind, aquesta última perquè era una iniciativa de codi obert que es va considerar que s'hauria de prendre en consideració.

Taula 3. Biblioteques sobre les quals s'ha fet l'avaluació de la usabilitat dels catàlegs

3 Resultats

El model per a l'avaluació quantitativa de la usabilitat, basat en heurístiques de catàlegs centrats en l'usuari, que es proposa en aquest treball queda conformat per quaranta-nou criteris heurístics agrupats en sis aspectes:

1. Aspectes generals: recullen les heurístiques aplicables a qualsevol lloc web independentment del context d'ús i usuaris. Els grans principis generals descrits en la literatura especialitzada es podrien incloure en aquesta categoria.
2. Cerca: un dels aspectes crítics. Amb la cerca l'usuari espera poder reproduir el mateix comportament que segueix amb els grans motors de cerca web, amb els quals està molt satisfet.
3. Pàgina de resultats i navegació: un altre dels aspectes crítics. L'usuari espera poder iniciar una cerca mitjançant algunes paraules clau genèriques per posteriorment refinar els resultats fins a obtenir l'objectiu desitjat. Alhora també espera que els resultats estiguin ordenats de manera que els primers siguin els que més s'ajustin a les seves necessitats.
4. Contingut enriquit, llistes de recomanació i participació dels usuaris: en termes generals, ens trobem amb aspectes del web 2.0 amb els quals l'usuari vol poder ser partícip del procés de recuperació i valorar les opinions d'altres usuaris, registres enriquits i llistes de recomanació, etc.
5. Perfil d'usuari i personalització: el sistema ha de permetre que l'usuari faci seva l'eina proporcionant-li el control sobre certs aspectes, tant estètics com del seu comportament.
6. Altres funcionalitats: funcionalitats que fan dels catàlegs eines més eficaces i eficients i que són àmpliament acceptades pels usuaris.

Dins dels quaranta-nou criteris heurístics del model s'han establert cinc tasques crítiques en les àrees de "cerca" i "pàgina de resultats i navegació" d'acord amb Merčun i Žumer (2008). També ens ha semblat pertinent establir una relació de cada un dels criteris heurístics amb els atributs o principis d'usabilitat als quals fa referència. Per fer-ho hem utilitzat, per la senzillesa i facilitat de comprensió, els tres atributs principals d'usabilitat descrits per Dix i altres (2010): facilitat d'aprenentatge (FAC), flexibilitat (FLE) i robustesa (ROB) .

Taula 4. Criteris heurístics, valors de rellevància i mètriques del mètode d'avaluació de la usabilitat per a catàlegs centrats en l'usuari

Aquest model per a l'avaluació de la usabilitat en eines de descobriment s'ha aplicat a les implantades a les deu biblioteques d'universitats espanyoles enumerades anteriorment. Si bé hem trobat en totes les biblioteques analitzades una voluntat i esforç per implementar elements orientats a l'usuari, molts dels quals característics de les eines de descobriment que utilitzen, moltes vegades aquest pas no arriba a aconseguir un desenvolupament complet i es produeix un estadi intermedi entre les característiques dels catàlegs tradicionals i les que haurien de tenir els que estan totalment centrats en l'usuari.

Taula 5. Usabilitat per aspectes i total d'usabilitat dels catàlegs centrats en l'usuari de les deu biblioteques universitàries analitzades

Una de les deficiències més importants que hem localitzat és no disposar d'un únic quadre de cerca per recuperar dins de tots els recursos, propis o subscrits, de la biblioteca. En alguns dels casos, aquest quadre només recupera per defecte en una part dels recursos de la biblioteca i, per poder fer-ho sobre la totalitat, hem d'haver-ho seleccionat prèviament d'alguna altra manera.

Figura 1. Quadre de cerca de la pàgina principal de la Biblioteca de la Universidad Complutense de Madrid

Aquest és el cas del quadre de cerca que podem trobar a la pàgina web de la Biblioteca de la Universidad Complutense de Madrid. Per defecte, el camp de cerca remet a la cerca dins el catàleg local, denominat Cisne. Per poder cercar sobre tots els recursos, ja siguin propis o subscrits de la biblioteca, hem de seleccionar "BUCea", que llançarà una cerca sobre l'eina de descobriment implantada, SUMMON, en aquest cas en particular.

Un altre aspecte rellevant des del punt de vista de la usabilitat i el quadre de cerca està relacionat amb la porta d'entrada al catàleg. En la majoria dels casos estudiats, aquesta entrada es fa per mitjà de la pàgina principal de la biblioteca, amb la qual cosa aquesta pàgina es converteix en part del catàleg. I en moltes de les pàgines web de les biblioteques hi ha importants dèficits d'usabilitat. De la mateixa manera, els quadres de cerca inserits a la pàgina web de la biblioteca no integren algunes de les funcionalitats de les diferents eines de descobriment utilitzades, com ara la recomanació de termes de cerca o la correcció d'errors ortogràfics.

Figura 2. Pàgina principal de la Biblioteca de la Universidad de Murcia

A la pàgina principal de la Biblioteca de la Universidad de Murcia podem veure com es troba un camp de cerca que, si bé per defecte només recupera en els recursos locals, es pot seleccionar perquè recuperi per mitjà de l'eina de descobriment anomenada Xabio. Però l'eina de descobriment també té una pàgina principal, a la qual no és tan fàcil o evident accedir-hi ja que no s'enllaça directament des del web de la biblioteca.

Si accedim a la pàgina principal de l'eina de descobriment, en aquest cas SUMMON, podem veure que l'aspecte i comportament s'adiuen més a les expectatives i desitjos expressats pels usuaris i ja exposats al llarg d'aquest treball. Ens trobem amb un únic quadre de cerca en una pàgina en què només n'hi ha un.

Figura 3. Pàgina principal de l'eina de descobriment, Xabio, implantada per la biblioteca de la Universidad de Murcia

Uns altres aspectes sobre els quals s'ha de prestar una atenció especial són els relacionats amb la pàgina de resultats i la navegació. En relació amb els resultats, tal com va assenyalar Breeding (2007a), l'eina de descobriment ha de fer "màgia" i, després d'una consulta en llenguatge natural que en la majoria dels casos no supera els tres termes, tornar a l'usuari el que necessita.

La tècnica més usual i útil perquè l'usuari comprengui com s'ha fet l'ordenació per rellevància dels resultats consisteix a ressaltar la coincidència dels termes de la consulta amb els del document recuperat. Normalment, els primers resultats són aquells en què al títol del document hi ha tots els termes de la consulta que s'ha fet. Això és el que espera l'usuari i, si no és així, el no enteniment i la frustració amb els resultats obtinguts poden fer que l'usuari s'allunyi del catàleg com a font d'informació.

Figura 4. Pàgina de resultats del catàleg de la Universidad de Salamanca

Com podem veure a la pàgina de resultats de l'eina WorldCat implementada per la Biblioteca de la Universidad de Salamanca, quan cerquem els termes guerra civil espanyola ens retorna una sèrie de documents que efectivament contenen, almenys els primers, tots els termes de la cerca, però no els ressalta perquè l'usuari entengui aquest ordenament d'una manera clara. Cal que fem un esforç per poder entendre la pertinència del document recuperat.

L'ús de la navegació per facetes també es presenta com un punt crític en aquests catàlegs nous. Les facetes no només han de ser útils i entenedores per l'usuari, sinó que han de ser apropiades també en la quantitat. És a dir, oferir un nombre molt elevat de facetes a l'usuari pot fer que se'n perdi la utilitat i fer que l'usuari se senti perdut entre totes les opcions possibles. Aquest és el cas d'ENCORE, implementada per la Universidad de Granada i la Universitat de les Illes Balears, en què el nombre d'opcions és molt elevat. És més adequat mostrar desplegades les facetes més comunes, com ara períodes temporals, tipologia documental, disponibilitat, etc., i contretes les que poden ser més selectives perquè l'usuari les pugui desplegar si vol.

Figura 5. Navegació facetada del catàleg de la Biblioteca de la Universidad de Granada

Els criteris poc desenvolupats en general són els relacionats amb els aspectes socials. Si bé aconsegueixen una importància moderada dins de l'anàlisi de la usabilitat que proposem, són aspectes que valoren positivament els usuaris i poden servir d'al·licient perquè s'acostin al catàleg. Ens sembla d'importància especial la possibilitat de guardar llistes personalitzades de cerques i poder afegir etiquetes i comentaris als documents recuperats.

4 Conclusions

Els catàlegs nous centrats en l'usuari i les eines de descobriment que s'estan desenvolupant i implantant en l'actualitat són la conseqüència d'un interès i estudi més grans del comportament informacional dels usuaris. Aquests estudis ens mostren un usuari fortament influenciat pel web i en especial pels grans motors de cerca comercials, com ara Google o Yahoo!, eines amb què se senten molt còmodes, cosa que els fa esperar del catàleg de la biblioteca que sigui de la mateixa manera: cerques amb paraules clau genèriques per mitjà d'un sol quadre de cerca i una classificació ordenada de resultats.

Aquests catàlegs nous aporten totes les funcionalitats del catàleg tradicional, les prestacions de cerca, recuperació i presentació de les eines de descobriment, i un seguit de possibilitats d'enriquiment del contingut i prestacions socials com ara la incorporació de comentaris o l'etiquetatge de documents. Tot això amb l'objectiu d'acostar aquestes eines bibliotecàries a les expectatives de l'usuari. És a dir, situen l'usuari i la seva experiència d'ús com a principal element de disseny i desenvolupament, i posicionen la usabilitat, el disseny centrat en l'usuari (DCU) i l'experiència d'usuari (EU) com a disciplines clau d'aquest procés.

Per tant, disposar d'un sistema d'avaluació quantitativa de la usabilitat basat en heurístiques, específic per a aquests catàlegs nous, pot ser una eina de gran utilitat, no només per als experts i professionals en usabilitat o en disseny web i programació, sinó també per als mateixos responsables de les biblioteques i centres de documentació que els implantin, ja que els permetrà conèixer, amb un entrenament pertinent i sense incórrer en uns costos elevats, l'adequació d'aquestes eines a les necessitats i expectatives dels usuaris a què serveixen.

De la mateixa manera que passa amb els estudis qualitatius d'usabilitat fets anteriorment sobre aquestes noves eines, de l'anàlisi d'usabilitat quantitativa duta a terme amb el model proposat es desprèn que, tot i que s'albiren importants avenços en relació amb el catàleg tradicional, encara estem lluny d'aplicar els canvis que satisfacin plenament les expectatives i necessitats de l'usuari: simplement localitzar la informació que necessiten aplicant el mínim esforç de cerca.

Bibliografia

Alvite Díez, M. L. (2012). "Redefiniendo el catálogo. Expectativas de las interfaces de descubrimiento centradas en el usuario". Investigación bibliotecológica, vol. 26, n.º 56, p. 181–204. <http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0187-358X2012000100009>. [Consulta: 11/10/2016].

Antelman, K.; Lynema, E.; Pace, A. K. (2006). "Toward a Twenty-First Century Library Catalog". Information technology and libraries, vol. 25, no. 3, p. 128–138. <http://elis.da.ulcc.ac.uk/8177/1/antelman_lynema_pace.pdf>. [Consulta: 11/10/2016].

AENOR (2008). UNE-EN ISO 9241-151: Ergonomía de la interacción hombre-sistema. Madrid: AENOR.

Ávila-García, L. (2013). Herramientas de descubrimiento en bibliotecas universitarias. Trabajo fin de máster. Universidad Carlos iii de Madrid. <http://repositorio.ual.es:8080/jspui/handle/10835/2569>. [Consulta: 11/10/2016].

Ávila-García, L.; Ortiz-Repiso, V.; Rodríguez-Mateos, D. (2015). "Herramientas de descubrimiento: ¿una ventanilla única?". Revista española de documentación científica, vol. 38, n.º 1, p. e077. <http://redc.revistas.csic.es/index.php/redc/article/view/880/1208>. [Consulta: 11/10/2016].

Bawden, D.; Vilar, P. (2006). "Digital libraries: to meet or manage user expectations". Aslib Proceedings, vol. 58, no. 4, p. 346–354.

Borgman, C. L. (1986). "Why Are Online Catalogs Hard to Use - Lessons Learned from Information-Retrieval Studies". Journal of the American Society for Information Science, vol. 37, no. 6, p. 387–400.

— (1996). "Why are Online Catalogs still hard to use?". Journal of the American Society for Information Science,
vol. 47, no. 7, p. 493–503.

Breeding, M. (2007a). "Next-Generation Library Catalogs. Chapter 1: Introduction". Library technology reports, no. 4 (July-August), p. 5–14.

— (2007b). "The Birth of a New Generation of Library Interfaces". Computers in libraries, vol. 27, no. 9 (October), p. 34–37. <http://librarytechnology.org/repository/item.pl?id=12880>. [Consulta: 11/10/2016].

— (2010). "Encore Synergy Launched for Article Discovery: A New Search Model". Information today, May, 3. <http://newsbreaks.infotoday.com/NewsBreaks/Encore-Synergy-Launched-for-Article-Discovery-A-New-Search-Model-66962.asp>. [Consulta: 11/10/2016].

— (2012a). "Library Web-Scale". Computers in libraries, vol. 32, no. 1 (January-February), p. 19–22. <http://www.librarytechnology.org/ltg-displaytext.pl?RC=16577>. [Consulta: 11/10/2016].

— (2012b). "Looking Forward to the Next Generation of Discovery Services". Computers in libraries, vol. 32, no. 2 (March), p. 28–32. <http://www.librarytechnology.org/ltg-displaytext.pl?RC=16731>. [Consulta: 11/10/2016].

— (2012c). "Tech Review and Forecast for 2013". Computers in libraries, vol. 32, no. 10 (December), p. 19–22. <http://www.librarytechnology.org/ltg-displaytext.pl?RC=17758>. [Consulta: 11/10/2016].

— (2012d). "Tendencias actuales y futuras en tecnologías de la información para unidades de información".
El profesional de la información, vol. 21, n.º 1 (enero-febrero), p. 9–15. <http://www.elprofesionaldelainformacion.com/breeding-espanol.pdf >. [Consulta: 11/10/2016].

— (2015). The Future of Library Resource Discovery: A white paper commissioned by the NISO Discovery to Delivery (D2D) Topic Committee. Baltimore: NISO. <http://www.niso.org/apps/group_public/download.php/14487/future_library_resource_discovery.pdf>. [Consulta: 11/10/2016].

Brophy, J.; Bawden, D. (2005). "Is Google enough? Comparison of an Internet search engine with academic library resources". Aslib Proceedings, vol. 57, no. 6, p. 498–512.

Burke, J. (2010). "Discovery versus Disintermediation: The new reality driven by today's end-user". VALA 2010 Conference, Melbourne, Australia. <http://www.vala.org.au/vala2010/papers2010/VALA2010_57_Burke_Final.pdf>. [Consulta: 11/10/2016].

Chickering, F. W.; Yang, S. Q. (2014). "Evaluation and Comparison of Discovery Tools: An Update". Information technology and libraries, vol. 33, no. 2 (June), p. 5–30.
<http://ejournals.bc.edu/ojs/index.php/ital/article/view/3471>. [Consulta: 11/10/2016].

Constantine, L. (1995). "What do users want? Engineering usability into software". Windows tech journal, vol. 4,
no. 12, p. 30–39.

Dix, A.; Finlay, J.; Abowd, G. D.; Beale, R. (2010). Human computer interaction. 3rd ed. Harlow: Pearson. <http://fit.mta.edu.vn/files/DanhSach/__Human_computer_interaction.pdf>. [Consulta: 11/10/2016].

Emanuel, J. (2009). "Next Generation Catalogs: What Do They Do and Why Should We Care?". Reference & user services quarterly, vol. 49, no. 2, p. 117–120. <https://faculty.washington.edu/rmjost/Readings/next_generation_catalogs_what_do_they_do.pdf>.  [Consulta: 11/10/2016].

— (2011). "Usability of the VuFind Next-Generation Online Catalog". Information technology and libraries, vol. 30, no. 1 (March), p. 44–52. <http://ejournals.bc.edu/ojs/index.php/ital/article/view/3044>. [Consulta: 11/10/2016].

Fast, K. V.; Campbell, D. G. (2004). "'I still like Google': University student perceptions of searching OPACs and the web". Proceedings of the ASIS&T SIG/CR Classification Research Group Workshop, vol. 41, no. 1, p. 138–146. <http://onlinelibrary.wiley.com/doi/10.1002/meet.1450410116/full>. [Consulta: 11/10/2016].

Fry, A.; Rich, L. (2011). "Usability Testing for e-Resource Discovery: How Students Find and Choose e-Resources Using Library Web Sites". The journal of academic librarianship, vol. 37, no. 5 (September), p. 386–401.

Garza, A. (2009). "From OPAC to CMS: Drupal as an extensible library platform". Library hi tech, vol. 27, no. 2,
p. 252–267.

González, M. P.; Lorés, J., Pascual Almenara, A.; Granollers, T. (2006). "Evaluación heurística de sitios web académicos latinoamericanos dentro de la iniciativa UsabAIPO". vii Congreso Internacional de Interacción Persona-Ordenador INTERACCION 2016. Puerto Llano, del 13 al 17 de noviembre de 2016, vol. 6, p. 143–153. <http://aipo.es/articulos/4/16.pdf>. [Consulta: 11/10/2016].

Gross, J.; Sheridan, L. (2011). "Web scale discovery: the user experience". New library world, vol. 112, no. 5/6,
p. 236–247.

Hassan Montero, Y.; Martín Fernández, F. J. (2003). "Guía de evaluación heurística de sitios web". No solo usabilidad, 30 de marzo. <http://www.nosolousabilidad.com/articulos/heuristica.htm>. [Consulta: 11/10/2016].

Hoeppner, A. (2012). "The Ins and Outs of Evaluating Web-Scale Discovery Services: Librarians around the World Are Trying to Learn What WSD Services Are and How they Work". Computers in libraries, vol. 32, no. 3 (April). <http://www.questia.com/magazine/1G1-286254697/the-ins-and-outs-of-evaluating-web-scale-discovery>. [Consulta: 11/10/2016].

Instone, K. (1997). "Site Usability Heuristics for the Web. Part 2". Web review, October. <http://instone.org/heuristics>. [Consulta: 11/10/2016].

Markey, K. (2007). "Twenty-five years of end-user searching. Part 1: Research findings". Journal of the American Society for Information Science and Technology, vol. 58, no. 8 (June), p. 1.071–1.081.

Merčun, T.; Žumer, M. (2008). "New generation of catalogues for the new generation of users: A comparison of six library catalogues". Program electronic library and information systems, vol. 42, no. 3 (January), p. 243–261.

Molich, R.; Nielsen, J. (1990). "Improving a human-computer dialogue". Communications of the ACM, vol. 33, no. 3 (March), p. 338–348.

Nielsen, J. (1994). "Enhancing the explanatory power of usability heuristics". Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM, p. 152–158. <http://doi.acm.org/10.1145/191666.191729>. [Consulta: 11/10/2016].

— (1995). "10 Usability Heuristics for User Interface Design". NN/g Nielsen Norman Group, January, 1. <http://www.nngroup.com/articles/ten-usability-heuristics/>. [Consulta: 11/10/2016].

Nielsen, J.; Molich, R. (1990). "Heuristic evaluation of user interfaces". Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM, p. 249–256. <http://doi.acm.org/10.1145/97243.97281>. [Consulta: 11/10/2016].

Novotny, E. (2004). "I Don't Think I Click: A Protocol Analysis Study of Use of a Library Online Catalog in the Internet Age". College & research libraries, vol. 65, no. 6, p. 525–537. <http://crl.acrl.org/content/65/6/525>. [Consulta: 11/10/2016].

Novotny, E.; Cahoy, E. S. (2006). "If We Teach, Do They Learn? The Impact of Instruction on Online Catalog Search Strategies". Portal: Libraries and the academy, vol. 6, no. 2, p. 155–167.

Pierotti, D. (1995). "Heuristic Evaluation: a System Checklist". Society for Technical Communication. <http://eitidaten.fh-pforzheim.de/daten/mitarbeiter/blankenbach/vorlesungen/GUI/
Heuristic_Evaluation_Checklist_stcsig_org.pdf>. [Consulta: 11/10/2016].

Place, T. (2010). "Is Integrated Search the answer of libraries to Google?". x Workshop Rebiun sobre proyectos digitales. Diez años de proyectos digitales: cambian las bibliotecas, cambian los profesionales. Valencia, 7 y 8 de octubre de 2010. <http://riunet.upv.es/handle/10251/8678>. [Consulta: 11/10/2016].

Ramdeen, S.; Hemminger, B. M. (2012). "A tale of two interfaces: How facets affect the library catalog search". Journal of the American Society for Information Science and Technology, vol. 63, no. 4 (April), p. 702–715.

Suárez Torrente, M. C. (2011). SIRIUS: Sistema de Evaluación de la Usabilidad Web Orientado al Usuario y basado en la Determinación de Tareas Críticas. Tesis doctoral. Universidad de Oviedo. Departamento de Informática. <http://di002.edv.uniovi.es/~cueva/investigacion/tesis/Sirius.pdf>. [Consulta: 11/10/2016].

Swanson, T. A.; Green, J. (2011). "Why We Are Not Google: Lessons from a Library Web site Usability Study". The Journal of academic librarianship, vol. 37, no. 3 (May), p. 222–229.

Tognazzini, B. (2014). "First Principles of Interaction Design (Revised & Expanded)". AskTOG: Interaction Design Solutions for the Real World, March, 5. <http://www.asktog.com/basics/firstPrinciples.html>. [Consulta: 11/10/2016].

Travieso Rodríguez, C.; Alonso Arévalo, J.; Vivancos Secilla, J. M. (2007). "Usabilidad de los catálogos de las bibliotecas universitarias: propuesta metodológica de evaluación". ACIMED: revista cubana de los profesionales de la información y de la comunicación en salud, vol. 16, n.º 2 (agosto). <https://dialnet.unirioja.es/servlet/articulo?codigo=2340900>. [Consulta: 11/10/2016].

U. S. Department of Health & Human Services (2006). The Research-Based Web Design & Usability Guidelines. Version 2. Washington: U. S. Deptartment of Health & Human Services; U. S. General Services Administration. <http://guidelines.usability.gov/>. [Consulta: 11/10/2016].

Vaughan, J. (2011a). "Chapter 1: Web Scale Discovery: What and Why?". Library technology reports, no. 1 (January), p. 5–11.

— (2011b). "Investigations into library web scale discovery services". Information technology and libraries. <http://digitalscholarship.unlv.edu/lib_articles/44/>. [Consulta: 11/10/2016].

Way, D. (2010). "The Impact of Web-scale Discovery on the Use of a Library Collection". Serials review, vol. 36, no. 4 (December), p. 214–220. <http://scholarworks.gvsu.edu/library_sp/9/>. [Consulta: 11/10/2016].

Wolvertone, R. E.; Burke, J. (2009). "The OPAC is Dead: Managing the Virtual Library". The serials librarian, vol. 57, no. 3 (September), p. 247–252.

Yang, S. Q.; Wagner, K. (2010). "Evaluating and comparing discovery tools: how close are we towards next generation catalog?". Library hi tech, vol. 28, no. 4, p. 690–709. <http://www.emeraldinsight.com/journals.htm?articleid=1896437&show=abstract>. [Consulta: 11/10/2016].