Viabilitat de la incorporació de l’indicador NPS en l’entorn bibliotecari. Revisió d’ús i descripció d’una experiència

1 Introducció

L'objectiu d'aquest text és proposar l'ús de l'indicador Net Promotor Score (NPS) per avaluar el nivell de satisfacció dels usuaris, ja que compleix satisfactòriament aquestes característiques i és molt fàcil d'adoptar en qualsevol tipus de servei bibliotecari. Per a això, s'ha revisat la bibliografia i s'exposa una experiència duta a terme a partir de l'estudi de camp de Reyes (2019) per al treball final de màster, centrat en l'avaluació d'una biblioteca pública.

Els projectes d'avaluació ajuden a gestionar recursos, a veure amb més exactitud els serveis o productes que creem i a conèixer millor els nostres usuaris i la seva resposta amb relació als nostres serveis. Ja sigui per saber si progressen els seus interessos o capacitats, si creix el nombre de participació o si estan més o menys satisfets amb nosaltres i la nostra organització.

La societat digital actual planteja noves necessitats d'informació que els serveis bibliotecaris tenen l'obligació de reformular. Aquest fet s'accentua amb la transformació obligada a la qual ens porta la crisi sanitària produïda per la pandèmia de la COVID-19. Cal incorporar una nova conceptualització de la biblioteca dins el repertori d'elements essencials de la vida ciutadana. Aquesta redefinició ha de preveure la reconfiguració de l'espai físic, l'aposta social, l'alfabetització digital i l'accés a la informació, i continuar, com no, amb el foment de la lectura en tot tipus de formes i suports. La nova biblioteca ja no podrà ser un mer dipòsit passiu de llibres i informació; ha de convertir-se en una part activa i sensible de la comunitat com a agent de canvi.

Volem que la biblioteca sigui un agent de canvi, però, com podem assegurar-nos que s'ha produït aquest canvi tan desitjat en les comunitats en què prestem servei? El camí més viable i que ofereix més garanties és el camí de l'avaluació, l'avaluació entesa com un "mètode científic" que permet determinar com de bé es duu a terme una activitat, que recull les dades necessàries per establir quina és l'estratègia més apropiada per assolir un resultat desitjat, com a component essencial per a la tasca de gestió. El significat i l'enfocament de l'avaluació han evolucionat cap a la preocupació per l'impacte sobre l'organització i els usuaris, i, per extensió, sobre la societat.

Alguns experts internacionals en el camp de l'avaluació dels serveis bibliotecaris han optat per defensar i transferir eines i metodologies aplicades fins ara en altres àrees. Poll (2016) ofereix una compilació bibliogràfica imprescindible per al sector. Els gestors de biblioteques poden ressaltar els objectius i informar els responsables de la presa de decisions en estadis administratius superiors. Aquesta informació també pot utilitzar-se per millorar la visibilitat de la biblioteca, promoure'n els serveis i augmentar la promoció en nom seu (Hernon; Dugan; Nitecki, 2011).

La majoria dels responsables dels serveis de biblioteca se senten còmodes en el moment de recopilar dades tradicionals de rendiment per controlar l'eficàcia dels seus serveis. No obstant això, molts troben obstacles per fer front als efectes més profunds dels seus serveis en els usuaris i en les seves comunitats. Mostrar el valor monetari dels serveis pot ser especialment útil per a les biblioteques quan competeixen per obtenir fons amb altres institucions culturals o recreatives. No s'ha d'oblidar que l'avaluació del valor econòmic dels serveis bibliotecaris constitueix una part de l'economia cultural. Markless i Streatfield (2013) indiquen que l'avaluació efectiva de l'impacte requereix un ús clar i consistent dels termes. En aquest sentit, la normativa internacional ha treballat de forma positiva amb la norma ISO 16439:2014, Information and documentation. Methods and procedures for assessing the impact of libraries, i des de la revisió bibliogràfica cal remetre al treball destacable de Mano González (2014), com a part del Subcomitè 8 del Comitè Tècnic 46 de l'ISO (ISO/TC 46/SC 8).

El seguiment i l'avaluació (M&E)² són un procés que ajuda a millorar el rendiment i a obtenir resultats. El seu objectiu és millorar la gestió present i futura dels resultats, els outcomes (terme adoptat per la norma ISO a la qual acabem de fer referència), i l'impacte. S'ha utilitzat sobretot per mesurar el rendiment de projectes, institucions i programes creats per governs, organismes internacionals i algunes organitzacions no governamentals. Aquest procés estableix vincles entre les accions passades, presents i futures.

L'indicador proposat, el Net Promotor Score, es defineix en termes de percepció dels serveis. Les mesures de percepció recullen com capten els usuaris el servei bibliotecari i de quina manera es refereixen a la imatge de la biblioteca, el valor atorgat pels usuaris als productes i els serveis, la seva distribució, l'atenció prestada i la seva fidelitat (Balagué; García Reche; Jarillo, 2019). Es mostra, llavors, com una clara eina per captar aquesta percepció i, a partir d'ella, millorar l'experiència de client (Laitinen, 2019a).

2 Què és el Net Promotor Score? Proposta d'indicador

El Net Promotor Score (en endavant, NPS) sorgeix des d'una eina de qualificació desenvolupada per Bain & Co i el consultor Frederick F. Reichheld que es va presentar per primera vegada a la revista Harvard business review l'any 2003 i va cridar l'atenció per la seva senzillesa i efectivitat. L'expressió de l'indicador es formula en forma de pregunta.

El principal propòsit de l'expressió NPS és calcular una puntuació per determinar el nivell de lleialtat dels clients respecte a un negoci específic. Des que va aparèixer, l'han utilitzat grans empreses per conèixer la percepció que els seus consumidors en tenen i així poder establir línies d'acció que contribueixin a elevar el seu NPS. Així, Reichheld (2003) mostra els resultats de tres grans grups d'empresa: aerolínies com TWA, US Air, America West, etc.; proveïdors de serveis d'Internet com AOL, MSN, etc., i empreses de lloguer de cotxes com Hertz i Avis, entre d'altres.

D'aquesta manera, l'objectiu intrínsec que assenyala el valor diferencial de l'NPS es dirigeix a la millora de la fidelització de l'usuari en l'ús dels serveis o de l'equipament en general.

La dinàmica es basa a fer una pregunta senzilla de puntuació. Se sol·licita a les persones enquestades la qualificació en una escala d'onze punts de la probabilitat de dur a terme una recomanació. D'aquesta manera, i basant-se en les respostes recopilades, es pot calcular l'escala NPS (vegeu la figura 1) en tres tipus de perfils: el detractor, el passiu i el promotor.

Figura 1. Escala NPS (disseny propi)

A partir d'aquí es determina el nivell de lleialtat general de la base de clients o usuaris, la naturalesa dels quals es descriu a continuació en la taula 1.

Taula 1. Perfil de lleialtat de l'NPS (disseny propi)

2.1 Tipologia de l'indicador NPS

Un indicador és una expressió —numèrica, simbòlica o verbal— utilitzada per descriure activitats —esdeveniments, objectes o persones— en termes tant quantitatius com qualitatius, per determinar el valor d'aquestes activitats i els mètodes que hi estan associats (norma ISO 11620:2014). Les normes ISO són el resultat d'un llarg tràmit d'elaboració i consens, per la qual cosa aspectes determinats, que potser siguin ja pràctiques reconegudes entre els professionals, encara no són presents en les normes. De fet, un dels requisits per incorporar indicadors a la norma ISO 11620 ha estat sempre la constatació que eren indicadors testats i usats amb èxit entre la comunitat professional.

Des de la comprensió de la normativa internacional, les característiques que defineixen l'NPS són les que s'indiquen a continuació:

1. Forma numèrica en mode de puntuació.


2. Grau de complexitat senzill. Es tracta d'un càlcul matemàtic simple i fàcil d'executar.


3. El tipus d'informació que aporta entra dins el rang dels indicadors d'eficàcia, ja que relaciona resultats amb objectius. Aquesta informació pot evolucionar cap a un indicador d'impacte.

2.2 Càlcul de l'indicador NPS

Figura 2. Fórmula de càlcul de l'indicador NPS (disseny propi)

Figura 3. Escala de puntuació de l'NPS (disseny propi)

Per calcular l'índex, es resta el percentatge dels detractors del percentatge dels promotors. Un índex positiu indica que el valor de promoció pesa per sobre del valor de detracció. L'NPS sempre ha de ser un nombre enter; es poden arrodonir els percentatges dels detractors, els passius i els promotors al nombre enter més proper abans de fer el càlcul.

El valor de puntuació de l'NPS no s'obté de calcular una nota mitjana. Es tracta de diferenciar el percentatge dels promotors del dels detractors (vegeu la figura 2). Els valors passius no comptabilitzen de cap manera, no apareixen en el càlcul.

Els punts obtinguts han d'estar entre –100 i 100 (vegeu la figura 3). Es considera un NPS saludable el que se situa per sobre de 0, encara que de vegades el paràmetre pot variar en relació amb la indústria que l'aplica. Una puntuació de 50 o més es considera excel·lent i, per tant, qualsevol valor per sota de 0 és un focus d'alerta que alguna cosa no va bé amb el treball de l'empresa o servei i de com ho perceben els consumidors.

En el mesurament de l'NPS no es diferencia si el detractor mostra una opinió més o menys polaritzada —si el descontentament es troba més a prop del 0 o del 6—, ja que recull el percentatge total i, per tant, tota opinió en la fracció dels detractors resulta igual de negativa.

El percentatge de promoció (la suma total de dues úniques puntuacions, 9 i 10) ha de ser més gran que el de detracció. En aquest sentit, cal aclarir que la totalitat d'allò que es relaciona amb la satisfacció de l'usuari resulta un ecosistema ampli en què han de participar diferents estratègies d'intervenció.

2.3 Metodologia per a la construcció d'un indicador NPS

L'NPS permet comparar serveis del mateix sector i descobrir una certa posició en el mercat cultural, en aquest cas. Per a això, cal conèixer prèviament la unitat d'informació: quina missió i funcions té, saber quins objectius ha de complir i distingir el que realment ofereix.

A continuació, plantegem un esquema bàsic de metodologia:

1. Establir l'objecte, les preguntes de l'avaluació.


2. Identificar els aspectes rellevants o els factors crítics d'èxit.


3. Identificar les dades relacionades.


4. Elaborar una proposta preliminar de l'indicador:
   • Nom de l'indicador.
   • Algorisme.
   • Periodicitat del càlcul.
   • Informació necessària: variables, fonts de les dades, etc.
   • Descripció de les variables.
   • Descart d'alternatives.
   • Observacions.

5. Examinar la viabilitat de l'adopció de la proposta.


6. Validar l'indicador.

2.4 Consideracions que cal tenir en compte sobre l'ús del paràmetre NPS

L'enquesta és l'eina principal de recopilació d'informació amb l'indicador NPS. Cal tenir en compte algunes consideracions per utilitzar aquest procediment, que s'indiquen a continuació:

Valor afegit per la seva gran capacitat d'adaptació

Els aspectes més positius d'utilitzar la parametrització des d'una pregunta NPSes resumeixen de la manera següent:

• Es tracta d'un indicador senzill d'obtenir. Això afavoreix que tot tipus d'entitats l'adoptin.


• Es proposa una mètrica fàcil d'interpretar i explicar, la qual cosa n'afavoreix la utilització com a eina a tots els nivells dins d'una organització (màrqueting, qualitat, investigació de mercats, etc.).


• Ofereix la possibilitat de fer fàcilment un benchmark de diferents serveis i equipaments, simplement comparant les mètriques NPS de cada organització.

Puntuació com a consideració cultural

Malgrat la gran implantació, l'ús de l'NPS no ha estat immune a les crítiques. Sergi Larripa (2018?) indica dues causes com a elements de més rellevància:

• Factor cultural. Sembla respondre massa al model cultural i empresarial nord-americà, exigent en extrem, i al qual costa molt aportar puntuacions altes. En països o cultures com la llatina, per exemple, es considera que algú que puntua un producte amb un 7 o un 8 no és passiu, sinó que ja sol estar molt satisfet amb el producte i predisposat a recomanar-lo als amics.
  S'ha parlat, fins i tot, d'un "NPS europeu", segons el qual, els detractors quedarien reduïts als clients que puntuen entre 0 i 5, els passius serien els que puntuarien entre 6 i 7, i en canvi els promotors no només serien els que puntuen entre 9 i 10, sinó també els que puntuen amb un 8.


• Validesa. S'assenyala que les anàlisis estadístiques presentades indiquen que la pregunta de "recomanar" té un poder predictiu similar a altres mètriques, però fallen a l'hora d'abordar els beneficis pràctics de l'enfocament.

En tot cas, l'NPS és un indicador estadístic i mesurable de lleialtat que sembla encaixar amb idees que es proposen en la normativa internacional, com la norma ISO 16439:2014. Aquesta norma convida a categoritzar les dades qualitatives en valors numèrics i a limitar l'avaluació als serveis més rellevants per als objectius principals de la biblioteca.

Així, des de l'especialitat en el mesurament de l'impacte bibliotecari s'indica que "the need for the new indicators goes further than mere numerical indicators, the main goal being to obtain knowledge about the strengths as well as the points of development of the services, thus supporting the management process keeping in mind produce of added value to the clientele." (Laitinen, 2019a, p. 263).

3 Anàlisi de casos

3.1 Aplicacions de l'NPS en l'empresa privada

Algunes empreses líders de tot el món utilitzen l'NPS. Es pot considerar el primer pas en la investigació de la fidelització dels clients. Ens trobem amb la pregunta NPS en abundants enquestes que responem com a clients. Media Markt, Outlook, el Consell Comarcal del Baix Llobregat o Gafas Completas són casos d'empreses de naturalesa ben diferent detectats durant l'any 2019 i que mostrem en la figura 4.

Figura 4. Exemples d'enquestes amb NPS d'Outlook, el Consell Comarcal del Baix Llobregat, Gafas Completas (2019) i Media Markt (2020)

3.2 L'NPS en el sector públic

La literatura sobre l'ús de l'NPS en organitzacions del sector públic és escassa. A continuació, s'exposa un petit fil d'experiències en l'entorn bibliotecari europeu que ajuden a mostrar la rellevància de l'indicador.

El setembre de 2017 un informe de la Biblioteca Nacional d'Estònia, que probablement va ser la primera biblioteca que va informar del seu ús (Välbe, 2017), recull els resultats d'enquestes sistemàtiques d'usuaris basades en l'NPS fetes entre el 2015 i el 2017. Aquests resultats es van mostrar prometedors i, en comparació amb el món empresarial, els nivells d'NPS entre els usuaris de la biblioteca es van mostrar molt alts: l'NPS per a nous clients el 2016 va ser del 64 % (Välbe, 2017). A partir dels bons resultats de la Biblioteca Nacional d'Estònia, es proposa incorporar l'NPS amb la norma internacional ISO 11620, "indicadors de rendiment de la biblioteca", com a indicador de qualitat de la satisfacció dels usuaris (Välbe, 2017), així com en la nova norma internacional ISO 21248:2019, Information and documentation. Quality assessment for national libraries.

El treball del servei en línia Finna, dut a terme de forma cooperativa per la Biblioteca Nacional de Finlàndia i les organitzacions de patrimoni cultural del país, insta a provar l'ús d'indicadors nous i també promou l'exercici comparatiu de resultats a partir de l'ús de l'NPS. L'Associació de Dades i Màrqueting de Finlàndia (Suomen Asiakkuusmarkkinointiliitto) va mesurar la lleialtat segons tres dimensions que es complementen: disposició a recomanar, intenció de compra i possibilitats de permanència del client (Laitinen, 2019b).

3.3 Casos propers al nostre entorn

La Unitat d'Estadístiques i Qualitat de la Gerència de Serveis de Biblioteques de la Xarxa de Biblioteques Municipals de la Diputació de Barcelona ha incorporat l'indicador NPS en el quadre de comandament de la segona dimensió, que és la que se centra en l'usuari o client i que recull vint-i-un indicadors relacionats amb l'ús de serveis bibliotecaris dels usuaris, així com amb els nivells de satisfacció.

Antoni Feliu, cap de la unitat d'avaluació esmentada, mostra en les sessions de formació sobre gestió i avaluació de biblioteques, dutes a terme al Col·legi Oficial de Bibliotecaris-Documentalistes de Catalunya (COBDC) el març de 2020, l'ús d'indicadors i el quadre de comandament utilitzat en aquesta unitat. L'indicador número 36 del quadre resum assenyala el "percentatge d'assistents a activitats d'adults que recomanarien l'activitat", que és una pregunta del vector NPS.

En el quadre de comandament de l'edició de 2020 (amb dades de 2019) aquest indicador encara no hi estava inclòs, però resulta lògic pensar que amb l'evolució dels paràmetres s'hi veurà incorporat.

Alguns projectes rellevants desenvolupats per la Gerència de Serveis de Biblioteques de la Diputació de Barcelona mostren l'ús de l'indicador NPS, que apareix destacat en informes elaborats i presentats públicament per la Unitat d'Estadístiques i Qualitat. S'ha constatat que en l'enquesta de valoració del projecte BiblioLab l'indicador es troba en la pregunta número 5. La puntuació obtinguda, segons mostra l'informe redactat el desembre de 2019, és de 67. Poden estar molt satisfets amb el percentatge de fidelitat que aquest conjunt d'activitats suscita entre els usuaris que hi han participat, ja que —com ja s'ha indicat— el resultat superior a 50 es considera una puntuació excel·lent.

L'enquesta de satisfacció el programa Velocirepte (p. 67 i 93), programa de foment de la lectura entre els usuaris de les biblioteques de Barcelona, també incloïa la pregunta de l'NPS. Es tracta de la pregunta número 25/26 (vegeu la figura 5) de l'enquesta als participants.

Figura 5. Pregunta 25 en l'enquesta de satisfacció del programa Velocirepte (2018)

La pregunta es considera un indicador rellevant per l'ordre en què s'ha col·locat, ja que és l'última pregunta que recull una valoració qualitativa, així com per haver estat inclòs en la infografia feta per donar a conèixer els resultats del treball d'avaluació.

4 Una experiència pilot

Amb la idea de fer una prova pilot en el marc d'un estudi de camp per a un treball final de màster en l'àmbit de l'avaluació de serveis bibliotecaris, es va crear una enquesta que completava el procés d'avaluació del programa de visites escolars en una biblioteca pública de la xarxa de Biblioteques Municipals de Sabadell. Així Reyes (2019) va dissenyar una enquesta pilot que responien indistintament els acompanyants de les visites escolars —fossin professionals de l'ensenyament, monitors de reforç o pares o mares de reforç— l'abril i maig de 2019. D'aquesta manera, es demanava que es respongués el formulari en format paper després d'haver assistit a l'activitat de formació d'usuaris al complet i haver-ne compartit el funcionament.

L'anàlisi dels resultats de l'NPS ens va fer entendre immediatament que havíem de millorar el plantejament de l'activitat que s'estava avaluant. Les tres primeres enquestes valoren l'activitat amb un 5. Els usuaris ens estaven salvant del suspens; però, amb relació al nivell de lleialtat, es mostrava clarament que no parlarien bé de nosaltres. La comunicació informal més immediata, la que es contesta de manera directa quan et pregunten "I com ha anat tot?", no seria bona. Aquesta enquesta pilot complementava un sistema d'avaluació ja existent. La possibilitat de contrastar els valors rebuts des de l'NPS amb el procediment d'avaluació de visites escolars va permetre visualitzar per on s'havia de revisar el procediment establert.

5 Conclusions sobre la viabilitat de la incorporació de l'NPS

L'anàlisi de l'ús de l'indicador NPS respon a la necessitat de les biblioteques de trobar mètodes fàcils i no laboriosos per avaluar l'experiència de l'usuari. Compleix, com s'ha pretès demostrar en aquest article, els atributs que la normativa internacional requereix a un indicador per dotar-lo de validesa:

• Contingut informatiu des del vessant de l'usuari.


• Fiabilitat i validesa.


• Idoneïtat per la senzilla incorporació i aplicabilitat ja que el càlcul no resulta complex.


• Els indicadors únicament resulten viables si es disposa de dades que permetin observar l'evolució i la comparació amb el mateix objecte d'estudi al llarg del temps, o amb altres objectes que proposin una referència similar, i els treballs referenciats mostren de manera evident la seva utilitat en la comparació temporal.

La informació qualitativa que prové de l'anàlisi dels resultats (per què ens han donat aquesta puntuació?) és una font d'informació valuosa per determinar quines són les interaccions que necessiten atenció i millores. Només cal filtrar les puntuacions dels detractors i analitzar-ne els comentaris.

L'ús de l'NPS assimila recomanacions internacionals que permeten assignar dades qualitatives com a dades numèriques. Per tant, cal aproximar les dades qualitatives (els resultats de les enquestes d'usuaris) amb la informació estadística convencional sobre la biblioteca (Laitinen, 2019a) i, d'aquesta manera, es podrà integrar amb bons resultats en els quadres de comandament per avaluar els serveis de gestió bibliotecària. La incorporació de l'NPS en el quadre de comandament es pot deure tant a la necessitat d'avaluar la biblioteca com un tot com a la d'avaluar serveis específics.

Accionar la fixació d'aquest indicador en quadres de comandament entra dins d'una vessant d'abast qualitatiu que permetrà, sens dubte, apreciar de forma senzilla els efectes provocats per una actuació.

6 Discussió. Avaluació i transformació dels serveis bibliotecaris

Els serveis d'informació han de demostrar que responen d'una manera efectiva a les raons últimes de la seva existència i que ho fan de forma eficient. El concepte d'avaluació de serveissembla imposar-se (Feliu, 2017), per fortuna de la planificació d'aquests serveis, ja que els estudis d'avaluació ajuden les biblioteques a explicar la seva història, demostrar-ne l'eficàcia i a posar-les en valor en relació amb les seves comunitats.

Poll i Boekhorst (2007, p. 24) indicaven ja fa més d'una dècada que trobar el punt exacte, útil i eficient d'utilització de tècniques d'avaluació i mètodes de gestió no és senzill: "It is crucial that the results of the measuring process find their way into the organisation and procedures of the library. Too often, performance measurement seems to be an end in itself, the results being stored without practical effects".

Per això, estem segures que en els nous entorns de relació i treball bibliotecari que ha provocat la situació de confinament causada per la crisi sanitària de la pandèmia de la COVID-19 cal prendre amb força i decisió aquest treball, perquè ens ajudi a assentar-nos en aquesta nova definició. S'ha reflexionat sobre la importància de l'avaluació en debats que han tingut lloc durant el confinament de la primavera de 2020. Un exemple n'és Las bibliotecas durante el confinamiento, debat promogut per Medialab Prado i coordinat per Diego Gracia el dia 12 de maig de 2020, en el qual Matt Finch proposa: "A nivel mundial, las bibliotecas tienen que encontrar nuevas formas de medir y analizar el impacto. […] Hay un trabajo enorme que nadie ha hecho. Para analizar y medir, desde un punto de vista cualitativo y cuantitativo, qué hacen las bibliotecas, el impacto que tienen, relación por relación" (Medialab Prado, 2020 [min 1:16:31]).

En la nova realitat que ha portat la pandèmia de la COVID-19, les biblioteques han de refer alguns dels llaços que les uneixen als usuaris. El concepte de qualitat s'haurà d'adaptar també a les seves noves expectatives. En aquesta "nova qualitat", l'NPS podria ser un instrument facilitador d'interès indubtable.

Bibliografia

Balagué, Núria; García-Reche, Gregorio; Jarillo, Sebastián (2019). Directrices y estándares de calidad. Propuestas de indicadores para las bibliotecas REBIUN. [s. l.]: CRUE Universidades Españolas; Red de Bibliotecas REBIUN. [Colección Directrices y Recomendaciones]. <http://hdl.handle.net/20.500.11967/320>. [Consulta: 10/04/2020].

Feliu, Antoni (2017). "El servei de biblioteca pública i l'avaluació: l'aposta de la Gerència de Serveis de Biblioteques de la Diputació de Barcelona". Item: revista de biblioteconomia i documentació, núm. 63, p. 45–61. <https://www.raco.cat/index.php/Item/article/view/336998>. [Consulta: 10/04/2020].

Hernon, Peter; Dugan, Robert E.; Nitecki, Danuta A. (2011). Engaging in evaluation and assessment research. Santa Barbara, Ca: Library Unlimited.

ISO 11620:2014 Information and documentation. Library performance indicators. Genève: International Organization for Standardization.

ISO 16439:2014 Methods and procedures for assessing the impact of libraries. Genève: International Organization for Standardization.

Laitinen, Markku Antero (2019a). "Aspects of measuring the impact of new innovations in Finnish libraries". Library management, vol. 40, no. 3–4, p. 262–271.

— (2019b). "Fix, develop, keep! Net Promoter Score as a Tool for improving customer experience". Qualitative and quantitative methods in libraries, vol. 8, no. 2, p. 147–158. <http://www.qqml-journal.net/index.php/qqml/article/view/577/513>. [Consulta: 10/03/2020].

Larripa, Sergi (2018?). "Net Promoter Score: todo lo que necesitas saber para medir la fidelidad de tus clientes". Cuaderno de Marketing – Apuntes de Marketing 360º para nuevos marketeros. <https://cuadernodemarketing.com/net-promoter-score/>. [Consulta: 10/04/2020].

Mano González, Marta de la (2014). "Métodos y técnicas para evaluar el impacto de los servicios bibliotecarios: la norma internacional ISO 16439". En: Mano González, Marta de la (coord.). Nuevos instrumentos para la evaluación de bibliotecas: la normativa ISO. Madrid: AENOR, p. 163–208.

Markless, Sharon; Streatfield, David (2013). Evaluating the impact of your library (2nd. ed.). London: Facet.

Medialab Prado (2020). Las bibliotecas durante y tras el confinamiento. Diego Gracia (coord.). Emitido en directo el 12 de mayo de 2020. <https://youtu.be/trdunt0HPGc>. [Consulta: 10/05/2020].

Poll, Roswitha (2016). Bibliography "Impact and outcomes of libraries". Münster: International Federation of Library Associations and Institutions.

Poll, Roswitha; Boekhorst, Peter Te (2007). Measuring quality: Performance measurement in libraries. München: K. G. Saur.

Reichheld, Frederick F. (2003). "El único número que necesita mejorar". Harvard business review, vol. 81, no. 12, p. 38–46.

Reyes Rodríguez, Antonia (2019). Evaluación de impacto en formación de usuarios de biblioteca pública. Aplicación del programa Biblioforma't en la Biblioteca del Nord de Sabadell [Trabajo final de máster]. Barcelona: Universitat de Barcelona. <http://hdl.handle.net/2445/145226>. [Consulta: 10/04/2020].

Välbe, Kai (2017). "Contemporary evaluation methods of library's impact used in the National Library of Estonia". En: Efectividad o muerte: seminario sobre el valor de la eficacia. Helsinki: Biblioteca Nacional de Finlandia. <https://www.kansalliskirjasto.fi/sites/default/files/
atoms/files/valbe_vaiksem-2017.pdf>. [Consulta: 10/03/2020].

Notes

¹ Aquest article es basa en el treball de fi de màster Evaluación de impacto en formación de usuarios de biblioteca pública. Aplicación del programa Biblioforma't en la Biblioteca del Nord de Sabadell de l'estudiant Antonia Reyes Rodríguez, tutorat per Carina Rey Martín i Núria Balagué Mola, del Màster de Gestió i Direcció de Biblioteques i Serveis d'Informació, Universitat de Barcelona. Es va presentar el juny de 2019.

² Wikipedia: Monitoring and evaluation. Wikimedia Foundation, 2020. <https://en.wikipedia.org/wiki/Monitoring_and_evaluation>. [Consulta: 04/2020].