Viabilidad de la incorporación del indicador NPS en el entorno bibliotecario. Revisión de uso y descripción de una experiencia

1 Introducción

El objetivo de este texto es proponer el uso del indicador Net Promoter Score (NPS) para evaluar el nivel de satisfacción de los usuarios, ya que cumple satisfactoriamente con estas características y es muy fácil de adoptar en cualquier tipo de servicio bibliotecario. Para ello, se ha revisado la bibliografía y se expone una experiencia llevada a cabo a partir del estudio de campo realizado para el trabajo final de máster de Reyes (2019), centrado en la evaluación de una biblioteca pública.

Los proyectos de evaluación ayudan a gestionar recursos, a ver con más exactitud aquellos servicios o productos que creamos y a conocer mejor a nuestros usuarios y su respuesta con relación a nuestros servicios. Sea esto para saber si progresan sus intereses o capacidades, si crece el número de participación o si están más o menos satisfechos con nosotros y nuestra organización.

La sociedad digital actual plantea nuevas necesidades de información que los servicios bibliotecarios tienen la obligación de reformular, se acentúa este hecho con la obligada transformación a la que nos lleva la crisis sanitaria producida por la pandemia de la COVID-19. Es necesario incorporar una nueva conceptualización de la biblioteca dentro del repertorio de elementos esenciales de la vida ciudadana. Esta redefinición debe prever la reconfiguración del espacio físico, la apuesta social, la alfabetización digital y el acceso a la información, y continuar, cómo no, con el fomento de la lectura en todo tipo de formas y soportes. La nueva biblioteca ya no podrá ser un mero depósito pasivo de libros e información, debe convertirse en una parte activa y sensible de la comunidad como agente de cambio.

La biblioteca como agente de cambio, pero ¿cómo podemos asegurarnos de que se ha producido este cambio tan deseado en las comunidades en las que prestamos servicio? El camino más viable y que ofrece mayores garantías es el camino de la evaluación; la evaluación entendida como un "método científico" que permite determinar lo bien que se está llevando a cabo una actividad, que recoge los datos necesarios para determinar cuál es la estrategia más apropiada para alcanzar un resultado deseado, como componente esencial para la tarea de gestión. El significado y el enfoque de la evaluación han evolucionado hacia la preocupación por el impacto sobre la organización y los usuarios, y, por extensión, sobre la sociedad.

Algunos expertos internacionales en el campo de la evaluación de los servicios bibliotecarios han optado por defender y transferir herramientas y metodologías aplicadas hasta ahora en otras áreas. Poll (2016) ofrece una imprescindible compilación bibliográfica para el sector. Los gestores de bibliotecas pueden resaltar los objetivos e informar a los responsables de la toma de decisiones en estadios administrativos superiores. Esta información también puede utilizarse para mejorar la visibilidad de la biblioteca, promover sus servicios y aumentar la promoción en su nombre (Hernon; Dugan; Nitecki, 2011).

La mayoría de los responsables de los servicios de biblioteca se sienten cómodos en el momento de recopilar datos tradicionales de rendimiento para controlar la eficacia de sus servicios. Sin embargo, muchos encuentran obstáculos para hacer frente a los efectos más profundos de sus servicios en los usuarios y en sus comunidades. Mostrar el valor monetario de los servicios puede ser especialmente útil para las bibliotecas cuando compiten por obtener fondos con otras instituciones culturales o recreativas. No debe olvidarse que la evaluación del valor económico de los servicios bibliotecarios constituye una parte de la economía cultural. Markless y Streatfield (2013) indican que la evaluación efectiva del impacto requiere un uso claro y consistente de los términos. En este sentido, la normativa internacional ha trabajado de forma positiva con la norma ISO 16439:2014, Information and documentation. Methods and procedures for assessing the impact of libraries, y desde la revisión bibliográfica cabe remitir al destacable trabajo de Mano González (2014), como parte del Subcomité 8 del Comité Técnico 46 de ISO (ISO/TC 46/SC 8).

El seguimiento y la evaluación (M&E)² son un proceso que ayuda a mejorar el rendimiento y a obtener resultados. Su objetivo es mejorar la gestión presente y futura de los resultados, los outcomes (término adoptado por la norma ISO a la que acabamos de hacer referencia), y el impacto. Se ha utilizado sobre todo para medir el rendimiento de proyectos, instituciones y programas creados por gobiernos, organismos internacionales y algunas organizaciones no gubernamentales. Este proceso establece vínculos entre las acciones pasadas, presentes y futuras.

El indicador propuesto, el Net Promoter Score, se define en términos de percepción de los servicios. Las medidas de percepción recogen cómo captan los usuarios el servicio bibliotecario y a cómo estos se refieren a la imagen de la biblioteca, el valor otorgado por los usuarios a los productos y los servicios, su distribución, la atención prestada y su fidelidad (Balagué; García Reche; Jarillo, 2019). Se muestra, entonces, como una clara herramienta para captar esta percepción y, a partir de ella, mejorar la experiencia del cliente (Laitinen, 2019a).

2 ¿Qué es el NPS? Propuesta de indicador

El Net Promoter Score (en adelante, NPS) surge desde una herramienta de calificación desarrollada por Bain & Co. y el consultor Frederick F. Reichheld que fue presentada por primera vez en la revista Harvard business review en el año 2003 y llamó la atención por su sencillez y efectividad. La expresión del indicador se formula en forma de pregunta.

El principal propósito de la expresión NPS es calcular una puntuación para determinar el nivel de lealtad de los clientes con respecto a un negocio específico. Desde su aparición, la han utilizado grandes empresas para conocer la percepción que sus consumidores tienen de ellas y así poder establecer líneas de acción que contribuyan a elevar su NPS. Así, Reichheld (2003) muestra los resultados de tres grandes grupos de empresa: aerolíneas como TWA, US Air, America West, etc.; proveedores de servicios de Internet como AOL, MSN, etc., y empresas de alquiler de coches como Hertz y Avis, entre otras.

De esta forma, el objetivo intrínseco que señala el valor diferencial del NPS se dirige a la mejora de la fidelización del usuario en el uso de los servicios o del equipamiento en general.

La dinámica se basa en realizar una pregunta sencilla de puntuación. Se solicita a las personas encuestadas la calificación en una escala de once puntos de la probabilidad de llevar a cabo una recomendación. De esta forma, y basándose en las respuestas recopiladas, se puede calcular la escala NPS (véase la figura 1) en tres tipos de perfiles: el detractor, el pasivo y el promotor.

Figura 1. Escala NPS (diseño propio)

A partir de ahí se determina el nivel de lealtad general de la base de clientes o usuarios, cuya naturaleza se describe a continuación en la tabla 1.

Tabla 1. Perfil de lealtad desde NPS (diseño propio)

2.1 Tipología del indicador NPS

Un indicador es una expresión —numérica, simbólica o verbal— utilizada para describir actividades —acontecimientos, objetos o personas— en términos tanto cuantitativos como cualitativos, para determinar el valor de estas actividades y los métodos que están asociados (norma ISO 11620:2014). Las normas ISO son el resultado de un largo trámite de elaboración y consenso, por lo que determinados aspectos, que tal vez sean ya prácticas reconocidas entre los profesionales, aún no están presentes en las normas. De hecho, uno de los requisitos para la incorporación de indicadores a la norma ISO 11620 ha sido siempre la constatación de que eran indicadores testados y usados con éxito entre la comunidad profesional.

Desde la comprensión de la normativa internacional, las características que definen el NPS son las que se indican a continuación:

1. Forma numérica en modo de puntuación.


2. Grado de complejidad sencillo. Se trata de un cálculo matemático simple y fácil de ejecutar.


3. El tipo de información que aporta entra dentro del rango de los indicadores de eficacia, ya que relaciona resultados con objetivos.

Esta información puede evolucionar hacia un indicador de impacto.

2.2 Cálculo del indicador NPS

Figura 2. Fórmula de cálculo del indicador NPS (diseño propio)

Figura 3. Escala de puntuación del NPS (diseño propio)

Para calcular el índice, se resta el porcentaje de los detractores del porcentaje de los promotores. Un índice positivo indica que el valor de promoción pesa por encima del valor de detracción. El NPS siempre debe ser un número entero, se pueden redondear los porcentajes de los detractores, los pasivos y los promotores al número entero más cercano antes de hacer el cálculo.

El valor de puntuación del NPS no se obtiene del cálculo de una nota media. Se trata de diferenciar el porcentaje de los promotores del de los detractores (véase la figura 2). Los valores pasivos no contabilizan de ninguna manera, no aparecen en el cálculo.

Los puntos obtenidos deben estar entre –100 y 100 (véase la figura 3). Se considera un NPS saludable aquel que se sitúa por encima de 0, aunque a veces el parámetro puede variar con relación a la industria que lo aplica. Una puntuación de 50 o más se considera excelente, por consiguiente, cualquier valor por debajo de 0 es un foco de alerta de que algo no anda bien con el trabajo realizado por la empresa o servicio y de cómo lo perciben los consumidores.

En la medición del NPS no se diferencia si el detractor muestra una opinión más o menos polarizada —si el descontento se encuentra más cerca del 0 o del 6—, puesto que recoge el porcentaje total y, por tanto, toda opinión en la fracción de los detractores resulta igual de negativa.

El porcentaje de promoción (la suma total de dos únicas puntuaciones, 9 y 10) debe ser mayor al de detracción. En este sentido, hay que aclarar que la totalidad de aquello que se relaciona con la satisfacción del usuario resulta un amplio ecosistema en el que deben participar diferentes estrategias de intervención.

2.3 Metodología para la construcción de un indicador NPS

El NPS permite comparar servicios del mismo sector y descubrir una cierta posición en el mercado cultural, en este caso. Para ello, hay que conocer previamente la unidad de información: cuáles son su misión y sus funciones, saber qué objetivos debe cumplir y distinguir lo que realmente está ofreciendo.

A continuación, planteamos un esquema básico de metodología:

1. Establecer el objeto, las preguntas de la evaluación.


2. Identificar los aspectos relevantes o los factores críticos de éxito.


3. Identificar los datos relacionados.


4. Elaborar una propuesta preliminar del indicador.
   • Nombre del indicador.
   • Algoritmo.
   • Periodicidad del cálculo.
   • Información necesaria: variables, fuentes de los datos, etc.
   • Descripción de las variables.
   • Descarte de alternativas.
   • Observaciones.

5. Examinar la viabilidad de la adopción de la propuesta.


6. Validar el indicador.

2.4 Consideraciones que deben tenerse en cuenta sobre el uso del parámetro NPS

La encuesta es la principal herramienta de recopilación de información con el indicador NPS. Hay que tener en cuenta algunas consideraciones para utilizar este procedimiento, que se indican a continuación:

Valor añadido por su gran capacidad de adaptación

Los aspectos más positivos de utilizar la parametrización desde una pregunta NPS se resumen de la siguiente manera:

• Se trata de un indicador sencillo de obtener. Esto favorece su adopción por todo tipo de entidades.


• Se propone una métrica fácil de interpretar y explicar, lo cual favorece su utilización como herramienta a todos los niveles dentro de una organización (marketing, calidad, investigación de mercados, etc.).


• Ofrece la posibilidad de realizar fácilmente un benchmark de diferentes servicios y equipamientos, simplemente comparando las métricas NPS de cada organización.

Puntuación como consideración cultural

Pese a su gran implantación, el uso del NPS no ha sido inmune a las críticas. Sergi Larripa (2018?) indica dos causas como elementos de mayor relevancia:

• Factor cultural. Parece responder demasiado al modelo cultural y empresarial norteamericano, exigente en extremo, y al que le cuesta mucho aportar puntuaciones altas. En países o culturas como la latina, por ejemplo, se considera que alguien que puntúa un producto con un 7 o un 8 no es pasivo, sino que ya suele estar muy satisfecho con el producto y predispuesto a recomendarlo a los amigos.
  Se ha hablado, incluso, de un "NPS europeo", según el cuál, los detractores quedarían reducidos a los clientes que puntúan entre 0 y 5, los pasivos serían los que puntuarían entre 6 y 7, y en cambio los promotores no solo serían los que puntúan entre 9 y 10, sino también los que puntúan con un 8.


• Validez. Se señala que los análisis estadísticos presentados indican que la pregunta de "recomendar" tiene un poder predictivo similar a otras métricas, pero fallan a la hora de abordar los beneficios prácticos del enfoque.

En todo caso, el NPS es un indicador estadístico y medible de lealtad que parece encajar con ideas que se proponen en la normativa internacional, como la norma ISO 16439:2014. Esta norma invita a categorizar los datos cualitativos en valores numéricos y a limitar la evaluación a los servicios más relevantes para los objetivos principales de la biblioteca.

Así, desde la especialidad en la medición del impacto bibliotecario se indica que "The need for the new indicators goes further than mere numerical indicators, the main goal being to obtain knowledge about the strengths as well as the points of development of the services, thus supporting the management process keeping in mind produce of added value to the clientele." (Laitinen, 2019a, p. 263).

3 Análisis de casos

3.1 Aplicaciones del NPS en la empresa privada

Empresas líderes de todo el mundo utilizan el NPS. Se puede considerar el primer paso en la investigación de la fidelización de los clientes. Nos encontramos con la pregunta NPS en abundantes encuestas que respondemos como clientes. Media Markt, Outlook, el Consell Comarcal del Baix Llobregat o Gafas Completas son casos de empresas de naturaleza bien dispar detectados durante el año 2019 y que mostramos en la figura 4.

Figura 4. Ejemplos de encuestas con NPS, Outlook, Consell Comarcal del Baix Llobregat, Gafas Completas (2019) y Media Markt (2020)

3.2 NPS en el sector público

La literatura sobre el uso del NPS en organizaciones del sector público es escasa. A continuación, se expone un pequeño hilo de experiencias en el entorno bibliotecario europeo que ayudan a mostrar la relevancia del indicador.

En septiembre de 2017 un informe de la Biblioteca Nacional de Estonia, que probablemente fue la primera biblioteca que informó de su uso (Välbe, 2017), recoge los resultados de encuestas sistemáticas de usuarios basadas en el NPS realizadas entre 2015 y 2017. Estos resultados se mostraron prometedores y, en comparación con el mundo empresarial, los niveles de NPS entre los usuarios de la biblioteca se mostraron muy altos: el NPS para nuevos clientes en 2016 fue del 64 % (Välbe, 2017). A partir de los buenos resultados de la Biblioteca Nacional de Estonia, se propone incorporar el NPS a la norma internacional ISO 11620, "indicadores de rendimiento de la biblioteca", como indicador de calidad que indica la satisfacción de los usuarios (Välbe, 2017), así como en la nueva norma internacional ISO 21248:2019, Information and documentation. Quality assessment for national libraries.

El trabajo efectuado por el servicio en línea Finna, realizado de forma cooperativa por la Biblioteca Nacional de Finlandia y las organizaciones de patrimonio cultural del país, insta a probar el uso de nuevos indicadores y también promueve el ejercicio comparativo de resultados a partir del uso del NPS. La Asociación de Datos y Marketing de Finlandia (Suomen Asiakkuusmarkkinointiliitto) midió la lealtad según tres dimensiones que se complementan: disposición a recomendar, intención de compra y posibilidades de permanencia del cliente (Laitinen, 2019b).

3.3 Casos cercanos en nuestro entorno

La Unitat d'Estadístiques i Qualitat de la Gerència de Serveis de Biblioteques de la Xarxa de Biblioteques Municipals (Unidad de Estadísticas y Calidad de la Gerencia de Servicios de Bibliotecas de la Red de Bibliotecas Municipales) de la Diputació de Barcelona ha incorporado el indicador NPS en el cuadro de mando de la segunda dimensión, que es la que se centra en el usuario o cliente y que recoge veintiún indicadores relacionados con el uso de servicios bibliotecarios de los usuarios, así como con los niveles de satisfacción.

Antoni Feliu, jefe de la unidad de evaluación mencionada, muestra en las sesiones de formación sobre Gestión y evaluación de bibliotecas, realizadas en el Col·legi Oficial de Bibliotecaris-Documentalistes de Catalunya (COBDC) en marzo de 2020, el uso de indicadores y el cuadro de mando utilizado en esta unidad. El indicador número 36 del cuadro resumen señala el "porcentaje de asistentes a actividades de adultos que recomendarían la actividad", que es una pregunta del vector NPS.

En el cuadro de mando de la edición de 2020 (con datos de 2019) este indicador todavía no estaba incluido, pero resulta lógico pensar que con la evolución de los parámetros se verá incorporado.

Algunos proyectos relevantes desarrollados por la Gerència de Serveis de Biblioteques de la Diputació de Barcelona muestran el uso del indicador NPS, que aparece destacado en informes elaborados y presentados públicamente por la Unidad de Estadísticas y Calidad. Se ha constatado que en la encuesta de valoración del proyecto BiblioLab el indicador se encuentra en la pregunta número 5. La puntuación obtenida, según muestra el informe redactado en diciembre de 2019, es de 67. Pueden estar muy satisfechos con el porcentaje de fidelidad que este conjunto de actividades suscita entre los usuarios que han participado en ellas, puesto que —como ya se ha indicado— el resultado superior a 50 se considera una puntuación excelente.

La encuesta de satisfacción del programa Velocirepte (p. 67 y 93), programa de fomento de la lectura entre los usuarios de las Bibliotecas de Barcelona, también incluía la pregunta del NPS. Se trata de la pregunta número 25/26 (véase la figura 5) de la encuesta a los participantes.

Figura 5. Pregunta 25 en la encuesta de satisfacción del programa Velocirepte

La pregunta se considera un indicador relevante por el orden en el que se ha colocado, puesto que es la última pregunta que recoge una valoración cualitativa, así como por haber sido incluido en la infografía realizada para dar a conocer los resultados del trabajo de evaluación.

4 Una experiencia piloto

Con la idea de realizar una prueba piloto en el marco de un estudio de campo para un trabajo final de máster en el ámbito de la evaluación de servicios bibliotecarios, se creó una encuesta que completaba el proceso de evaluación del programa de visitas escolares en una biblioteca pública de la red de Bibliotecas Municipales de Sabadell (Barcelona). Así Reyes (2019) diseñó una encuesta piloto que respondían indistintamente los acompañantes de las visitas escolares —fuesen profesionales de la enseñanza, monitores de refuerzo o padres o madres de refuerzo— en abril y mayo de 2019. De esta forma, se pedía que se respondiera el formulario en formato papel tras haber asistido a la actividad de formación de usuarios al completo y haber compartido su funcionamiento.

El análisis de los resultados del NPS nos hizo entender inmediatamente que teníamos que mejorar el planteamiento de la actividad que se estaba evaluando. Las tres primeras encuestas valoran la actividad con un 5. Los usuarios nos estaban salvando del suspenso; pero, con relación al nivel de lealtad, se mostraba claramente que no iban a hablar bien de nosotros. La comunicación informal más inmediata, aquella que se contesta de forma directa cuando te preguntan "¿Y cómo ha ido todo?", no iba a ser buena. Esta encuesta piloto complementaba un sistema de evaluación ya existente. La posibilidad de contrastar los valores recibidos desde el NPS con el procedimiento de evaluación de visitas escolares permitió visualizar por dónde se debía revisar el procedimiento establecido.

5 Conclusiones sobre la viabilidad de la incorporación del NPS

El análisis del uso del indicador NPS responde a la necesidad de las bibliotecas de encontrar métodos fáciles y no laboriosos para evaluar la experiencia del usuario. Cumple, como se ha pretendido demostrar en el presente artículo, con los atributos que la normativa internacional requiere a un indicador para dotarlo de validez:

• Contenido informativo desde la vertiente del usuario.


• Fiabilidad y validez.


• idoneidad por su sencilla incorporación y aplicabilidad puesto que el cálculo no resulta complejo.


• Los indicadores únicamente resultan viables si se dispone de datos que permitan observar la evolución y la comparación con el mismo objeto de estudio a lo largo del tiempo, o con otros objetos que propongan una referencia similar y los trabajos referenciados muestran de forma evidente su utilidad en la comparación temporal.

La información cualitativa que proviene del análisis de los resultados (¿por qué nos han dado esta puntuación?) es una valiosa fuente de información para determinar cuáles son las interacciones que necesitan atención y mejoras. Basta con filtrar las puntuaciones de los detractores y analizar sus comentarios.

El uso del NPS asimila recomendaciones internacionales que permiten asignar datos cualitativos como datos numéricos. Cabe, por tanto, aproximar los datos cualitativos (aquellos resultados de las encuestas de usuarios) con la información estadística convencional sobre la biblioteca (Laitinen, 2019a) y, de esta forma, podrá integrarse con buenos resultados en los cuadros de mando para evaluar los servicios de gestión bibliotecaria. La incorporación del NPS en el cuadro de mando puede deberse tanto a la necesidad de evaluar la biblioteca como un todo como a la de evaluar servicios específicos.

Accionar la fijación de este indicador en cuadros de mando entra dentro de una vertiente de alcance cualitativo que permitirá, sin duda, apreciar de forma sencilla los efectos provocados por una actuación.

6 Discusión. Evaluación y transformación de los servicios bibliotecarios

Los servicios de información tienen que demostrar que responden de una manera efectiva a las razones últimas de su existencia y que lo hacen de forma eficiente. El concepto de evaluación de servicios parece imponerse (Feliu, 2017), para fortuna de la planificación de estos, ya que los estudios de evaluación ayudan a las bibliotecas a contar su historia y demostrar su eficacia y a ponerlas en valor en relación con sus comunidades.

Poll y Boekhorst (2007, p. 24) indicaban hace ya más de una década que encontrar el punto exacto, útil y eficiente de utilización de técnicas de evaluación y métodos de gestión no es sencillo: "It is crucial that the results of the measuring process find their way into the organisation and procedures of the library. Too often, performance measurement seems to be an end in itself, the results being stored without practical effects".

Por ello, estamos seguras de que en los nuevos entornos de relación y trabajo bibliotecario que ha provocado la situación de confinamiento causada por la crisis sanitaria de la pandemia de la COVID-19 es necesario tomar con fuerza y decisión este trabajo, para que nos ayude a asentarnos en esta nueva definición. Se ha reflexionado sobre la importancia de la evaluación en debates que han tenido lugar durante el confinamiento de la primavera de 2020; como Las bibliotecas durante el confinamiento, debate promovido por Medialab Prado y coordinado por Diego Gracia el día 12 de mayo de 2020, en el que Matt Finch propone: "A nivel mundial, las bibliotecas tienen que encontrar nuevas formas de medir y analizar el impacto. […] Hay un trabajo enorme que nadie ha hecho. Para analizar y medir, desde un punto de vista cualitativo y cuantitativo, qué hacen las bibliotecas, el impacto que tienen, relación por relación" (Medialab Prado, 2020 [min 1:16:31]).

En la nueva realidad que ha traído la pandemia de la COVID-19, las bibliotecas deben rehacer algunos de los lazos que las unen a los usuarios. El concepto de calidad tendrá que adaptarse también a sus nuevas expectativas. En esta "nueva calidad", el NPS podría ser un instrumento facilitador de indudable interés.

Bibliografía

Balagué, Núria; García-Reche, Gregorio; Jarillo, Sebastián (2019). Directrices y estándares de calidad. Propuestas de indicadores para las bibliotecas REBIUN. [s. l.]: CRUE Universidades Españolas; Red de Bibliotecas REBIUN. [Colección Directrices y Recomendaciones]. <http://hdl.handle.net/20.500.11967/320>. [Consulta: 10/04/2020].

Feliu, Antoni (2017). "El servei de biblioteca pública i l'avaluació: l'aposta de la Gerència de Serveis de Biblioteques de la Diputació de Barcelona". Item: revista de biblioteconomia i documentació, núm. 63, p. 45–61. <https://www.raco.cat/index.php/Item/article/view/336998>. [Consulta: 10/04/2020].

Hernon, Peter; Dugan, Robert E.; Nitecki, Danuta A. (2011). Engaging in evaluation and assessment research. Santa Barbara, Ca: Library Unlimited.

ISO 11620:2014 Information and documentation. Library performance indicators. Genève: International Organization for Standardization.

ISO 16439:2014 Methods and procedures for assessing the impact of libraries. Genève: International Organization for Standardization.

Laitinen, Markku Antero (2019a). "Aspects of measuring the impact of new innovations in Finnish libraries". Library management, vol. 40, no. 3–4, p. 262–271.

— (2019b). "Fix, develop, keep! Net Promoter Score as a Tool for improving customer experience". Qualitative and quantitative methods in libraries, vol. 8, no. 2, p. 147–158. <http://www.qqml-journal.net/index.php/qqml/article/view/577/513>. [Consulta: 10/03/2020].

Larripa, Sergi (2018?). "Net Promoter Score: todo lo que necesitas saber para medir la fidelidad de tus clientes". Cuaderno de Marketing – Apuntes de Marketing 360º para nuevos marketeros. <https://cuadernodemarketing.com/net-promoter-score/>. [Consulta: 10/04/2020].

Mano González, Marta de la (2014). "Métodos y técnicas para evaluar el impacto de los servicios bibliotecarios: la norma internacional ISO 16439". En: Mano González, Marta de la (coord.). Nuevos instrumentos para la evaluación de bibliotecas: la normativa ISO. Madrid: AENOR, p. 163–208.

Markless, Sharon; Streatfield, David (2013). Evaluating the impact of your library (2nd. ed.). London: Facet.

Medialab Prado (2020). Las bibliotecas durante y tras el confinamiento. Diego Gracia (coord.). Emitido en directo el 12 de mayo de 2020. <https://youtu.be/trdunt0HPGc>. [Consulta: 10/05/2020].

Poll, Roswitha (2016). Bibliography "Impact and outcomes of libraries". Münster: International Federation of Library Associations and Institutions.

Poll, Roswitha; Boekhorst, Peter Te (2007). Measuring quality: Performance measurement in libraries. München: K. G. Saur.

Reichheld, Frederick F. (2003). "El único número que necesita mejorar". Harvard business review, vol. 81, no. 12, p. 38–46.

Reyes Rodríguez, Antonia (2019). Evaluación de impacto en formación de usuarios de biblioteca pública. Aplicación del programa Biblioforma't en la Biblioteca del Nord de Sabadell [Trabajo final de máster]. Barcelona: Universitat de Barcelona. <http://hdl.handle.net/2445/145226>. [Consulta: 10/04/2020].

Välbe, Kai (2017). "Contemporary evaluation methods of library's impact used in the National Library of Estonia". En: Efectividad o muerte: seminario sobre el valor de la eficacia. Helsinki: Biblioteca Nacional de Finlandia. <https://www.kansalliskirjasto.fi/sites/default/files/
atoms/files/valbe_vaiksem-2017.pdf>. [Consulta: 10/03/2020].

Notas

¹El presente artículo se basa en el trabajo de fin de máster Evaluación de impacto en formación de usuarios de biblioteca pública. Aplicación del programa Biblioforma't en la Biblioteca del Nord de Sabadell de la estudiante Antonia Reyes Rodríguez, tutorizado por Carina Rey Martín y Núria Balagué Mola, en el Máster de Gestión y Dirección de Bibliotecas y Servicios de Información, Universidad de Barcelona. Fue presentado en junio de 2019.

² Wikipedia: Monitoring and evaluation. Wikimedia Foundation, 2020. <https://en.wikipedia.org/wiki/Monitoring_and_evaluation>. [Consulta: 04/2020].