Bibliotecas y eficiencia: adaptación del indicador de la potencia del sistema de la metodología Secaba-Rank para nuevas necesidades al servicio de una sociedad cambiante

1 Introducción

Atendiendo a la realidad más actual de las bibliotecas públicas, puede apreciarse que han evolucionado desde una concepción clásica, en la que se las identificaba principalmente con una colección de libros, hasta una más actual, según la cual se las considera como servicios de información y creación con un marcado acento social. Así, las bibliotecas dejan de ser solo una mera colección de libros y pasan a ser también un lugar para la creación, en lo que se conoce como bibliomakers y makerspaces (Alonso-Arévalo, 2018; Slatter; Howard, 2013; Leorke; Wyatt; McQuire, 2018; Okpala, 2016; Xi; Wu; Zhang, 2017), y para la socialización. Desde ahí, se entiende que las bibliotecas puedan considerarse como servicio esencial para la comunidad por cuanto suponen un aumento del capital social, humano y cultural (Houghton; Foth; Miller, 2013; Herrera-Viedma; López-Gijón, 2013). A su vez, el protagonismo de Internet en el contexto de la sociedad de la información también ha de considerarse como un aspecto que hay que tener en cuenta al hablar sobre bibliotecas (Vakkari, 2012).

En ese contexto cabe preguntarse por el estado de las bibliotecas públicas españolas. Una buena forma de hacerlo se basa en la comparación de medidas básicas sobre su uso y presupuesto con respecto a otros países de Europa. Los resultados de un estudio reciente que compara los préstamos y las visitas en 17 países europeos permiten confirmar que España está a la cola de Europa en lo que a préstamos se refiere (tan solo por encima de Portugal) y por debajo de la media europea en lo referido a las visitas a la biblioteca (Lázaro-Rodríguez; López-Gijón; Herrera-Viedma, 2018). A su vez, los resultados de otro estudio que compara los sistemas de bibliotecas públicas de España y Finlandia muestran que en lo relativo a regiones y comunidades autónomas el presupuesto per cápita en España resulta 5 veces menor que el presupuesto de Finlandia (de 7,4 y 38,7 respectivamente) (Lázaro-Rodríguez; Vakkari, 2018).

Así, la evaluación de las bibliotecas adquiere sentido como forma de conocer la realidad para su mejora. La evaluación puede plantearse no solo como forma de conocer en qué medida se han alcanzado unos objetivos planteados. En entornos con bajo presupuesto como España, es esencial también saber cómo se procesan los recursos para obtener los resultados que se marcan como objetivos. Dicho de otra forma, además de medir la eficacia como grado de consecución de los objetivos marcados, es necesario medir la eficiencia para conocer el nivel de aprovechamiento de los recursos con los que se cuenta.

En ese sentido, cabe destacar el desarrollo e implementación de la herramienta abierta y en línea Secaba-Rank para medir la eficiencia de las redes de lectura pública (bibliotecas públicas) y las bibliotecas universitarias españolas (Lázaro-Rodríguez [et al.], 2018). Los autores de dicha herramienta desarrollaron una metodología basada en la teoría general de sistemas que permitió diseñar nuevas medidas nombradas como indicadores de segundo nivel para conocer la eficiencia de bibliotecas. El indicador principal es el de la potencia del sistema. De lo que se trata es de poner en relación las entradas (presupuesto) y las salidas (préstamos, visitas, etc.) para conocer cómo son procesadas las primeras por los sistemas biblioteca. Con todo, la metodología permite el benchmarking o evaluación comparativa para identificar a los modelos de buenas prácticas que sirven para la mejora de las que más lo necesitan. Al respecto de la herramienta Secaba-Rank, cabe destacar que en 2019 se publicó un estudio que sometía a examen su metodología comparándola con otras técnicas para medir la eficiencia como son la técnica de análisis envolvente de datos (DEA) y el nombrado como método Finlandia (Lázaro-Rodríguez; López-Gijón; Herrera-Viedma, 2019). Los resultados de dicho estudio permitieron concluir que las 3 técnicas y metodologías miden la eficiencia y generan resultados con un alto grado de similitud. Por tanto, la validez de la metodología Secaba-Rank quedó probada.

Aunque la metodología Secaba-Rank se trata, precisamente, de un método para conocer la eficiencia adaptable por cuanto pueden incluirse en las entradas y salidas las variables que se consideren oportunas, la realidad es que en los trabajos científicos publicados hasta ahora se han considerado en las salidas tan solo los préstamos (Lázaro-Rodríguez [et al.], 2018) y los préstamos y las visitas (Lázaro-Rodríguez; López-Gijón; Herrera-Viedma, 2019). Pero siguiendo el razonamiento del primer párrafo de esta introducción, hay que considerar a las bibliotecas no solo como una colección de libros relacionadas con los préstamos, sino como una institución en la que, además de los préstamos, existen otros factores y dimensiones de al menos igual importancia que aquellos, como son las visitas, las actividades culturales y el uso de Internet. Por tanto, las medidas sobre eficiencia que se planteen en bibliotecas se ajustarán más a su realidad si incluyen préstamos, visitas, uso de Internet y asistencias a las actividades culturales, y no solo los primeros.

El objetivo de este trabajo es doble: en primer lugar, adaptar el indicador de potencia del sistema de la metodología Secaba-Rank para calcular y obtener los resultados de la eficiencia de las redes de lectura pública españolas incluyendo medidas relacionadas con el presupuesto en las entradas, y con los préstamos, visitas, uso de Internet y asistencia a actividades culturales en las salidas; el segundo objetivo es comparar y analizar los resultados obtenidos en dicha adaptación del indicador de la potencia del sistema con los de los estudios anteriores según la eficiencia referida a préstamos, visitas, uso de Internet, asistencia a actividades culturales y la calificada como eficiencia total, para extraer conclusiones sobre la medida de la eficiencia de las bibliotecas en el contexto de una sociedad cambiante. Sobre esa base se pueden enumerar las siguientes dos preguntas de investigación:

• ¿Cuáles son los resultados de la eficiencia de las redes de lectura pública españolas considerando medidas sobre el presupuesto, préstamos, visitas, uso de Internet y asistencia a actividades culturales?


• ¿Cuáles son las diferencias entre los resultados de la eficiencia medida según la forma anterior y los de los estudios basados en la metodología Secaba-Rank publicados hasta la fecha que consideran solo los préstamos y las visitas?

El siguiente apartado se refiere a los antecedentes para este trabajo a modo de revisión de la literatura. A continuación se expone lo relacionado con los materiales y la metodología empleada. Tras ello, se exponen los resultados, que incluyen las medidas empleadas en el cálculo de la eficiencia, sus resultados y la comparación de los resultados basada en un análisis estadístico. Por último, se dedica un apartado a la discusión de los resultados y las conclusiones.

2 Antecedentes

Aunque el presente estudio se basa en una adaptación de un indicador de una metodología concreta (el indicador de la potencia del sistema de la metodología Secaba-Rank) y, en ese sentido, la revisión de la literatura sobre el tema podría remitirse a la de los trabajos publicados por sus autores, sí cabe constatar unos antecedentes del trabajo actual sobre la base de los siguientes tres ejes: una muestra de la investigación más reciente sobre bibliotecas públicas en España, la medición de la eficiencia en bibliotecas y el desarrollo de nuevos indicadores y medidas para evaluar y conocer la realidad de las bibliotecas globalmente.

En primer lugar, la investigación más reciente sobre bibliotecas públicas en España gira en torno a diversos temas. Por ejemplo, existen trabajos más históricos que analizan los orígenes del sistema de bibliotecas español (García-López; Genaro-Luis, 2016) y otros que se centran en diversas funciones de la biblioteca como la social (Sánchez-García; Yubero, 2015) o la socioeducativa (Sánchez-García; Yubero, 2016). A su vez, existen estudios que analizan el comportamiento de los lectores en tiempos de crisis (González-Quesada; Jiménez-López; Ajenjo-Cosp, 2015) y otros que se centran en las personas no usuarias para el diseño de las estrategias de las bibliotecas con el objetivo de aumentar su uso (Fernández-Ardèvol [et al.], 2018). El papel y el perfil de los bibliotecarios también aparecen como temas recientes y se identifica la necesidad de incluir perfiles especializados de profesionales complementarios a los habituales (Delmàs-Ruiz; López-Borrull, 2015). Por otro lado, la importancia del espacio en la biblioteca emerge con estudios que analizan los edificios de la biblioteca pública y sus instalaciones en programas electorales (Gallo-León; Marín-Jiménez; Gómez-Hernández, 2017) o que describen el proyecto arquitectónico de edificios de bibliotecas (Martínez-Vernis; Montserrat-Vintró; Terma-Grassa, 2017). A su vez, el componente de lo digital también aparece en un análisis del servicio de préstamo de libros digitales (De-Vicente-García; Fernández-Miedes, 2018) y en la gestión de la transparencia de la información de los portales web de bibliotecas (Pacios [et al.], 2018). Por último, cabe destacar una última línea relacionada con la evaluación para la mejora de los servicios que analiza bibliotecas en general (Cortés-Villalba; Gil-Leiva, 2011), aspectos particulares como la promoción de la lectura (Baró [et al.], 2012) y los factores como predictores del uso en un estudio comparativo entre las bibliotecas públicas españolas y las de Finlandia (Lázaro-Rodríguez; Vakkari, 2018).

En segundo lugar, la técnica para medir la eficiencia de organizaciones de diversa naturaleza con mayor presencia en los estudios científicos es la del análisis envolvente de datos o técnica DEA (Charnes; Cooper; Rhodes, 1978). Así, se pueden destacar diversos estudios que aplican dicha técnica en bibliotecas públicas de Río de Janeiro (De-Carvalho; Jorge; Filgueiras-Jorge; De-Oliveira-Medeiros, 2013), el Reino Unido (Hammond, 2002), Bélgica (Stroobants; Bouckaert, 2014) e Italia (Guccio; Mignosa; Rizzo, 2018). En España cabe destacar la aplicación de dicha técnica a bibliotecas universitarias para medir la eficiencia en la gestión del personal (Simón-Martín; Simón-Blas; Arias-Coello, 2016), para analizar la eficiencia de bibliotecas de universidades concretas (Simón-de-Blas; Arias-Coello; Simón-Martín, 2007) o para analizar los cambios en la productividad de las bibliotecas (Simon; Simon; Arias, 2011).

En tercer lugar, la investigación más reciente sobre nuevas medidas para conocer y evaluar la realidad de las bibliotecas gira en torno al análisis del impacto y los beneficios de su uso, e incluso dispone de una bibliografía realizada por Roswitha Poll que aúna hasta 739 títulos de investigación sobre el impacto y los beneficios en las bibliotecas (Poll, 2018). En el ámbito internacional también destacan estudios sobre medidas en torno a la inclusión social y la superación de la pobreza en bibliotecas (Stilwell, 2016) o propuestas de indicadores para bibliotecas académicas innovadoras (Red Universitaria Metropolitana de Bogotá, 2018). Pero más importantes e internacionales por la organización que las elabora son las normas ISO de la Organización Internacional de Normalización que tratan sobre medidas e indicadores en bibliotecas. Así, cabe destacar la ISO 11620:2014, sobre indicadores para bibliotecas (International Organization for Standardization, 2014a), y la ISO 16439:2014, sobre métodos para evaluar el impacto de estas (International Organization for Standardization, 2014b).

En ese sentido, los autores de la herramienta Secaba-Rank (Lázaro-Rodríguez [et al.], 2018) argumentan que los indicadores propuestos a partir de su metodología siguen los criterios sobre la sencillez y precisión de la formulación y la economía de recursos en los procedimientos de obtención de los datos para diseñar nuevos indicadores de la norma ISO 11620:2014 (International Organization for Standardization, 2014a). Desde ahí, tras exponer los anteriores antecedentes y también sobre la base de la necesidad de nuevos indicadores para evaluar y conocer la realidad de las bibliotecas en el contexto de una sociedad cambiante, en lo que sigue de trabajo se encuentran los materiales, metodología, resultados, discusión y conclusiones de la adaptación del indicador de la potencia del sistema de la metodología Secaba-Rank que incluyen factores y dimensiones referidas al presupuesto, préstamos, visitas, uso de Internet y asistencia a actividades culturales.

3 Materiales y metodología

3.1 Materiales

Los resultados de este estudio se basan en datos de bibliotecas públicas españolas para el año 2016 de las comunidades autónomas. La fuente de datos es la página del Ministerio de Cultura y Deporte de España de título Bibliotecas públicas españolas en cifras (Ministerio de Cultura y Deporte, 2018). Dado que la adaptación del indicador de la potencia del sistema que se propone incluye el presupuesto, préstamos, visitas, usos de Internet y la asistencia a actividades culturales, y la metodología conlleva considerar también a la población, los datos utilizados extraídos de la sección de "Anexos" de la fuente anterior son los siguientes:

• Población: se trata de la población total de cada comunidad autónoma.
• Presupuesto: incluye el presupuesto dedicado al personal y a las adquisiciones.
• Préstamos: incluye el total de préstamos de libros, publicaciones seriadas, documentos sonoros, audiovisuales, electrónicos de soporte fijo y los recogidos en la categoría de otros.
• Visitas: se trata de los accesos a las bibliotecas.
• Usos de Internet: incluye las sesiones de Internet en equipos de la biblioteca y en equipos de usuarios a través de wifi.
• Asistencia a las actividades culturales: se trata de los asistentes a las actividades organizadas por las bibliotecas.

La captura de datos se llevó a cabo el día 25 de mayo de 2019 y se encuentra disponible en el repositorio Open Science Framework. Cabe destacar como limitación del estudio que se hubo de omitir a la Comunidad Foral de Navarra por falta de datos sobre sesiones de Internet en equipos de usuarios mediante wifi y los asistentes a actividades culturales.

3.2 Metodología

El presente trabajo se basa en una adaptación del indicador de segundo nivel de la potencia del sistema de la herramienta y metodología Secaba-Rank. En ese sentido, cabe decir que este apartado está basado en los trabajos de investigación que sirvieron de presentación de dicha herramienta y metodología y presenta información sobre ellos (Lázaro-Rodríguez [et al.], 2018; Lázaro-Rodríguez; López-Gijón; Herrera-Viedma, 2019). El indicador de la potencia del sistema se basa en indicadores de primer nivel a partir de los cuales se calculan las potencias de entrada y de salida necesarias para su cálculo. La fórmula de la potencia del sistema original es la siguiente:

Donde:

P(sis) = Potencia del sistema
P(sal) = Potencia de salida
P(ent) = Potencia de entrada

En este trabajo se ha definido la potencia de entrada como en relación al presupuesto, y la potencia de salida como en relación a los préstamos, visitas, usos de Internet y la asistencia a las actividades culturales. Así, la fórmula del indicador de la potencia del sistema adaptada es la siguiente:

Donde:

P(sis) = Potencia del sistema
P(salP) = Potencia de salida referida a los préstamos
P(salV) = Potencia de salida referida a las visitas
P(salI) = Potencia de salida referida al uso de Internet
P(salA) = Potencia de salida referida a la asistencia a actividades culturales
P(ent) = Potencia de entrada

Para el cálculo de la potencia del sistema se han de calcular primero la potencia de entrada y las de salida respectivas a cada dimensión que se desea incluir. Para ello, es necesario el cálculo de los indicadores de presupuesto, préstamos, visitas, usos de Internet y asistencia a actividades culturales per cápita a partir de los datos mencionados en el punto anterior. Tras ello, se calculan la potencia de entrada referida al presupuesto y las de salida referidas a los demás indicadores. La potencia de entrada es el resultado de dividir el presupuesto per cápita de cada sistema (biblioteca, red de lectura pública o comunidad autónoma) entre el presupuesto per cápita del total que se nombra como sistema base y que es el total media de todos los sistemas. Por ejemplo, si una comunidad autónoma tiene 6,5 de presupuesto per cápita y el presupuesto per cápita del total de redes o media llamado base es de 8,5, su potencia de entrada sería de 0,76, resultado de dividir 6,5 entre 8,5. Desde ahí, se puede calcular la potencia del sistema adaptada. Al respecto y como se ve en la fórmula anterior, cabe destacar que se ha dado el mismo peso e importancia a cada dimensión analizada, por eso las potencias de salida en la fórmula anterior se dividen entre 4.

Como aspecto importante y de interés, aunque el cálculo de la potencia del sistema adaptada se ha presentado según la fórmula anterior, en el apartado de resultados de este trabajo se opta por mostrar los resultados de 5 potencias del sistema referidas a cada dimensión incluida en las salidas (préstamos, visitas, usos de Internet y asistencia a actividades culturales) más la total media de las 4 anteriores y que es la potencia del sistema adaptada o total. El interés de ello radica en que de esta forma pueden analizarse los cambios que se producen en los sistemas biblioteca en cada medición de la eficiencia de acuerdo a las dimensiones aisladas o en conjunto. Así resulta posible identificar en qué dimensión las bibliotecas obtienen mejores o peores resultados en lo que a eficiencia se refiere o, dicho de otra forma, sus debilidades y fortalezas.

Una vez que las potencias del sistema están calculadas, la metodología Secaba-Rank permite presentar los resultados en forma de rankings y clasificar los resultados de acuerdo a 3 estados posibles para los sistemas: potencia (cuando un sistema tiene un nivel de salidas mayores que el de entrada, esto es, cuando el resultado es mayor que 1, que se considera como eficiente), dispotencia (cuando el sistema tiene un nivel de salidas menor que el de entrada, esto es, cuando el resultado es menor que 1, que se considera como no eficiente) o sin potencia (cuando los niveles de entrada y salida son el mismo, esto es, cuando el resultado es igual a 1).

Desde ahí, se pueden analizar los resultados para cada potencia del sistema por medio de la comparación de las posiciones de cada sistema en los rankings generados para extraer las diferencias. En el presente trabajo dicha comparación se llevará a cabo mediante un análisis estadístico con el cálculo del coeficiente de correlación lineal rho de Spearman. Ello permitirá concluir acerca de los cambios en el orden que los sistemas obtienen en cada ranking sobre eficiencia. El análisis estadístico anterior está basado en la metodología empleada en otros trabajos del área de la documentación que tratan sobre la comparación de rankings (Bar-Ilan, 2005; Luque-Martínez; Faraoni; Doña-Toledo, 2018; Elkins [et al.], 2010).

4 Resultados

En la tabla 1 se muestran los resultados de los indicadores de primer nivel para cada red calculados sobre la base de los datos mencionados en el apartado sobre materiales y que son el presupuesto per cápita (presupuesto), préstamos per cápita (préstamos), visitas per cápita (visitas), uso de Internet per cápita (Internet) y asistencia a actividades culturales per cápita (asistencia). Los indicadores se calcularon dividiendo cada variable por la población.

Tabla 1. Resultados de los indicadores de primer nivel. Elaboración propia a partir de los datos de la fuente Bibliotecas españolas públicas en cifras (Ministerio de Cultura y Deporte, 2018).

Como se puede ver, el presupuesto per cápita del sistema base o media total de las redes es de 7,97, los préstamos de 1,06, las visitas de 2,29, el uso de Internet de 0,51 sesiones per cápita y la asistencia a actividades culturales de 0,10. Aunque estos 2 últimos indicadores podrían haberse expresado por cada 100 o 1.000 habitantes, se han mantenido per cápita dado que lo que interesa de acuerdo con los objetivos de este trabajo es el cálculo posterior de las potencias de entrada, salida y de los sistemas.

En cuanto al presupuesto per cápita, cabe destacar los casos del País Vasco, Cataluña y Castilla-La Mancha como los sistemas con mayores resultados (13,82, 11,21 y 11,06 respectivamente). Los sistemas con menor presupuesto per cápita son Illes Balears, Canarias y Andalucía, con 4,61, 4,64 y 5,06 respectivamente.

Por su lado, en préstamos per cápita destaca Cataluña con el mejor resultado (1,94) y Canarias y Andalucía con los más bajos (0,38 y 0,39 respectivamente). Esto quiere decir que en Cataluña se producen 6,6 veces más préstamos per cápita que en Canarias y Andalucía. A su vez, en visitas per cápita los resultados más altos son para Castilla y León (3,40) y de nuevo para Cataluña (3,26), y los más bajos para Illes Balears (1,42) y Andalucía (1,51).

En cuanto al uso de Internet per cápita, Castilla-La Mancha obtiene los mejores resultados (1,17) y los más bajos se dan en el País Vasco (0,16). Este indicador puede considerarse en la medida del grado de adaptación de los sistemas al uso de Internet en el contexto de la sociedad de la información en la que nos encontramos. Por último, los resultados más altos para la asistencia per cápita a actividades culturales se dan en Castilla-La Mancha (0,46) y los más bajos en la Comunidad Valenciana y Andalucía (0,003 y 0,01 respectivamente). Esto quiere decir, aunque se trate de medias estadísticas impersonales, que en comunidades autónomas como Castilla-La Mancha por cada 2 personas se estaría produciendo una asistencia a una actividad cultural organizada por la biblioteca, mientras que en sistemas como el de Andalucía eso se produciría por cada 100 personas.

A partir de los indicadores anteriores se calcularon las potencias de entrada y de salida para cada caso y red. Para ello, y tal y como se expuso en el apartado de la metodología, se divide el resultado de cada red en cada indicador por el resultado del sistema considerado base o total redes. Los resultados del cálculo de la potencia de entrada (Pent) y las potencias de salida referidas a los préstamos (PsalP), visitas (PsalV), uso de Internet (PsalI) y asistencia a actividades culturales (PsalA) se muestran en la tabla 2.

Tabla 2. Resultados de la potencia de entrada y las potencias de salida. Elaboración propia a partir de los indicadores de primer nivel calculados en la tabla 1.

En cuanto a los resultados de la potencia de entrada y de las de salida, se puede establecer una idea general para comentar todos los resultados: los sistemas con una potencia de entrada o cualquiera de las de salida superior a 1 son los que obtenían un resultado mayor que el sistema base o la media de las redes en los resultados de los indicadores mostrados en la tabla 1. Por su lado, los que quedan por debajo del 1 son los que resultaban por debajo del sistema base en aquella tabla.

Desde ahí, se calcularon los resultados para las potencias del sistema referido a los préstamos (PsisP), visitas (PsisV), uso de Internet (PsisI), asistencia a actividades culturales (PsisA) y la potencia del sistema total media de las 4 anteriores (PsisTotal). Tal y como se explicó en el apartado de la metodología, los resultados se obtienen dividiendo cada potencia de salida entre la de entrada. Los resultados se muestran en la tabla 3.

Tabla 3. Resultados para las potencias del sistema y posiciones en los rankings. Elaboración propia a partir de los resultados de la tabla 2.

Tal y como se expuso en el apartado de la metodología, los resultados para las potencias del sistema se pueden clasificar según 3 estados: potencia (cuando un sistema tiene un nivel de salidas mayores que el de entrada, esto es, cuando el resultado es mayor que 1), dispotencia (cuando el sistema tiene un nivel de salidas menor que el de entrada, esto es, cuando el resultado es menor que 1) o sin potencia (cuando los niveles de entrada y salida son el mismo, esto es, cuando el resultado es igual a 1). Así, los sistemas de la tabla 3 con valores superiores a 1 son sistemas potentes (eficientes), y los que obtienen valores inferiores a 1, los dispotentes (no eficientes). En ningún caso se obtienen sistemas sin potencia (con resultado igual a 1).

A su vez, a partir de los resultados de la tabla 3 se pueden identificar los sistemas que sirven de modelos de buenas prácticas tanto para la eficiencia total como para los casos individuales referidos a los préstamos, visitas, uso de Internet y asistencia a actividades culturales. Así, atendiendo a los resultados de la columna PsisTotal, los sistemas con mayor potencia son Canarias, Castilla-La Mancha y el Principado de Asturias (con unos resultados de 1,90, 1,73 y 1,60 respectivamente). Por su lado, los sistemas dispotentes con resultados más bajos son el País Vasco, Andalucía y la Comunidad Valenciana (0,52, 0,67 y 0,71 respectivamente). En total hay 12 sistemas potentes (Canarias, Castilla-La Mancha, Principado de Asturias, Illes Balears, Galicia, La Rioja, Cantabria, Castilla y León, Aragón, Extremadura, Comunidad de Madrid y Región de Murcia) y 4 dispotentes (Cataluña, Comunidad Valenciana, Andalucía y País Vasco).

La presentación de resultados por potencia del sistema individual, y no solo según la total, permite conocer los puntos débiles y las fortalezas de cada sistema. Por ejemplo, aunque Canarias resulta en el puesto decimoquinto en la potencia del sistema referida a los préstamos (potencia del sistema clásica utilizada en la herramienta Secaba-Rank y Lázaro-Rodríguez [et al.], 2018) con un resultado de 0,62, sus potencias del sistema referidas a visitas, uso de Internet y asistencia a actividades culturales son mayores que 1 y muy alta en el último caso (1,40, 1,23 y 4,35 respectivamente). Por ello, al calcular la media total de la potencia del sistema, resulta en primera posición con un resultado de 1,90. Esto es interesante, pues revela que la eficiencia de los sistemas puede variar según se consideren unas variables u otras.

En un sentido contrario, se puede analizar el caso concreto de Cataluña. Dicho sistema es eficiente en la potencia del sistema referida a los préstamos y a las visitas, con 1,31 y 1,01 respectivamente, y ocupa la cuarta y décima posición en dichos rankings. Pero al considerar el resto de las potencias del sistema, el sistema pasa a ser dispotente, con un resultado de 0,86, y resulta en decimotercera posición. Se observa que el sistema de Cataluña es dispotente en las referidas al uso de Internet y a la asistencia a actividades culturales (0,92 y 0,20 respectivamente). Por tanto, aunque el sistema de Cataluña obtiene buenos resultados tanto en las eficiencias referidas a préstamos como a visitas, no sucede lo mismo con el uso de Internet y especialmente con la asistencia a actividades culturales, de ahí que resulte dispotente en el cálculo de la potencia del sistema total.

Al respecto, es importante recordar que un resultado de dispotencia según la medición de la eficiencia no quiere decir que los resultados de los indicadores incluidos en esa medida sean bajos con respecto a los demás sistemas. Por ejemplo, en el caso concreto de Cataluña y atendiendo a los resultados de la tabla 1, el uso de Internet per cápita es el tercero más alto (0,66), tan solo por debajo de la Comunidad de Madrid (0,81) y de Cantabria (0,67). Lo que quiere decir un resultado de dispotencia es que el nivel de salidas (en este caso con relación al uso de Internet) es más bajo que el nivel de entradas (presupuesto). Dicho de otra forma, el alto presupuesto de Cataluña hace que la división entre la potencia de salida (usos de Internet y asistencia a actividades culturales) y la potencia de entrada (presupuesto) resulte menor que 1 y en un estado de dispotencia. Aunque el uso de Internet de este sistema es el tercero más alto de los analizados, lo que está diciendo también el estado de dispotencia es que con su presupuesto debería ser todavía más alto si se toma como base la media de todos los sistemas y, por ello, con relación a ellos. Así, sistemas con menor o similar volumen de usos de Internet per cápita que Cataluña, como Cantabria —con un uso de Internet per cápita de 0,67—, se convertirían en modelos de buenas prácticas para Cataluña en el procesamiento de su presupuesto y en lo referido a la medida concreta del uso de Internet. Cantabria está consiguiendo el mismo resultado en ese indicador con casi la mitad de presupuesto que Cataluña (6,11 frente a 11,21 respectivamente). De ahí también que la potencia del sistema referida al uso de Internet para Cantabria sea casi del doble que en el caso de Cataluña (1,71 y 0,92 respectivamente).

A su vez, hay sistemas que presentan una cierta regularidad en todas las eficiencias medidas tanto en el sentido positivo como en el negativo. Por ejemplo, Illes Balears es siempre un sistema potente en cada eficiencia y resulta siempre entre los puestos tercero y séptimo de cada ranking individual y en el puesto cuarto en el ranking de la potencia del sistema total. En el sentido contrario, cabe mencionar el caso del País Vasco, que es siempre un sistema dispotente y oscila entre las últimas posiciones de los rankings de eficiencia individuales y el total (entre la decimotercera y la decimosexta, y la decimosexta en el ranking de la potencia del sistema total).

Una vez expuestos los resultados de los indicadores, potencias de entrada y de salida, y los de las potencias del sistema e interpretados los resultados, cabe plantearse la diferencia entre los rankings resultantes para cada potencia del sistema y la total desde el análisis estadístico introducido en el apartado de la metodología. El objetivo es analizar las posiciones de cada sistema en cada ranking para concluir sobre la relación entre las diferentes medidas de eficiencia basadas en las potencias del sistema individuales y la total. Para ello, se sustituyó cada resultado de cada sistema de la tabla 3 por su orden correspondiente en el ranking. En la tabla 4 se muestran las posiciones en el ranking para cada red o comunidad autónoma y cada potencia del sistema.

Tabla 4. Resultados por posiciones en los rankings de cada potencia del sistema. Elaboración propia a partir de los resultados de la tabla 3. RankPres equivale al ranking de la potencia del sistema para los préstamos; RankVis, al de las visitas; RankInternet, al del uso de Internet; RankAsistActCult, al de la asistencia a actividades culturales; y RankTotal, al de la potencia del sistema total. Para los casos de la tabla 3 en que 2 resultados de las potencias del sistema coincidían en sus dos decimales, se ha recurrido al tercero para definir cada posición.

Una vez obtenidas las posiciones de cada caso, se procede a la comparación ordinal entre los diferentes rankings utilizando el coeficiente de correlación rho de Spearman. Los resultados de las correlaciones se muestran en la tabla 5.

Tabla 5. Relación entre los rankings de las potencias del sistema individuales y total. Elaboración propia. * p ≤ 0,05; ** p ≤ 0,01.

Como se puede ver, existe significación estadística y, por tanto, relación lineal entre los pares de variables RankPres y RankVis, RankInternet y RankTotal, y RankAsistActCult y RankTotal. La relación en los 3 casos es positiva (0,518, 0,544 y 0,803 respectivamente), por lo que puede decirse que las posiciones de los sistemas en los pares de rankings, sobre préstamos y visitas, Internet y el total, y el de la asistencia a actividades culturales, coinciden en grado alto de acuerdo a los resultados de las correlaciones calculadas.

Todavía más importante es la ausencia de significación estadística entre las variables RankPres y RankVis y RankTotal. Dicha ausencia quiere decir que las posiciones de los sistemas en el ranking generado según la potencia del sistema referida a los préstamos utilizada en Lázaro-Rodríguez [et al.] (2018) y la referida a las visitas utilizada en Lázaro-Rodríguez, López-Gijón y Herrera-Viedma (2019) varían respecto a las referidas al ranking de la potencia del sistema total. Desde ahí, se justifica la necesidad planteada en este trabajo de adaptar el indicador de la potencia del sistema incluyendo nuevas variables propias del contexto de las bibliotecas en una sociedad cambiante como el uso de Internet y la asistencia a actividades culturales. Si el objetivo es que la medida de la eficiencia en bibliotecas refleje su realidad en la actualidad, dicha medida ha de incluir variables como el uso de Internet y la asistencia a actividades culturales, y no solo los préstamos o las visitas.

5. Discusión y conclusiones

Este estudio amplía el conocimiento sobre la medición de la eficiencia en bibliotecas a partir de una adaptación del indicador de la potencia del sistema de la metodología Secaba-Rank. Desde ahí pueden entenderse su valor y originalidad por cuanto el aporte que hace a la medida de la eficiencia en bibliotecas a partir de una metodología dada y en su adaptación a la realidad de estas al servicio de una sociedad cambiante como la actual.

El trabajo se planteó en el contexto del necesario desarrollo de nuevas medidas e indicadores para bibliotecas según la realidad más actual de estas. Se marcaron dos objetivos: por un lado, el de la adaptación de dicho indicador para calcular y obtener los resultados de la eficiencia de las redes de lectura pública españolas incluyendo dimensiones relacionadas con el presupuesto, préstamos, visitas, uso de Internet y asistencia a actividades culturales, y, por otro lado, el de comparar y analizar los resultados obtenidos en dicha adaptación del indicador con los de los estudios anteriores y los de la herramienta Secaba-Rank.

En cuanto al primer objetivo, en el apartado de la metodología se expuso la adaptación del indicador de la potencia del sistema paso a paso desde los datos, el cálculo de los indicadores de primer nivel, el cálculo de las potencias de entrada y de salida y, finalmente, la fórmula y cálculo de la nombrada como potencia del sistema total. Los datos que se utilizaron fueron los de las comunidades autónomas españolas para 2016, y se eliminó a la Comunidad Foral de Navarra por falta de datos en alguna de las variables incluidas.

Al respecto y dando respuesta a la primera pregunta de investigación formulada en la introducción sobre cuáles son los resultados de la eficiencia de las redes de lectura pública españolas considerando medidas sobre el presupuesto, préstamos, visitas, uso de Internet y asistencia a actividades culturales, cabe decir que en total resultaron 4 sistemas no eficientes o dispotentes (Cataluña, Comunidad Valenciana, Andalucía y País Vasco) y 12 sistemas con eficiencia o potentes (el resto). Además, gracias a la tabla 3 incluida en los resultados, se facilitó la identificación de los sistemas potentes y dispotentes para cada una de las potencias del sistema individuales necesarias para el cálculo de la total o adaptada.

En cuanto al segundo objetivo, la comparación y análisis de las diferencias entre los resultados de cada potencia del sistema, se planteó incluyendo tablas para cada potencia del sistema y con un análisis estadístico de las posiciones en los rankings para cada caso. Para ello se calculó el coeficiente de correlación lineal rho de Spearman. Los resultados mostraron la existencia de significancia estadística y una relación positiva entre los pares de rankings de las potencias del sistema referidas a préstamos y visitas, uso de Internet y potencia del sistema total, y asistencia a actividades culturales y potencia del sistema total. Estos resultados permitieron establecer que las posiciones de cada sistema en los pares de rankings anteriores coinciden en alto grado.

Es justo ese punto el que más puede someterse a discusión por sus implicaciones considerando estudios anteriores sobre Secaba-Rank y sus mediciones de la eficiencia de bibliotecas. Por ejemplo, en Lázaro-Rodríguez [et al.] (2018) y en la misma herramienta Secaba-Rank se mide la eficiencia incluyendo solo los préstamos como variable relacionada con las salidas de los sistemas. Por su lado, en Lázaro-Rodríguez, López-Gijón y Herrera-Viedma (2019), se incluyen en las salidas los préstamos y las visitas. Pero los resultados apuntan a que si lo que se quiere es medir la eficiencia de las bibliotecas en el contexto de un mundo cambiante como el de hoy, en el que se supera el paradigma informativo en estas en pos del social y del creador (Lázaro-Rodríguez [et al.], en prensa), y también en el contexto de la sociedad de la información en la que nos hallamos con predominancia del componente de lo digital y lo relacionado con Internet, una medida de la eficiencia más correcta y completa y, por tanto, más válida ha de incluir dimensiones de las bibliotecas referidas a dichos hechos, como el uso de Internet y la asistencia a actividades culturales, además de los préstamos o los préstamos y las visitas. En ese sentido, no quiere decir que sea erróneo medir la eficiencia de las bibliotecas solo considerando los préstamos, o los préstamos y las visitas, sino, más bien, que, de hacerse así, sería más preciso hablar de una eficiencia referida a los préstamos o visitas, más que como una eficiencia total.

Desde ahí, dando respuesta a la segunda pregunta de investigación formulada en la introducción sobre cuáles son las diferencias entre los resultados de la eficiencia medida según la forma anterior y los de los estudios basados en la metodología Secaba-Rank, cabe decir que las posiciones de los sistemas que consideran préstamos y visitas no coinciden con las del ranking sobre la potencia del sistema total propuesta en este trabajo. En cambio, los rankings que sí coinciden con dicha potencia del sistema nombrada como total son los del uso de Internet y la asistencia a actividades culturales.

Con todo, como limitación, cabe recordar que la Comunidad Foral de Navarra fue omitida del estudio por falta de datos en algunas de las variables consideradas. En ese sentido, toda investigación que parte de unos datos, en cuanto que mediciones de la realidad, se ve condicionada y limitada por la fiabilidad y consistencia de estos y de la fuente. Así, los resultados de este trabajo están condicionados a la fiabilidad y consistencia de los datos ofrecidos por la web de Bibliotecas públicas españolas en cifras.

Por último, otra limitación del estudio consiste en que la nombrada como potencia del sistema total propuesta mide la eficiencia de acuerdo a 4 dimensiones, a saber, los préstamos, las visitas, el uso de Internet y la asistencia a actividades culturales. Como base para el estudio se consideró que dichas variables cubren la realidad de las bibliotecas hoy en el contexto de una sociedad cambiante. Pero es cierto que podrían considerarse otras dimensiones además de esas. Dicha limitación supone también una posibilidad de ser planteada y desarrollada en futuros trabajos de investigación. En ese sentido, lo bueno de la metodología Secaba-Rank es que es precisamente una metodología abierta que permite la adaptación de sus indicadores a nuevas necesidades.

Bibliografía

Alonso-Arévalo, Julio (2018). Makerspaces y bibliotecas. Barcelona: Editorial UOC. Colección "EPI", n.o 47. ISBN: 978-84-9180-385-0.

Bar-Ilan, Judit (2005). "Comparing rankings of search results on the Web". Information processing & management, vol. 41, no. 6, p. 1511–1519.
<https://doi.org/10.1016/j.ipm.2005.03.008>. [Consulta: 08/10/2019].

Baró, Mònica [et al.] (2012). "Promoción de la lectura en las bibliotecas públicas de Cataluña: evaluación y resultados". El profesional de la información, vol. 21, n.o 3, p. 277–282. <https://doi.org/10.3145/epi.2012.may.08>. [Consulta: 08/10/2019].

Charnes, Abraham; Cooper, Willia-Wager; Rhodes, Edwardo-Lao (1978). "Measuring the efficiency of decision making units". European journal of operational research, vol. 2, no. 6, p. 429–444. <https://doi.org/10.1016/0377-2217(78)90138-8>. [Consulta: 08/10/2019].

Cortés-Villalba, Carmina; Gil-Leiva, Isidoro (2011). "Evaluación de la biblioteca pública de Valencia mediante la técnica encadenada de 'grupos de discusión' y 'encuesta'". Revista general de información y documentación, vol. 21, n.o 1, p. 335–362.
<https://doi.org/10.5209/rev_RGID.2011.v21.38027>. [Consulta: 08/10/2019].

De-Carvalho, Frederico A.; Jorge, Marcelino-José; Filgueiras-Jorge, Marina; De-Oliveira-Medeiros, Renata (2013). "Análise de eficiência e desempenho no longo prazo: ilustração empírica de um modelo para avaliação de bibliotecas públicas". Investigación bibliotecológica, vol. 27, n.o 60, p. 71–95. <https://doi.org/10.1016/S0187-358X(13)72544-9>. [Consulta: 08/10/2019].

De-Vicente-García, Remedios; Fernández-Miedes, Luisa-Inmaculada (2018). "Ebook lending services for public libraries. The eBiblio Madrid experience". El profesional de la información, vol. 27, n.o 3, p. 698–706. <https://doi.org/10.3145/epi.2018.may.23>. [Consulta: 08/10/2019].

Delmàs-Ruiz, Maria; López-Borrull, Alexandre (2015). "Perfil profesional en las bibliotecas públicas: visión de los mismos bibliotecarios". BiD: textos universitaris de biblioteconomia i documentació, núm. 35 (desembre).
<https://dx.doi.org/10.1344/BiD2015.35.18>. [Consulta: 29/05/2019].

Elkins, Mark R. [et al.] (2010). "Correlation between the Journal Impact Factor and three other journal citation indices". Scientometrics, vol. 85, no. 1, p. 81–93.
<https://doi.org/10.1007/s11192-010-0262-0>. [Consulta: 08/10/2019].

Fernández-Ardèvol, Mireia [et al.] (2018). "The public library as seen by the non-users". El profesional de la información, vol. 27, n.o 3, p. 659.
<https://doi.org/10.3145/epi.2018.may.19>. [Consulta: 08/10/2019].

Gallo-León, José-Pablo; Marín-Jiménez, María-Dolores; Gómez-Hernández, José-Antonio (2017). "Los edificios de las bibliotecas públicas en los programas electorales (Castilla-La Mancha, 2007-2015)". Anales de documentación, vol. 20, n.o 1.
<https://doi.org/10.6018/analesdoc.20.1.26995>. [Consulta: 08/10/2019].

García-López, Genaro-Luis (2016). "El origen del sistema bibliotecario español: características y utilidad de los fondos bibliográficos que conformaron las primeras bibliotecas públicas en el segundo tercio del siglo xix". Investigación bibliotecológica, vol. 30, n.o 69, p. 231–262. <https://doi.org/10.1016/j.ibbai.2016.04.019>. [Consulta: 08/10/2019].

González-Quesada, Alfonso; Jiménez-López, María-Ángeles; Ajenjo-Cosp, Marc (2015). "Readers' behavior in times of crisis: The case of public libraries in the city of Barcelona". Revista española de documentación científica, vol. 38, n.o 4, e103.
<https://doi.org/10.3989/redc.2015.4.1228>. [Consulta: 08/10/2019].

Guccio, Calogero; Mignosa, Anna; Rizzo, Ilde (2018). "Are public state libraries efficient? An empirical assessment using network Data Envelopment Analysis". Socio-economic planning sciences, vol. 64, p. 78–91.
<https://doi.org/10.1016/j.seps.2018.01.001>. [Consulta: 08/10/2019].

Hammond, Christopher J. (2002). "Efficiency in the provision of public services: a data envelopment analysis of UK public library systems". Applied economics, vol. 34, no. 5, p. 649–657. <https://doi.org/10.1080/00036840110053252>. [Consulta: 08/10/2019].

Herrera-Viedma, Enrique; López-Gijón, Javier (2013). "Libraries' Social Role in the Information Age". Science, vol. 339, no. 6.126, p. 1.382–1.382.
<https://doi.org/10.1126/science.339.6126.1382-a>. [Consulta: 08/10/2019].

Houghton, Kirralie; Foth, Marcus; Miller, Evonne (2013). "The continuing relevance of the library as a third place for users and non-users of IT: the case of Canada Bay". The Australian library journal, vol. 62, no. 1, p. 27–39.
<https://doi.org/10.1080/00049670.2013.771764>. [Consulta: 08/10/2019].

International Organization for Standardization (2014a). International Organization for Standardization. ISO 11620:2014 - Information and documentation - Library performance indicators. <https://www.iso.org/standard/56755.html>. [Consulta: 08/10/2019].

— (2014b). International Organization for Standardization. ISO 16439:2014 - Information and documentation - Methods and procedures for assessing the impact of libraries.
<https://www.iso.org/standard/56756.html>. [Consulta: 08/10/2019].

Lázaro-Rodríguez, Pedro; López-Gijón, Javier; Alonso, Sergio; Martínez-Sánchez, María Ángeles; Herrera-Viedma, Enrique (2018). "Secaba-Rank, herramienta online para analizar y evaluar bibliotecas". El profesional de la información, vol. 27, n.o 2, p. 278–288.
<https://doi.org/10.3145/epi.2018.mar.06>. [Consulta: 08/10/2019].

Lázaro-Rodríguez, Pedro; López-Gijón, Javier; Alonso, Sergio; Herrera-Viedma, Enrique (en prensa). "Actualidad en estudios LibQUAL+®: paradigmas de la biblioteca informativa y social-creadora y cuestión de género como reflejos de la realidad social". Revista española de documentación científica.

Lázaro-Rodríguez, Pedro; López-Gijón, Javier; Herrera-Viedma, Enrique (2018). "Visibilidad de las bibliotecas públicas y la lectura en medios de comunicación españoles frente a otros hechos de la cultura y relación con su uso: medidas para su mayor promoción y difusión". BiD: textos universitaris de biblioteconomia i documentació, núm. 40 (juny).
<http://dx.doi.org/10.1344/BiD2018.40.7>. [Consulta: 08/10/2019].

— (2019). "Secaba-Rank a examen: validación de su metodología sobre eficiencia en bibliotecas versus la técnica Data Envelopment Analysis (DEA) y el método Finlandia". El profesional de la información,vol. 28, n.o 3, e280316.
<https://doi.org/10.3145/epi.2019.may.16>. [Consulta: 08/10/2019].

Lázaro-Rodríguez, Pedro; Vakkari, Pertti (2018). "Modelizando el uso de las bibliotecas públicas a través de sus características: estudio comparativo entre España y Finlandia para los préstamos y las visitas". Revista española de documentación científica, vol. 41, n.o 4, e216. <https://doi.org/10.3989/redc.2018.4.1544>. [Consulta: 08/10/2019].

Leorke, Dale; Wyatt, Danielle; McQuire, Scott (2018). "'More than just a library': Public libraries in the 'smart city'". City, culture and society, vol. 15, p. 37–44.
<https://doi.org/10.1016/j.ccs.2018.05.002>. [Consulta: 08/10/2019].

Luque-Martínez, Teodoro; Faraoni, Nina; Doña-Toledo, Luis (2018). "Meta-ranking de universidades. Posicionamiento de las universidades españolas". Revista española de documentación científica, vol. 41, n.o 1, e198.
<https://doi.org/10.3989/redc.2018.1.1456>. [Consulta: 08/10/2019].

Martínez-Vernis, Núria; Montserrat-Vintró, Neus; Terma-Grassa, Judit (2017). "Fabricació digital i biblioteca pública: el cas de l'Ateneu de Fabricació i Biblioteca de Les Corts". BiD: textos universitaris de biblioteconomia i documentació, núm. 38 (juny).
<https://dx.doi.org/10.1344/BiD2017.38.14>. [Consulta: 29/05/2019].

Ministerio de Cultura y Deporte (2018). Bibliotecas públicas españolas en cifras. <http://www.culturaydeporte.gob.es/cultura/areas/bibliotecas/mc/ebp/portada.html>. [Consulta: 08/10/2019].

Okpala, Helen-Nneka (2016). "Making a makerspace case for academic libraries in Nigeria". New library world, vol. 117, no. 9–10, p. 568–586.
<https://doi.org/10.1108/NLW-05-2016-0038>. [Consulta: 08/10/2019].

Pacios, Ana-Reyes [et al.] (2018). "Management transparency in state-run public libraries: Website information". El profesional de la información, vol. 27, n.o 1, p. 36–48.
<https://doi.org/10.3145/epi.2018.ene.04>. [Consulta: 08/10/2019].

Poll, Roswitha (2018). Bibliography: "Impact and Outcome of Libraries". Münster.
<https://www.ifla.org/files/assets/statistics-and-evaluation/publications/bibliography_impact_and_outcome_2018.pdf>. [Consulta: 08/10/2019].

Red Universitaria Metropolitana de Bogotá (2018). Lineamientos e indicadores para las bibliotecas académicas innovadoras. Bogotá: Rumbo. <http://repositorios.rumbo.edu.co/bitstream/handle/123456789/112412/ComiteBibliotecas_Lineamientos_.pdf>. [Consulta: 08/10/2019].

Sánchez-García, Sandra; Yubero, Santiago (2015). "The social function of public libraries: New places for learning and social inclusion". El profesional de la información, vol. 24, n.o 2, p. 103–111. <https://doi.org/10.3145/epi.2015.mar.03>. [Consulta: 08/10/2019].

— (2016). "The socio-educative role of public libraries: New professional profiles for new times". El profesional de la información, vol. 25, n.o 2, p. 226–236.
<https://doi.org/10.3145/epi.2016.mar.09>. [Consulta: 08/10/2019].

Simón-de-Blas, Clara; Arias-Coello, Alicia; Simón-Martín, José (2007). "Aplicación de la técnica DEA en la medición de la eficiencia de las bibliotecas de la Universidad Complutense de Madrid". Revista española de documentación científica, vol. 30, n.o 1, p. 9–23. <https://doi.org/10.3989/redc.2007.v30.i1.366>. [Consulta: 08/10/2019].

Simón-Martín, José; Simón-Blas, Clara; Arias-Coello, Alicia (2016). "Ranking de las bibliotecas universitarias españolas en la gestión del personal". Revista española de documentación científica, vol. 39, n.o 1, e119.
<https://doi.org/10.3989/redc.2016.1.1259>. [Consulta: 08/10/2019].

Simon, Jose; Simon, Clara; Arias, Alicia (2011). "Changes in productivity of Spanish university libraries". Omega, vol. 39, no. 5, p. 578–588.
<https://doi.org/10.1016/j.omega.2010.12.003>. [Consulta: 08/10/2019].

Slatter, Diane; Howard, Zaana (2013). "A place to make, hack, and learn: makerspaces in Australian public libraries". The australian library journal, vol. 62, no. 4, p. 272–284. <https://doi.org/10.1080/00049670.2013.853335>. [Consulta: 08/10/2019].

Stilwell, Christine (2016). "The public library as institutional capital: Towards measures for addressing social inclusion and combating poverty”. Information development, vol. 32, no. 1, p. 44–59. <https://doi.org/10.1177/0266666914525063>. [Consulta: 08/10/2019].

Stroobants, Jesse; Bouckaert, Geert (2014). "Benchmarking local public libraries using non-parametric frontier methods: A case study of Flanders". Library & information science research, vol. 36, no. 3, p. 211–224.
<https://doi.org/10.1016/j.lisr.2014.06.002>. [Consulta: 08/10/2019].

Vakkari, Pertti (2012). "Internet use increases the odds of using the public library". Journal of documentation, vol. 68, no. 5, p. 618–638.
<https://doi.org/10.1108/00220411211256003>. [Consulta: 08/10/2019].

Xi, Qingkui; Wu, Weiming; Zhang, Yong (2017). "Makerspace Activities in China". Science and technology libraries, vol. 36, no. 4, p. 425–433.
<https://doi.org/10.1080/0194262X.2017.1392920>. [Consulta: 08/10/2019].