Biblioteques i eficiència: adaptació de l’indicador de la potència del sistema de la metodologia Secaba-Rank per a noves necessitats al servei d’una societat canviant

1 Introducció

Si s'atén a la realitat més actual de les biblioteques públiques, es pot veure que han evolucionat des d'una concepció clàssica, en la qual eren identificades principalment amb una col·lecció de llibres, fins a una de més actual, segons la qual són considerades serveis d'informació i creació amb un marcat accent social. Així, les biblioteques deixen de ser només una simple col·lecció de llibres i passen a ser també un lloc per a crear, en el que es coneix com a bibliomakers i makerspaces (Alonso-Arévalo, 2018; Slatter; Howard, 2013; Leorke; Wyatt; McQuire, 2018; Okpala, 2016; Xi; Wu; Zhang, 2017), i per a socialitzar-se. A partir d'aquí, s'entén que les biblioteques es puguin considerar com a servei essencial per a la comunitat, ja que representen un augment del capital social, humà i cultural (Houghton; Foth; Miller, 2013; Herrera-Viedma; López-Gijón, 2013). Al seu torn, el protagonisme d'Internet en el context de la societat de la informació també s'ha de considerar un aspecte que cal tenir en compte en parlar de biblioteques (Vakkari, 2012).

En aquest marc cal preguntar-se per l'estat de les biblioteques públiques espanyoles. Una bona manera de fer-ho es basa en la comparació de mesures bàsiques sobre el seu ús i pressupost respecte a altres països d'Europa. Els resultats d'un estudi recent que compara els préstecs i les visites en 17 països europeus permeten confirmar que Espanya és a la cua d'Europa amb referència a préstecs (tan sols per sobre de Portugal) i per sota de la mitjana europea amb referència a les visites a la biblioteca (Lázaro-Rodríguez; López-Gijón; Herrera-Viedma, 2018). A la vegada, els resultats d'un altre estudi que compara els sistemes de biblioteques públiques d'Espanya i Finlàndia mostren que, pel que fa a regions i comunitats autònomes, el pressupost per càpita a Espanya és 5 vegades menor que el pressupost de Finlàndia (de 7,4 i 38,7 respectivament) (Lázaro-Rodríguez; Vakkari, 2018).

Així, l'avaluació de les biblioteques adquireix sentit com a forma de conèixer la realitat per a poder-la millorar. L'avaluació es pot plantejar no solament com a forma de saber en quina mesura s'han aconseguit uns objectius plantejats. En entorns amb un pressupost baix com Espanya, també és essencial saber com es processen els recursos per a obtenir els resultats que es marquen com a objectius. Dit d'una altra manera, a més de mesurar l'eficàcia com a grau de consecució dels objectius marcats, és necessari mesurar l'eficiència per a saber el nivell d'aprofitament dels recursos de què es disposa.

En aquest sentit, cal destacar el desenvolupament i la implementació de l'eina oberta i en línia  Secaba-Rank per a mesurar l'eficiència de les xarxes de lectura pública (biblioteques públiques) i les biblioteques universitàries espanyoles (Lázaro-Rodríguez [et al.], 2018). Els autors d'aquesta eina van desenvolupar una metodologia basada en la teoria general de sistemes que va permetre dissenyar noves mesures anomenades indicadors de segon nivell per a saber l'eficiència de les biblioteques. L'indicador principal és el de la potència del sistema. Del que es tracta és de posar en relació les entrades (pressupost) i les sortides (préstecs, visites, etc.) per a saber com són processades les primeres pels sistemes bibliotecaris. Amb tot, la metodologia permet el benchmarking o avaluació comparativa per a identificar els models de bones pràctiques que serveixen per a millorar les que ho necessiten més. Amb referència a l'eina Secaba-Rank, cal destacar que el 2019 es va publicar un estudi que sotmetia a examen la seva metodologia comparant-la amb altres tècniques per a mesurar l'eficiència, com ara la tècnica d'anàlisi envolupant de dades (DEA) i l'anomenat mètode Finlàndia (Lázaro-Rodríguez; López-Gijón; Herrera-Viedma, 2019). Els resultats d'aquest estudi van permetre concloure que les 3 tècniques i metodologies mesuren l'eficiència i generen resultats amb un alt grau de semblança. Per tant, la validesa de la metodologia Secaba-Rank va quedar provada.

Encara que la metodologia Secaba-Rank consisteix precisament en un mètode per a saber l'eficiència adaptable perquè es poden incloure en les entrades i sortides les variables que es considerin oportunes, la realitat és que en els treballs científics publicats fins ara s'han considerat en les sortides només els préstecs (Lázaro-Rodríguez [et al.], 2018), i els préstecs i les visites (Lázaro-Rodríguez; López-Gijón; Herrera-Viedma, 2019). Però seguint el raonament del primer paràgraf d'aquesta introducció, cal considerar les biblioteques no solament una col·lecció de llibres, relacionades amb els préstecs, sinó també una institució en la qual, a més dels préstecs, hi ha altres factors i dimensions de com a mínim la mateixa importància que aquests, com ara les visites, les activitats culturals i l'ús d'Internet. Per tant, les mesures sobre eficiència que es plantegin en biblioteques s'ajustaran més a la seva realitat si inclouen préstecs, visites, ús d'Internet i assistències a les activitats culturals, i no solament els primers.

L'objectiu d'aquest treball és doble: en primer lloc, adaptar l'indicador de potència del sistema de la metodologia Secaba-Rank per a calcular i obtenir els resultats de l'eficiència de les xarxes de lectura pública espanyoles incloent-hi mesures relacionades amb el pressupost en les entrades, i amb els préstecs, les visites, l'ús d'Internet i l'assistència a activitats culturals en les sortides; en segon lloc, comparar i analitzar els resultats obtinguts en aquesta adaptació de l'indicador de la potència del sistema amb els dels estudis anteriors segons l'eficiència referida a préstecs, visites, ús d'Internet, assistència a activitats culturals i la qualificada com a eficiència total, per a extreure conclusions sobre la mesura de l'eficiència de les biblioteques en el context d'una societat canviant. Sobre aquesta base es poden enumerar les dues preguntes de recerca següents:

• Quins són els resultats de l'eficiència de les xarxes de lectura pública espanyoles considerant mesures sobre el pressupost, els préstecs, les visites, l'ús d'Internet i l'assistència a activitats culturals?


• Quines diferències hi ha entre els resultats de l'eficiència mesurada segons la forma anterior i els dels estudis basats en la metodologia Secaba-Rank publicats fins avui que consideren només els préstecs i les visites?

L'apartat següent es refereix als antecedents per a aquest treball a mode de revisió de la literatura. A continuació s'exposa el que té relació amb els materials i la metodologia emprats. Després, s'exposen els resultats, que inclouen les mesures fetes servir en el càlcul de l'eficiència, els seus resultats i la comparació dels resultats basada en una anàlisi estadística. Per acabar, es dedica un apartat a la discussió dels resultats i les conclusions.

2 Antecedents

Tot i que aquest estudi es basa en una adaptació d'un indicador d'una metodologia concreta (l'indicador de la potència del sistema de la metodologia Secaba-Rank) i, en aquest sentit, la revisió de la literatura sobre aquest tema es podria remetre a la dels treballs publicats pels seus autors, sí que cal constatar uns antecedents del treball actual sobre la base dels tres eixos següents: una mostra de la recerca més recent sobre biblioteques públiques a Espanya, el mesurament de l'eficiència en biblioteques i el desenvolupament de nous indicadors i mesures per a avaluar i conèixer la realitat de les biblioteques globalment.

En primer lloc, la recerca més recent sobre biblioteques públiques a Espanya gira entorn de diversos temes. Per exemple, hi ha treballs més històrics que analitzen els orígens del sistema de biblioteques espanyol (García-López; Genaro-Luis, 2016) i uns altres que se centren en diverses funcions de la biblioteca com la social (Sánchez-García; Yubero, 2015) o la socioeducativa (Sánchez-García; Yubero, 2016). A la vegada, hi ha estudis que analitzen el comportament dels lectors en temps de crisi (González-Quesada; Jiménez-López; Ajenjo-Cosp, 2015) i uns altres que se centren en les persones no usuàries per al disseny de les estratègies de les biblioteques amb l'objectiu d'augmentar-ne l'ús (Fernández-Ardèvol [et al.], 2018). El paper i el perfil dels bibliotecaris també apareixen com a temes recents, i s'identifica la necessitat d'incloure perfils especialitzats de professionals complementaris als habituals (Delmàs-Ruiz; López-Borrull, 2015). D'altra banda, la importància de l'espai a la biblioteca emergeix amb estudis que analitzen els edificis de la biblioteca pública i les seves instal·lacions en programes electorals (Gallo-León; Marín-Jiménez; Gómez-Hernández, 2017) o que descriuen el projecte arquitectònic d'edificis de biblioteques (Martínez-Vernis; Montserrat-Vintró; Terma-Grassa, 2017). Al seu torn, el component digital també apareix en una anàlisi del servei de préstec de llibres digitals (De-Vicente-García; Fernández-Miedes, 2018) i en la gestió de la transparència de la informació dels portals web de biblioteques (Pacios [et al.], 2018). Finalment, cal destacar una darrera línia relacionada amb l'avaluació per a la millora dels serveis que analitza biblioteques en general (Cortés-Villalba; Gil-Leiva, 2011), aspectes particulars com la promoció de la lectura (Baró [et al.], 2012) i els factors com a predictors de l'ús en un estudi comparatiu entre les biblioteques públiques espanyoles i les de Finlàndia (Lázaro-Rodríguez; Vakkari, 2018).

En segon lloc, la tècnica per a mesurar l'eficiència d'organitzacions de diversa naturalesa més present en els estudis científics és la de l'anàlisi envolupant de dades o tècnica DEA (Charnes; Cooper; Rhodes, 1978). Així, es poden destacar diversos estudis que apliquen aquesta tècnica en biblioteques públiques de Rio de Janeiro (De-Carvalho; Jorge; Filgueiras-Jorge; De-Oliveira-Medeiros, 2013), el Regne Unit (Hammond, 2002), Bèlgica (Stroobants; Bouckaert, 2014) i Itàlia (Guccio; Mignosa; Rizzo, 2018). A Espanya cal destacar l'aplicació d'aquesta tècnica a biblioteques universitàries per a mesurar l'eficiència en la gestió del personal (Simón-Martín; Simón-Blas; Arias-Coello, 2016), per a analitzar l'eficiència de biblioteques d'universitats concretes (Simón-de-Blas; Arias-Coello; Simón-Martín, 2007) o per a analitzar els canvis en la productivitat de les biblioteques (Simon; Simon; Arias, 2011).

En tercer lloc, la recerca més recent sobre noves mesures per a conèixer i avaluar la realitat de les biblioteques gira entorn de l'anàlisi de l'impacte i els beneficis del seu ús, i fins i tot disposa d'una bibliografia elaborada per Roswitha Poll que reuneix fins a 739 títols de recerca sobre l'impacte i els beneficis a les biblioteques (Poll, 2018). En l'àmbit internacional també destaquen estudis sobre mesures entorn de la inclusió social i la superació de la pobresa a les biblioteques (Stilwell, 2016) o propostes d'indicadors per a biblioteques acadèmiques innovadores (Red Universitaria Metropolitana de Bogotá, 2018). Però més importants i internacionals per l'organització que les elabora són les normes ISO de l'Organització Internacional de Normalització que tracten sobre mesures i indicadors en biblioteques. Així, cal destacar la ISO 11620:2014, sobre indicadors per a biblioteques (International Organization for Standardization, 2014a), i la ISO 16439:2014, sobre mètodes per a avaluar l'impacte de les biblioteques (International Organization for Standardization, 2014b).

En aquest sentit, els autors de l'eina Secaba-Rank (Lázaro-Rodríguez [et al.], 2018) argumenten que els indicadors proposats a partir de la seva metodologia segueixen els criteris sobre la senzillesa i la precisió de la formulació i l'economia de recursos en els procediments d'obtenció de les dades per a dissenyar nous indicadors de la norma ISO 11620:2014 (International Organization for Standardization, 2014a). A partir d'aquí, després d'exposar aquests antecedents i també sobre la base de la necessitat de nous indicadors per a avaluar i conèixer la realitat de les biblioteques en el context d'una societat canviant, en el que segueix de treball hi ha els materials, la metodologia, els resultats, la discussió i les conclusions de l'adaptació de l'indicador de la potència del sistema de la metodologia Secaba-Rank, que inclouen factors i dimensions referides al pressupost, els préstecs, les visites, l'ús d'Internet i l'assistència a activitats culturals.

3 Materials i metodologia

3.1 Materials

Els resultats d'aquest estudi es basen en dades de biblioteques públiques espanyoles per a l'any 2016 de les comunitats autònomes. La font de dades és la pàgina del Ministerio de Cultura y Deporte d'Espanya Bibliotecas públicas españolas en cifras (Ministerio de Cultura y Deporte, 2018). Atès que l'adaptació de l'indicador de la potència del sistema que es proposa inclou el pressupost, els préstecs, les visites, els usos d'Internet i l'assistència a activitats culturals, i la metodologia comporta considerar també la població, les dades utilitzades extretes de la secció "Annexos" d'aquesta font són les següents:

• Població: es tracta de la població total de cada comunitat autònoma.
• Pressupost: inclou el pressupost dedicat al personal i a les adquisicions.
• Préstecs: inclou el total de préstecs de llibres, publicacions seriades, documents sonors, audiovisuals, electrònics de suport fix i els recollits en la categoria d'altres.
• Visites: es tracta dels accessos a les biblioteques.
• Usos d'Internet: inclou les sessions d'Internet en equips de la biblioteca i en equips d'usuaris per mitjà de wifi.
• Assistència a les activitats culturals: es tracta dels assistents a les activitats organitzades per les biblioteques.

La captura de dades es va fer el dia 25 de maig de 2019 i és disponible al repositori Open Science Framework. Cal destacar com a limitació de l'estudi que es va haver d'ometre la Comunitat Foral de Navarra per falta de dades sobre sessions d'Internet en equips d'usuaris mitjançant wifi i els assistents a activitats culturals.

3.2 Metodologia

Aquest treball es basa en una adaptació de l'indicador de segon nivell de la potència del sistema de l'eina i metodologia Secaba-Rank. En aquest sentit, cal dir que aquest apartat es basa en els treballs de recerca que van servir de presentació d'aquesta eina i metodologia i en presenta informació (Lázaro-Rodríguez [et al.], 2018; Lázaro-Rodríguez; López-Gijón; Herrera-Viedma, 2019). L'indicador de la potència del sistema es basa en indicadors de primer nivell a partir dels quals es calculen les potències d'entrada i de sortida necessàries per a ser calculat. La fórmula de la potència del sistema original és la següent:

On:

P(sis) = Potència del sistema
P(sal) = Potència de sortida
P(ent) = Potència d'entrada

En aquest treball s'ha definit la potència d'entrada en relació amb el pressupost, i la potència de sortida en relació amb els préstecs, les visites, els usos d'Internet i l'assistència a les activitats culturals. Així, la fórmula de l'indicador de la potència del sistema adaptada és la següent:

On:

P(sis) = Potència del sistema
P(salP) = Potència de sortida referida als préstecs
P(salV) = Potència de sortida referida a les visites
P(salI) = Potència de sortida referida a l'ús d'Internet
P(sala) = Potència de sortida referida a l'assistència a activitats culturals
P(ent) = Potència d'entrada

Per a calcular la potència del sistema s'han de calcular primer la potència d'entrada i les de sortida corresponents a cada dimensió que es vol incloure. Per a això, és necessari calcular els indicadors de pressupost, préstecs, visites, usos d'Internet i assistència a activitats culturals per càpita a partir de les dades esmentades en el punt anterior. Després d'això, es calculen la potència d'entrada referida al pressupost i les de sortida referides als altres indicadors. La potència d'entrada és el resultat de dividir el pressupost per càpita de cada sistema (biblioteca, xarxa de lectura pública o comunitat autònoma) entre el pressupost per càpita del total que s'anomena sistema base i que és la mitjana total de tots els sistemes. Per exemple, si una comunitat autònoma té 6,5 de pressupost per càpita i el pressupost per càpita del total de xarxes o mitjana anomenat base és de 8,5, la seva potència d'entrada serà de 0,76, resultat de dividir 6,5 entre 8,5. Des d'aquí, es pot calcular la potència del sistema adaptada. Sobre això, i com es veu en la fórmula anterior, cal destacar que s'ha donat el mateix pes i importància a cada dimensió analitzada, i per això les potències de sortida en la fórmula anterior es divideixen entre 4.

Com a aspecte important i interessant, encara que el càlcul de la potència del sistema adaptada s'ha presentat segons la fórmula anterior, en l'apartat de resultats d'aquest treball s'opta per mostrar els resultats de 5 potències del sistema referides a cada dimensió inclosa en les sortides (préstecs, visites, usos d'Internet i assistència a activitats culturals) més la mitjana total de les 4 sortides i que és la potència del sistema adaptada o total. L'interès d'això radica en el fet que d'aquesta manera es poden analitzar els canvis que es produeixen en els sistemes bibliotecaris en cada mesurament de l'eficiència d'acord amb les dimensions aïllades o en conjunt. Així és possible identificar en quina dimensió les biblioteques obtenen millors o pitjors resultats pel que fa a eficiència o, dit d'una altra manera, les seves febleses i fortaleses.

Una vegada que es calculen les potències del sistema, la metodologia Secaba-Rank permet presentar els resultats en forma de rànquings i classificar els resultats d'acord amb 3 estats possibles per als sistemes: potència (quan un sistema té un nivell de sortides més elevat que el d'entrada, això és, quan el resultat és major que 1, que es considera eficient), dispotència (quan el sistema té un nivell de sortides més baix que el d'entrada, això és, quan el resultat és menor que 1, que es considera no eficient) o sense potència (quan els nivells d'entrada i sortida són el mateix, això és, quan el resultat és igual a 1).

Des d'aquí, es poden analitzar els resultats per a cada potència del sistema per mitjà de la comparació de les posicions de cada sistema en els rànquings generats per a extreure les diferències. En aquest treball, aquesta comparació es durà a terme mitjançant una anàlisi estadística amb el càlcul del coeficient de correlació lineal rho de Spearman. Això permetrà concloure sobre els canvis en l'ordre que els sistemes obtenen en cada rànquing sobre eficiència. L'anàlisi estadística anterior es basa en la metodologia emprada en altres treballs de l'àrea de la documentació que tracten sobre la comparació de rànquings (Bar-Ilan, 2005; Luque-Martínez; Faraoni; Doña-Toledo, 2018; Elkins [et al.], 2010).

4 Resultats

En la taula 1 es mostren els resultats dels indicadors de primer nivell per a cada xarxa calculats sobre la base de les dades esmentades en l'apartat sobre materials, i que són el pressupost per càpita (pressupost), els préstecs per càpita (préstecs), les visites per càpita (visites), l'ús d'Internet per càpita (Internet) i l'assistència a activitats culturals per càpita (assistència). Els indicadors es van calcular dividint cada variable per la població.

Taula 1. Resultats dels indicadors de primer nivell. Elaboració pròpia a partir de les dades de la font Bibliotecas españolas públicas en cifras (Ministerio de Cultura y Deporte, 2018).

Com es pot veure, el pressupost per càpita del sistema base o mitjana total de les xarxes és de 7,97; dels préstecs, d'1,06; de les visites, de 2,29; de l'ús d'Internet, de 0,51 sessions per càpita, i de l'assistència a activitats culturals, de 0,10. Encara que aquests 2 últims indicadors es podrien haver expressat per cada 100 o 1.000 habitants, s'han mantingut per càpita, atès que el que interessa d'acord amb els objectius d'aquest treball és el càlcul posterior de les potències d'entrada, sortida i dels sistemes.

Pel que fa al pressupost per càpita, cal destacar els casos del País Basc, Catalunya i Castella - la Manxa com els sistemes amb resultats més elevats (13,82, 11,21 i 11,06 respectivament). Els sistemes amb menor pressupost per càpita són els de les Illes Balears, Canàries i Andalusia, amb 4,61, 4,64 i 5,06 respectivament.

Al seu torn, en préstecs per càpita destaca Catalunya amb el millor resultat (1,94), i Canàries i Andalusia amb els més baixos (0,38 i 0,39 respectivament). Això vol dir que a Catalunya es produeixen 6,6 vegades més préstecs per càpita que a Canàries i Andalusia. Així mateix, en visites per càpita els resultats més alts són per a Castella i Lleó (3,40) i de nou per a Catalunya (3,26), i els més baixos per a les Illes Balears (1,42) i Andalusia (1,51).

Pel que fa a l'ús d'Internet per càpita, Castella - la Manxa obté els millors resultats (1,17), i els més baixos es donen al País Basc (0,16). Aquest indicador es pot considerar en la mesura del grau d'adaptació dels sistemes a l'ús d'Internet en el context de la societat de la informació en la qual ens trobem. Finalment, els resultats més alts per a l'assistència per càpita a activitats culturals es donen a Castella - la Manxa (0,46) i els més baixos a la Comunitat Valenciana i Andalusia (0,003 i 0,01 respectivament). Això vol dir, encara que es tracti de mitjanes estadístiques impersonals, que en comunitats autònomes com Castella - la Manxa, per cada 2 persones es produeix 1 assistència a una activitat cultural organitzada per la biblioteca, mentre que en sistemes com el d'Andalusia es produeix per cada 100 persones.

A partir dels indicadors anteriors es van calcular les potències d'entrada i de sortida per a cada cas i xarxa. Per a això, i tal com s'ha exposat en l'apartat de la metodologia, es divideix el resultat de cada xarxa en cada indicador pel resultat del sistema considerat base o total de xarxes. Els resultats del càlcul de la potència d'entrada (Pent) i les potències de sortida referides als préstecs (PsalP), les visites (PsalV), l'ús d'Internet (PsalI) i l'assistència a activitats culturals (PsalA) es mostren en la taula 2.

Taula 2. Resultats de la potència d'entrada i les potències de sortida. Elaboració pròpia a partir dels indicadors de primer nivell calculats en la taula 1.

Pel que fa als resultats de la potència d'entrada i de les de sortida, es pot establir una idea general per a comentar tots els resultats: els sistemes amb una potència d'entrada o qualsevol de les de sortida superior a 1 són els que obtenen un resultat més elevat que el sistema base o la mitjana de les xarxes en els resultats dels indicadors mostrats en la taula 1. Al seu torn, els que queden per sota de l'1 són els que apareixen per sota del sistema base en aquella taula.

A partir d'aquí, es van calcular els resultats per a les potències del sistema referit als préstecs (PsisP), les visites (PsisV), l'ús d'Internet (PsisI), l'assistència a activitats culturals (PsisA) i la potència del sistema o mitjana total de les 4 anteriors (PsisTotal). Tal com s'ha explicat en l'apartat de la metodologia, els resultats s'obtenen dividint cada potència de sortida entre la d'entrada. Els resultats es mostren en la taula 3.

Taula 3. Resultats per a les potències del sistema i posicions en elsrànquings. Elaboració pròpia a partir dels resultats de la taula 2.

Tal com s'ha exposat en l'apartat de la metodologia, els resultats per a les potències del sistema es poden classificar segons 3 estats: potència (quan un sistema té un nivell de sortides més elevat que el d'entrada, això és, quan el resultat és major que 1), dispotència (quan el sistema té un nivell de sortides més baix que el d'entrada, això és, quan el resultat és menor que 1) o sense potència (quan els nivells d'entrada i sortida són el mateix, això és, quan el resultat és igual a 1). Així, els sistemes de la taula 3 amb valors superiors a 1 són sistemes potents (eficients), i els que obtenen valors inferiors a 1, els dispotents (no eficients). En cap cas no s'obtenen sistemes sense potència (amb resultat igual a 1).

A la vegada, a partir dels resultats de la taula 3 es poden identificar els sistemes que serveixen de models de bones pràctiques tant per a l'eficiència total com per als casos individuals referits als préstecs, les visites, l'ús d'Internet i l'assistència a activitats culturals. Així, atenent als resultats de la columna PsisTotal, els sistemes amb més potència són els de les Canàries, Castella - la Manxa i el Principat d'Astúries (amb uns resultats d'1,90, 1,73 i 1,60 respectivament). Al seu torn, els sistemes dispotents amb resultats més baixos són els del País Basc, Andalusia i la Comunitat Valenciana (0,52, 0,67 i 0,71 respectivament). En total, hi ha 12 sistemes potents (Canàries, Castella - la Manxa, Principat d'Astúries, Illes Balears, Galícia, la Rioja, Cantàbria, Castella i Lleó, Aragó, Extremadura, Comunitat de Madrid i Regió de Múrcia) i 4 dispotents (Catalunya, Comunitat Valenciana, Andalusia i País Basc).

La presentació de resultats per potència del sistema individual, i no solament segons la total, permet saber els punts febles i les fortaleses de cada sistema. Per exemple, encara que el de les Canàries resulta en el lloc quinzè en la potència del sistema referida als préstecs (potència del sistema clàssica utilitzada en l'eina Secaba-Rank i Lázaro-Rodríguez [et al.], 2018) amb un resultat de 0,62, les seves potències del sistema referides a visites, ús d'Internet i assistència a activitats culturals són majors que 1, i és molt alta en el darrer cas (1,40, 1,23 i 4,35 respectivament). Per això, en calcular la mitjana total de la potència del sistema, queda en primera posició amb un resultat d'1,90. Això és interessant, perquè revela que l'eficiència dels sistemes pot variar segons es considerin unes variables o unes altres.

En un sentit contrari, es pot analitzar el cas concret de Catalunya. Aquest sistema és eficient en la potència del sistema referida als préstecs i a les visites, amb 1,31 i 1,01 respectivament, i ocupa la quarta i la desena posició en aquests rànquings. Però en considerar la resta de les potències del sistema, aquest sistema passa a ser dispotent, amb un resultat de 0,86, i acaba en tretzena posició. S'observa que el sistema de Catalunya és dispotent en les potències referides a l'ús d'Internet i a l'assistència a activitats culturals (0,92 i 0,20 respectivament). Per tant, encara que el sistema de Catalunya obté bons resultats tant en les eficiències referides a préstecs com a visites, no passa igual amb l'ús d'Internet i especialment amb l'assistència a activitats culturals, per la qual cosa resulta dispotent en el càlcul de la potència del sistema total.

Sobre això, és important recordar que un resultat de dispotència segons el mesurament de l'eficiència no vol dir que els resultats dels indicadors inclosos en aquesta mesura siguin baixos pel que fa als altres sistemes. Per exemple, en el cas concret de Catalunya i atenent als resultats de la taula 1, l'ús d'Internet per càpita és el tercer més alt (0,66), només per sota de la Comunitat de Madrid (0,81) i de Cantàbria (0,67). El que vol dir un resultat de dispotència és que el nivell de sortides (en aquest cas en relació amb l'ús d'Internet) és més baix que el nivell d'entrades (pressupost). Dit d'una altra manera, l'alt pressupost de Catalunya fa que la divisió entre la potència de sortida (usos d'Internet i assistència a activitats culturals) i la potència d'entrada (pressupost) resulti menor que 1 i en un estat de dispotència. Encara que l'ús d'Internet d'aquest sistema és el tercer més alt dels analitzats, el que també diu l'estat de dispotència és que amb el seu pressupost hauria de ser encara més alt si es pren com a base la mitjana de tots els sistemes i, per això, en relació amb aquests sistemes. Així, sistemes amb un volum menor o semblant d'usos d'Internet per càpita que Catalunya, com Cantàbria —amb un ús d'Internet per càpita de 0,67—, es poden convertir en models de bones pràctiques per a Catalunya en el processament del seu pressupost i en el que es refereix a la mesura concreta de l'ús d'Internet. Cantàbria aconsegueix el mateix resultat en aquest indicador amb gairebé la meitat de pressupost que Catalunya (6,11 enfront d'11,21 respectivament). D'aquí també es desprèn que la potència del sistema referida a l'ús d'Internet per a Cantàbria sigui gairebé del doble que en el cas de Catalunya (1,71 i 0,92 respectivament).

Al seu torn, hi ha sistemes que presenten una certa regularitat en totes les eficiències mesurades tant en el sentit positiu com en el negatiu. Per exemple, les Illes Balears sempre és un sistema potent en cada eficiència i apareix sempre entre els llocs tercer i setè de cada rànquing individual i en el lloc quart en elrànquing de la potència del sistema total. En el sentit contrari, cal esmentar el cas del País Basc, que és sempre un sistema dispotent i oscil·la entre les darreres posicions dels rànquings d'eficiència individuals i el total (entre la tretzena i la setzena, i la setzena en elrànquing de la potència del sistema total).

Una vegada exposats els resultats dels indicadors, les potències d'entrada i de sortida, i els de les potències del sistema i interpretats els resultats, cal plantejar-se la diferència entre els rànquings resultants per a cada potència del sistema i la total des de l'anàlisi estadística introduïda en l'apartat de la metodologia. L'objectiu és analitzar les posicions de cada sistema en cada rànquing per a concloure sobre la relació entre les diferents mesures d'eficiència basades en les potències del sistema individuals i la total. Per a això, es va substituir cada resultat de cada sistema de la taula 3 per l'ordre corresponent en el rànquing. En la taula 4 es mostren les posicions en el rànquing per a cada xarxa o comunitat autònoma i cada potència del sistema.

Taula 4. Resultats per posicions en els rànquings de cada potència del sistema. Elaboració pròpia a partir dels resultats de la taula 3. RankPres equival al rànquing de la potència del sistema per als préstecs; RankVis, al de les visites; RankInternet, al de l'ús d'Internet; RankAsistActCult, al de l'assistència a activitats culturals, i RankTotal, al de la potència del sistema total. Per als casos de la taula 3 en què 2 resultats de les potències del sistema coincideixen en els dos decimals, s'ha recorregut al tercer per a definir cada posició.

Una vegada obtingudes les posicions de cada cas, es fa la comparació ordinal entre els diferents rànquings utilitzant el coeficient de correlació rho de Spearman. Els resultats de les correlacions es mostren en la taula 5.

Taula 5. Relació entre els rànquings de les potències del sistema individuals i total. Elaboració pròpia. * p ≤ 0,05; ** p ≤ 0,01.

Com es pot veure, hi ha significació estadística i, per tant, relació lineal entre els parells de variables RankPres i RankVis, RankInternet i RankTotal, i RankAsistActCult i RankTotal. La relació en els 3 casos és positiva (0,518, 0,544 i 0,803 respectivament), per la qual cosa es pot dir que les posicions dels sistemes en els parells de rànquings, sobre préstecs i visites, Internet i el total, i el de l'assistència a activitats culturals i el total, coincideixen en grau alt d'acord amb els resultats de les correlacions calculades.

Encara és més important l'absència de significació estadística entre les variables RankPres i RankVis i RankTotal. Aquesta absència vol dir que les posicions dels sistemes en el rànquing generat segons la potència del sistema referida als préstecs utilitzada en Lázaro-Rodríguez [et al.] (2018) i la referida a les visites utilitzada en Lázaro-Rodríguez, López-Gijón i Herrera-Viedma (2019) varien respecte a les referides al rànquing de la potència del sistema total. Des d'aquí, es justifica la necessitat plantejada en aquest treball d'adaptar l'indicador de la potència del sistema incloent-hi noves variables pròpies del context de les biblioteques en una societat canviant com l'ús d'Internet i l'assistència a activitats culturals. Si l'objectiu és que la mesura de l'eficiència en biblioteques reflecteixi la seva realitat en l'actualitat, aquesta mesura ha d'incloure variables com l'ús d'Internet i l'assistència a activitats culturals, i no solament els préstecs o les visites.

5. Discussió i conclusions

Aquest estudi amplia el coneixement sobre el mesurament de l'eficiència en biblioteques a partir d'una adaptació de l'indicador de la potència del sistema de la metodologia Secaba-Rank. En aquest sentit es poden entendre el seu valor i originalitat, per l'aportació que fa a la mesura de l'eficiència en biblioteques a partir d'una metodologia donada i en la seva adaptació a la realitat d'aquestes al servei d'una societat canviant com l'actual.

El treball es va plantejar en el context del necessari desenvolupament de noves mesures i indicadors per a biblioteques segons la realitat més actual d'aquestes. Es van marcar dos objectius: d'una banda, el de l'adaptació d'aquest indicador per a calcular i obtenir els resultats de l'eficiència de les xarxes de lectura pública espanyoles incloent-hi dimensions relacionades amb el pressupost, els préstecs, les visites, l'ús d'Internet i l'assistència a activitats culturals, i, d'altra banda, el de comparar i analitzar els resultats obtinguts en aquesta adaptació de l'indicador amb els dels estudis anteriors i els de l'eina Secaba-Rank.

Pel que fa al primer objectiu, en l'apartat de la metodologia s'ha exposat l'adaptació de l'indicador de la potència del sistema pas a pas des de les dades, el càlcul dels indicadors de primer nivell, el càlcul de les potències d'entrada i de sortida i, finalment, la fórmula i el càlcul de l'anomenada potència del sistema total. Les dades que es van utilitzar van ser les de les comunitats autònomes espanyoles per al 2016, i es va eliminar la Comunitat Foral de Navarra per falta de dades en alguna de les variables incloses.

Sobre aquest tema i responent a la primera pregunta de recerca formulada en la introducció sobre quins són els resultats de l'eficiència de les xarxes de lectura pública espanyoles considerant mesures sobre el pressupost, els préstecs, les visites, l'ús d'Internet i l'assistència a activitats culturals, cal dir que en total van resultar 4 sistemes no eficients o dispotents (Catalunya, Comunitat Valenciana, Andalusia i País Basc) i 12 sistemes amb eficiència o potents (la resta). A més, gràcies a la taula 3 inclosa en els resultats, es facilita la identificació dels sistemes potents i dispotents per a cadascuna de les potències del sistema individuals necessàries per al càlcul de la total o adaptada.

Pel que fa al segon objectiu, la comparació i l'anàlisi de les diferències entre els resultats de cada potència del sistema, es va plantejar incloent-hi taules per a cada potència del sistema i amb una anàlisi estadística de les posicions en els rànquings per a cada cas. Per a fer-ho es va calcular el coeficient de correlació lineal rho de Spearman. Els resultats van mostrar l'existència de significació estadística i una relació positiva entre els parells de rànquings de les potències del sistema referides a préstecs i visites, ús d'Internet i potència del sistema total, i assistència a activitats culturals i potència del sistema total. Aquests resultats van permetre establir que les posicions de cada sistema en els parells de rànquings anteriors coincideixen en un grau alt.

És just aquest punt el que es pot sotmetre més a discussió per les seves implicacions considerant estudis anteriors sobre Secaba-Rank i els seus mesuraments de l'eficiència de biblioteques. Per exemple, en Lázaro-Rodríguez [et al.] (2018) i en la mateixa eina Secaba-Rank es mesura l'eficiència incloent-hi només els préstecs com a variable relacionada amb les sortides dels sistemes. Al seu torn, en Lázaro-Rodríguez, López-Gijón i Herrera-Viedma (2019), s'inclouen en les sortides els préstecs i les visites. Però els resultats apunten al fet que, si el que es vol és mesurar l'eficiència de les biblioteques en el context d'un món canviant com el d'avui, en el qual se supera el paradigma informatiu per a anar cap al social i el creador (Lázaro-Rodríguez [et al.], en premsa), i també en el context de la societat de la informació en la qual ens trobem amb predominança del component del que és digital i relacionat amb Internet, una mesura de l'eficiència més correcta i completa i, per tant, més vàlida ha d'incloure dimensions de les biblioteques referides a aquests fets, com l'ús d'Internet i l'assistència a activitats culturals, a més dels préstecs o els préstecs i les visites. En aquest sentit, no vol dir que sigui erroni mesurar l'eficiència de les biblioteques només considerant els préstecs, o els préstecs i les visites, sinó que, més aviat, si es fes així, seria més precís parlar d'una eficiència referida als préstecs o les visites, més que d'una eficiència total.

A partir d'aquí, responent a la segona pregunta de recerca formulada en la introducció sobre quines són les diferències entre els resultats de l'eficiència mesurada segons la forma anterior i els dels estudis basats en la metodologia Secaba-Rank, cal dir que les posicions dels sistemes que consideren préstecs i visites no coincideixen amb les del rànquing sobre la potència del sistema total proposada en aquest treball. En canvi, els rànquings que sí que coincideixen amb aquesta potència del sistema anomenada total són els de l'ús d'Internet i l'assistència a activitats culturals.

Amb tot, com a limitació, cal recordar que la Comunitat Foral de Navarra va ser omesa de l'estudi per falta de dades en algunes de les variables considerades. En aquest sentit, tota recerca que parteix d'unes dades, com a mesuraments de la realitat, es veu condicionada i limitada per la fiabilitat i la consistència d'aquestes dades i de la font. Així, els resultats d'aquest treball són condicionats a la fiabilitat i la consistència de les dades ofertes per la web Bibliotecas públicas españolas en cifras.

Per acabar, una altra limitació de l'estudi consisteix en el fet que l'anomenada potència del sistema total proposada mesura l'eficiència d'acord amb 4 dimensions, a saber, els préstecs, les visites, l'ús d'Internet i l'assistència a activitats culturals. Com a base per a l'estudi es va considerar que aquestes variables cobreixen la realitat de les biblioteques avui en el context d'una societat canviant. Però és cert que es podrien considerar altres dimensions a part d'aquestes. Aquesta limitació també representa una possibilitat de ser plantejada i desenvolupada en treballs de recerca futurs. En aquest sentit, el que té de bo la metodologia Secaba-Rank és que és precisament una metodologia oberta que permet adaptar els seus indicadors a noves necessitats.

Bibliografia

Alonso-Arévalo, Julio (2018). Makerspaces y bibliotecas. Barcelona: Editorial UOC. Colección "EPI", n.o 47. ISBN: 978-84-9180-385-0.

Bar-Ilan, Judit (2005). "Comparing rankings of search results on the Web". Information processing & management, vol. 41, no. 6, p. 1511–1519.
<https://doi.org/10.1016/j.ipm.2005.03.008>. [Consulta: 08/10/2019].

Baró, Mònica [et al.] (2012). "Promoción de la lectura en las bibliotecas públicas de Cataluña: evaluación y resultados". El profesional de la información, vol. 21, n.o 3, p. 277–282. <https://doi.org/10.3145/epi.2012.may.08>. [Consulta: 08/10/2019].

Charnes, Abraham; Cooper, Willia-Wager; Rhodes, Edwardo-Lao (1978). "Measuring the efficiency of decision making units". European journal of operational research, vol. 2, no. 6, p. 429–444. <https://doi.org/10.1016/0377-2217(78)90138-8>. [Consulta: 08/10/2019].

Cortés-Villalba, Carmina; Gil-Leiva, Isidoro (2011). "Evaluación de la biblioteca pública de Valencia mediante la técnica encadenada de 'grupos de discusión' y 'encuesta'". Revista general de información y documentación, vol. 21, n.o 1, p. 335–362.
<https://doi.org/10.5209/rev_RGID.2011.v21.38027>. [Consulta: 08/10/2019].

De-Carvalho, Frederico A.; Jorge, Marcelino-José; Filgueiras-Jorge, Marina; De-Oliveira-Medeiros, Renata (2013). "Análise de eficiência e desempenho no longo prazo: ilustração empírica de um modelo para avaliação de bibliotecas públicas". Investigación bibliotecológica, vol. 27, n.o 60, p. 71–95. <https://doi.org/10.1016/S0187-358X(13)72544-9>. [Consulta: 08/10/2019].

De-Vicente-García, Remedios; Fernández-Miedes, Luisa-Inmaculada (2018). "Ebook lending services for public libraries. The eBiblio Madrid experience". El profesional de la información, vol. 27, n.o 3, p. 698–706. <https://doi.org/10.3145/epi.2018.may.23>. [Consulta: 08/10/2019].

Delmàs-Ruiz, Maria; López-Borrull, Alexandre (2015). "Perfil profesional en las bibliotecas públicas: visión de los mismos bibliotecarios". BiD: textos universitaris de biblioteconomia i documentació, núm. 35 (desembre).
<https://dx.doi.org/10.1344/BiD2015.35.18>. [Consulta: 29/05/2019].

Elkins, Mark R. [et al.] (2010). "Correlation between the Journal Impact Factor and three other journal citation indices". Scientometrics, vol. 85, no. 1, p. 81–93.
<https://doi.org/10.1007/s11192-010-0262-0>. [Consulta: 08/10/2019].

Fernández-Ardèvol, Mireia [et al.] (2018). "The public library as seen by the non-users". El profesional de la información, vol. 27, n.o 3, p. 659.
<https://doi.org/10.3145/epi.2018.may.19>. [Consulta: 08/10/2019].

Gallo-León, José-Pablo; Marín-Jiménez, María-Dolores; Gómez-Hernández, José-Antonio (2017). "Los edificios de las bibliotecas públicas en los programas electorales (Castilla-La Mancha, 2007-2015)". Anales de documentación, vol. 20, n.o 1.
<https://doi.org/10.6018/analesdoc.20.1.26995>. [Consulta: 08/10/2019].

García-López, Genaro-Luis (2016). "El origen del sistema bibliotecario español: características y utilidad de los fondos bibliográficos que conformaron las primeras bibliotecas públicas en el segundo tercio del siglo xix". Investigación bibliotecológica, vol. 30, n.o 69, p. 231–262. <https://doi.org/10.1016/j.ibbai.2016.04.019>. [Consulta: 08/10/2019].

González-Quesada, Alfonso; Jiménez-López, María-Ángeles; Ajenjo-Cosp, Marc (2015). "Readers' behavior in times of crisis: The case of public libraries in the city of Barcelona". Revista española de documentación científica, vol. 38, n.o 4, e103.
<https://doi.org/10.3989/redc.2015.4.1228>. [Consulta: 08/10/2019].

Guccio, Calogero; Mignosa, Anna; Rizzo, Ilde (2018). "Are public state libraries efficient? An empirical assessment using network Data Envelopment Analysis". Socio-economic planning sciences, vol. 64, p. 78–91.
<https://doi.org/10.1016/j.seps.2018.01.001>. [Consulta: 08/10/2019].

Hammond, Christopher J. (2002). "Efficiency in the provision of public services: a data envelopment analysis of UK public library systems". Applied economics, vol. 34, no. 5, p. 649–657. <https://doi.org/10.1080/00036840110053252>. [Consulta: 08/10/2019].

Herrera-Viedma, Enrique; López-Gijón, Javier (2013). "Libraries' Social Role in the Information Age". Science, vol. 339, no. 6.126, p. 1.382–1.382.
<https://doi.org/10.1126/science.339.6126.1382-a>. [Consulta: 08/10/2019].

Houghton, Kirralie; Foth, Marcus; Miller, Evonne (2013). "The continuing relevance of the library as a third place for users and non-users of IT: the case of Canada Bay". The Australian library journal, vol. 62, no. 1, p. 27–39.
<https://doi.org/10.1080/00049670.2013.771764>. [Consulta: 08/10/2019].

International Organization for Standardization (2014a). International Organization for Standardization. ISO 11620:2014 - Information and documentation - Library performance indicators. <https://www.iso.org/standard/56755.html>. [Consulta: 08/10/2019].

— (2014b). International Organization for Standardization. ISO 16439:2014 - Information and documentation - Methods and procedures for assessing the impact of libraries.
<https://www.iso.org/standard/56756.html>. [Consulta: 08/10/2019].

Lázaro-Rodríguez, Pedro; López-Gijón, Javier; Alonso, Sergio; Martínez-Sánchez, María Ángeles; Herrera-Viedma, Enrique (2018). "Secaba-Rank, herramienta online para analizar y evaluar bibliotecas". El profesional de la información, vol. 27, n.o 2, p. 278–288.
<https://doi.org/10.3145/epi.2018.mar.06>. [Consulta: 08/10/2019].

Lázaro-Rodríguez, Pedro; López-Gijón, Javier; Alonso, Sergio; Herrera-Viedma, Enrique (en prensa). "Actualidad en estudios LibQUAL+®: paradigmas de la biblioteca informativa y social-creadora y cuestión de género como reflejos de la realidad social". Revista española de documentación científica.

Lázaro-Rodríguez, Pedro; López-Gijón, Javier; Herrera-Viedma, Enrique (2018). "Visibilidad de las bibliotecas públicas y la lectura en medios de comunicación españoles frente a otros hechos de la cultura y relación con su uso: medidas para su mayor promoción y difusión". BiD: textos universitaris de biblioteconomia i documentació, núm. 40 (juny).
<http://dx.doi.org/10.1344/BiD2018.40.7>. [Consulta: 08/10/2019].

— (2019). "Secaba-Rank a examen: validación de su metodología sobre eficiencia en bibliotecas versus la técnica Data Envelopment Analysis (DEA) y el método Finlandia". El profesional de la información,vol. 28, n.o 3, e280316.
<https://doi.org/10.3145/epi.2019.may.16>. [Consulta: 08/10/2019].

Lázaro-Rodríguez, Pedro; Vakkari, Pertti (2018). "Modelizando el uso de las bibliotecas públicas a través de sus características: estudio comparativo entre España y Finlandia para los préstamos y las visitas". Revista española de documentación científica, vol. 41, n.o 4, e216. <https://doi.org/10.3989/redc.2018.4.1544>. [Consulta: 08/10/2019].

Leorke, Dale; Wyatt, Danielle; McQuire, Scott (2018). "'More than just a library': Public libraries in the 'smart city'". City, culture and society, vol. 15, p. 37–44.
<https://doi.org/10.1016/j.ccs.2018.05.002>. [Consulta: 08/10/2019].

Luque-Martínez, Teodoro; Faraoni, Nina; Doña-Toledo, Luis (2018). "Meta-ranking de universidades. Posicionamiento de las universidades españolas". Revista española de documentación científica, vol. 41, n.o 1, e198.
<https://doi.org/10.3989/redc.2018.1.1456>. [Consulta: 08/10/2019].

Martínez-Vernis, Núria; Montserrat-Vintró, Neus; Terma-Grassa, Judit (2017). "Fabricació digital i biblioteca pública: el cas de l'Ateneu de Fabricació i Biblioteca de Les Corts". BiD: textos universitaris de biblioteconomia i documentació, núm. 38 (juny).
<https://dx.doi.org/10.1344/BiD2017.38.14>. [Consulta: 29/05/2019].

Ministerio de Cultura y Deporte (2018). Bibliotecas públicas españolas en cifras. <http://www.culturaydeporte.gob.es/cultura/areas/bibliotecas/mc/ebp/portada.html>. [Consulta: 08/10/2019].

Okpala, Helen-Nneka (2016). "Making a makerspace case for academic libraries in Nigeria". New library world, vol. 117, no. 9–10, p. 568–586.
<https://doi.org/10.1108/NLW-05-2016-0038>. [Consulta: 08/10/2019].

Pacios, Ana-Reyes [et al.] (2018). "Management transparency in state-run public libraries: Website information". El profesional de la información, vol. 27, n.o 1, p. 36–48.
<https://doi.org/10.3145/epi.2018.ene.04>. [Consulta: 08/10/2019].

Poll, Roswitha (2018). Bibliography: "Impact and Outcome of Libraries". Münster.
<https://www.ifla.org/files/assets/statistics-and-evaluation/publications/bibliography_impact_and_outcome_2018.pdf>. [Consulta: 08/10/2019].

Red Universitaria Metropolitana de Bogotá (2018). Lineamientos e indicadores para las bibliotecas académicas innovadoras. Bogotá: Rumbo. <http://repositorios.rumbo.edu.co/bitstream/handle/123456789/112412/ComiteBibliotecas_Lineamientos_.pdf>. [Consulta: 08/10/2019].

Sánchez-García, Sandra; Yubero, Santiago (2015). "The social function of public libraries: New places for learning and social inclusion". El profesional de la información, vol. 24, n.o 2, p. 103–111. <https://doi.org/10.3145/epi.2015.mar.03>. [Consulta: 08/10/2019].

— (2016). "The socio-educative role of public libraries: New professional profiles for new times". El profesional de la información, vol. 25, n.o 2, p. 226–236.
<https://doi.org/10.3145/epi.2016.mar.09>. [Consulta: 08/10/2019].

Simón-de-Blas, Clara; Arias-Coello, Alicia; Simón-Martín, José (2007). "Aplicación de la técnica DEA en la medición de la eficiencia de las bibliotecas de la Universidad Complutense de Madrid". Revista española de documentación científica, vol. 30, n.o 1, p. 9–23. <https://doi.org/10.3989/redc.2007.v30.i1.366>. [Consulta: 08/10/2019].

Simón-Martín, José; Simón-Blas, Clara; Arias-Coello, Alicia (2016). "Ranking de las bibliotecas universitarias españolas en la gestión del personal". Revista española de documentación científica, vol. 39, n.o 1, e119.
<https://doi.org/10.3989/redc.2016.1.1259>. [Consulta: 08/10/2019].

Simon, Jose; Simon, Clara; Arias, Alicia (2011). "Changes in productivity of Spanish university libraries". Omega, vol. 39, no. 5, p. 578–588.
<https://doi.org/10.1016/j.omega.2010.12.003>. [Consulta: 08/10/2019].

Slatter, Diane; Howard, Zaana (2013). "A place to make, hack, and learn: makerspaces in Australian public libraries". The australian library journal, vol. 62, no. 4, p. 272–284. <https://doi.org/10.1080/00049670.2013.853335>. [Consulta: 08/10/2019].

Stilwell, Christine (2016). "The public library as institutional capital: Towards measures for addressing social inclusion and combating poverty”. Information development, vol. 32, no. 1, p. 44–59. <https://doi.org/10.1177/0266666914525063>. [Consulta: 08/10/2019].

Stroobants, Jesse; Bouckaert, Geert (2014). "Benchmarking local public libraries using non-parametric frontier methods: A case study of Flanders". Library & information science research, vol. 36, no. 3, p. 211–224.
<https://doi.org/10.1016/j.lisr.2014.06.002>. [Consulta: 08/10/2019].

Vakkari, Pertti (2012). "Internet use increases the odds of using the public library". Journal of documentation, vol. 68, no. 5, p. 618–638.
<https://doi.org/10.1108/00220411211256003>. [Consulta: 08/10/2019].

Xi, Qingkui; Wu, Weiming; Zhang, Yong (2017). "Makerspace Activities in China". Science and technology libraries, vol. 36, no. 4, p. 425–433.
<https://doi.org/10.1080/0194262X.2017.1392920>. [Consulta: 08/10/2019].