Les universitats espanyoles i la ciència oberta: un estudi sobre barreres i elements afavoridors

1 Introducció

La ciència oberta constitueix una transformació radical del procés investigador basada en la col·laboració, obertura i transparència en totes les fases de la recerca (recollida de dades, avaluació d'experts, publicació final, avaluació, etc.). Els antecedents es troben en l'extensió de l'ús de la tecnologia a la recerca i en la consolidació de l'accés obert a les publicacions, i està impulsada pel suport institucional, especialment de la Comissió Europea i de diverses agències de finançament.

La ciència oberta és un terme genèric o aglutinant (umbrella term) referit a diverses dimensions interrelacionades d'un nou model de treball, encara que no hi ha unanimitat en la determinació d'aquestes dimensions. Així, la taxonomia del projecte FOSTER (Facilitate Open Science Training for European Research) (Pontika et al., 2015) considera cinc elements (accés obert, dades de recerca, reproductibilitat de la recerca, polítiques i instruments per a la ciència oberta), mentre que l'Open Science Policy Platform (Comisión Europea, 2018) enumera vuit pilars de la ciència oberta: accés obert, dades obertes (FAIR), infraestructures (EOSC), incentius, noves mètriques, formació, integritat de la recerca i ciència ciutadana. Les revisions sobre el concepte de ciència oberta fetes, entre d'altres, per Fecher i Friesike (2014) i Vicente-Sáez i Martínez-Fuentes (2018), els materials i documents divulgatius elaborats pel projecte FOSTER+ (2018) i el document de recomanacions de la UNESCO (2021) per assolir una ciència oberta, inclusiva i equitativa proporcionen una visió global que permet una comprensió millor de la ciència oberta.

Els darrers anys, la legislació espanyola s'ha adaptat a aquest nou marc. Així, el 2011, la Llei de la ciència, la tecnologia i la innovació va incloure en l'article 37 l'obligació de dipositar les publicacions derivades de projectes de recerca finançats amb fons públics. El 2022 es va modificar, es va canviar "accés obert" per "ciència oberta" i s'hi va incloure la gestió de dades de recerca ("la Administración pública deberá impulsar iniciativas para conservarlos y difundirlos siguiendo el modelo FAIR") i el possible ús de les publicacions en obert en l'avaluació de la recerca. També el 2022, la Llei d'ordenació del sistema universitari (LOSU) —actualment en tràmit parlamentari— consagra l'article 12 al "fomento de la ciencia y la ciencia ciudadana" i hi incorpora l'accés obert i les dades FAIR, la ciència ciutadana i l'avaluació de la recerca. A més, esmenta la ciència oberta en l'exposició de motius, dedica l'article 56 al finançament i presenta indicadors de ciència oberta per al finançament addicional per objectius.

A més de la LOSU, en l'àmbit universitari, l'impuls a la ciència oberta queda palès al "Compromiso de las universidades españolas para implantar la Open Science", aprovat el 2019 per la CRUE (Conferencia de Rectores de las Universidades Españolas), en la línia de les indicacions de l'Open Science Policy Platform de la Comissió Europea (2018), la declaració de l'European University Association (2017) o del full de ruta d'associacions com la League of European Research Universities(2018). Igualment, algunes universitats (per exemple, la Universitat Oberta de Catalunya) han aprovat plans globals sobre ciència oberta i moltes d'altres disposen de polítiques sobre accés obert (Abadal et al., 2013) o la compartició de dades de recerca.

Les universitats tenen un paper fonamental en el fet que els investigadors i acadèmics adoptin la ciència oberta, encara que hi ha moltes reticències i barreres que dificulten el progrés d'aquest tipus d'actuacions (González-Teruel et al., 2022). Conèixer la situació actual i posar de manifest aquestes qüestions a les universitats espanyoles va ser l'objectiu d'aquest estudi, centrat a conèixer les accions adoptades per les universitats per facilitar l'accés lliure de les publicacions científiques a les dades de recerca i a l'avaluació de la ciència.

2 Metodologia

Entre el setembre i el novembre del 2021 es va administrar un qüestionari als vicerectors de recerca de les universitats espanyoles per conèixer el compromís de la seva universitat amb la ciència oberta (especialment amb l'accés obert a les publicacions), la manera com això influïa en el fet que la comunitat universitària adoptés els principis de la ciència oberta i la seva opinió sobre els possibles indicadors d'avaluació de la recerca en un nou ecosistema científic.

La població de referència de l'estudi van ser els setanta-sis vicerectors de recerca de les universitats integrades a la CRUE, cinquanta de públiques (65,8 %) i vint-i-sis de privades (34,2 %). En conjunt, representen una productivitat mitjana anual entre el 2000 i el 2019 de 67.062 treballs recollits al Web of Science (WoS) (IUNE, 2022).

El qüestionari es va dissenyar a partir de la revisió de la literatura i de les respostes obtingudes en un estudi qualitatiu previ fet entre el març i el maig del 2020 (González-Teruel et al., 2022). Va incloure cinquanta-quatre ítems integrats en tretze preguntes distribuïdes en els quatre apartats següents:

1. Alineament explícit de la universitat amb la ciència oberta.
2. Factors facilitadors per al foment de la publicació en obert.
3. Models d'avaluació i proposta d'indicadors nous.
4. Accions empreses cap a un canvi de model d'avaluació.

El qüestionari es va fer en LimeSurvey. El contacte amb els vicerectors i l'enviament els va fer la CRUE. El primer enviament va ser el setembre del 2021, seguit d'un recordatori a l'octubre de la finalització de la possibilitat de respondre el 15 de novembre del 2021.

3 Resultats

Van respondre vint-i-vuit vicerectors (36,8 %), les universitats dels quals comptabilitzen el 47 % de la producció científica espanyola recollida al WoS entre el 2010 i el 2019 (IUNE, 2022).

3.1 Alineament explícit de les universitats amb la ciència oberta, infraestructures i polítiques

En dinou universitats (79,1 %) existia una figura política amb competències específiques sobre ciència oberta. D'aquestes, en onze requeia en un sol vicerectorat (nou en el de recerca, un en el de política científica i ciència oberta i en un cas no s'especifica) i en vuit les competències eren compartides entre diversos vicerectorats (en sis de les quals és el de recerca).

En el 75 % de les universitats, la ciència oberta apareixia com a missió en el pla estratègic o en documents institucionals de referència, un 53 % la traslladaven a objectius concrets, però només en un 17,9 % s'establien criteris explícits per avaluar-ne el compliment.

El 96,4 % de les universitats analitzades disposaven d'un repositori institucional, situació que s'assembla a l'europea, en què un 90 % de les institucions tenen un repositori propi o participen en un de consorciat (Morais et al., 2021).

El 50 % de les universitats analitzades no estaven integrades en els repositoris consorciats o individuals identificats pel Re3data Registry of Research Data Repositories (re3data.org, 2022), que recopila metadades dels repositoris especialitzats a emmagatzemar dades procedents de la recerca. Els vicerectors d'onze d'aquestes universitats (78,8 %) van declarar treballar en la creació o adaptació dels repositoris existents a la compartició de les dades de recerca.

Vint-i-tres universitats (82,1 %) van declarar tenir una política pròpia per promoure l'accés obert, catorze de recomanació i nou d'obligatorietat. A Europa, el 54 % de les institucions tenen una política de ciència oberta i, d'aquestes, la meitat inclouen tots els elements d'una política de dades de recerca (Morais et al., 2021).

El 46 % de les universitats utilitzen el dipòsit de documents en obert com a criteri per avaluar les memòries de recerca.

Per desenvolupar infraestructures i procediments vinculats a la ciència oberta, el 60,7 % dels vicerectors van declarar tenir una unitat tècnica de suport i el 96,4 % van afirmar treballar en coordinació amb els serveis bibliotecaris.

3.2 Factors facilitadors per fomentar la publicació en obert i el dipòsit de documents i dades

El factor més afavoridor va ser la coordinació entre vicerectorats i serveis bibliotecaris (vegeu la taula 1), les unitats de suport a la recerca dels quals solen articular-se per gestionar els repositoris i donar suport a la publicació en revistes d'accés obert (Iribarren et al., 2015). La seva rellevància la reconeixen la Ligue des Bibliothèques Européennes de Recherche (2017) i la League of European Research Universities (2018), que consideren un dels seus reptes la creació de serveis orientats a la ciència oberta. D'altra banda, el seu paper es recull a l'article 63 de l'Avantprojecte de la llei d’ordenació del sistema universitari, relatiu al foment de la ciència oberta i la ciència ciutadana, que al punt 7 considera que "las bibliotecas y otras unidades universitarias facilitarán el acceso de la ciudadanía a los recursos informativos, digitales y no digitales, así como la formación necesaria para promover la difusión de la ciencia abierta en la comunidad universitaria y en el conjunto de la sociedad".

Taula 1. Barreres i factors facilitadors per al foment de la publicació en obert i el dipòsit de documents i dades

Uns altres aspectes considerats afavoridors de la ciència oberta van ser el compromís amb el compliment dels objectius establerts, la constància d'aquests objectius en el pla estratègic de la institució i l'existència de polítiques d'obligatorietat. No obstant això, aquests resultats posen de manifest la distància entre allò que s'ha considerat favorable i la realitat, atesa l'absència a la meitat de les universitats d'objectius concrets sobre ciència oberta i la presència escassa de criteris per avaluar-ne el compliment. Aquest és un aspecte considerat en els compromisos de les universitats davant de la ciència oberta, establerts per la CRUE (2019) relatius a "hacer un diagnóstico sobre la situación del acceso abierto en España y un seguimiento constante de su evolución de forma que la información de la que se disponga esté siempre actualizada". Això allunya Espanya de les pràctiques de les universitats europees, en què el 80 % controlen el nombre de publicacions al seu repositori i el 70 % supervisen les publicacions en revistes d'accés obert (Morais et al., 2021).

Tot i que l'antiguitat i la disciplinarietat de la universitat no es va considerar un factor rellevant per a la consecució dels objectius de la ciència oberta, que fos una universitat jove podria ser més favorable. De fet, les universitats més actives implicades en xarxes o aliances internacionals (League of European Research Universities, Young European Research Universities Network, European University Association, etc.) ja fa anys que advoquen per la ciència oberta, tot i que la presència espanyola encara és petita, ja que només la Universitat de Barcelona forma part de la League of European Research Universities; només la Carlos iii i la Universidad Autónoma de Madrid, de la Young European Research Universities Network, i trenta-una universitats de l'European Universities Association.

Es van considerar factors afavoridors els aspectes relacionats amb el suport financer necessari per dur a terme la transició del model tradicional de publicació i difusió del coneixement al preconitzat per la ciència oberta. Aquest model no està exempt de costos i necessitat d'inversions, tant per transformar les revistes universitàries a un format digital i obert com, entre d'altres, per donar suport al pagament de les taxes per publicació d'articles (APC, article processing charges), l'absència del qual ja s'ha constatat com una barrera (Pardo-Martínez; Cotte-Poveda, 2018).

El canvi preconitzat pel Pla S, que aposta definitivament per l'accés obert immediat a les publicacions resultants de la recerca finançada, exposa en els seus principis que els costos de publicació haurien de cobrir-los els finançadors, instituts de recerca o universitats, i no els investigadors individuals. A més, estableix en el punt 5 que "los miembros de la coalición apoyarán la diversidad de modelos de negocios para revistas y plataformas de acceso abierto. La aplicación de tarifas de publicación deberá estar en consonancia con el servicio editorial realizado y su estructura deberá ser transparente. Tales costes de publicación tendrán que ser estandarizados y limitados". També la CRUE (2019) estableix entre els seus compromisos per la ciència oberta el de "recopilar y hacer público el gasto de universidades por acceder a los recursos de información, así como por publicar los resultados. Analizar, además, el sobrecoste o el ahorro que representaría para las universidades pasar del sistema actual al acceso mediante pago al sistema de acceso abierto inmediato".

En aquest sentit, ja s'han pres algunes mesures, com ara els acords transformatius (Borrego; Anglada; Abadal, 2021) que la CRUE i el Consejo Superior de Investigaciones Científicas (CSIC) van signar recentment amb diverses editorials acadèmiques per a la subscripció a revistes i l'opció de publicar els treballs dels seus investigadors en accés obert sense cap cost addicional, sota un únic contracte amb cada editorial. Són canvis clars en les polítiques de les agències de finançament que transformaran diverses qüestions (com quant costa, què cobreix el cost i qui ho ha de pagar), fet que podria afavorir l'accés obert a llarg termini. Tot això d'acord amb l'article 63 de la LOSU que estableix que "las universidades deberán promover la transparencia de los acuerdos de suscripción con editoriales científicas".

També es va considerar afavoridora la incentivació econòmica dels investigadors perquè complissin els objectius d'accés obert. Aquest aspecte va rebre un comentari particular que mostra la seva disconformitat en considerar que els investigadors ja reben aquests incentius a través dels sexennis. 

3.3 Models d'avaluació i proposta d'indicadors nous

Transformar l'ecosistema científic actual requereix polítiques d'avaluació d'acord amb el nou escenari de la ciència oberta, i el seu marc de referència es reflecteix a l'informe de la Comissió Europea (2021) Towards a reform of the research assessment system: scoping report. Els models proposats per la Declaració de San Francisco (2013), el Manifest de Leiden (Hicks et al., 2015) o els informes de la Comissió Europea (Wilsdon et al., 2017) recomanen fonamentar l'avaluació de l'article en criteris diferents del factor d'impacte actualment utilitzat i considerar, a més de les citacions, indicadors com les descàrregues (usos de les publicacions) o la presència en blogs i xarxes socials (bibliometria alternativa) (Wilsdon et al., 2017), i, a més, suggereixen utilitzar mesures qualitatives.

Els resultats mostren que els vicerectors estaven majoritàriament en desacord amb l'ús del factor d'impacte per a l'avaluació de les publicacions, d'acord amb l'interès de fer valoracions qualitatives i es van decantar per l'ús de les citacions que reben els articles per avaluar la trajectòria acadèmica (vegeu la taula 2). D'altra banda, van mostrar una posició moderada respecte al nombre de descàrregues per avaluar les publicacions científiques i davant de la introducció de criteris relacionats amb el seu impacte social (presència en mitjans de comunicació, col·laboració ciutadana) per avaluar la trajectòria acadèmica. A més, van estar en desacord amb la presència de les publicacions en blogs i xarxes socials generals i en xarxes socials acadèmiques (Academia.edu, ResearchGate, etc.) com a criteri per valorar els articles i la trajectòria acadèmica, els dos criteris inclosos a la bibliometria alternativa. Destaca la manca d'acord sobre la incorporació com a criteri per valorar la trajectòria investigadora del nombre de fitxers de dades en obert acreditats amb DOI i del percentatge de publicacions en obert. Els dos indicadors estan directament relacionats amb l'assoliment dels objectius de la ciència oberta.

Taula 2. Models d'avaluació i proposta d'indicadors nous (1)

En aquests resultats hi podrien influir diversos aspectes. D'una banda, les debilitats metodològiques de la bibliometria alternativa com ara la volatilitat, la dificultat en la normalització i la recollida de dades o la manca de concordança entre els resultats que ofereixen les eines utilitzades per obtenir les dades (Abadal, 2018). De l'altra, els aspectes que valoren els indicadors nous es fonamenten en dimensions rellevants en el model preconitzat per la ciència oberta, que són diferents de la "qualitat" del contingut dels treballs. Així, per exemple, la presència a les xarxes socials i acadèmiques reflecteix l'esforç de l'investigador per difondre i visibilitzar els seus treballs, mentre que el valor del nombre de fitxers de dades en obert acreditats amb DOI i el percentatge de publicacions es fonamenten en l'accessibilitat i la reutilització dels continguts. Pel que fa a això, és curiosa la contradicció entre les respostes i la consideració pels vicerectors que l'ús d'indicadors relacionats amb l'accés obert en l'avaluació de les memòries de recerca o en les convocatòries d'ajudes pròpies afavoreixen els objectius de la ciència oberta (vegeu la taula 2). Cal esperar que la incorporació de criteris i indicadors nous a l'avaluació, alineats amb la ciència oberta, es vegi impulsada pel que estableix l'article 63 en l'Avantprojecte de la LOSU, que al punt 8 estableix que "las agencias de calidad estatal y autonómica incluirán entre sus criterios y requisitos de evaluación la accesibilidad en abierto de los resultados científicos del personal docente e investigador".

Les barreres principals per adoptar criteris d'avaluació nous van ser la sobrecàrrega de treball i el temps que representa l'avaluació qualitativa i la rigidesa administrativa de les convocatòries per adaptar-se a aquest model nou. A més, encara que amb un acord menor, es van considerar barreres la possibilitat de falsejar les citacions en xarxes socials i la possible repercussió del component subjectiu de l'avaluació qualitativa en forma de recursos enfront del seu cost econòmic.

La importància concedida a la recerca en l'agenda política, el convenciment institucional amb el canvi i l'alineació institucional amb la Declaració de San Francisco (DORA) es van considerar elements afavoridors. No obstant això, dels cent cinquanta-cinc firmants d'aquesta declaració, només quatre són universitats espanyoles: la Universitat Oberta de Catalunya, la Universidad Camilo José Cela, la Universidad Miguel Hernández d'Elx i la Universitat de Barcelona. El grau d'acord més baix es refereix a la consideració que es publiquin articles de qualitat en revistes no indexades, cosa que resta possibilitats que hi hagi articles de rellevància i impacte social local publicats en revistes la difusió internacional de les quals és escassa.

Taula 3. Models d'avaluació i proposta d'indicadors nous (2)

Els vicerectors van considerar que tots els agents implicats en el sistema acadèmic i investigador, inclosos els investigadors, havien d'estar implicats en l'impuls cap a un model d'avaluació nou (vegeu la taula 4).

Taula 4. Models d'avaluació i proposta d'indicadors nous (3)

3.4 Accions empreses cap a un canvi de model d'avaluació

Només quatre universitats (14 %) havien emprès alguna acció orientada a incloure criteris nous a l'avaluació. En dues estaven relacionades l'avaluació del professorat a partir de la publicació o el dipòsit en obert (vinculada en una ocasió al complement retributiu). No obstant això, en una es disposava d'un programa més ampli en aquest sentit i en una altra, curiosament, s'indicaven com a criteris nous "la realización de una evaluación anual basada sobre publicaciones en una lista de revistas de calidad". Cal destacar la contradicció entre aquestes respostes i les proporcionades anteriorment, en què el 46,4 % de les universitats van declarar utilitzar el dipòsit de documents com a criteri per avaluar les memòries de recerca de les universitats (vegeu l'apartat 3.1).

Pel que fa a la previsió de futur, els vicerectors de deu universitats van declarar tenir previst modificar els seus criteris, encara que només quatre els definien, i en dos casos estan relacionats amb els indicadors d'accés obert, en un vinculats a la qualitat de cada publicació i només en un es plantejaven criteris integrals per valorar la progressió de la carrera professional i la selecció de personal.

4 Conclusions

Els resultats mostren que, tot i que la ciència oberta és a l'agenda política, les universitats espanyoles encara no han fet una aposta ferma per ella. Així, encara que es disposa de polítiques i infraestructures que possibiliten l'accés obert i s'estan desenvolupant repositoris per compartir dades, el compromís de les universitats no es tradueix ni en objectius específics, ni criteris per monitoritzar-los ni incentius per aconseguir-los.

Pel que fa a l'avaluació, els criteris preferits (valoració qualitativa del contingut dels articles, ús de citacions i impacte social) estan centrats en el valor de l'article, però els criteris que reflecteixen l'esforç en la difusió d'un treball, l'obertura o la reutilització dels continguts, més coincidents amb la manera de fer recerca preconitzada per la ciència oberta, estan menys acceptats. Això reflecteix que la ciència oberta encara s'entén com un procés vinculat al producte investigador, però no com el model universal de referència per al funcionament del seu ecosistema global.

La implementació de la ciència oberta requereix incrementar els recursos que s'hi orienten, així com definir amb claredat com dur-la a terme. Cal esperar que les directrius europees i els recents canvis legislatius esdevinguts al nostre país siguin un impuls decisiu.

Bibliografia

Abadal, Ernest; Ollé Castellà, Candela; Abad-García, Francisca; Melero, Remedios (2013). Políticas de acceso abierto a la ciencia en las universidades españolas. Revista Española De Documentación Científica, 36(2), e007. <https://doi.org/10.3989/redc.2013.2.933>.

Abadal, Ernest (2018). "Las altmétricas: aportaciones para la evaluación de publicaciones científicas en ciencias humanas y sociales". PH: Boletín del Instituto Andaluz del Patrimonio Histórico, 136.

Borrego, Ángel; Anglada, Lluís; Abadal, Ernest (2021). "Transformative agreements: Do they pave the way to open access?". Learned Publishing, vol. 34, no. 2, p. 216–232. <https://doi.org/10.1002/leap.1347>.

Comisión Europea (2018). Open Science Policy Platform Recommendations. Brussels: European Commission. <https://ec.europa.eu/research/openscience/pdf/
integrated_advice_opspp_recommendations.pdf>.

— (2021). Towards a reform of the research assessment system: scoping report. Luxembourg: Publications Office of the European Union. 21 p. <https://data.europa.eu/doi/10.2777/707440>.

Conferencia de Rectores de las Universidades Españolas (2019). Compromisos de las universidades ante la Open Science. <https://www.crue.org/wp-content/uploads/2020/02/2019.02.20-Compromisos-CRUE_OPENSCIENCE-VF.pdf>.

Declaración de San Francisco (2013). San Francisco Declaration on Research Assessment. <https://sfdora.org/>.

European University Association (2017). EUA Statement on Open Science to EU Institutions and National Governments. European University Association [EUA]. <https://eua.eu/resources/publications/412:eua-statement-on-open-science-to-eu-institutions-and-national-governments.html>.

Fecher, Benedikt; Friesike, Sascha (2014). "Open Science: One Term, Five Schools of Thought". En: Bartling, Sönke; Friesike, Sascha (ed.), Opening Science. DOI: 10.1007/978-3-319-00026-8_2.

FOSTER (2018). The future of science is open. <https://www.fosteropenscience.eu/>.

González-Teruel, Aurora; López-Borrull, Alexandre; Santos-Hermosa, Gema; Abad-García, Francisca; Ollé, Candela; Serrano-Vicente, Rocío (2022). "Drivers and barriers in the transition to open science: the perspective of stakeholders in the Spanish scientific community". El profesional de la información. <https://doi.org/10.3145/epi.2022.may.05>.

Hicks, Diana; Wouters, Paul; Waltman, Ludo; De Rijcke, Sara; Rafols, Ismael (2015). "Bibliometrics: the Leiden Manifesto for research metrics". Nature, vol. 520, no. 7.548, p. 429–431.

Iribarren-Maestro, Isabel; Grandal, Teresa; Alecha, María; Nieva, Ana; San-Julián, Teresa (2015). "Apoyando la investigación: nuevos roles en el servicio de bibliotecas de la Universidad de Navarra". El profesional de la información, vol. 24, n.o 2, p. 131.

IUNE (2022). Actividad investigadora de la universidad española (20 May 2022). <https://iune.es/>.

League of European Research Universities (2018). Open Science and its role in universities: a roadmap for cultural change. <https://www.leru.org/files/LERU-AP24-Open-Science-full-paper.pdf>.

Ligue des Bibliothèques Européennes de Recherche (2017). Research Libraries Powering Sustainable Knowledge in the Digital Age: LIBER Europe Strategy 2018–2022. <https://libereurope.eu/wp-content/uploads/2020/10/LIBER-Strategy-2018-2022.pdf>.

Morais, Rita; Saenen, Bregt; Garbuglia, Federica; Berghmans, Stephane; Gaillard, Vinciane (2021). From principles to practices: Open Science at Europe's universities. 2020–2021 EUA Open Science Survey results.

Pardo-Martínez, Clara Inés; Cotte-Poveda, Alexander (2018). "Knowledge and Perceptions of Open Science among Researchers—A Case Study for Colombia". Information,vol. 9, no. 11, p. 292. <https://doi.org/10.3390/info9110292>.

Pontika, Nancy; Knoth, Petr; Cancellieri, Matteo; Pearce, Samuel (2015). "Fostering Open Science to Research using a Taxonomy and an eLearning Portal". En: iKnow: 15th International Conference on Knowledge Technologies and Data Driven Business, 21–22 Oct 2015, Graz, Austria.

re3data.org (2022). Registry of Research Data Repositories. <https://www.re3data.org/>.

UNESCO (2021). Recomendación de la UNESCO sobre la Ciencia Abierta. París: UNESCO. 36 p. <https://unesdoc.unesco.org/ark:/48223/pf0000379949_spa>. [Consulta: 10/01/2022].

Vicente-Sáez, Ruben; Martínez-Fuentes, Clara (2018). "Open Science now: A systematic literature review for an integrated definition". Journal of business research, vol. 88, p. 428–436. <https://doi.org/10.1016/j.jbusres.2017.12.043>.

Wilsdon, James; Bar-Ilan, Judit; Frodeman, Robert; Lex, Elisabeth; Peters, Isabella; Wouters, Paul (2017). Next-generation metrics: Responsible metrics and evaluation for open science. Report of the European Commission Expert Group on Altmetrics. Brussels: European Commission. <https://scholarlypublications.universiteitleiden.nl/access/item%3A29456>.