Las universidades españolas y la ciencia abierta: un estudio sobre barreras y elementos favorecedores

1 Introducción

La ciencia abierta constituye una transformación radical del proceso investigador basada en la colaboración, apertura y transparencia en todas las fases de la investigación (recogida de datos, revisión por pares, publicación final, evaluación…). Sus antecedentes están en la extensión del uso de la tecnología en la investigación y en la consolidación del acceso abierto a las publicaciones y está impulsada por el apoyo institucional, en especial de la Comisión Europea y de diversas agencias de financiación.

La ciencia abierta es un término genérico o aglutinante (umbrella term) referido a diversas dimensiones interrelacionadas de un nuevo modelo de trabajo, aunque no hay unanimidad en la determinación de estas dimensiones. Así, la taxonomía del proyecto FOSTER (Facilitate Open Science Training for European Research) (Pontika [et al.], 2015) considera 5 elementos (acceso abierto, datos de investigación, reproducibilidad de la investigación, políticas e instrumentos para la ciencia abierta), mientras que la Open Science Policy Platform (Comisión Europea, 2018) refiere 8 pilares de la ciencia abierta: acceso abierto, datos abiertos (FAIR), infraestructuras (EOSC), incentivos, nuevas métricas, formación, integridad de la investigación y ciencia ciudadana. Las revisiones sobre el concepto de ciencia abierta realizadas, entre otros, por Fecher y Friesike (2014) y Vicente-Sáez y Martínez-Fuentes (2018), los materiales y documentos divulgativos elaborados por el proyecto FOSTER+ (2018) y el documento de recomendaciones de la UNESCO para alcanzar una ciencia abierta, inclusiva y equitativa (UNESCO, 2021) proporcionan una visión global que permite una mejor comprensión de la ciencia abierta.

En los últimos años, la legislación española ha ido adaptándose a este nuevo marco. Así, en 2011, la Ley de la Ciencia, la Tecnología y la Innovación incluyó en su artículo 37 la obligación de depositar las publicaciones derivadas de proyectos de investigación financiados con fondos públicos. En 2022 se modificó, se cambió "acceso abierto" por "ciencia abierta" y se incluyó la gestión de datos de investigación ("la Administración pública deberá impulsar iniciativas para conservarlos y difundirlos siguiendo el modelo FAIR") y el posible uso de las publicaciones en abierto en la evaluación de la investigación. También en 2022, la ley de ordenación del sistema universitario (LOSU) —actualmente en trámite parlamentario— consagra su artículo 12 al "fomento de la ciencia y la ciencia ciudadana" e incorpora el acceso abierto y los datos FAIR, la ciencia ciudadana y la evaluación de la investigación. Además, menciona la ciencia abierta en la exposición de motivos, dedica el artículo 56 a la financiación y presenta indicadores de ciencia abierta para la financiación adicional por objetivos.

Además de la ley de ordenación del sistema universitario, en el ámbito universitario, el impulso a la ciencia abierta queda patente en el "Compromiso de las universidades españolas para implantar la Open Science", aprobado en 2019 por la CRUE (Conferencia de Rectores de las Universidades Españolas), en la línea de las indicaciones de la Open Science Policy Platform de la Comisión Europea (2018), la declaración de la European University Association (2017) o de la hoja de ruta de asociaciones como la League of European Research Universities(2018). Igualmente, algunas universidades (p. ej., la Universitat Oberta de Catalunya) han aprobado planes globales sobre ciencia abierta y otras muchas disponen de políticas sobre acceso abierto (Abadal [et al.], 2013) o la compartición de datos de investigación.

Las universidades desempeñan un papel fundamental en la adopción de la ciencia abierta por los investigadores y académicos, aunque existen muchas reticencias y barreras que dificultan el progreso de este tipo de actuaciones (González-Teruel [et al.], 2022). Conocer la situación actual y poner de manifiesto estas cuestiones en las universidades españolas fue el objetivo de este estudio, centrado en conocer las acciones adoptadas por las universidades para facilitar el libre acceso de las publicaciones científicas a los datos de investigación y a la evaluación de la ciencia.

2 Metodología

Entre septiembre y noviembre de 2021 se administró un cuestionario a los vicerrectores de investigación de las universidades españolas para conocer el compromiso de su universidad con la ciencia abierta (especialmente con el acceso abierto a las publicaciones), el modo en que ello influía en la adopción de los principios de la ciencia abierta por la comunidad universitaria y su opinión sobre los posibles indicadores de evaluación de la investigación en un nuevo ecosistema científico.

La población de referencia del estudio fueron los 76 vicerrectores de investigación de las universidades integradas en la Conferencia de Rectores de las Universidades Españolas, 50 de ellas públicas (65,8 %) y 26 privadas (34,2 %). En conjunto, representan una productividad media anual entre 2000 y 2019 de 67.062 trabajos recogidos en la Web of Science (WoS) (IUNE, 2022).

El cuestionario se diseñó a partir de la revisión de la literatura y de las respuestas obtenidas en un estudio cualitativo previo realizado entre marzo y mayo de 2020 (González-Teruel [et al.], 2022). Incluyó 54 ítems integrados en 13 preguntas distribuidas en los siguientes 4 apartados:

• Alineamiento explícito de la universidad con la ciencia abierta.
• Factores facilitadores para el fomento de la publicación en abierto.
• Modelos de evaluación y propuesta de nuevos indicadores.
• Acciones emprendidas hacia un cambio de modelo de evaluación.

El cuestionario se realizó en LimeSurvey. El contacto con los vicerrectores y su envío lo realizó la CRUE. El primer envío fue en septiembre de 2021, seguido de un recordatorio en octubre de la finalización de la posibilidad de responder el 15 de noviembre de 2021.

3 Resultados

Respondieron 28 vicerrectores (36,8 %), cuyas universidades contabilizan el 47 % de la producción científica española recogida en la Web of Science entre 2010 y 2019 (IUNE, 2022).

3.1 Alineamiento explícito de las universidades con la ciencia abierta, infraestructuras y políticas

En 19 universidades (79,1 %) existía una figura política con competencias específicas sobre ciencia abierta. De estas, en 11 recaía en un solo vicerrectorado (nueve en el de investigación, una en el de política científica y ciencia abierta y en en caso no se especifica) y en 8 las competencias eran compartidas entre varios vicerrectorados, en 6 de estas es el de investigación.

En el 75 % de las universidades la ciencia abierta estaba como misión en su plan estratégico o en documentos institucionales de referencia, un 53 % la trasladaban a objetivos concretos, pero solo en un 17,9 % se establecían criterios explícitos para evaluar su cumplimiento.

El 96,4 % de las universidades analizadas disponían de un repositorio institucional, situación que se asemeja a la europea, donde un 90 % de las instituciones cuentan con su propio repositorio o participan en uno consorciado (Morais [et al.], 2021).

El 50 % de las universidades analizadas no estaban integradas en los repositorios consorciados o individuales identificados por Re3data Registry of Research Data Repositories (re3data.org, 2022), que recopila metadatos de los repositorios especializados en almacenar datos procedentes de investigación. Los vicerrectores de 11 de estas universidades (78,8 %) declararon estar trabajando en la creación o adaptación de los repositorios existentes a la compartición de los datos de investigación.

Veintitrés universidades (82,1 %) declararon tener una política propia para promover el acceso abierto, 14 de recomendación y 9 de obligatoriedad. En Europa, el 54 % de las instituciones disponen de una política de ciencia abierta y, de estas, la mitad incluyen todos los elementos de una política de datos de investigación (Morais [et al.], 2021).

El 46 % de las universidades utilizan el depósito de documentos en abierto como criterio para la evaluación de las memorias de investigación.

Para desarrollar infraestructuras y procedimientos vinculados a la ciencia abierta, el 60,7 % de los vicerrectores declararon contar con una unidad técnica de apoyo y el 96,4 % afirmaron trabajar en coordinación con los servicios bibliotecarios.

3.2 Factores facilitadores para el fomento de la publicación en abierto y el depósito de documentos y datos

El factor más favorecedor fue la coordinación entre vicerrectorados y servicios bibliotecarios (tabla 1), cuyas unidades de apoyo a la investigación suelen articularse para gestionar los repositorios y apoyar la publicación en revistas de acceso abierto (Iribarren [et al.], 2015). Su relevancia la reconocen la Ligue des Bibliothèques Européennes de Recherche (2017) y la League of European Research Universities (2018), que consideran uno de sus retos la creación de servicios orientados a la ciencia abierta. Por otra parte, su papel se recoge en el artículo 63 del Anteproyecto de la ley de ordenación del sistema universitario, relativo al fomento de la ciencia abierta y la ciencia ciudadana, que en su punto 7 considera que "las bibliotecas y otras unidades universitarias facilitarán el acceso de la ciudadanía a los recursos informativos, digitales y no digitales, así como la formación necesaria para promover la difusión de la ciencia abierta en la comunidad universitaria y en el conjunto de la sociedad".

Tabla 1. Barreras y factores facilitadores para el fomento de la publicación en abierto y el depósito de documentos y datos

Otros aspectos considerados favorecedores de la ciencia abierta fueron el compromiso con el cumplimiento de los objetivos establecidos, la constancia de estos objetivos en el plan estratégico de la institución y la existencia de políticas de obligatoriedad. No obstante, estos resultados ponen de manifiesto la distancia entre lo considerado favorable y la realidad, dada la ausencia en la mitad de las universidades de objetivos concretos sobre ciencia abierta y la escasa presencia de criterios para evaluar su cumplimiento. Este es un aspecto considerado en los compromisos de las universidades ante la ciencia abierta, establecidos por la Conferencia de Rectores de las Universidades Españolas (2019) relativos a "hacer un diagnóstico sobre la situación del acceso abierto en España y un seguimiento constante de su evolución de forma que la información de la que se disponga esté siempre actualizada". Esto aleja a España de las prácticas de las universidades europeas, en las que el 80 % de ellas controlan el número de publicaciones en su repositorio y el 70 % supervisan las publicaciones en revistas de acceso abierto (Morais [et al.], 2021).

Aunque la antigüedad y disciplinariedad de la universidad no se consideró un factor relevante para la consecución de los objetivos de la ciencia abierta, el que fuera una universidad joven podría ser más favorable. De hecho, las universidades más activas implicadas en redes o alianzas internacionales (League of European Research Universities, Young European Research Universities Network, European University Association, etc.) ya hace años que están abogando por la ciencia abierta. Aunque la presencia española aún es pequeña, pues solo la Universidad de Barcelona forma parte de la League of European Research Universities, solo la Carlos iii y la Universidad Autónoma de Madrid de la Young European Research Universities Network y 31 universidades a la European Universities Association.

Se consideraron factores favorecedores los aspectos relacionados con el apoyo financiero necesario para llevar a cabo la transición del modelo tradicional de publicación y difusión del conocimiento al preconizado por la ciencia abierta; modelo no exento de costes y necesitado de inversiones, tanto para trasformar las revistas universitarias a un formato digital y abierto como, entre otros, para apoyar el pago de las tasas por publicación de artículos (APC, article processing charges), cuya ausencia ya se ha constatado como una barrera (Pardo-Martínez; Cotte-Poveda, 2018).

El cambio preconizado por el Plan S, que apuesta definitivamente por el acceso abierto inmediato a las publicaciones resultantes de la investigación financiada, expone en sus principios que los costes de publicación deberían ser cubiertos por los financiadores, institutos de investigación o universidades, y no por los investigadores individuales. Además, establece en su punto 5 que "los miembros de la coalición apoyarán la diversidad de modelos de negocios para revistas y plataformas de acceso abierto. La aplicación de tarifas de publicación deberá estar en consonancia con el servicio editorial realizado y su estructura deberá ser transparente. Tales costes de publicación tendrán que ser estandarizados y limitados". También la Conferencia de Rectores de las Universidades Españolas (2019) establece entre sus compromisos por la ciencia abierta el de "recopilar y hacer público el gasto de universidades por acceder a los recursos de información, así como por publicar los resultados. Analizar, además, el sobrecoste o el ahorro que representaría para las universidades pasar del sistema actual al acceso mediante pago al sistema de acceso abierto inmediato".

En este sentido, ya se han tomado algunas medidas, como los acuerdos transformativos (Borrego; Anglada; Abadal, 2021) que la Conferencia de Rectores de las Universidades Españolas (CRUE) y el Consejo Superior de Investigaciones Científicas (CSIC) firmaron recientemente con varias editoriales académicas para la suscripción a revistas y la opción de publicar los trabajos de sus investigadores en acceso abierto sin coste adicional, bajo un único contrato con cada editorial. Son cambios claros en las políticas de las agencias de financiación que transformarán varias cuestiones (como cuánto cuesta, qué cubre el coste y quién tiene que pagarlo), lo que podría favorecer el acceso abierto a largo plazo. Todo ello en consonancia con el artículo 63 de la ley de ordenación del sistema universitario que establece que "las universidades deberán promover la transparencia de los acuerdos de suscripción con editoriales científicas".

También se consideró favorecedor la incentivación económica de los investigadores para el cumplimiento de los objetivos de acceso abierto. Este aspecto recibió un comentario particular que muestra su disconformidad al considerar que los investigadores ya reciben esos incentivos a través de los sexenios.

3.3 Modelos de evaluación y propuesta de nuevos indicadores

Transformar el actual ecosistema científico requiere políticas de evaluación en consonancia con el nuevo escenario de la ciencia abierta, y su marco de referencia se refleja en el informe de la Comisión Europea (2021) Towards a reform of the research assessment system: scoping report. Los modelos propuestos por la Declaración de San Francisco (2013), el Manifiesto de Leiden (Hicks [et al.], 2015) o los informes de la Comisión Europea (Wilsdon [et al.], 2017) recomiendan fundamentar la evaluación del artículo en criterios distintos al factor de impacto actualmente utilizado y considerar, además de las citas, indicadores como las descargas (usos de las publicaciones) o su presencia en blogs y redes sociales (altmétricas) (Wilsdon [et al.], 2017), y, además, sugieren utilizar medidas cualitativas.

Los resultados muestran que los vicerrectores estaban mayoritariamente en desacuerdo con el uso del factor de impacto para la evaluación de las publicaciones, de acuerdo en el interés de realizar valoraciones cualitativas y se decantaron por el uso de las citas que reciben los artículos para la evaluación de la trayectoria académica (tabla 2). Por otra parte, mostraron una posición moderada respecto al número de descargas para evaluar las publicaciones científicas y ante la introducción de criterios relacionados con su impacto social (presencia en medios de comunicación, colaboración ciudadana) para evaluar la trayectoria académica. Además, estuvieron en desacuerdo con la presencia de las publicaciones en blogs y redes sociales generales y en redes sociales académicas (Academia.edu, ResearchGate, etc.) como criterio para valorar los artículos y la trayectoria académica, ambos criterios incluidos en las altmétricas. Destaca su falta de acuerdo sobre la incorporación como criterio para la valoración de la trayectoria investigadora del número de ficheros de datos en abierto acreditados con DOI y del porcentaje de publicaciones en abierto. Ambos indicadores directamente relacionados con el logro de los objetivos de la ciencia abierta.

Tabla 2. Modelos de evaluación y propuesta de nuevos indicadores (1)

En estos resultados podrían influir varios aspectos. Por una parte, las debilidades metodológicas de las altmétricas como su volatilidad, la dificultad en su normalización y recogida de datos o la falta de concordancia entre los resultados que ofrecen las herramientas utilizadas para la obtención de los datos (Abadal, 2018). Por otra, los aspectos que valoran los nuevos indicadores se fundamentan en dimensiones relevantes en el modelo preconizado por la ciencia abierta, que son distintas de la "calidad" del contenido de los trabajos. Así, por ejemplo, la presencia en redes sociales y académicas refleja el esfuerzo del investigador para difundir y visibilizar sus trabajos, mientras que el valor del número de ficheros de datos en abierto acreditados con DOI y el porcentaje de publicaciones se fundamentan en la accesibilidad y la reutilización de sus contenidos. A este respecto, es curiosa la contradicción entre las respuestas y la consideración por los vicerrectores de que el uso de indicadores relacionados con el acceso abierto en la evaluación de las memorias de investigación o en las convocatorias de ayudas propias favorecen los objetivos de la ciencia abierta (tabla 2). Es de esperar que la incorporación de nuevos criterios e indicadores en la evaluación, alineados con la ciencia abierta, se vea impulsada por lo establecido en el artículo 63 en el anteproyecto de la ley de ordenación del sistema universitario, que en su punto 8 establece que "las agencias de calidad estatal y autonómica incluirán entre sus criterios y requisitos de evaluación la accesibilidad en abierto de los resultados científicos del personal docente e investigador".

Las principales barreras para la adopción de nuevos criterios de evaluación fueron la sobrecarga de trabajo y el tiempo que representa la evaluación cualitativa y la rigidez administrativa de las convocatorias para adaptarse a este nuevo modelo. Además, aunque con menor acuerdo, se consideraron barreras la posibilidad de falsear las citas en redes sociales, la posible repercusión del componente subjetivo de la evaluación cualitativa en forma de recursos frente al coste económico de su realización.

La importancia concedida a la investigación en la agenda política, el convencimiento institucional con el cambio y la alineación institucional con la Declaración de San Francisco (DORA) se consideraron elementos favorecedores. Sin embargo, de los 155 firmantes de la Declaración de San Francisco, solo 4 son universidades españolas: la Universitat Oberta de Catalunya, la Universidad Camilo José Cela, la Universidad Miguel Hernández de Elche y la Universidad de Barcelona. El menor grado de acuerdo se refiere a la consideración de que se publiquen artículos de calidad en revistas no indexadas, lo que resta posibilidades a que haya artículos de relevancia e impacto social local publicados en revistas cuya difusión internacional es escasa.

Tabla 3. Modelos de evaluación y propuesta de nuevos indicadores (2)

Los vicerrectores consideraron que todos los agentes implicados en el sistema académico e investigador, incluidos los investigadores, deben estar implicados en el impulso hacia un nuevo modelo de evaluación (tabla 4).

Tabla 4. Modelos de evaluación y propuesta de nuevos indicadores (3)

3.4 Acciones emprendidas hacia un cambio de modelo de evaluación

Solo 4 universidades (14 %) habían emprendido alguna acción orientada a incluir nuevos criterios en la evaluación. En 2 estaban relacionadas la evaluación del profesorado a partir de la publicación o el depósito en abierto (vinculada en una ocasión al complemento retributivo). No obstante, en 1 se disponía de un programa más amplio en este sentido y en otra, curiosamente, se indicaban como nuevos criterios "la realización de una evaluación anual basada sobre publicaciones en una lista de revistas de calidad". Cabe destacar la contradicción entre estas respuestas y las proporcionadas anteriormente, en las que el 46,4 % de las universidades declararon utilizar el depósito de documentos como criterio para evaluar las memorias de investigación de las universidades (apartado 3.1).

En cuanto a la previsión de futuro, los vicerrectores de 10 universidades declararon tener previsto modificar sus criterios, aunque solo 4 los definían, y en 2 casos están relacionados con los indicadores de acceso abierto, en 1 vinculados a la calidad de cada publicación y solo en 1 se planteaban criterios integrales para valorar la progresión de la carrera profesional y la selección de personal.

4 Conclusiones

Los resultados muestran que, aunque la ciencia abierta está en la agenda política, las universidades españolas aún no han realizado una apuesta firme por ella. Así, aunque se cuenta con políticas e infraestructuras que posibilitan el acceso abierto y se están desarrollando repositorios para la compartición de datos, el compromiso de las universidades no se traduce en objetivos específicos, en criterios para monitorizarlos y en incentivos para su consecución.

En cuanto a la evaluación, los criterios preferidos (valoración cualitativa del contenido de los artículos, uso de citas e impacto social) están centrados en el valor del artículo, pero los criterios que reflejan el esfuerzo en la difusión de un trabajo, su apertura o la reutilización de sus contenidos, más acordes con la forma de hacer investigación preconizada por la ciencia abierta, están menos aceptados. Esto refleja que aún la ciencia abierta se entiende como un proceso vinculado al producto investigador, pero no como el modelo global de referencia para el funcionamiento de su ecosistema global.

La implementación de la ciencia abierta requiere incrementar los recursos orientados a esta, así como definir con claridad cómo llevarla a cabo. Es de esperar que las directrices europeas y los recientes cambios legislativos acaecidos en nuestro país sean un impulso decisivo.

Bibliografía

Abadal, Ernest; Ollé Castellà, Candela; Abad-García, Francisca; Melero, Remedios (2013). Políticas de acceso abierto a la ciencia en las universidades españolas. Revista Española De Documentación Científica, 36(2), e007. <https://doi.org/10.3989/redc.2013.2.933>.

Abadal, Ernest (2018). "Las altmétricas: aportaciones para la evaluación de publicaciones científicas en ciencias humanas y sociales". PH: Boletín del Instituto Andaluz del Patrimonio Histórico, 136.

Borrego, Ángel; Anglada, Lluís; Abadal, Ernest (2021). "Transformative agreements: Do they pave the way to open access?". Learned Publishing, vol. 34, no. 2, p. 216–232. <https://doi.org/10.1002/leap.1347>.

Comisión Europea (2018). Open Science Policy Platform Recommendations. Brussels: European Commission. <https://ec.europa.eu/research/openscience/pdf/
integrated_advice_opspp_recommendations.pdf>.

— (2021). Towards a reform of the research assessment system: scoping report. Luxembourg: Publications Office of the European Union. 21 p. <https://data.europa.eu/doi/10.2777/707440>.

Conferencia de Rectores de las Universidades Españolas (2019). Compromisos de las universidades ante la Open Science. <https://www.crue.org/wp-content/uploads/2020/02/2019.02.20-Compromisos-CRUE_OPENSCIENCE-VF.pdf>.

Declaración de San Francisco (2013). San Francisco Declaration on Research Assessment. <https://sfdora.org/>.

European University Association (2017). EUA Statement on Open Science to EU Institutions and National Governments. European University Association [EUA]. <https://eua.eu/resources/publications/412:eua-statement-on-open-science-to-eu-institutions-and-national-governments.html>.

Fecher, Benedikt; Friesike, Sascha (2014). "Open Science: One Term, Five Schools of Thought". En: Bartling, Sönke; Friesike, Sascha (ed.), Opening Science. DOI: 10.1007/978-3-319-00026-8_2.

FOSTER (2018). The future of science is open. <https://www.fosteropenscience.eu/>.

González-Teruel, Aurora; López-Borrull, Alexandre; Santos-Hermosa, Gema; Abad-García, Francisca; Ollé, Candela; Serrano-Vicente, Rocío (2022). "Drivers and barriers in the transition to open science: the perspective of stakeholders in the Spanish scientific community". El profesional de la información. <https://doi.org/10.3145/epi.2022.may.05>.

Hicks, Diana; Wouters, Paul; Waltman, Ludo; De Rijcke, Sara; Rafols, Ismael (2015). "Bibliometrics: the Leiden Manifesto for research metrics". Nature, vol. 520, no. 7.548, p. 429–431.

Iribarren-Maestro, Isabel; Grandal, Teresa; Alecha, María; Nieva, Ana; San-Julián, Teresa (2015). "Apoyando la investigación: nuevos roles en el servicio de bibliotecas de la Universidad de Navarra". El profesional de la información, vol. 24, n.o 2, p. 131.

IUNE (2022). Actividad investigadora de la universidad española (20 May 2022). <https://iune.es/>.

League of European Research Universities (2018). Open Science and its role in universities: a roadmap for cultural change. <https://www.leru.org/files/LERU-AP24-Open-Science-full-paper.pdf>.

Ligue des Bibliothèques Européennes de Recherche (2017). Research Libraries Powering Sustainable Knowledge in the Digital Age: LIBER Europe Strategy 2018–2022. <https://libereurope.eu/wp-content/uploads/2020/10/LIBER-Strategy-2018-2022.pdf>.

Morais, Rita; Saenen, Bregt; Garbuglia, Federica; Berghmans, Stephane; Gaillard, Vinciane (2021). From principles to practices: Open Science at Europe's universities. 2020–2021 EUA Open Science Survey results.

Pardo-Martínez, Clara Inés; Cotte-Poveda, Alexander (2018). "Knowledge and Perceptions of Open Science among Researchers—A Case Study for Colombia". Information,vol. 9, no. 11, p. 292. <https://doi.org/10.3390/info9110292>.

Pontika, Nancy; Knoth, Petr; Cancellieri, Matteo; Pearce, Samuel (2015). "Fostering Open Science to Research using a Taxonomy and an eLearning Portal". En: iKnow: 15th International Conference on Knowledge Technologies and Data Driven Business, 21–22 Oct 2015, Graz, Austria.

re3data.org (2022). Registry of Research Data Repositories. <https://www.re3data.org/>.

UNESCO (2021). Recomendación de la UNESCO sobre la Ciencia Abierta. París: UNESCO. 36 p. <https://unesdoc.unesco.org/ark:/48223/pf0000379949_spa>. [Consulta: 10/01/2022].

Vicente-Sáez, Ruben; Martínez-Fuentes, Clara (2018). "Open Science now: A systematic literature review for an integrated definition". Journal of business research, vol. 88, p. 428–436. <https://doi.org/10.1016/j.jbusres.2017.12.043>.

Wilsdon, James; Bar-Ilan, Judit; Frodeman, Robert; Lex, Elisabeth; Peters, Isabella; Wouters, Paul (2017). Next-generation metrics: Responsible metrics and evaluation for open science. Report of the European Commission Expert Group on Altmetrics. Brussels: European Commission. <https://scholarlypublications.universiteitleiden.nl/access/item%3A29456>.