La Unión Europea como cabecera y garante del sistema de evaluación y difusión de la producción científica

1 Introducción

La Unión Europea debe tomar las riendas de la evaluación de la ciencia en el marco de un sistema integral y unificado que garantice el acceso en abierto y gratuito a los trabajos generados dentro del sistema público de investigación. Este sistema público está compuesto por los investigadores de instituciones públicas que generan conocimiento que se traduce en diferentes productos, tales como artículos, patentes, comunicaciones o ponencias en congresos, etc. Además de estas investigaciones, debe conformar el sistema toda la producción generada por investigaciones financiadas con fondos públicos a nivel de Europa, a nivel estatal (de los países miembros de la Unión) y a nivel de las diferentes comunidades autónomas o instituciones análogas de toda la Unión Europea.

Esta es la idea fundamental que vamos a intentar desarrollar en este trabajo —basado en un trabajo anterior (Caldera, 2018)—, en el que se muestra que es necesario un cambio drástico en la forma de evaluar la producción científica, y en garantizar la accesibilidad a estos contenidos. Puede parecer una idea utópica, si somos conscientes de la realidad empresarial y de las políticas científicas que se desarrollan en muchos países. Pero, aunque la premisa sea utópica, es factible con la implementación adecuada y con la estructura pertinente, de tal manera que recuperemos la producción científica para los productores de la ciencia, los investigadores, y, por extensión, para la sociedad en general, la cual ha perdido la capacidad de acceder a contenidos científicos que, sin embargo, sí se han pagado con financiación pública.

Lo que subyace son dos ideas básicas, lógicas e interrelacionadas: la "liberación de la información" (Vives, 2005) y la evaluación social y cualitativa de la producción científica fuera del modelo métrico centrado en el factor de impacto como método de evaluación de la ciencia.

Y todo ello desde una óptica y visión del movimiento del acceso abierto (open access), en el que el concepto abierto debe entenderse como libre y gratuito, de manera que la difusión, distribución y evaluación de la ciencia estén fuera de los canales y estrategias mercantilistas, en el que la actividad científica y tecnológica se enmarque en una actividad que tiene el fin de difundir sus descubrimientos (Castells, 2000; 2001).

Repetimos la sentencia de Torres y otros (2011) que señala que "la idea central es que los datos generados por financiamientos públicos son patrimonio de la humanidad y deben estar accesibles y disponibles tan amplia y directamente como se pueda". Y ante la confusión de los investigadores que estiman que los resultados de las investigaciones son plenamente suyos y que dejan fuera de la ecuación la financiación y procedencia de salarios, es necesario plantear una normativa y una estructura centralizadas desde la Unión Europea que "cale" y penetre por medio de la financiación y la legislación en todos los estamentos estatales y, por ende, en los autonómicos, para garantizar que lo generado con dinero público revierta de forma directa en otros investigadores que se financian y cobran de lo público.

2 Objeto, objetivo y metodología

Mientras que el objetivo del trabajo es claro y único, los objetos que se analizan son ciertamente difusos y variados, desde el momento en que deben interrelacionarse diferentes redes y subsistemas de gestión, valoración, etc. para poder plantear un sistema solvente que garantice la consecución de los fines planteados.

El objetivo es la presentación de un sistema potencial de evaluación y difusión de la actividad científica, independientemente de formatos y soportes, generada con dinero público procedente de cualquiera de las administraciones públicas. La Unión Europea o el organismo propio será el garante del cumplimiento de las pautas y normas, que serán de obligado cumplimiento para todos los estados miembros de la Unión Europea. Tomando como base la Declaración de San Francisco y, por tanto, la idea de que el factor de impacto no puede ser el patrón de evaluación de la ciencia —que además está en manos privadas y por lo tanto con sus intereses privados y especulativos—, otorga el papel primordial a los expertos que evalúan el contenido de los trabajos —y no a la fuente de difusión— y a los repositorios institucionales como herramienta para poner a disposición de la sociedad los contenidos generados por el sistema. Resumiendo aún más el objetivo, se desea diseñar una política científica que garantice la difusión de la ciencia y el acceso a los contenidos generados con dinero público, ya sea por financiación a proyectos como por salarios de los investigadores.

El objeto de este trabajo, por tanto, es un entramado de variables que deben tenerse presentes, que van desde el propio objeto de análisis —como son los artículos, patentes, actas de congreso, etc.— hasta la legislación y las políticas científicas de la Unión Europea y de sus estados miembros, pasando por la financiación, la evaluación por pares, la distribución de contenidos por medio de la generación de un repositorio, etc. Son todos elementos interconectados en un gran sistema que debe contar en su cúspide con la Unión Europea, organismo que de momento apuesta tímidamente por el acceso abierto a la ciencia.

Para desarrollar el presente trabajo, básicamente, se ha llevado a cabo una revisión bibliográfica sobre la materia en estudio, se ha contactado con compañeros y colegas que tienen una visión crítica de la evaluación de la ciencia y, por supuesto, se ha leído y se ha hablado con defensores del factor de impacto como mejor y casi único método de evaluación de la ciencia. Así pues, el trabajo no es tanto una investigación como un estudio sobre el estado de la cuestión y una propuesta de trabajo y un desarrollo de la propuesta para su debate.

3 Cuestiones previas

Partimos de una premisa para nosotros fundamental y lógica. Independientemente de la validez, veracidad y capacidad de descripción de calidad de las herramientas que trabajan y se lucran con el análisis y el desarrollo de los índices de impacto, parece un sinsentido que los investigadores del sistema público, que están obligados por la estructura de dicho sistema a difundir los contenidos de su investigación, lo hagan en revistas científicas que, en un porcentaje importante de ocasiones, pertenecen a las mismas empresas que generan estos factores de impacto. Estas instituciones, ya sea de forma individual o incluso a nivel estatal por medio del pago por licencias, deben abonar grandes cantidades de dinero para poder acceder a esas revistas, a las que se les ceden los derechos (sin entrar en que cada vez más revistas cobran a los autores, gastos que en muchos casos son sufragados por grupos de investigación y proyectos). En definitiva, a nuestro sistema de investigación y de universidad se le "escurre" una importante cantidad de dinero para publicar en esas revistas, para poder acceder a ellas, para que a los profesores se les evalúe estimando que la calidad está en publicar en dichas revistas, en definitiva, se paga por una relativa visibilidad de los trabajos cuando el que sufraga todos los gastos es el sistema público de investigación y de universidad, ya sea por el pago de los proyectos, por la financiación de grupos de investigación y, muy especialmente, por el pago de salarios.

Otra premisa, que puede ser aún más controvertida, es que los resultados de la investigación no son propiedad en exclusiva del grupo de investigación o los autores que los generan. Un autor individual o colectivo no debería poder hacer con los resultados de investigación fruto de la inversión de dinero público (vía salario, proyectos, financiación, donación a la institución, etc.) lo que le diera la gana. Por criterios personales, de meritocracia en muchos casos, los autores se embarcan en unos procesos de difusión que hacen inaccesibles los resultados de la investigación, incluso para la misma institución que ha financiado el estudio. ¿Alguien entendería que una industria farmacéutica le cediera, aún más, pagara y cediera los contenidos de su investigación a otra industria farmacéutica? Pues, salvando las distancias, esta cesión intelectual es realizada a las revistas con impacto, ya que, en el caso español, la ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación) evalúa primando sobremanera aquellas revistas presentes en índices de citas en los criterios de acreditación de figuras contractuales, y el sistema no garantiza otras fórmulas para contar con visibilidad de los contenidos de la investigación.

Con el dinero que los diferentes miembros de la Unión Europea gastan para poder acceder a las principales herramientas que analizan los índices de impacto se podría estimar que sería viable generar métricas alternativas de carácter público que eliminasen los sesgos empresariales de Clarivate y de Scopus, o que, al menos, puedan parecer imparciales a priori. Incluso queremos ir algo más allá y generar sinergias y formatos que superen los factores métricos como factor de evaluación de la ciencia, y devolver al sistema público la evaluación y otorgarle el valor de difusor del contenido.

Por lo tanto, en este trabajo apostamos por un sistema europeo, una europeización del sistema de evaluación y difusión de la ciencia, un control europeo que garantice que los estados miembros cumplen con unos requisitos mínimos de distribución pública y gratuita de los contenidos generados, y todo ello manteniendo parámetros de calidad basados en la evaluación por pares.

4 Difundiendo con la filosofía del acceso abierto

Cada vez son más las instituciones y los investigadores que apuestan por la iniciativa del acceso abierto para la difusión del conocimiento (Alonso Arévalo, 2015; Merlo Vega, 2017), tanto es así que está cambiando hábitos de la transmisión de la ciencia, aunque con demasiada lentitud. Esta filosofía se traduce, en resumen, en la publicación en revistas de acceso abierto y gratuito, y por medio de la implementación de repositorios accesibles de manera universal (Declaración de Budapest). Aunque las iniciativas y la discusión sobre facilitar en abierto la investigación (data sharing) comienzan hace un par de décadas, se han potenciado con el concepto de e-ciencia y el desarrollo en digital de la transmisión del conocimiento (Shneiderman, 2008).

Autores como Torres-Salinas (2012), Arzberger y otros (2004), y otros tratan de las múltiples ventajas de la difusión del contenido en el marco del acceso abierto, y, sin lugar a dudas, el factor económico es el más importante. Esta socialización por medio de la distribución de la ciencia de forma abierta abarata los costes del acceso a la información por parte de los investigadores que conforman los sistemas estatales de investigación y ciencia.

La publicación en abierto cuenta, básicamente, con una doble vertiente: revistas científicas de cuño digital o aquellas que se reconvierten de los formatos tradicionales y, al amparo de la difusión en línea, los repositorios especialmente de instituciones públicas como forma de poner accesibles los contenidos de la investigación. El tema de las revistas es complejo, ya que existen intereses empresariales de carácter supranacional que complican y mediatizan su estudio, al igual que existen parámetros relacionados con la evaluación de los investigadores que repercuten en su valoración. Pero el elemento fundamental que condiciona el análisis sosegado y equidistante de las revistas es su relación con el factor de impacto (Wilsdon et al., 2015). El asunto de los repositorios aún cuenta con muchas incógnitas que desvelar, ya que aunque existen experiencias de repositorios muy importantes y desarrolladas no son sistemáticas ni sistémicas y no existen normativas ni legislación que les otorguen validez institucional.

Alonso y otros (2008) señalan con claridad que es necesario contar con políticas claras de acceso abierto, con una estrategia económica, tecnológica y legal, para que los repositorios tengan realmente el valor que debieran. La voluntariedad como fórmula de difusión para mayor visualización de los contenidos científicos, de momento, no está teniendo una especial penetración entre la comunidad científica, que sigue prefiriendo fuentes que estén presentes en índices que miden el impacto (lo cual se deriva de que nos siguen evaluando por esos medios). La FECYT (Fundación Española para la Ciencia y la Tecnología, 2014) publicó las recomendaciones para la implantación de la difusión en acceso abierto, habida cuenta de la apuesta institucional por poner a disposición de la ciudadanía los contenidos generados en las investigaciones. No obstante, tal y como señalan la mayor parte de los manifiestos relacionados con la materia, así como más recientemente un grupo de expertos de la Comisión Europea (European Commission, 2019), no será posible el cambio en la difusión de la ciencia mientras que no se desarrolle un cambio drástico en la evaluación de los investigadores.

El European Research Council (2007) marca las directrices sobre el acceso abierto. No obstante, en la Unión Europea aún no se ha sistematizado esa filosofía. Hay que señalar que la medida planteada, y que reproducimos a continuación, recorta el tiempo de embargo previo a la publicación en abierto:

"1. The ERC requires that all peer-reviewed publications from ERC-funded research projects be deposited on publication into an appropriate research repository where available, such as PubMed Central, ArXiv or an institutional repository, and subsequently made Open Access within 6 months of publication.

2. The ERC considers essential that primary data - which in the life sciences for example could comprise data such as nucleotide/protein sequences, macromolecular atomic coordinates and anonymized epidemiological data - are deposited to the relevant databases as soon as possible, preferably immediately after publication and in any case not later than 6 months after the date of publication".

En el marco de la estandarización del acceso abierto y la preocupación por la difusión de este, es especialmente importante la Declaración de San Francisco de Evaluación de la Investigación (DORA) del año, dada su relevancia por las instituciones que la firman, que hacen de esta declaración un punto de inflexión para muchos investigadores e instituciones, aunque no tanto para los legisladores. En esta misma línea se encuentran el Manifiesto de Leiden (Leiden Manifesto for research metrics, 2015), en el que se apuesta por la evaluación cualitativa de la ciencia por parte de expertos, o movimientos como el Fair Open Access Alliance (2019) o la Declaración de Panamá sobre Ciencia Abierta (2018), centrada en Latinoamérica.

Esta declaración pone en tela de juicio, o al menos "en embargo", un elemento que, aunque sigue teniendo gran preponderancia, está siendo cuestionado cada vez por un mayor número de voces desde todos los ámbitos: el factor de impacto. Es claramente cuestionado como elemento determinante para la evaluación de la ciencia, además de por su finalidad, por su opacidad e intereses empresariales. Aunque de forma directa no trata el tema del acceso abierto, sí que parece traslucir que, cuando se pierda la preponderancia económica en todo este proceso (los intereses empresariales, revistas científicas de las mismas compañías que evalúan el impacto y evaluación institucional), la difusión en abierto ganará enteros, ya que dejará de tener incentivos la publicación en revistas sujetas a la tiranía del factor de impacto, y en la motivación para elegir la fuente en la que se difunde la investigación se tendrán en cuenta otros elementos distintos de los que manejamos actualmente.

La Declaración de San Francisco solicita que se busquen alternativas, nuevos indicadores, incide en aprovechar las oportunidades de la publicación por medio de la red y en abierto y apuesta por la difusión de los trabajos bajo licencia Creative Commons Public Domain Dedication.

5 La estructura del sistema

En un trabajo anterior (Caldera, 2018), que sirve de germen para una serie de trabajos relacionados con las políticas de evaluación y difusión de las ciencias en el cual se enmarca este texto, explicamos los principios que entendemos pudieran ser la base para un sistema de evaluación que corrigiese la preponderancia del factor de impacto y devolviera la información científica a sus auténticos dueños, que entendemos que es la sociedad que paga los proyectos y los salarios de los investigadores (exceptuemos a los investigadores de la inversión privada, que tampoco suele difundir los contenidos de sus investigaciones por razones obvias).

Para ello, esbozamos un sistema de evaluación y difusión de estructura piramidal con la la Unión Europea en la cúspide, lo que requiere de drásticos cambios en la política común científica, en los requisitos para solicitar financiación de investigación y en la creación normativa y reglamentaria de un sistema que garantice que los estados miembros se vean obligados a seguir dichos parámetros. Cuando en la Unión Europea se comience a hacer política para difundir de otra manera, podremos empezar a enfrentarnos a las grandes compañías que hacen de la ciencia una fuente de ingresos, un negocio centrado en las investigaciones de otros y el pago por acceso a los contenidos científicos. Y si nos enfrentamos a estos modelos de negocio, globalmente podremos lograr que cambie este sistema y empoderaremos nuevamente a los investigadores y a sus trabajos, y no a la economía de la ciencia. Valga un pequeño paréntesis para identificar que en países latinoamericanos, que recientemente han comenzado a sufrir la invasión colonizadora de estas empresas, existe una clara resistencia por parte de los investigadores (Declaración de Panamá sobre Ciencia Abierta, 2018), allí son más los legisladores los que quieren cambiar el modelo hacia un sistema que, según ellos, está funcionando en Estados Unidos y Europa. Utilicemos esa resistencia como catapulta para, junto con Europa, volver a recuperar la ciencia como saber universal, como patrimonio de todos, y no corromperla con una visión mercantilista.

Actualmente no existe una clara coordinación entre los países miembros de la Unión Europea en materia de difusión de la ciencia, no obstante, sí que pueden observarse políticas claras y convergentes en algunos países, tal y como muestra el documento de SPARC Europe (2017), que muestra los esfuerzos realizados por algunos de los países miembros de la eurozona. Y la coordinación de dichas políticas es la clave para poder llevar a cabo cambios en el sistema de difusión de la ciencia, para lo cual deberán establecerse políticas justas, redistributivas, con rango al menos de norma de obligado cumplimiento para aquellos estados que deseen obtener financiación. Dejar políticas científicas al criterio de los países miembros puede traducirse en una falta de consenso y coordinación, que provocarían grandes fallas en el potencial sistema integral de difusión y validación de la ciencia europea. Por ello, debe entenderse que los miembros del club europeo deben cumplir unas normas, y dichas normas se cumplirán si son de obligado cumplimiento para poder obtener ayudas y financiación en el terreno del desarrollo de programas y proyectos de investigación.

Gráfico 1. Niveles del sistema europeo de difusión y evaluación de la ciencia

Este sistema de evaluación y difusión que presentamos no se basa en absoluto en el factor de impacto, por lo que no vamos a dedicarle más esfuerzo a desmontar "el mito" ni a tratar de deslegitimar actuaciones de instituciones estatales, como la de la Agencia Nacional de la Evaluación de la Calidad y la Acreditación. El sesgo de las revistas analizadas, los intereses evidentes de las empresas que realizan los estudios métricos, la cobertura privilegiada de lo anglosajón, la falta de criterios de calidad para identificarla, los vicios en la citación, las publicaciones con políticas orientadas solo a subirlo, los campos temáticos fuera del interés de las empresas por tener ciclos de citación muy distintos, la eliminación intelectual de campos con pocos investigadores, los efectos perversos de la citación como el efecto Mateo, además de problemas técnicos y éticos, hacen del factor de impacto un elemento muy usado para hacer política científica pero poco fiable y poco recomendable.

En Caldera (2018) se analiza brevemente la estructura del sistema. Nos encontramos con un sistema con cuatro niveles de entrada de trabajos de investigación, todos ellos con niveles de obligatoriedad y escalabilidad que dependen de las estructuras de financiación de la ciencia generada.

Como se puede observar en la pirámide que muestra el sistema, existen cuatro niveles diferentes. El más bajo de ellos, y, por lo tanto, el más importante ya que garantiza la difusión y accesibilidad de dichos contenidos, es el generado y mantenido por las instituciones investigadoras que están encuadradas en el marco de una estructura menor dentro del estado. Con ello nos referimos a instituciones que están financiadas y enmarcadas, en el caso español, en las comunidades autónomas (con el resto de los países de la Unión habría que hacer la extrapolación territorial). Estas instituciones son las financiadas por la región, comunidad autónoma, etc., que básicamente serán centros de investigación propios y universidades. Esta unidad deberá implementar un catálogo con las instituciones generadoras de investigación financiadas por dicha administración, en el que se las obligue a generar un repositorio institucional en el que se vuelquen todas las publicaciones generadas por su personal en el transcurso de sus funciones de investigación. Repetimos, todos los trabajos generados, publicados en otras fuentes o no.

Ejemplificamos con la universidad. Todos los trabajos generados por profesores, becarios de investigación, etc. deberán remitirse a la institución para que esta los difunda en la herramienta que se estime adecuada (apostamos por repositorios); esto no impide ni implica que posteriormente el investigador no pueda buscar alternativas de difusión de sus trabajos, pero de esta manera garantizamos que los trabajos realizados por investigadores de lo público se difundan gratuitamente. Esto supondrá una gran revolución de visibilidad y especialmente de accesibilidad universal de los contenidos.

En aquellos casos en los que la propia administración tenga centros de investigación, se deberán generar repositorios para cada uno de los centros, con lo que se generará una auténtica red regional de investigación y ciencia.

Están excluidas del ingreso en esta parte del sistema aquellas publicaciones que estén o deban estar en otras partes superiores del sistema, es decir, se busca la difusión, pero no la duplicación.

Desde este nivel de entrada básico y obligatorio se podrá acceder, tras solicitud, al primer nivel del sistema, que será el sistema regional. Dentro de este sistema estarán obligados a enviar sus trabajos todos aquellos investigadores que hayan financiado sus trabajos por medio de programas públicos. Estos remitirán sus resultados, independientemente del tipo de formato de difusión (libro, artículo, informe), al repositorio institucional autonómico, que determinará su valor para integrarse en dicho repositorio o "bajarlo" al subsistema inferior. Por lo tanto, independientemente de la validez, seguirá estando disponible para todos los investigadores.

La evaluación se llevará a cabo por expertos, que habrán sido seleccionados por su relevancia en la disciplina (seguramente toda la labor de análisis y valoración de los trabajos deberá realizarse en trabajos posteriores, ya que la evaluación varía dependiendo de las áreas temáticas y las disciplinas científicas).

Al igual que en el nivel anterior, y como veremos en el posterior, los investigadores podrán solicitar la subida al nivel estatal.

El segundo nivel, el estatal, contará con los trabajos que sean resultado de proyectos estatales de investigación, así como con aquellos que provengan de los niveles inferiores del sistema. Y la forma de evaluación será idéntica a la anterior, la evaluación por expertos.

Y el último nivel, el más alto y en el que nos vamos a detener, será el de la Unión Europea, en el que se integrarán los contenidos generados por los proyectos financiados por la Unión Europea y aquellos trabajos que provienen de niveles inferiores, en este caso del estatal.

Como puede observarse, el sistema cuenta con la posibilidad de escalabilidad y mejora en los niveles de visibilidad a base de ir superando pruebas y análisis que van validando la calidad de la producción científica. Habrá que generar normativas y procedimientos para que la gran cantidad de información generada por la ciencia cuente con mecanismos ágiles, útiles y garantistas para evaluarla.

Se pone el énfasis en difundir la ciencia generada, que con esta filosofía está absolutamente garantizada, y en buscar métodos derivados de la escalabilidad del sistema para determinar la calidad de los trabajos, calidad necesaria para discriminar el valor de los resultados obtenidos.

Además, para lograr este objetivo, es necesario que se modifique la legislación para que obligue a los investigadores a tener que entregar sus investigaciones. La normativa y la legislación, además, deben garantizar una evaluación justa de los trabajos, con recompensas acordes al esfuerzo realizado y al valor de la investigación.

No ignoramos la gran cantidad de información que se genera en el sistema de ciencia y tecnología en Europa, y la gran cantidad de recursos y trabajos que llevaría desarrollar este sistema; no obstante, pensamos que el ahorro en el acceso a los contenidos científicos y el garantizar la difusión de la ciencia y el acceso a esta merecen el esfuerzo estructural y económico (cuestión distinta serán las tensiones y presiones por parte de los lobbies editoriales en todos los aspectos).

Por ello, apostamos por que, además de potenciar la evaluación por parte de expertos como figura más relevante para la toma de decisiones, estos puedan utilizar herramientas de validación de los resultados.

6 Unión Europea: la cabecera normativa y estructural del sistema

Sin entrar en la importancia y los errores históricos de la Unión Europea, que todos tenemos presentes, parece creíble entenderla como un elemento fundamental y primordial en ciencia y tecnología en el panorama internacional, como forma de desarrollo y confrontación a las políticas científicas monopolistas de Estados Unidos. La Unión Europea en Ciencia y Tecnología ha mejorado y desarrollado el sistema de los países miembros y los ha hecho mucho más competitivos por medio de la colaboración internacional.

La Comisión Europea (2016), en su documento sobre investigación e innovación, destaca que la Unión Europea es el principal proveedor mundial de conocimiento científico, el cual representa un total de un tercio de la producción científica, y ha provocado que muchos ámbitos científicos, entre los que destacan medio ambiente y energías renovables, se hayan convertido en temas fundamentales en el panorama investigador. No obstante, la competencia mundial es cada vez mayor en el ámbito de la producción, por lo que desde la Unión Europea se potencia que las ideas y los proyectos innovadores se transformen en productos tangibles, normalmente en publicaciones científicas.

El programa Horizonte 2020 potencia la innovación mediante la excelencia investigadora y en el periodo 2014—2020 invirtió 77.000 millones de euros en proyectos de investigación y de innovación. Por lo tanto, la Unión Europea entiende que la investigación es un eje estratégico.

La Comisión Europea (2016) señala, en su documento sobre la investigación abierta, que existen tres prioridades estratégicas en el marco del importante cambio en el que está sumergida la ciencia y su relación con las empresas y con la sociedad.

1. Innovación abierta: se entiende como prioritario crear un marco normativo para facilitar y garantizar que las empresas también tengan acceso al capital de riesgo para generar proyectos de innovación e investigación.

2. La ciencia abierta nos presenta un nuevo tratamiento en el proceso científico, centrado en la cooperación y en la difusión del conocimiento mediante métodos rápidos y abiertos, una vez desarrolladas las tecnologías digitales que lo potencian. La Comisión prevé crear próximamente "una Nube Europea de la Ciencia Abierta, que ofrecerá a los 1,7 millones de investigadores y los 70 millones de profesionales de la ciencia y la tecnología europeos un entorno virtual para conservar, compartir y reutilizar sus datos entre países y disciplinas" (Comisión Europea, 2016), con la implementación de redes de banda ancha y la Infraestructura Europea de Datos, que desarrollará supercomputadores para generar y almacenar gran cantidad de datos.

3. Apertura al mundo: se plantea la "diplomacia de la ciencia", la cooperación entre investigadores y entre países, la limitación de los problemas para llevar a cabo una auténtica red de investigación entre los países de la Unión Europea y también con otras áreas geográficas del planeta.

Aunque actualmente la Unión Europea cuenta con el programa Horizonte 2020 —y ya se plantea sustituirlo por otro programa nuevo—, el desarrollo de la ciencia comienza en la década de los cincuenta del siglo pasado con el Tratado de la Comunidad Europea del Carbón y del Acero (CECA) y el Tratado constitutivo de la Comunidad Europea de la Energía Atómica (Euratom) en 1958, que cuentan con diferentes disposiciones para el desarrollo de las ciencias en esas disciplinas.

Posteriormente, en el año 1957, el Tratado constitutivo de la Comunidad Económica Europea (CEE), germen de la Unión Europea, da lugar a programas de investigación en diferentes disciplinas, básicamente en energía, medio ambiente y biotecnología.

Saltamos a 1983, año en que encontramos un programa estratégico europeo de investigación en el ámbito de las tecnologías de la información y la comunicación y la transferencia tecnológica. Un año más tarde se establece el primer programa marco en investigación, centrado en biotecnología, telecomunicaciones y tecnología industrial.

Pero el cambio legislativo fundamental se lleva a cabo en la década de los ochenta, en el cual la investigación pasa a ser una política comunitaria, con un capítulo específico en el Acta de la Unión Europea, con el objetivo de fortalecer las bases científicas y tecnológicas de la industria europea y favorecer la competitividad internacional.

No será hasta el año 2000 cuando la Unión Europea acuerde la creación del Espacio Europeo de Investigación, espacio unificado, abierto al mundo y centrado en que tanto los investigadores como las investigaciones puedan transferirse y movilizarse libremente dentro de la Unión.

En 2007 se crea el Consejo Europeo de Investigación en la coyuntura del Séptimo Programa Marco de Investigación y Desarrollo Tecnológico (7PM) con el fin de buscar la excelencia científica. Un año más tarde se funda el Instituto Europeo de Innovación y Tecnología, con sede en Budapest, con el fin de integrar en una misma institución al "triángulo del conocimiento" (educación superior, investigación y empresa), que empieza a funcionar en 2010.

Tal y como señalamos antes, en el año 2014 se pone en marcha el ambicioso programa marco de investigación e innovación de la Unión Europea Horizonte 2020, con diferencia, el programa más ambicioso de la Unión hasta el momento. Orientado a la excelencia científica, está dotado con 77.000 millones de euros, y se centra en transferir el conocimiento a la sociedad (del laboratorio al mercado). El fin último del programa es el crecimiento económico de los países de la Unión por medio del mantenimiento de la ciencia y la tecnología europea en primera línea mundial, orientando la financiación a los tres pilares fundamentales (según la Unión Europea), a saber: excelencia científica, liderazgo industrial y retos sociales.

Horizonte 2020 no se centra tanto en temas como en retos sociales, que serían la salud, el medio ambiente, el transporte, etc. El programa se centra en siete grandes retos: salud y bienestar; seguridad alimentaria y uso sostenible de los recursos biológicos; energía sostenible; transporte; clima; inclusión y seguridad. Sobre la inclusión, se centra en la reducción de las desigualdades y de la exclusión social. Desarrolla la investigación en principios de pluridisciplinariedad, e incluye a las muy olvidadas ciencias sociales y humanidades, así como desea consolidar la "base fáctica de la elaboración de política" en sus niveles tanto internacional en Europa como en el marco de los diferentes países que la componen.

En lo concerniente a la difusión de los contenidos, desde la creación del Espacio Europeo de Investigación único, que potencia la relación y la cooperación transfronteriza, se desea que exista una mayor relación y difusión de los resultados de investigación. Aunque la relación de Horizonte 2020 con la inversión y repercusión privada está clara a lo largo y ancho de los diferentes documentos generados, sí que se desea potenciar la cooperación internacional para crear productos viables y comercializables, incluso con países que no son miembros de la Unión Europea.

La apuesta de la Comisión Europea por el acceso abierto es antigua. Desde 2006 se lleva postulando con esta fórmula de difusión, tanto que un año más tarde se presentó a la Comisión la petición para garantizar el acceso libre y gratuito a los resultados de los proyectos financiados con fondos europeos.

En el año 2010 la Comisión financia el proyecto OpenAIRE (Infraestructura de Acceso Abierto para la Investigación en Europa), que apoya la implantación del acceso en abierto. Este programa garantiza, al menos teóricamente, que la información generada por el Séptimo Programa Marco de Investigación y Desarrollo Tecnológico esté a disposición de todos los investigadores.

La Comisión Europea (2012; 2018) quiere potenciar la difusión científica generada en Europa, garantizando la accesibilidad a lo generado con dinero público, tanto para el Séptimo Programa Marco de Investigación y Desarrollo Tecnológico como para el Horizonte 2020.

El Plan S (Science Europe, 2019), también apoyado por la Comisión Europea, aborda de manera clara la necesidad de potenciar la accesibilidad de los contenidos, para lo cual debe acelerarse el proceso de transición hacia un nuevo modelo en acceso abierto. España, tras la presentación de una proposición no de ley por el Grupo Parlamentario Confederal de Unidos Podemos-En Comú Podem-En Marea (2018), se ha integrado en esta coalición que se marca el año 2020 para generar las herramientas necesarias para facilitar los trabajos científicos con financiación pública, por medio de diferentes herramientas.

Para generar este método de trabajo se debería contar, en primer lugar, con acuerdos políticos que consensuen normativas y unifiquen métodos de trabajo para la ciencia. Esta labor está muy lejos de consenso en la Unión Europea, que es consciente, además, de las muchas limitaciones competenciales con las que cuenta. No obstante, es necesario generar sinergias entre los grupos con el fin de garantizar que este cambio drástico en la evaluación y difusión de la ciencia tenga ante todo una apuesta política y normativa y, por detrás, la ayuda presupuestaria para poder llevarla a cabo en los términos planteados.

Queda evidenciada ya la apuesta por que cualquier tipo de producto generado por los proyectos financiados por la Unión Europea deberá cederse a la Unión Europea, con el fin de que la institución pueda ponerlo a disposición de toda la sociedad por medio del repositorio institucional, público, gratuito y accesible, por lo que hay que generar normativas que obliguen, y a la vez la incentiven, a dicha transferencia de productos científicos, por tanto hay que apostar por la vía dorada, en la que el autor puede llegar a pagar por la publicación, o por la vía verde, que aunque es más rápida puede carecer de evaluación previa (Sánchez; Melero, 2017; Delgado López-Cozar, 2018). Piwowar y otros (2018) explican las características de las principales formas de publicación e identifican cinco rutas para llegar al acceso abierto: verde, dorada, bronce, híbrida y diamante. Entendemos que la vía diamante (diamond access) intenta solucionar los inconvenientes de las anteriores, ya que copia de la vía dorada la revisión por pares, no así los costes, y de la vía verde la gratuidad del sistema. No obstante, la vía verde puede acarrear en algunos casos la evaluación por pares, pero no siempre se produce, por lo que desde aquí apostamos por esta vía que garantiza la calidad de la publicación y la gratuidad del sistema. No obstante, el sistema no sale en ningún caso a coste cero. Aunque los editores, revisores, etc. realicen su labor en el sistema por la mejora y el avance de la ciencia, se necesitará una inversión para el mantenimiento del sistema, desde el punto de vista computacional y de sostenibilidad. Este coste, entendemos y defendemos, debe venir desde lo público, tanto desde la Unión Europea como desde otras partes del sistema (estatal, nacional, autonómico, institucional, etc.). Soportar estos gastos debe asumirse como cuota para el mantenimiento del sistema de ciencia, y podrá retraerse de los grandes costes que actualmente tienen los sistemas por la publicación y el acceso a los contenidos.

Teniendo presente que la Unión Europea no puede asociar la evaluación y la difusión a proyectos concretos como Horizonte, o los que vengan, se apuesta desde este trabajo por la creación de un Sistema Europeo de Repositorios de Difusión y Evaluación de la Actividad Científica (SERDEAC), organismo que dependerá del Consejo y cuya estructura dependerá de los organismos que regulan la investigación, con el fin de hacer posibles las políticas de difusión y transferencia de los resultados y la evaluación de la investigación en el marco de todo el sistema.

También desde este organismo se potenciará la creación de las estructuras para los estados miembros de la Unión, apoyando tanto tecnológica como económicamente su implementación, de tal manera que los estados puedan seguir desarrollando el sistema de difusión y evaluación en su marco competencial.

Podemos determinar módulos o facetas en el sistema planteado, todos ellos se implementarán en orden secuencial, pero con reciprocidad entre ellos una vez establecidos. Son los siguientes.

Entrada de la información. Será responsabilidad de los propios investigadores el reenvío del material, ya sea publicado en otra revista (por supuesto, que otorgue la opción de difundirlo) o directamente atendiendo a las normas del repositorio. El envío se realizará, por tanto, atendiendo a las prioridades que tenga el propio investigador, ya que tendrá la opción de enviarlo a las publicaciones que considere oportunas. No obstante, este elemento será tenido en cuenta por los evaluadores para decidir si el trabajo tiene el nivel suficiente para quedarse en el máximo nivel del sistema (SERDEAC), aunque será el análisis del contenido el que validará la calidad. El autor tendrá la opción de enviarlo a otras fuentes como pudiera ser una revista, no obstante, estará obligado a redirigirlo al sistema, que es el máximo responsable para determinar la calidad del trabajo. Todo trabajo generado por proyectos financiados por la Unión Europea deberá remitirse al sistema, ya sea en forma de artículo científico, patente, acta de congreso o directamente como "literatura gris".

Determinación de la calidad. Una vez ingresado el trabajo, se remitirá a las comisiones que, por áreas del conocimiento, decidirán qué subdisciplina tiene que evaluar el trabajo. Estas subáreas o subdisciplinas serán las mejores conocedoras de las temáticas, por lo que se remitirá a los expertos (dos o más) para determinar la validez del trabajo. Como en la evaluación, estos revisores determinarán si el trabajo cuenta con la suficiente validez como para incluirse en el primer nivel y lo remitirán con observaciones a los niveles inferiores (estatales) si lo considerasen oportuno. En caso de que se observen evaluaciones positivas, ingresará automáticamente en el sistema y desde ese momento se podrá acceder a él y se difundirá por los canales de información que generará el sistema (métodos de comunicación variados y actuales, tendentes a lograr la mayor visibilidad y penetración de los trabajos).

Se necesita una estructura piramidal con especialistas de las diferentes áreas del conocimiento que pueda remitir y evaluar los trabajos aceptados. Sin lugar a dudas, la escalabilidad del sistema y la evaluación constante de los trabajos para subir o bajar en el nivel pueden acarrear problemas derivados de la tardanza en contestar, habida cuenta de la gran producción existen en toda la Unión Europea. No obstante, se debería garantizar la contestación y, por lo tanto, la ubicación en un repositorio para la entrada en el sistema en menos de seis meses desde la recepción o la publicación del trabajo, para que así esté claramente disponible para toda la comunidad investigadora. La procedencia de los trabajos será básicamente los programas financiados de Horizonte 2020, no obstante, también se incluirán aquellos trabajos procedentes de las instituciones de investigación que tenga o puedan ser creadas por la Unión Europea.

Cabecera del sistema. Tal y como hemos señalado al describir el sistema, la cabecera de este debe estar en manos de la Unión Europea, específicamente, en la institución creada y financiada para tal efecto. Desde esta institución se deberán solventar los problemas en la implantación del sistema en los diferentes estados miembros, así como garantizar su buen funcionamiento, condición sine quAe non para que la Unión Europea siga financiando la ciencia en los diferentes países.

7 Conclusiones

A modo de resumen del contenido del trabajo, se desea destacar una serie de factores importantes que deben tenerse en cuenta para el cambio de visión y de acción en materia de difusión y evaluación de la ciencia.

En primer lugar, no podemos mantener el sistema actual. Que los resultados de la investigación financiada con dinero público —ya sea para el pago de salarios o de proyectos de investigación— sean transferidos a publicaciones privadas, y en muchos casos de pago, no tiene ningún sentido. Los investigadores debemos revertir el contenido de nuestros trabajos en la sociedad que nos paga, que nos financia y que debería ser el epicentro de nuestros trabajos, más allá de intereses particulares.

Hay que incidir, en segundo lugar, en que no es posible mantener un sistema de evaluación basado en el factor de impacto si lo que queremos es democratizar y socializar los resultados de investigación, por lo que deben buscarse métodos alternativos para dicha evaluación. Que la evaluación por pares, que aún se sigue utilizando, es la mejor opción. Una reciente sentencia obliga a la Comisión Nacional de Evaluación de la Actividad Investigadora (CNEAI), que depende de la ANECA, a que también se tenga en cuenta el contenido de los trabajos, y no solo las fuentes de publicación ni el índice de impacto de estas, es decir, deja muy claro que debe analizarse el contenido. El Grupo Parlamentario Confederal de Unidos Podemos-En Comú Podem-En Marea (2017) presentó una proposición no de ley con el fin de adaptar la ANECA con respecto a la evaluación cualitativa y apostar por la difusión en abierto de la ciencia; pero dicha proposición no de ley no prosperó.

El tercer elemento que unimos a los otros dos es la Unión Europea. Ante un sistema mercantilizado, con intereses de la industria editorial y de empresas anglosajonas, en el que prima la evaluación de carácter métrico y cuantitativo, estimamos que la Unión Europea debe ser el garante de la difusión de los contenidos generados con dinero público a todos los niveles gubernamentales, que es desde la Unión Europea desde donde deben marcarse pautas, normativas y políticas para que pueda llevarse a cabo este cambio de paradigma y de modelo, y que debe luchar contra la resistencia que se tendrá tanto de los estados miembros como de los grupos de presión del ámbito de la edición.

Hay que señalar en cuarto lugar que la Unión Europea debería crear una entidad como cabecera del sistema y garante de este, un organismo que, además, tuviera la capacidad de generar sinergias con los diferentes proyectos europeos para garantizar el acceso a los contenidos. A dicho sistema lo denominamos Sistema Europeo de Repositorios de Difusión y Evaluación de la Actividad Científica (SERDEAC).

La implementación y desarrollo de este repositorio garantizará la difusión de todos los contenidos generados con financiación de la Unión Europea, pues será obligatorio entregar los resultados de la investigación, lo cual quedará patente en las normativas de financiación y subvención de carácter público (a diferentes niveles). No todo documento generado podrá integrarse en este primer nivel del repositorio, sino que será evaluado por el método tradicional de evaluación de la calidad: evaluación por medio de expertos.

El sistema estará organizado por investigadores de reconocido prestigio, y será desde aquí desde donde se determine quién y cómo se llevará a cabo la evaluación de los trabajos, de forma independiente y profesional, pero siempre teniendo en cuenta el contenido del trabajo como primer elemento que tener en consideración.

Hay que incidir en la escalabilidad del sistema propuesto, de tal manera que cualquier trabajo pueda subir en los niveles de repositorios, atendiendo siempre al nivel determinado por los evaluadores o expertos.

Aunque el sistema puede ser inicialmente complejo por la estructura necesaria para el análisis de los trabajos recibidos, desde la Unión Europea debe garantizarse el acceso universal a la investigación generada con dinero público. Este modelo cuenta con dos principales ventajas: a) todos los documentos generados con dinero público estarán disponibles en repositorios públicos de investigación, b) la evaluación de la ciencia será pública y abierta, lejos del factor de impacto como patrón para medir la calidad y, por lo tanto, lejos de los intereses mercantilistas; se volverá al análisis de contenido para evaluar la calidad y no se utilizarán factores exógenos a este.

Reconocimientos

Este trabajo ha sido financiado por el Gobierno de Extremadura (Consejería de Educación, Ciencia y Tecnología) y el Fondo Social Europeo, dentro del plan de apoyo a las actuaciones de los grupos de investigación inscritos en el Catálogo de la Junta de Extremadura (GR10019).

Bibliografía

Alonso, B.; Valladares, F. (2006). "Bases de datos y metadatos en ecología: compartir para investigar en cambio global". Ecosistemas, vol. 15, n.o 2, p. 83–88. <https://revistaecosistemas.net/index.php/ecosistemas/article/viewFile/510/486>. [Consulta: 17/12/2019].

Alonso Arévalo, J. (2015). Un viaje a la cultura open. Salamanca: Ediciones Universo.

Alonso Arévalo, J.; Subirats, I.; Martínez Conde, M. L. (2008). Informe APEI sobre acceso abierto. Gijón: Asociación Profesional de Especialistas en Información. <http://eprints.rclis.org/12507/>. [Consulta: 17/12/2019].

Arzberger, P.; Schroedes, P.; Beaulieu, A.; Bowker, G.; Casey, K.; Laaksonen, L.; Moorman, D.; Uhlir, P.; Wouters, P. (2004). "An International framework to promote Access to data". Science, vol. 303, no. 5.665, p. 1.777–1.778.

Caldera Serrano, J. (2018). "Repositorios públicos frente a la mercantilización de la Ciencia: apostando por la ciencia abierta y la evaluación cualitativa". Métodos de información, vol. 9, n.o 17, p. 74–101. <https://www.metodosdeinformacion.es/mei/index.php/mei/article/view/IIMEI9-N17-074101/977>. [Consulta: 17/12/2019].

Castells, M. (2000). The Rise of the Network Society. Cambridge: Blackwell Publishers.

— (2001). The internet Galaxy. Oxford: Oxford University Press.

Comisión Europea (2012). "Dictamen del Comité Económico y Social Europeo sobre la Comunicación   de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones — Hacia un mejor acceso a la información científica: impulsar los beneficios de las inversiones públicas en investigación [COM(2012) 401 final]". Diario Oficial de la Unión Europea, C 76. <https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52012AE2282&from=EN>. [Consulta: 17/12/2019].  

— (2016). Investigación e innovación: Comprender las políticas de la Unión Europea. Traspasar límites y mejorar la calidad de vida. Luxemburgo: Oficina de Publicaciones de la Unión Europea. <http://publications.europa.eu/resource/cellar/ba202c94-aa5d-11e6-aab7-01aa75ed71a1.
0021.03/DOC_1>. [Consulta: 17/12/2019].  

— (2018). "Recomendación (UE) 2018/790 de 25 de abril de 2018 relativa al acceso a la información científica y a su preservación". Diario Oficial de la Unión Europea, L 194. <https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:32018H0790&from=EN>. [Consulta: 17/12/2019].  

Declaración de Panamá sobre Ciencia Abierta (2018). <https://stats.karisma.org.co/descargar/declaracion-de-panama/>. [Consulta: 17/12/2019]. 

Declaración de San Francisco de Evaluación de la Investigación: poniendo ciencia en la evaluación de la investigación [DORA: Declaration on Research Assessment] (2012). <http://blogs.ujaen.es/cienciabuja/wp-content/uploads/2013/10/dora.pdf>. [Consulta: 17/12/2019].

Delgado López-Cozar, E. (2018). "De la ruta de oro a la ruta verde de la comunicación científica: negocio editorial y bibliométrico, publicación libre, acceso abierto, evaluación total e individualizada". <http://digibug.ugr.es/handle/10481/53696>. [Consulta: 17/12/2019]. 

European Commission (2019). Future of scholarly publishing and scholarly communication: Report of the Expert Group to the European Commission. Luxembourg: Publications Office of the European Union. <https://publications.europa.eu/en/publication-detail/-/publication/464477b3-2559-11e9-8d04-01aa75ed71a1>. [Consulta: 17/12/2019].

European Research Council (2007). ERC Scientific Council guidelines for Open Access. <https://recolecta.fecyt.es/sites/default/files/contenido/documentos/erc_scc_guidelines_open_
access.pdf>. [Consulta: 17/12/2019].

Fair Open Access Alliance (2019). <https://www.fairopenaccess.org>. [Consulta: 17/12/2019].

Fundación Española para la Ciencia y la Tecnología [FECYT] (2014). Recomendaciones para la implementación del artículo 37 Difusión en Acceso Abierto de la Ley de la Ciencia, la Tecnología y la Innovación. Madrid: FECYT. <https://www.fecyt.es/es/publicacion/recomendaciones-para-la-implementacion-del-articulo-37-difusion-en-acceso-abierto-de-la>. [Consulta: 17/12/2019].

Grupo Parlamentario Confederal de Unidos Podemos-En Comú Podem-En Marea (2017). "162/000450 Proposición no de Ley presentada por el Grupo Parlamentario Confederal de Unidos Podemos-En Comú Podem-En Marea, relativa al actual sistema de evaluación y acreditación del profesorado universitario por la ANECA (Agencia Nacional de Evaluación de la Calidad y la Acreditación)". Boletín oficial de las Cortes Generales, Serie D, n.º 435, p. 27–31.
<http://www.congreso.es/public_oficiales/L12/CONG/BOCG/D/BOCG-12-D-204.PDF#page=27>. [Consulta: 17/12/2019].

— (2018). "163/000824 Proposición no de Ley presentada por el Grupo Parlamentario Confederal de Unidos Podemos-En Comú Podem-En Marea, relativa a la incorporación de España a la iniciativa Coalition S". Boletín oficial de las Cortes Generales, Serie D, n.º 436, p. 22–23. <http://www.congreso.es/public_oficiales/L12/CONG/BOCG/D/BOCG-12-D-435.PDF>. [Consulta: 17/12/2019].

Leiden Manifesto for research metrics (2015). <http://www.leidenmanifesto.org/>. [Consulta: 17/12/2019].

Merlo Vega, J. A. (ed.) (2017). Ecosistemas del acceso abierto. Salamanca: Ediciones Universidad de Salamanca. <https://gredos.usal.es/jspui/bitstream/10366/138566/8/978-84-9012-774-2.pdf>. [Consulta: 17/12/2019].

Piwowar, H.; Priem, J.; Larivière, V.; Alperin, J. P.; Matthias, L.; Norlander, B.; Farley, A.; West, J.; Haustein, S. (2018). "The State of OA: a large-scale analysis of the prevalence and impact of Open Access articles". <https://peerj.com/preprints/3119/>. [Consulta: 13/03/2019].

Sánchez, S.; Melero, R. (2017). "La denominación y el contenido de los repositorios institucionales en acceso abierto: base teórica para la 'Ruta Verde'".
<https://digital.csic.es/handle/10261/1487>. [Consulta: 17/02/2019].

Science Europe (2018). "cOAlition S: Accelerating the transition to full and intermediate Open Access to scientific publications". <https://digitalcommons.unl.edu/scholcom/110/?utm_
source=digitalcommons.unl.edu%2Fscholcom%2F110&utm_medium=PDF&utm_campaign=
PDFCoverPages>. [Consulta: 17/12/2019].

Shneiderman, B. (2008). "Science 2.0". Science, vol. 319, no. 5.868, p. 1349–1350. <http://dx.doi.org/10.1126/science.1153539>. [Consulta: 17/12/2019].

SPARC Europe (2017). "An Analysis of Open Data and Open Science policies in Europe". News, 16th March. <https://sparceurope.org/open-data-open-science-policy-europe/>. [Consulta: 17/12/2019].

Torres, L. A.; Nuñez, L. A.; Torréns, R.; Barrios, E. (2011). "Implementación de un repositorio de datos científicos usando Dspace". Revista de ciencia, educación, innovación y cultura apoyadas por Redes de Tecnología Avanzada, vol. 1, n.o 2, p. 101–117. <http://lagoproject.net/publications/e-colabora.pdf>. [Consulta: 17/12/2019].

Torres-Salinas, D.; Robinson-García, N.; Cabezas-Clavijo, Á. (2012). "Compartir los datos de investigación: introducción al data sharing". El profesional de la información, vol. 21, n.o 2, p. 173–184. <https://digibug.ugr.es/handle/10481/19935>. [Consulta: 17/12/2019].

Vives i Gràcia, J. (2005). "Aspectos de propiedad intelectual en la creación y gestión de repositorios institucionales". El profesional de la información, vol. 15, n.o 4, p. 267–278. <https://upcommons.upc.edu/handle/2117/1621>. [Consulta: 17/12/2019]. 

Wilsdon, J.; Allen, L.; Belfiore, E.; Campbell, P.; Curry, S.; Hill, S.; Jones, R.; Kain, R.; Kerridge, S.; Thelwall, M.; Tinkler, J.; Viney, I.; Wouters, P.; Hill, J.; Johnson, B. (2015). The Metric tide: Report of the independent review of the role of metrics in research assessment and management. London: HEFCE. <https://blogs.lse.ac.uk/impactofsocialsciences/files/2015/07/2015_metrictide.pdf>. [Consulta: 17/12/2019].