La Unió Europea com a cap i garant del sistema d’avaluació i difusió de la producció científica

1 Introducció

La Unió Europea ha de prendre les regnes de l'avaluació de la ciència en el marc d'un sistema integral i unificat que garanteixi l'accés obert i gratuït als treballs generats dins el sistema públic de recerca. Aquest sistema públic és compost pels investigadors d'institucions públiques que generen coneixement que es tradueix en diferents productes, com ara articles, patents, comunicacions o ponències en congressos, etc. A més d'aquestes investigacions, ha de formar part del sistema tota la producció generada per investigacions finançades amb fons públics a escala europea, a escala estatal (dels països membres de la Unió) i a escala de les diferents comunitats autònomes o institucions anàlogues de tota la Unió Europea.

Aquesta és la idea fonamental que intentem desenvolupar en aquest treball —basat en un treball anterior (Caldera, 2018)—, en què es mostra que és necessari un canvi dràstic en la manera d'avaluar la producció científica i en la garantia de l'accessibilitat a aquests continguts. Pot semblar una idea utòpica, si som conscients de la realitat empresarial i de les polítiques científiques que es desenvolupen en molts països. Però, encara que la premissa sigui utòpica, és factible amb la implantació adequada i amb l'estructura pertinent, de tal manera que recuperem la producció científica per als productors de la ciència, els investigadors, i, per extensió, per a la societat en general, la qual ha perdut la capacitat d'accedir a continguts científics que, malgrat això, sí que s'han pagat amb finançament públic.

El que hi ha darrere són dues idees bàsiques, lògiques i interrelacionades: l'"alliberament de la informació" (Vives, 2005) i l'avaluació social i qualitativa de la producció científica fora del model mètric centrat en el factor d'impacte com a mètode d'avaluació de la ciència.

I tot això es planteja amb una òptica i una visió del moviment de l'accés obert (open access), en el qual el concepte obert s'ha d'entendre com a lliure i gratuït, de manera que la difusió, la distribució i l'avaluació de la ciència queden fora dels canals i les estratègies mercantilistes, en el qual l'activitat científica i tecnològica s'emmarca en una activitat que té la finalitat de difondre els seus descobriments (Castells, 2000; 2001).

Repetim la sentència de Torres i altres (2011) que assenyala que "la idea central es que los datos generados por financiamientos públicos son patrimonio de la humanidad y deben estar accesibles y disponibles tan amplia y directamente como se pueda". I davant la confusió dels investigadors que consideren que els resultats de les investigacions són plenament seus i que deixen fora de l'equació el finançament i la procedència de salaris, cal plantejar una normativa i una estructura centralitzades des de la Unió Europea que "cali" i penetri per mitjà del finançament i la legislació en tots els estaments estatals i, per tant, en els autonòmics, per a garantir que el que es genera amb diners públics reverteixi de manera directa en altres investigadors que es financen i cobren amb diners públics.

2 Objecte, objectiu i metodologia

Mentre que l'objectiu del treball és clar i únic, els objectes que s'hi analitzen són certament difusos i variats, des del moment que s'han d'interrelacionar diferents xarxes i subsistemes de gestió, valoració, etc. per a poder proposar un sistema solvent que garanteixi la consecució de les finalitats plantejades.

L'objectiu és presentar un sistema potencial d'avaluació i difusió de l'activitat científica, independentment de formats i suports, generada amb diners públics procedents de qualsevol de les administracions públiques. La Unió Europea o l'organisme propi ha de ser el garant del compliment de les pautes i normes, que són de compliment obligat per a tots els estats membres de la Unió Europea. Prenent com a base la Declaració de San Francisco i, per tant, la idea que el factor d'impacte no pot ser el patró d'avaluació de la ciència —que a més està en mans privades i, per tant, amb els seus interessos privats i especulatius—, atorga el paper primordial als experts que avaluen el contingut dels treballs —i no la font de difusió— i als repositoris institucionals com a eina per a posar a disposició de la societat els continguts generats pel sistema. Resumint encara més l'objectiu, es vol dissenyar una política científica que garanteixi la difusió de la ciència i l'accés als continguts generats amb diners públics, tant pel finançament de projectes com pels salaris dels investigadors.

L'objecte d'aquest treball, per tant, és un entramat de variables que s'han de tenir presents, que van des del mateix objecte d'anàlisi —com ara els articles, les patents, les actes de congrés, etc.— fins a la legislació i les polítiques científiques de la Unió Europea i dels estats membres, passant pel finançament, l'avaluació d'experts, la distribució de continguts per mitjà de la generació d'un repositori, etc. Són tots elements interconnectats en un gran sistema que ha de tenir a la cúspide la Unió Europea, organisme que de moment aposta tímidament per l'accés obert a la ciència.

Per a desenvolupar aquest treball, bàsicament, s'ha dut a terme una revisió bibliogràfica sobre la matèria en estudi, s'ha contactat amb companys i col·legues que tenen una visió crítica de l'avaluació de la ciència i, per descomptat, s'han llegit, i s'ha parlat amb defensors del factor d'impacte com a millor i gairebé únic mètode d'avaluació de la ciència. Així, doncs, aquest treball no és tant una recerca com un estudi sobre l'estat de la qüestió i una proposta de treball i un desenvolupament de la proposta perquè sigui debatuda.

3 Qüestions prèvies

Partim d'una premissa per a nosaltres fonamental i lògica. Independentment de la validesa, la veracitat i la capacitat de descripció de qualitat de les eines que treballen i es lucren amb l'anàlisi i el desenvolupament dels índexs d'impacte, sembla un contrasentit que els investigadors del sistema públic, que estan obligats per l'estructura d'aquest sistema a difondre els continguts de la seva recerca, ho facin en revistes científiques que, amb una freqüència important, pertanyen a les mateixes empreses que generen aquests factors d'impacte. Les institucions del sistema públic, sigui individualment o fins i tot a escala estatal per mitjà del pagament per llicències, han d'abonar grans quantitats de diners per a poder accedir a aquestes revistes, a les quals se cedeixen els drets (sense entrar en el fet que cada vegada més revistes cobren als autors despeses que molt sovint són sufragades per grups de recerca i projectes). En definitiva, al nostre sistema de recerca i d'universitat se li "esmuny" una quantitat important de diners per a publicar en aquestes revistes, per a poder-hi accedir, perquè als professors se'ls avaluï considerant que la qualitat està a publicar en aquestes revistes; per tant, es paga per una relativa visibilitat dels treballs quan el que sufraga totes les despeses és el sistema públic de recerca i d'universitat, sigui amb el pagament dels projectes, el finançament de grups de recerca o, molt especialment, el pagament de salaris.

Una altra premissa, que pot ser encara més controvertida, és que els resultats de la recerca no són propietat en exclusiva del grup de recerca o els autors que els generen. Un autor individual o col·lectiu no hauria de poder fer amb els resultats de recerca fruit de la inversió de diners públics (via salari, projectes, finançament, donació a la institució, etc.) el que li vingués de gust. Per criteris personals, de meritocràcia en molts casos, els autors s'embarquen en uns processos de difusió que fan inaccessibles els resultats de la recerca, fins i tot per a la mateixa institució que ha finançat l'estudi. Algú entendria que una indústria farmacèutica cedís, o encara més, pagués i cedís, els continguts de la seva recerca a una altra indústria farmacèutica? Doncs, salvant les distàncies, aquesta cessió intel·lectual es fa en les revistes amb impacte, ja que, en el cas espanyol, l'ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación) avalua fent prevaldre en gran mesura les revistes presents en índexs de citacions en els criteris d'acreditació de figures contractuals, i el sistema no garanteix altres fórmules per a tenir visibilitat dels continguts de la recerca.

Amb els diners que els diferents membres de la Unió Europea gasten per poder accedir a les eines principals que analitzen els índexs d'impacte es podria considerar que seria viable generar mètriques alternatives de caràcter públic que eliminessin els biaixos empresarials de Clarivate i de Scopus, o que, almenys, puguin semblar imparcials a priori. Fins i tot volem anar una mica més enllà i generar sinergies i formats que superin els factors mètrics com a factor d'avaluació de la ciència, i tornar al sistema públic l'avaluació i atorgar-li el valor de difusor del contingut.

Per tant, en aquest treball apostem per un sistema europeu, una europeïtzació del sistema d'avaluació i difusió de la ciència, un control europeu que garanteixi que els estats membres compleixen uns requisits mínims de distribució pública i gratuïta dels continguts generats, i tot això mantenint paràmetres de qualitat basats en l'avaluació d'experts.

4 Difonent amb la filosofia de l'accés obert

Cada vegada són més les institucions i els investigadors que aposten per la iniciativa de l'accés obert per a difondre el coneixement (Alonso Arévalo, 2015; Merlo Vega, 2017); tant és així que va canviant hàbits de la transmissió de la ciència, encara que amb massa lentitud. Aquesta filosofia es tradueix, en resum, en la publicació en revistes d'accés obert i gratuït, i en la implantació de repositoris accessibles de manera universal (Declaració de Budapest). Encara que les iniciatives i la discussió sobre facilitar en obert la recerca (data sharing) comencen fa un parell de dècades, s'han potenciat amb el concepte d'e-ciència i el desenvolupament digital de la transmissió del coneixement (Shneiderman, 2008).

Autors com Torres-Salinas (2012), Arzberger i altres (2004), i altres tracten dels múltiples avantatges de la difusió del contingut en el marc de l'accés obert, i, sense cap mena de dubte, el factor econòmic és el més important. Aquesta socialització per mitjà de la distribució de la ciència de manera oberta abarateix els costos de l'accés a la informació per part dels investigadors que configuren els sistemes nacionals de recerca i ciència.

La publicació en obert té, bàsicament, un doble vessant: revistes científiques d'encuny digital o les que es reconverteixen dels formats tradicionals, i, a l'empara de la difusió en línia, els repositoris especialment d'institucions públiques com a forma de fer accessibles els continguts de la recerca. El tema de les revistes és complex, perquè mediatitzen l'estudi, igual que existeixen paràmetres relacionats amb l'avaluació dels investigadors que repercuteixen en la seva valoració. Però l'element fonamental que condiciona l'anàlisi assossegada i equidistant de les revistes és la seva relació amb el factor d'impacte (Wilsdon et al., 2015). El tema dels repositoris encara té moltes incògnites per desvetllar, perquè, encara que hi ha experiències de repositoris molt importants i desenvolupades, no són sistemàtiques ni sistèmiques i no existeixen normatives ni legislació que hi atorguin validesa institucional.

Alonso i altres (2008) assenyalen amb claredat que és necessari disposar de polítiques clares d'accés obert, amb una estratègia econòmica, tecnològica i legal, perquè els repositoris tinguin realment el valor que haurien de tenir. La voluntarietat com a fórmula de difusió perquè els continguts científics es visualitzin més, de moment, no té una penetració especial entre la comunitat científica, que continua preferint fonts que estiguin presents en índexs que mesuren l'impacte (la qual cosa es deriva del fet que ens continuïn avaluant per aquests mitjans). La FECYT (Fundación Española para la Ciencia y la Tecnología, 2014) va publicar les recomanacions per a implantar la difusió en accés obert, tenint en compte l'aposta institucional per posar a la disposició de la ciutadania els continguts generats en les recerques. No obstant això, tal com assenyala la major part dels manifests relacionats amb aquesta matèria, i també com més recentment ho fa un grup d'experts de la Comissió Europea (European Commission, 2019), no serà possible la transformació en la difusió de la ciència mentre no tingui lloc un canvi dràstic en l'avaluació dels investigadors.

L'European Research Council (2007) marca les directrius sobre l'accés obert. No obstant això, a la Unió Europea encara no s'ha sistematitzat aquesta filosofia. Cal assenyalar que la mesura plantejada, i que reproduïm a continuació, retalla el temps d'embargament previ a la publicació en obert:

"1. The ERC requires that all peer-reviewed publications from ERC-funded research projects be deposited on publication into an appropriate research repository where available, such as PubMed Central, ArXiv or an institutional repository, and subsequently made Open Access within 6 months of publication.

2. The ERC considers essential that primary data - which in the life sciences for example could comprise data such as nucleotide/protein sequences, macromolecular atomic coordinates and anonymized epidemiological data - are deposited to the relevant databases as soon as possible, preferably immediately after publication and in any case not later than 6 months after the date of publication".

En el marc de l'estandardització de l'accés obert i la preocupació per la difusió que se'n fa, és especialment important la Declaració de San Francisco d'Avaluació de la Recerca (DORA) de l'any 2012, atesa la seva rellevància per a les institucions que la signen, que fan d'aquesta declaració un punt d'inflexió per a molts investigadors i institucions, encara que no tant per als legisladors. En aquesta mateixa línia hi ha el Manifest de Leiden (Leiden Manifesto for research metrics, 2015), en què s'aposta per l'avaluació qualitativa de la ciència per part d'experts, o moviments com el Fair Open Access (2019) o la Declaració de Panamà sobre Ciència Oberta (2018), centrada en l'Amèrica Llatina.

Aquesta declaració posa en dubte, o com a mínim "en embargament", un element que, encara que continua tenint gran preponderància, és qüestionat cada vegada per més veus des de tots els àmbits: el factor d'impacte. És clarament qüestionat com a element determinant per a l'avaluació de la ciència, a més de per la seva finalitat, per l'opacitat i els interessos empresarials que té. Encara que de manera directa no tracta del tema de l'accés obert, sí que sembla deixar entreveure que, quan es perdi la preponderància econòmica en tot aquest procés (els interessos empresarials, revistes científiques de les mateixes companyies que avaluen l'impacte i avaluació institucional), la difusió en obert hi guanyarà molt, ja que deixarà de tenir incentius la publicació en revistes subjectes a la tirania del factor d'impacte, i en la motivació per a triar la font en què es difon la recerca es tindran en compte altres elements diferents dels que actualment manegem.

La Declaració de San Francisco sol·licita que es busquin alternatives, nous indicadors, incideix a aprofitar les oportunitats de la publicació per mitjà de la xarxa i en obert i aposta per la difusió dels treballs sota la llicència Creative Commons Public Domain Dedication.

5 L'estructura del sistema

En un treball anterior (Caldera, 2018), que serveix de germen per a una sèrie de treballs relacionats amb les polítiques d'avaluació i difusió de les ciències en què s'emmarca aquest text, expliquem els principis que entenem que podrien ser la base per a un sistema d'avaluació que corregís la preponderància del factor d'impacte i retornés la informació científica als autèntics propietaris, que entenem que són la societat que paga els projectes i els salaris dels investigadors (n'exceptuem els investigadors de la inversió privada, que tampoc no sol difondre els continguts de les seves recerques per raons òbvies).

Per a això, esbossem un sistema d'avaluació i difusió d'estructura piramidal amb la Unió Europea a la cúspide, la qual cosa exigeix canvis dràstics en la política comuna científica, en els requisits per a sol·licitar finançament de recerca i en la creació normativa i reglamentària d'un sistema que garanteixi que els estats membres estan obligats a seguir aquests paràmetres. Quan a la Unió Europea es comenci a fer política per a difondre d'una altra manera, ens podrem començar a enfrontar a les grans companyies que fan de la ciència una font d'ingressos, un negoci centrat en les investigacions d'uns altres i el pagament per accés als continguts científics. I si ens enfrontem a aquests models de negoci, globalment podrem aconseguir que canviï aquest sistema i apoderarem novament els investigadors i els treballs que fan, i no l'economia de la ciència. Valgui un petit parèntesi per a identificar que en països de l'Amèrica Llatina, que fa poc han començat a patir la invasió colonitzadora d'aquestes empreses, hi ha una clara resistència per part dels investigadors (Declaración de Panamá sobre Ciencia Abierta, 2018); allà són més els legisladors els qui volen canviar el model cap a un sistema que, segons ells, funciona als Estats Units i Europa. Fem servir aquesta resistència com a catapulta per a, juntament amb Europa, tornar a recuperar la ciència com a saber universal, com a patrimoni de tothom, i no corrompre-la amb una visió mercantilista.

Actualment no hi ha una coordinació clara entre els països membres de la Unió Europea en matèria de difusió de la ciència; no obstant això, sí que es poden observar polítiques clares i convergents en alguns països, tal com mostra el document de SPARC Europe (2017), que dona a conèixer els esforços fets per alguns dels països membres de l'eurozona. I la coordinació d'aquestes polítiques és la clau per a poder dur a terme canvis en el sistema de difusió de la ciència, per a la qual cosa s'han d'establir polítiques justes, redistributives, com a mínim amb rang de norma de compliment obligat per als estats que vulguin obtenir finançament. Deixar polítiques científiques al criteri dels països membres es pot traduir en una falta de consens i coordinació, que provocaria grans falles en el potencial sistema integral de difusió i validació de la ciència europea. Per això, s'ha d'entendre que els membres del club europeu han de complir unes normes, i aquestes normes es respectaran si són de compliment obligat per a poder obtenir ajudes i finançament en el terreny del desenvolupament de programes i projectes de recerca.

Gràfic 1. Nivells del sistema europeu de difusió i avaluació de la ciència

Aquest sistema d'avaluació i difusió que presentem no es basa en absolut en el factor d'impacte, per la qual cosa no dedicarem més esforç a desmuntar "el mite" ni a mirar de deslegitimar actuacions d'institucions estatals, com la de l'ANECA. El biaix de les revistes analitzades, els interessos evidents de les empreses que elaboren els estudis mètrics, la cobertura privilegiada del que és anglosaxó, la falta de criteris de qualitat per a identificar-la, els vicis en la citació, les publicacions amb polítiques orientades només a pujar-lo, els camps temàtics fora de l'interès de les empreses per a tenir cicles de citació molt diferents, l'eliminació intel·lectual de camps amb pocs investigadors, els efectes perversos de la citació com l'efecte Mateo, a més de problemes tècnics i ètics, fan del factor d'impacte un element molt fet servir per a fer política científica però poc fiable i poc recomanable.

A Caldera (2018) s'analitza breument l'estructura del sistema. Ens trobem amb un sistema amb quatre nivells d'entrada de treballs de recerca, tots amb nivells d'obligatorietat i escalabilitat que depenen de les estructures de finançament de la ciència generada.

Com es pot observar en la piràmide que mostra el sistema, hi ha quatre nivells diferents. El més baix, i, per tant, el més important, ja que garanteix la difusió i l'accessibilitat d'aquests continguts, és el generat i mantingut per les institucions investigadores que són enquadrades en el marc d'una estructura menor dins de l'estat. Amb això ens referim a institucions que, en el cas espanyol, són finançades per les comunitats autònomes i emmarcades en aquestes (amb la resta dels països de la Unió caldria fer l'extrapolació territorial). Aquestes institucions són les finançades per la regió, comunitat autònoma, etc., que bàsicament són centres de recerca propis i universitats. Aquesta unitat ha d'implantar un catàleg amb les institucions generadores de recerca finançades per aquesta administració, en el qual se les obliga a generar un repositori institucional al qual s'aboquin totes les publicacions generades pel seu personal en el transcurs de les seves funcions de recerca. Repetim: tots els treballs generats, publicats en altres fonts o no.

Ho exemplifiquem amb la universitat. Tots els treballs generats per professors, becaris de recerca, etc. s'han de remetre a la institució perquè aquesta els difongui en l'eina que es consideri adequada (apostem per repositoris); això no impedeix ni implica que més endavant l'investigador no pugui cercar alternatives de difusió dels seus treballs, però d'aquesta manera garantim que els treballs portats a terme per investigadors del sector públic es difonguin gratuïtament. Això representarà una gran revolució de visibilitat i especialment d'accessibilitat universal dels continguts.

En els casos que la mateixa administració tingui centres de recerca, s'hauran de generar repositoris per a cadascun dels centres, amb la qual cosa es generarà una autèntica xarxa regional de recerca i ciència.

Queden excloses de l'ingrés en aquesta part del sistema les publicacions que estiguin o hagin d'estar en altres parts superiors del sistema; és a dir, es busca la difusió, però no la duplicació.

Des d'aquest nivell d'entrada bàsic i obligatori s'ha de poder accedir, després de sol·licitar-ho, al primer nivell del sistema, que ha de ser el sistema regional. Dins d'aquest sistema són obligats a enviar els seus treballs tots els investigadors que hagin finançat aquests treballs per mitjà de programes públics. Aquests han de remetre els resultats, independentment del tipus de format de difusió (llibre, article, informe), al repositori institucional autonòmic, que determinarà el seu valor per a integrar-se en aquest repositori o "baixar-lo" al subsistema inferior. Per tant, independentment de la validesa, ha de continuar estant disponible per a tots els investigadors.

L'avaluació ha de ser duta a terme per experts, que han d'haver estat seleccionats per la rellevància que tenen en la disciplina (segurament tota la tasca d'anàlisi i valoració dels treballs s'ha de fer en treballs posteriors, perquè l'avaluació varia segons les àrees temàtiques i les disciplines científiques).

Igual que en el nivell anterior, i com veurem en el posterior, els investigadors poden sol·licitar la pujada al nivell estatal.

El segon nivell, l'estatal, ha de contenir treballs que siguin resultat de projectes estatals de recerca, com també els que provinguin dels nivells inferiors del sistema. I la forma d'avaluació ha de ser idèntica a l'anterior, l'avaluació d'experts.

I el darrer nivell, el més alt i en el qual ens detindrem, és el de la Unió Europea, en el qual s'han d'integrar els continguts generats pels projectes finançats per la Unió Europea i els treballs que provenen de nivells inferiors, en aquest cas de l'estatal.

Com es pot veure, el sistema incorpora la possibilitat d'escalabilitat i millora en els nivells de visibilitat a força d'anar superant proves i anàlisis que van validant la qualitat de la producció científica. S'han de generar normatives i procediments perquè la gran quantitat d'informació generada per la ciència disposi de mecanismes àgils, útils i garantistes per a avaluar-la.

Es posa l'èmfasi a difondre la ciència generada, cosa que amb aquesta filosofia és absolutament garantida, i a buscar mètodes derivats de l'escalabilitat del sistema per a determinar la qualitat dels treballs, qualitat necessària per a discriminar el valor dels resultats obtinguts.

A més, per a aconseguir aquest objectiu, és necessari que es modifiqui la legislació perquè obligui els investigadors a haver de lliurar les seves investigacions. La normativa i la legislació, a més, han de garantir una avaluació justa dels treballs, amb recompenses concordes amb l'esforç fet i el valor de la recerca.

No ignorem la gran quantitat d'informació que es genera en el sistema de ciència i tecnologia a Europa, i la gran quantitat de recursos i treballs que implicaria desenvolupar aquest sistema; no obstant això, pensem que l'estalvi en l'accés als continguts científics i el fet de garantir la difusió de la ciència i l'accés a aquesta mereixen l'esforç estructural i econòmic (una qüestió diferent són les tensions i pressions per part dels lobbies editorials en tots els aspectes).

Per això, apostem pel fet que, a més de potenciar l'avaluació d'experts com a figura més rellevant per a la presa de decisions, aquests puguin fer servir eines de validació dels resultats.

6 Unió Europea: el cap normatiu i estructural del sistema

Sense entrar en la importància i els errors històrics de la Unió Europea, que tots tenim presents, sembla creïble entendre-la com un element fonamental i primordial en ciència i tecnologia en el panorama internacional, com a forma de desenvolupament i de confrontació a les polítiques científiques monopolistes dels Estats Units. La Unió Europea en Ciència i Tecnologia ha millorat i desenvolupat el sistema dels països membres i els ha fet molt més competitius per mitjà de la col·laboració internacional.

La esió Europea (2016), en el seu document sobre recerca i innovació, destaca que la Unió Europea és el principal proveïdor mundial de coneixement científic, el qual representa un total d'un terç de la producció científica, i ha provocat que molts àmbits científics, entre els quals destaquen el medi ambient i les energies renovables, s'hagin convertit en temes fonamentals en el panorama investigador. No obstant això, la competència mundial és com més va més gran en l'àmbit de la producció, per la qual cosa des de la Unió Europea es potencia que les idees i els projectes innovadors es transformin en productes tangibles, normalment en publicacions científiques.

El programa Horitzó 2020 potencia la innovació mitjançant l'excel·lència investigadora, i en el període 2014—2020 va invertir 77.000 milions d'euros en projectes de recerca i d'innovació. Per tant, la Unió Europea entén que la recerca és un eix estratègic.

En el seu document sobre la recerca oberta, la Comissió Europea (2016) assenyala que hi ha tres prioritats estratègiques en el marc de l'important canvi en què està submergida la ciència i la seva relació amb les empreses i amb la societat.

1. Innovació oberta: s'entén com a prioritari crear un marc normatiu per a facilitar i garantir que les empreses també tinguin accés al capital de risc per a generar projectes d'innovació i recerca.

2. La ciència oberta ens presenta un nou tractament en el procés científic, centrat en la cooperació i en la difusió del coneixement mitjançant mètodes ràpids i oberts, una vegada desenvolupades les tecnologies digitals que el potencien. La Comissió preveu crear pròximament "una Nube Europea de la Ciencia Abierta, que ofrecerá a los 1,7 millones de investigadores y los 70 millones de profesionales de la ciencia y la tecnología europeos un entorno virtual para conservar, compartir y reutilizar sus datos entre países y disciplinas" (Comisión Europea, 2016), amb la implantació de xarxes de banda ampla i la infraestructura europea de dades, que desenvoluparà supercomputadors per a generar i emmagatzemar gran quantitat de dades.

3. Obertura al món: es planteja la "diplomàcia de la ciència", la cooperació entre investigadors i entre països, la limitació dels problemes per a dur a terme una autèntica xarxa de recerca entre els països de la Unió Europea i també amb altres àrees geogràfiques del planeta.

Encara que actualment la Unió Europea té el programa Horitzó 2020 —i ja es planteja substituir-lo per un altre programa nou—, el desenvolupament de la ciència comença en la dècada dels cinquanta del segle passat amb el Tractat de la Comunitat Europea del Carbó i de l'Acer (CECA) i el Tractat constitutiu de la Comunitat Europea de l'Energia Atòmica (Euratom) el 1958, que recullen diferents disposicions per al desenvolupament de les ciències en aquestes disciplines.

Després, l'any 1957, el Tractat constitutiu de la Comunitat Econòmica Europea (CEE), germen de la Unió Europea, dona lloc a programes de recerca en diferents disciplines, bàsicament en energia, medi ambient i biotecnologia.

Saltem al 1983, any en què trobem un programa estratègic europeu de recerca en l'àmbit de les tecnologies de la informació i la comunicació i la transferència tecnològica. Un any més tard s'estableix el primer programa marc de recerca, centrat en biotecnologia, telecomunicacions i tecnologia industrial.

Però el canvi legislatiu fonamental es duu a terme en la dècada dels vuitanta, en el qual la recerca passa a ser una política comunitària, amb un capítol específic en l'Acta de la Unió Europea, amb l'objectiu d'enfortir les bases científiques i tecnològiques de la indústria europea i afavorir la competitivitat internacional.

No serà fins a l'any 2000 quan la Unió Europea acordarà crear l'espai europeu de recerca, espai unificat, obert al món i centrat en el fet que tant els investigadors com les investigacions es puguin transferir i mobilitzar lliurement dins la Unió.

L'any 2007 es crea el Consell Europeu de la Recerca en la conjuntura del Setè Programa Marc de Recerca i Desenvolupament Tecnològic (7PM) amb la finalitat de buscar l'excel·lència científica. Un any més tard es funda l'Institut Europeu d'Innovació i Tecnologia, amb seu a Budapest, amb la finalitat d'integrar en una mateixa institució el "triangle del coneixement" (ensenyament superior, recerca i empresa), que comença a funcionar el 2010.

Tal com hem assenyalat, l'any 2014 s'engega el programa marc de recerca i innovació de la Unió Europea Horitzó 2020, amb diferència, el programa més ambiciós de la Unió fins ara. Orientat a l'excel·lència científica, és dotat amb 77.000 milions d'euros, i se centra a transferir el coneixement a la societat (del laboratori al mercat). La finalitat última del programa és el creixement econòmic dels països de la Unió per mitjà del manteniment de la ciència i la tecnologia europea en la primera línia mundial, orientant el finançament als tres pilars fonamentals (segons la Unió Europea), és a saber: excel·lència científica, lideratge industrial i reptes socials.

Horitzó 2020 no se centra tant en temes com en reptes socials, que serien la salut, el medi ambient, el transport, etc. El programa treballa en set grans reptes: salut i benestar; seguretat alimentària i ús sostenible dels recursos biològics; energia sostenible; transport; clima; inclusió i seguretat. Sobre la inclusió, es focalitza a reduir les desigualtats i l'exclusió social. Desenvolupa la recerca amb principis de pluridisciplinarietat, i inclou les molt oblidades ciències socials i humanitats, i també vol consolidar la "base fàctica de l'elaboració de política" en els seus nivells tant internacional a Europa com estatal en el marc dels diferents països que la componen.

Pel que fa a la difusió dels continguts, des de la creació de l'espai europeu de recerca únic, que potencia la relació i la cooperació transfronterera, es vol que hi hagi més relació i difusió dels resultats de recerca. Encara que la relació d'Horitzó 2020 amb la inversió i la repercussió privada és clara de cap a cap dels diferents documents generats, sí que es vol potenciar la cooperació internacional per a crear productes viables i comercialitzables, fins i tot amb països que no són membres de la Unió Europea.

L'aposta de la Comissió Europea per l'accés obert és antiga. Des del 2006 es postula amb aquesta fórmula de difusió, tant que un any més tard es va presentar a la Comissió la petició per a garantir l'accés lliure i gratuït als resultats dels projectes finançats amb fons europeus.

L'any 2010 la Comissió finança el projecte OpenAIRE (Infraestructura d'Accés Obert per a la Recerca a Europa), que dona suport a la implantació de l'accés obert. Aquest programa garanteix, almenys teòricament, que la informació generada pel Setè Programa Marc de Recerca i Desenvolupament Tecnològic estigui a disposició de tots els investigadors.

La Comissió Europea (2012; 2018) vol potenciar la difusió científica generada a Europa, garantint l'accessibilitat al que es genera amb diners públics, tant per al Setè Programa Marc de Recerca i Desenvolupament Tecnològic com per a Horitzó 2020.

El Pla S (Science Europe, 2019), també amb el suport de la Comissió Europea, tracta de manera clara la necessitat de potenciar l'accessibilitat dels continguts, per a la qual cosa s'ha d'accelerar el procés de transició cap a un nou model d'accés obert. Espanya, després de la presentació d'una proposició no de llei del Grupo Parlamentario Confederal de Unidos Podemos-En Comú Podem-En Marea (2018), s'ha integrat en aquesta coalició que es marca l'any 2020 per a generar les eines necessàries per a facilitar els treballs científics amb finançament públic, per mitjà de diferents instruments.

Per a generar aquest mètode de treball s'hauria de disposar, en primer lloc, d'acords polítics que consensuïn normatives i unifiquin sistemes de treball per a la ciència. Aquesta tasca és molt lluny del consens a la Unió Europea, que és conscient, a més, de les moltes limitacions competencials que té. Malgrat això, és necessari generar sinergies entre els grups amb la finalitat de garantir que aquest canvi dràstic en l'avaluació i la difusió de la ciència tingui en primer lloc una aposta política i normativa i, darrere, l'ajuda pressupostària per a poder-la dur a terme en els termes plantejats.

Queda evidenciada ja l'aposta pel fet que qualsevol tipus de producte generat pels projectes finançats per la Unió Europea s'ha de cedir a la Unió Europea, amb la finalitat que la institució el pugui posar a la disposició de tota la societat per mitjà del repositori institucional, públic, gratuït i accessible, per la qual cosa cal generar normatives que obliguin, i alhora la incentivin, a aquesta transferència de productes científics; per tant, cal apostar per la via daurada, en la qual l'autor pot arribar a pagar per la publicació, o per la via verda, que, encara que és més ràpida, pot no tenir avaluació prèvia (Sánchez; Melero, 2017; Delgado López-Cozar, 2018). Piwowar i altres (2018) expliquen les característiques de les principals formes de publicació i identifiquen cinc rutes per a arribar a l'accés obert: verda, daurada, de bronze, híbrida i diamant. Entenem que la via diamant (diamond access) intenta solucionar els inconvenients de les anteriors, ja que copia de la via daurada la revisió d'experts, però no els costos, i de la via verda la gratuïtat del sistema. No obstant això, la via verda pot implicar en alguns casos l'avaluació d'experts, malgrat que no sempre es produeix, per la qual cosa des d'aquí optem per aquesta via que garanteix la qualitat de la publicació i la gratuïtat del sistema. Ara bé, el sistema no surt en cap cas a cost zero. Encara que els editors, revisors, etc. facin la seva tasca en el sistema per la millora i l'avenç de la ciència, caldrà una inversió per a mantenir el sistema, des del punt de vista computacional i de sostenibilitat. Aquest cost, entenem i defensem, ha de venir des del finançament públic, tant des de la Unió Europea com des d'altres parts del sistema (estatal, nacional, autonòmic, institucional, etc.). Suportar aquestes despeses s'ha d'assumir com a quota per al manteniment del sistema de ciència, i es podrà treure dels grans costos que actualment tenen els sistemes per la publicació i l'accés als continguts.

Tenint present que la Unió Europea no pot associar l'avaluació i la difusió a projectes concrets com Horitzó, o els que vinguin, s'aposta des d'aquest treball per crear un Sistema Europeu de Repositoris de Difusió i Avaluació de l'Activitat Científica (SERDEAC), organisme que ha de dependre del Consell i l'estructura del qual ha de penjar dels organismes que regulen la recerca, amb la finalitat de fer possibles les polítiques de difusió i transferència dels resultats i l'avaluació de la recerca en el marc de tot el sistema.

També des d'aquest organisme s'ha de potenciar la creació de les estructures per als estats membres de la Unió, donant suport tant tecnològic com econòmic a la seva implantació, de tal manera que els estats puguin continuar desenvolupant el sistema de difusió i avaluació en el seu marc competencial.

Podem determinar mòduls o facetes en el sistema plantejat; tots s'han d'implantar en ordre seqüencial, però amb reciprocitat entre ells una vegada establerts. Són els següents:

Entrada de la informació. És responsabilitat dels mateixos investigadors el reenviament del material, sigui publicat en una altra revista (per descomptat, que atorgui l'opció de difondre'l) o directament atenent a les normes del repositori. L'enviament s'ha de fer, per tant, d'acord amb les prioritats que tingui l'investigador, ja que ha de tenir l'opció d'enviar el material a les publicacions que consideri oportunes. Això no obstant, aquest element ha de ser tingut en compte pels avaluadors per a decidir si el treball té el nivell suficient per a quedar-se en el màxim nivell del sistema (SERDEAC), encara que ha de ser l'anàlisi del contingut el que validi la qualitat. L'autor té l'opció d'enviar-lo a altres fonts com ara una revista, tot i que està obligat a redirigir-lo al sistema, que és el màxim responsable per a determinar la qualitat del treball. Tot treball generat per projectes finançats per la Unió Europea s'ha de remetre al sistema, sigui en forma d'article científic, patent, acta de congrés o directament com a "literatura grisa".

Determinació de la qualitat. Una vegada incorporat el treball, s'ha de remetre a les comissions que, per àrees de coneixement, han de decidir quina subdisciplina ha d'avaluar el treball. Aquestes subàrees o subdisciplines han de ser les millors coneixedores de les temàtiques, per la qual cosa s'ha de remetre als experts (dos o més) per a determinar la validesa del treball. Com en l'avaluació, aquests revisors han de determinar si el treball té prou validesa per a incloure's en el primer nivell i l'han de remetre amb observacions als nivells inferiors (estatals) si ho consideren oportú. Si s'observen avaluacions positives, s'ha d'incorporar automàticament al sistema i des d'aquest moment s'hi podrà accedir i es difondrà pels canals d'informació que generarà el sistema (mètodes de comunicació variats i actuals, que han de tendir a aconseguir la màxima visibilitat i penetració dels treballs).

Cal una estructura piramidal amb especialistes de les diferents àrees del coneixement que pugui remetre i avaluar els treballs acceptats. Sense cap mena de dubte, l'escalabilitat del sistema i l'avaluació constant dels treballs per a pujar o baixar en el nivell pot implicar problemes derivats de la tardança a contestar, tenint en compte la gran producció que hi ha en tota la Unió Europea. No obstant això, s'hauria de garantir la contesta i, per tant, la introducció en un repositori per a la entrada en el sistema en menys de sis mesos des de la recepció o la publicació del treball, perquè així estigui clarament disponible per a tota la comunitat investigadora. La procedència dels treballs han de ser bàsicament els programes finançats d'Horitzó 2020, tot i que també s'hi han d'incloure els treballs procedents de les institucions de recerca que tingui o puguin ser creats per la Unió Europea.

Cap del sistema. Tal com hem assenyalat en descriure el sistema, la responsabilitat d'aquest ha d'estar en mans de la Unió Europea, específicament, en la institució creada i finançada per a això. Des d'aquesta institució s'han de solucionar els problemes en la implantació del sistema en els diferents estats membres, i se n'ha de garantir el bon funcionament, condició sine qua non perquè la Unió Europea continuï finançant la ciència als diferents països.

7 Conclusions

A manera de resum del contingut del treball, es vol destacar una sèrie de factors importants que s'han de tenir en compte per a canviar de visió i d'acció en matèria de difusió i avaluació de la ciència.

En primer lloc, no podem mantenir el sistema actual. Que els resultats de la recerca finançada amb diners públics —sigui per al pagament de salaris o de projectes de recerca— siguin transferits a publicacions privades, i en molts casos de pagament, no té cap sentit. Els investigadors hem de revertir el contingut dels nostres treballs en la societat que ens paga, que ens finança i que hauria de ser l'epicentre dels nostres treballs, més enllà d'interessos particulars.

Cal incidir, en segon lloc, en el fet que no és possible mantenir un sistema d'avaluació basat en el factor d'impacte si el que volem és democratitzar i socialitzar els resultats de recerca, per la qual cosa s'han de buscar mètodes alternatius per a aquesta avaluació, i en el fet que l'avaluació d'experts, que encara es continua utilitzant, és la millor opció. Una sentència recent obliga la Comisión Nacional de Evaluación de la Actividad Investigadora (CNEAI), que depèn de l'ANECA, a tenir en compte també el contingut dels treballs, i no solament les fonts de publicació ni l'índex d'impacte d'aquesta, és a dir, deixa molt clar que s'ha d'analitzar el contingut. El Grupo Parlamentario Confederal de Unidos Podemos-En Comú Podem-En Marea (2017) va presentar una proposició no de llei amb la finalitat d'adaptar l'ANECA pel que fa a l'avaluació qualitativa i apostar per la difusió en obert de la ciència; però aquesta proposició no de llei no va prosperar.

El tercer element que unim als altres dos és la Unió Europea. Davant un sistema mercantilitzat, amb interessos de la indústria editorial i d'empreses anglosaxones, en el qual preval l'avaluació de caràcter mètric i quantitatiu, considerem que la Unió Europea ha de ser la garant de la difusió dels continguts generats amb diners públics en tots els nivells governamentals, que és des de la Unió Europea des d'on s'han de marcar pautes, normatives i polítiques perquè es pugui portar a terme aquest canvi de paradigma i de model, i que ha de lluitar contra la resistència que es tindrà tant dels estats membres com dels grups de pressió de l'àmbit de l'edició.

En quart lloc, cal assenyalar que la Unió Europea hauria de crear una entitat com a cap del sistema i garant d'aquest, un organisme que, a més, hauria de tenir la capacitat de generar sinergies amb els diferents projectes europeus per a garantir l'accés als continguts. A aquest sistema l'anomenem Sistema Europeu de Repositoris de Difusió i Avaluació de l'Activitat Científica (SERDEAC).

La implantació i el desenvolupament d'aquest repositori ha de garantir la difusió de tots els continguts generats amb finançament de la Unió Europea, perquè serà obligatori lliurar els resultats de la recerca, la qual cosa ha de quedar palesa en les normatives de finançament i subvenció de caràcter públic (en diferents nivells). No tot document generat es pot integrar en aquest nivell del repositori, sinó que ha de ser avaluat pel mètode tradicional d'avaluació de la qualitat: avaluació d'experts.

El sistema ha d'estar organitzat per investigadors de prestigi reconegut, i és des d'aquí des d'on s'ha de determinar qui durà a terme l'avaluació dels treballs i com, de manera independent i professional, tot i que sempre tenint en compte el contingut del treball com a primer element que s'ha de tenir en consideració.

Cal incidir en l'escalabilitat del sistema proposat, de tal manera que qualsevol treball ha de poder pujar en els nivells de repositoris, atenent sempre al nivell determinat pels avaluadors o experts.

Encara que el sistema pot ser inicialment complex per l'estructura necessària per a analitzar els treballs rebuts, des de la Unió Europea s'ha de garantir l'accés universal a la recerca generada amb diners públics. Aquest model té dos avantatges principals: a) tots els documents generats amb diners públics han d'estar disponibles en repositoris públics de recerca, b) l'avaluació de la ciència ha de ser pública i oberta, lluny del factor d'impacte com a patró per a mesurar la qualitat i, per tant, lluny dels interessos mercantilistes; s'ha de tornar a l'anàlisi de contingut per a avaluar la qualitat i no s'han de fer servir factors exògens a aquest.

Reconeixements

Aquest treball ha estat finançat pel Gobierno de Extremadura (Consejería de Educación, Ciencia y Tecnología) i el Fons Social Europeu, en el pla de suport a les actuacions dels grups de recerca inscrits en el Catálogo de la Junta de Extremadura (GR10019).

Bibliografia

Alonso, B.; Valladares, F. (2006). "Bases de datos y metadatos en ecología: compartir para investigar en cambio global". Ecosistemas, vol. 15, n.o 2, p. 83–88. <https://revistaecosistemas.net/index.php/ecosistemas/article/viewFile/510/486>. [Consulta: 17/12/2019].

Alonso Arévalo, J. (2015). Un viaje a la cultura open. Salamanca: Ediciones Universo.

Alonso Arévalo, J.; Subirats, I.; Martínez Conde, M. L. (2008). Informe APEI sobre acceso abierto. Gijón: Asociación Profesional de Especialistas en Información. <http://eprints.rclis.org/12507/>. [Consulta: 17/12/2019].

Arzberger, P.; Schroedes, P.; Beaulieu, A.; Bowker, G.; Casey, K.; Laaksonen, L.; Moorman, D.; Uhlir, P.; Wouters, P. (2004). "An International framework to promote Access to data". Science, vol. 303, no. 5.665, p. 1.777–1.778.

Caldera Serrano, J. (2018). "Repositorios públicos frente a la mercantilización de la Ciencia: apostando por la ciencia abierta y la evaluación cualitativa". Métodos de información, vol. 9, n.o 17, p. 74–101. <https://www.metodosdeinformacion.es/mei/index.php/mei/article/view/IIMEI9-N17-074101/977>. [Consulta: 17/12/2019].

Castells, M. (2000). The Rise of the Network Society. Cambridge: Blackwell Publishers.

— (2001). The internet Galaxy. Oxford: Oxford University Press.

Comisión Europea (2012). "Dictamen del Comité Económico y Social Europeo sobre la Comunicación   de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones — Hacia un mejor acceso a la información científica: impulsar los beneficios de las inversiones públicas en investigación [COM(2012) 401 final]". Diario Oficial de la Unión Europea, C 76. <https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52012AE2282&from=EN>. [Consulta: 17/12/2019].  

— (2016). Investigación e innovación: Comprender las políticas de la Unión Europea. Traspasar límites y mejorar la calidad de vida. Luxemburgo: Oficina de Publicaciones de la Unión Europea. <http://publications.europa.eu/resource/cellar/ba202c94-aa5d-11e6-aab7-01aa75ed71a1.
0021.03/DOC_1>. [Consulta: 17/12/2019].  

— (2018). "Recomendación (UE) 2018/790 de 25 de abril de 2018 relativa al acceso a la información científica y a su preservación". Diario Oficial de la Unión Europea, L 194. <https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:32018H0790&from=EN>. [Consulta: 17/12/2019].  

Declaración de Panamá sobre Ciencia Abierta (2018). <https://stats.karisma.org.co/descargar/declaracion-de-panama/>. [Consulta: 17/12/2019]. 

Declaración de San Francisco de Evaluación de la Investigación: poniendo ciencia en la evaluación de la investigación [DORA: Declaration on Research Assessment] (2012). <http://blogs.ujaen.es/cienciabuja/wp-content/uploads/2013/10/dora.pdf>. [Consulta: 17/12/2019].

Delgado López-Cozar, E. (2018). "De la ruta de oro a la ruta verde de la comunicación científica: negocio editorial y bibliométrico, publicación libre, acceso abierto, evaluación total e individualizada". <http://digibug.ugr.es/handle/10481/53696>. [Consulta: 17/12/2019]. 

European Commission (2019). Future of scholarly publishing and scholarly communication: Report of the Expert Group to the European Commission. Luxembourg: Publications Office of the European Union. <https://publications.europa.eu/en/publication-detail/-/publication/464477b3-2559-11e9-8d04-01aa75ed71a1>. [Consulta: 17/12/2019].

European Research Council (2007). ERC Scientific Council guidelines for Open Access. <https://recolecta.fecyt.es/sites/default/files/contenido/documentos/erc_scc_guidelines_open_
access.pdf>. [Consulta: 17/12/2019].

Fair Open Access Alliance (2019). <https://www.fairopenaccess.org>. [Consulta: 17/12/2019].

Fundación Española para la Ciencia y la Tecnología [FECYT] (2014). Recomendaciones para la implementación del artículo 37 Difusión en Acceso Abierto de la Ley de la Ciencia, la Tecnología y la Innovación. Madrid: FECYT. <https://www.fecyt.es/es/publicacion/recomendaciones-para-la-implementacion-del-articulo-37-difusion-en-acceso-abierto-de-la>. [Consulta: 17/12/2019].

Grupo Parlamentario Confederal de Unidos Podemos-En Comú Podem-En Marea (2017). "162/000450 Proposición no de Ley presentada por el Grupo Parlamentario Confederal de Unidos Podemos-En Comú Podem-En Marea, relativa al actual sistema de evaluación y acreditación del profesorado universitario por la ANECA (Agencia Nacional de Evaluación de la Calidad y la Acreditación)". Boletín oficial de las Cortes Generales, Serie D, n.º 435, p. 27–31.
<http://www.congreso.es/public_oficiales/L12/CONG/BOCG/D/BOCG-12-D-204.PDF#page=27>. [Consulta: 17/12/2019].

— (2018). "163/000824 Proposición no de Ley presentada por el Grupo Parlamentario Confederal de Unidos Podemos-En Comú Podem-En Marea, relativa a la incorporación de España a la iniciativa Coalition S". Boletín oficial de las Cortes Generales, Serie D, n.º 436, p. 22–23. <http://www.congreso.es/public_oficiales/L12/CONG/BOCG/D/BOCG-12-D-435.PDF>. [Consulta: 17/12/2019].

Leiden Manifesto for research metrics (2015). <http://www.leidenmanifesto.org/>. [Consulta: 17/12/2019].

Merlo Vega, J. A. (ed.) (2017). Ecosistemas del acceso abierto. Salamanca: Ediciones Universidad de Salamanca. <https://gredos.usal.es/jspui/bitstream/10366/138566/8/978-84-9012-774-2.pdf>. [Consulta: 17/12/2019].

Piwowar, H.; Priem, J.; Larivière, V.; Alperin, J. P.; Matthias, L.; Norlander, B.; Farley, A.; West, J.; Haustein, S. (2018). "The State of OA: a large-scale analysis of the prevalence and impact of Open Access articles". <https://peerj.com/preprints/3119/>. [Consulta: 13/03/2019].

Sánchez, S.; Melero, R. (2017). "La denominación y el contenido de los repositorios institucionales en acceso abierto: base teórica para la 'Ruta Verde'".
<https://digital.csic.es/handle/10261/1487>. [Consulta: 17/02/2019].

Science Europe (2018). "cOAlition S: Accelerating the transition to full and intermediate Open Access to scientific publications". <https://digitalcommons.unl.edu/scholcom/110/?utm_
source=digitalcommons.unl.edu%2Fscholcom%2F110&utm_medium=PDF&utm_campaign=
PDFCoverPages>. [Consulta: 17/12/2019].

Shneiderman, B. (2008). "Science 2.0". Science, vol. 319, no. 5.868, p. 1349–1350. <http://dx.doi.org/10.1126/science.1153539>. [Consulta: 17/12/2019].

SPARC Europe (2017). "An Analysis of Open Data and Open Science policies in Europe". News, 16th March. <https://sparceurope.org/open-data-open-science-policy-europe/>. [Consulta: 17/12/2019].

Torres, L. A.; Nuñez, L. A.; Torréns, R.; Barrios, E. (2011). "Implementación de un repositorio de datos científicos usando Dspace". Revista de ciencia, educación, innovación y cultura apoyadas por Redes de Tecnología Avanzada, vol. 1, n.o 2, p. 101–117. <http://lagoproject.net/publications/e-colabora.pdf>. [Consulta: 17/12/2019].

Torres-Salinas, D.; Robinson-García, N.; Cabezas-Clavijo, Á. (2012). "Compartir los datos de investigación: introducción al data sharing". El profesional de la información, vol. 21, n.o 2, p. 173–184. <https://digibug.ugr.es/handle/10481/19935>. [Consulta: 17/12/2019].

Vives i Gràcia, J. (2005). "Aspectos de propiedad intelectual en la creación y gestión de repositorios institucionales". El profesional de la información, vol. 15, n.o 4, p. 267–278. <https://upcommons.upc.edu/handle/2117/1621>. [Consulta: 17/12/2019]. 

Wilsdon, J.; Allen, L.; Belfiore, E.; Campbell, P.; Curry, S.; Hill, S.; Jones, R.; Kain, R.; Kerridge, S.; Thelwall, M.; Tinkler, J.; Viney, I.; Wouters, P.; Hill, J.; Johnson, B. (2015). The Metric tide: Report of the independent review of the role of metrics in research assessment and management. London: HEFCE. <https://blogs.lse.ac.uk/impactofsocialsciences/files/2015/07/2015_metrictide.pdf>. [Consulta: 17/12/2019].