L'avaluació de la recerca en comunitats locals i professionals

 

Assistim al naixement d'un nou paradigma en la comunicació científica, provocat per elements com l'impacte de les TIC, l'explosió de la informació, la ciència oberta per una banda, i per altra banda per expectatives creixents que la recerca sigui socialment responsable i es comuniqui amb àmbits professionals per a contribuir al benestar. I, d'altra banda, des del punt de la vista de l'avaluació, s'observa un ús creixent d'indicadors d'acord amb una major accessibilitat de dades i demandes des de la gestió. En aquest context, ens podem preguntar si —i com— el naixement d'un nou sistema de comunicació científica és paral·lel a l'aparició d'un nou sistema de valoració i d'avaluació de la recerca, en especial per als àmbits local i professional.

Des de fa un parell de dècades, conceptes com excel·lència i visibilitat internacional han dominat els criteris de selecció en la publicació i la gestió de la recerca (Vessuri [et al.],2014). La idea imperant ha estat que tant la ciència com les revistes científiques estan organitzades (com les competicions esportives) en estrats de menys a més qualitat, en què les revistes  internacionals publiquen els estudis més importants. Aquesta dinàmica de gestió quantitativa és congruent amb les demandes de gestió eficient i rigorosa que es van estendre en molts àmbits de l'Administració pública des dels anys vuitanta a partir del marc conceptual de la nova gestió pública (New Public Management). Els indicadors bibliomètrics de producció i citacions aparentment permeten una auditoria de la recerca en termes d'eficiència que casa bé amb l'hegemonia de nocions de gestió privada del que s'ha anomenat la societat de l'auditoria (Strathern, 2000) o societat de l'avaluació (Dahler-Larsen, 2011). Segons Gläser i Laudel (2007), l'ús més gran d'indicadors ha vingut donat per tres factors: (i) el creixement de finançament competitiu, que ha generat una gran demanda de revisions, per la qual cosa es prioritza un mètode ràpid i barat (els indicadors) a un de més lent i car (revisió per experts); (ii) la percepció d'objectivitat dels indicadors, que els atorga legitimat per a la presa de decisions, en particular en països on hi ha poca confiança (Ràfols [et al.], 2016); (iii) la impressió d'accessibilitat i facilitat d'ús dels indicadors per parts dels decisors.

Tanmateix, els darrers anys hi hagut crítiques creixents a aquesta perspectiva de l'avaluació focalitzada en indicadors i a la seva retòrica universalista que associa visibilitat internacional amb qualitat. Els indicadors no són neutres, sinó que són eines de governança amb efectes performatius, és a dir, que transformen el sistema observat d'acord amb els valors que mesuren (Rottenburg i Merry, 2014). En especial, els efectes són un "desplaçament d'objectius" i una "reducció de tasques" vers aquelles activitats que són capturades pels indicadors (Rijcke [et al.], 2016). S'han fet observacions de dues grans conseqüències de l'ús d'indicadors bibliomètrics convencionals. En primer lloc, els indicadors convencionals, focalitzats en l'"excel·lència", es basen —i la fomenten— en una visió elitista de la ciència que privilegia la recerca disciplinària i pot discriminar estudis de qualitat que són importants des del punt de vista de la recerca socialment responsable però que no tenen reconeixement global (Stilgoe, 2014; Bianco [et al.], 2016). En segon lloc, afavoreixen els temes dels països dominants en ciència i marginen recerca sobre altres temes i en llengües no angleses (Chavarro [et al.], 2017; Piñeiro i Hicks, 2015; Vessuri [et al.], 2014).

En aquest monogràfic hem volgut recollir articles amb visions diverses sobre els sistemes d'avaluació convencionals i articles que reflecteixin com, en un context de ciència oberta, les comunitats científiques locals desenvolupen revistes o altres eines de comunicació científica per a tractar temàtiques que són marginals en les publicacions de més visibilitat internacional. La intenció ha estat abordar els aspectes de la comunicació científica adreçada als professionals, és a dir, tecnòlegs, comunicadors, bibliotecaris i documentalistes. Aquests col·lectius també són usuaris i generadors de coneixement, però des del punt de vista de l´ús específic i contextual del coneixement. Això significa que la recerca més útil per a professionals poques vegades és la més visible internacionalment. Vam convidar autors diversos a explorar com són valorades revistes locals i professionals en els sistemes d'avaluació, i els possibles efectes en menysvalorar recerca d'orientació social i local (vegeu els principis 2 i 3 del Manifest de Leiden —Hicks [et al.], 2015—).

 

De la crítica de l'statu quo a noves propostes d'avaluació

Els articles recollits en el número monogràfic de BiD per una banda documenten els biaixos dels actuals sistemes bibliomètrics d'avaluació i per altra banda fan propostes de nous mètodes d'avaluació. Hem classificat les contribucions en tres blocs, segons la temàtica. Un primer bloc d'articles presenta marcs conceptuals generals per a entendre les limitacions de l'avaluació basada en indicadors. El segon bloc exposa casos d'estudi de l'ús d'indicadors en contextos específics que són particularment problemàtics per a l'avaluació bibliomètrica convencional: les humanitats, la recerca en turisme, l'esport i l'agricultura. El tercer bloc proposa alternatives davant les noves demandes des de la policy, en particular des del punt de vista de la ciència oberta i de l'impacte social de la recerca.

Molas-Gallart i Ràfols (2018) exploren les condicions en les quals l'ús d'indicadors bibliomètrics (i de fet en altres àmbits de ciència i tecnologia) és inadequat i, per tant, dona lloc a avaluacions equivocades i potencialment a conseqüències perverses. Distingeixen tres situacions en què els indicadors no s'haurien d'utilitzar: i) quan l'indicador descriu una propietat que no correspon a la missió que s'hauria d'avaluar; ii) quan el model teòric que lliga la propietat amb l'indicador és fals en un cert context; iii) quan els paràmetres de l'indicador no són estables i les comparacions donen lloc a errors degut a biaixos.

Sivertsen (2018) explora un dels biaixos sistemàtics de l'avaluació bibliomètrica, la llengua, un tema que pot ser d'especial interès per als lectors de BiD, tenint en compte el pluralisme lingüístic a Catalunya i la península ibèrica (Ardanuy [et al.], 2009). Davant de demandes d'internacionalització i excel·lència, la recerca publicada en anglès és generalment percebuda com a més valuosa que la recerca publicada en llengües vernacles. Tanmateix, Sivertsen explica que la recerca en llengües vernacles pot ser important per a temes d'interès local, en especial en ciències socials i humanitats, i per a recerca i innovació responsables (RRI), en diàleg amb agents socials i el gran públic. Proposa el concepte de multilingüisme equilibrat com a base per a governar les tensions entre les estratègies d'internacionalització i excel·lència per una banda, i les estratègies de rellevància social i participació pública per l'altra.

El segon bloc d'articles presenta casos d'estudi de disciplines fora de l'àmbit de les ciències naturals, en el qual es desenvolupà la bibliometria avaluativa. Pinto de Miranda i Mugnaini (2018) exploren en l'àrea de recerca de turisme els criteris de rànquings de revistes que s'utilitzen en l'avaluació de departaments d'universitats brasileres. Observen que la disciplina de turisme s'avalua juntament amb la disciplina d'administració, la qual disposa de revistes més grans i més prestigioses. En conseqüència, la recerca en turisme és potencialment infravalorada en avaluació. Es tracta d'un exemple típic de com mètodes d'avaluació quantitatius tenen biaixos importants a favor de certes disciplines en categoritzacions que inclouen camps diversos (Ràfols [et al.], 2012; Van Eck [et al.], 2013). 

Ortega i Salado (2018) presenten una enquesta que mostra que els professors d'universitats espanyoles de ciències de l'activitat física i esport perceben la publicació en certes revistes especialitzades, en particular les indexades per Web of Science i Scopus, com el millor criteri per a avaluar aquesta disciplina. Tenint en compte les múltiples crítiques que ha rebut l'ús de revistes per a avaluar (DORA, 2013; Hicks [et al.], 2015), i que les ciències de l'esport són una disciplina aplicada, hom podria esperar perspectives menys centrades en la bibliometria en el resultat de l'enquesta. El conformisme amb l'statu quo que tan bé captura aquest estudi reflecteix que fins i tot en disciplines heterodoxes com l'esport, la majoria dels docents han interioritzat i adoptat els criteris de qualitat que dominen en l'avaluació formal i burocràtica a l'Estat espanyol.

Esteve Arboix (2018), de l'Agència per a la Qualitat del Sistema Universitari de Catalunya (AQU), presenta l'experiència d'avaluació de les disciplines d'humanitats a Catalunya. Es tracta d'un context disciplinari i lingüístic en què l'avaluació només quantitativa és problemàtica. Conscient d'aquesta dificultat, Arboix explica que per a aquest camp l¡AQU es proposà l'any 2010 objectius de canvi que han estat parcialment assolits: la no discriminació per llengua; la valoració de monografies, llibres i capítols de llibres, i la fixació de criteris de qualitat d'editorials universitàries o comercials. Tanmateix, no s'ha avançat en l'objectiu de desenvolupar una avaluació mixta, amb avaluació directa d'una part dels treballs. La dificultat de realitzar els canvis de criteris d'avaluació il·lustra, a parer nostre, que és difícil avançar en els criteris d'avaluació sense canviar-ne la governança —actualment dominada per procediments burocràtics.

La contribució de Fonseca [et al.] (2018) ofereix un exemple de les grans diferències en tipus d'impacte, fins i tot dins una mateixa disciplina i país, en aquest cas l'agricultura al Brasil. Fonseca i col·laboradors mostren que alguns centres de l'empresa pública de recerca EMBRAPA focalitzen la seva activitat en la producció de recerca d'interès acadèmic (i que, per tant, és citada en altres articles), mentre que altres centres publiquen informes pràctics d'interès per als agricultors (i que semblen ser molt utilitzats perquè tenen moltes baixades —downloads—). Aquesta observació va d'acord amb la noció que impacte científic i impacte social no estan necessàriament correlacionats, com han mostrat diversos estudis (Woolley i Robinson-Garcia, 2017).

El tercer bloc d'articles del monogràfic explora noves demandes en l'àmbit de la ciència oberta i l'impacte social en el retiment de comptes (accountability) de la recerca pública, que tenen importants conseqüències en avaluació. Per una banda, en la demanda de ciència oberta, Uribe Tirado i Ochoa (2018) fan una revisió de quines han estat les conceptualitzacions dominants de ciència oberta des d'una perspectiva colombiana. La seva proposta emfasitza que el desenvolupament de la recerca vers pràctiques més obertes no solament necessita polítiques i plataformes tecnològiques, sinó que també necessita un canvi cultural en les pràctiques científiques i, per tant, en l'avaluació d'aquestes pràctiques.

Per altra banda, Paula Adam i col·laboradores a l'AQuAS (Agència de Qualitat i Avaluació Sanitària de Catalunya) posen la seva atenció en l'objectiu transformador de la recerca des d'una perspectiva de la recerca en salut —i, per tant, en la comunicació amb agents no acadèmics per tal que la recerca assoleixi impacte social. És interessant observar com, tot i adoptar aquest marc conceptual d'impacte social per a l'avaluació, algunes de les pràctiques d'avaluació d'AQuAS el 2018 encara tenen l'avaluació indirecta de l'article científic com a referent central —cosa que reflecteix les dificultats de canviar les inèrcies polítiques i burocràtiques. En aquests dos darrers articles, es planteja si el focus actual de l'avaluació en la publicació en revistes d'alt impacte científic és un dels principals obstacles de la pluralització de la recerca cap a la ciència oberta i cap a l'impacte social.

 

Conclusió: vers nous models d'avaluació científica?

El contingut i el to del recull d'articles d'aquest monogràfic confirma la inflexió en les valoracions i les avaluacions de la comunicació científica. Fins a la publicació de la Declaració de San Francisco d'avaluació de la recerca el 2013 (DORA, 2013), semblava que l'avaluació plenament basada en indicadors quantitatius anava en augment i que aquesta tendència era percebuda com a positiva. Aquests darrers anys, la legitimitat de valorar la recerca només d'acord amb la comunicació en revistes prestigioses ha tocat sostre. Molts actors pensen ara que calen més eines i més diverses per a valorar, i per tant per a avaluar, les moltes maneres diferents en què la ciència es comunica. Així, per una banda, el panorama dels cercadors i plataformes de literatura científica i acadèmica s'ha diversificat força en els darrers anys, des de fonts consolidades (Google Scholar), passant per serveis renovats (Microsoft Academic), fins a arribar a nous instruments (Semantic Scholar o Dimensions). Per altra banda, hi ha un viu debat sobre el potencial de mesurar activitat a les xarxes socials com a indicador de comunicació amb públics diversos (Sugimoto [et al.], 2017), i sobre les moltes altres menes d'interacció socials que caldria considerar en una avaluació més general (Spaapen i van Drooge, 2011).

Per a tenir més perspectives d'aquesta inflexió, en paral·lel a aquest monogràfic, el 26 de gener del 2018 vam organitzar la jornada Nous Models d'Avaluació de la Recerca a la Facultat de Biblioteconomia i Documentació de la Universitat de Barcelona, en col·laboració amb els Estudis Ciències de la Informació i de la Comunicació de la UOC (Universitat Oberta de Catalunya), l'institut d'estudis d'innovació INGENIO (CSIC-UPV) i el Consorci de Serveis Universitaris de Catalunya (CSUC). En l'apèndix presentem el programa de la jornada i els enllaços als vídeos amb les diverses presentacions.

La taula rodona amb gestors de polítiques publiques d'avaluació evidencià el reconeixement que el model exclusivament quantitatiu d'avaluació és percebut més com un problema que com una solució. Els tres gestors explicaren els diversos esforços que es van fent, amb desigual fortuna i encara a escala preliminar, de cara a pluralitzar l'avaluació. Reconegueren també que s'enfronten, en el context burocràtic espanyol, tant amb barreres de procediments administratius com amb resistències d'interessos i culturals per part de les comunitats científiques, sobretot de les elits que formen els panels de decisió i selecció.

Les presentacions de Paul Wouters i Sivertsen esbossaren dues possibles línies de transformació de l'avaluació per a fer-la més sensible a les necessitats locals i professionals. Per una banda, Sivertsen explicà el model noruec, que distribueix recursos d'acord amb bibliometria, però que ho fa intentant evitar la marginalització en els rànquings de revistes de la recerca local en tema o llengua, o professional. Per altra banda, Wouters proposà una aproximació a l'avaluació molt més contextual en la qual les nocions de qualitat i impacte serien construïdes ad hoc per agents socials específics de l'àmbit d'avaluació. En aquesta aproximació, l'evidència quantitativa tindria un valor enriquidor, però no lideraria l'avaluació, d'acord amb el primer principi del Manifest de Leiden (Hicks [et al.], 2015).

En resum, el conjunt d'articles i la jornada que celebràrem reflecteixen el principi d'una inflexió (canvi de tendència), però no pas mostres clares de transformació (canvi a un altre règim avaluatiu). Ens trobem en un moment en què hi ha una percepció que l'avaluació convencional basada en bibliometria és particularment problemàtica per a recerca d'àmbit i implicacions locals o professionals. Tanmateix, aquesta percepció no n'impedeix pas l'aplicació perquè avaluacions alternatives encara no s'han gestat o legitimat prou, tot i que tenen el suport de les noves retòriques d'impacte social o ciència oberta. I mentre continuï la situació present, la comunicació científica local i professional continuarà essent relativament marginalitzada. També caldrà persistir en el debat sobre el paper dels professionals de la informació i de la comunicació científica.

 

Bibliografia

Adam, P. et al. (2018, en preparació). "Comunicació científica, avaluació responsable i impacte en la societat". BiD: textos universitaris de biblioteconomia i documentació. 

Arboix, E. (2018). "L'avaluació de la recerca en humanitats a AQU Catalunya". BiD: textos universitaris de biblioteconomia i documentació, núm. 40. <https://bid.ub.edu/40/arboix.htm> [Consulta: 21/06/2018].

Ardanuy, J.; Urbano, C.; Quintana, L. (2009). "A citation analysis of Catalan literary studies (1974–2003): Towards a bibliometrics of humanities studies in minority languages". Scientometrics, vol. 81, no. 2, p. 347–366.

Bianco, M.; Gras, N.; Sutz, J. (2016). "Academic evaluation: Universal instrument? Tool for development?". Minerva, vol. 54, no. 4, p. 399–421.

Chavarro, D.; Tang, P.; Ràfols, I. (2017). "Why researchers publish in non-mainstream journals: Training, knowledge bridging, and gap filling". Research policy, vol. 46, no. 9, p. 1666–1680.

Dahler-Larsen, P. (2011). The evaluation society. Stanford: Stanford University Press.

Gläser, J.; Grit L. (2007). "The social construction of bibliometric evaluation". En: Whitley, R.; Gläser, J. (ed.). The changing governance of the sciences. The advent of research evaluation systems. Dordrecht: Springer, p. 101–123.

Fonseca, W. et al. (2018, en preparació). A avaliação bibliométrica de instituições de pesquisa para além da comunicação científica: o caso Embrapa. BiD: textos universitaris de biblioteconomia i documentació.

Hicks, D.; Wouters, P.; Waltman, L.; De Rijcke, S.; Rafols, I. (2015). "The Leiden Manifesto for research metrics". Nature, vol. 520, no. 7548, p. 429.

Molas-Gallart, J.; Ràfols, I. (2018). "Per què fallen els indicadors bibliomètrics:paràmetres inestables, models incorrectes i propietats irrellevants". BiD: textos universitaris de biblioteconomia i documentació, núm. 40. <https://bid.ub.edu/40/molas.htm> [Consulta: 21/06/2018].

Ortega; Salado (2018). "La qualitat de les revistes científiques per al professorat universitari de ciències de l'esport". BiD: textos universitaris de biblioteconomia i documentació, núm. 40. <https://bid.ub.edu/40/ortega.htm> [Consulta: 21/06/2018].

Pinto de Miranda, E.; Mugnaini, R. (2018). "Criteris d'avaluació en turisme i els seus efectes en el perfil de publicacions dels investigadors". BiD: textos universitaris de biblioteconomia i documentació, núm. 40. <https://bid.ub.edu/40/mugnaini.htm> [Consulta: 21/06/2018].

Piñeiro, C. L.; Hicks, D. (2015). "Reception of Spanish sociology by domestic and foreign audiences differs and has consequences for evaluation". Research evaluation, vol. 24, no. 1, p. 78–89.

Ràfols, I.; Leydesdorff, L.; O'Hare, A.; Nightingale, P.; Stirling, A. (2012). "How journal rankings can suppress interdisciplinary research: A comparison between innovation studies and business & management". Research policy, vol. 41, no. 7, p. 1262–1282.

Ràfols, I.; Molas-Gallart, J.; Chavarro, D. A.; Robinson-Garcia, N. (2016). "On the dominance of quantitative evaluation in 'peripheral' countries: Auditing research with technologies of distance". SSRN. <https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2818335> [Consulta: 02/05/2018].

Rijcke, S. D.; Wouters, P. F.; Rushforth, A. D.; Franssen, T. P.; Hammarfelt, B. (2016). "Evaluation practices and effects of indicator use—a literature review". Research evaluation, vol. 25, no. 2, p. 161–169.

Rottenburg, R.; Merry, S. E. (2014). "A world of indicators: the making of governmental knowledge through quantification". En: Rottenburg, R.; Merry, S. E.; Park, S.-J.; Mugler, J. (ed.). The world of indicators: the making of governmental knowledge through quantification. Cambridge: Cambridge University Press, p. 1–33.

Sivertsen, G. (2018). "Multilingüisme equilibrat en ciència". BiD: textos universitaris de biblioteconomia i documentació, núm. 40. <https://bid.ub.edu/40/sivertsen.htm> [Consulta: 21/06/2018].

Spaapen, J.; Van Drooge, L. (2011). Introducing 'productive interactions' in social impact assessment. Research evaluation, vol. 20, no. 3, p. 211–218.

Stilgoe, J. (2014). Against excellence. The Guardian (19th December).

Sugimoto, C. R.; Work, S.; Larivière, V.; Haustein, S. (2017). "Scholarly use of social media and altmetrics: A review of the literature". Journal of the Association for Information Science and Technology, vol. 68, no. 9, p.  2037–2062.

Strathern, M. (2000). Audit cultures: anthropological studies in accountability, ethics and the Academy. London / New York: Routledge.

Uribe Tirado, A.; Ochoa, J. (2018). "Perspectives de la ciència oberta. Un estat de la qüestió per a una política nacional a Colòmbia". BiD: textos universitaris de biblioteconomia i documentació, núm. 40. <https://bid.ub.edu/40/uribe.htm> [Consulta: 21/06/2018].

Van Eck, N. J.; Waltman, L.; Raan, A. F. van; Klautz, R. J.; Peul, W. C. (2013). "Citation analysis may severely underestimate the impact of clinical research as compared to basic research". PLOS ONE, vol. 8, no. 4, p. e62395.

Woolley, R.; Robinson-Garcia, N. (2017). "The 2014 REF results show only a very weak relationship between excellence in research and achieving societal impact". LSE Impact Blog,  19 (July).
<http://blogs.lse.ac.uk/impactofsocialsciences/2017/07/19/what-do-the-20…;

Vessuri, H.; Guédon, J. C.; Cetto, A. M. (2014). "Excellence or quality? Impact of the current competition regime on science and scientific publishing in Latin America and its implications for development". Current sociology, vol. 62, no. 5, p. 647–665.

 

Apèndix

Programa de la jornada Nous Models d'Avaluació de la Recerca
Pàgina web de la jornada: http://www.ub.edu/biblio/agenda/seminari-nous-models-d-avaluacio-de-la-recerca-26-de-gener.html
Divendres, 26 de gener de 2018
Sala d'actes de la Facultat de Biblioteconomia i Documentació de la Universitat de Barcelona
Acte organitzat per la Facultat de Biblioteconomia i Documentació de la Universitat de Barcelona (UB) i pels Estudis d'Informació i de la Comunicació de la Universitat Oberta de Catalunya (UOC), amb la col·laboració d'INGENIO (CSIC-UPV), i l'Àrea de Ciència Oberta del Consorci de Serveis Universitaris de Catalunya (CSUC).
9 h - Inauguració a càrrec de Domènec Espriu, vicerector de Recerca de la Universitat de Barcelona (UB), i de Pastora Martínez, vicerectora de Globalització i Cooperació de la Universitat Oberta de Catalunya (UOC).
Vídeo: https://www.youtube.com/watch?v=CTShxfp7ZK4&t=2s
9.15 h - Conferència «New generation metrics», a càrrec de Paul Wouters, director del Centre for Science and Technology Studies (CWTS) de la Universiteit Leiden, Països Baixos.
Vídeo: https://www.youtube.com/watch?v=Bah3XZsSsqo&t=2s
10.00 h - Conferència «Research evaluation in small countries», a càrrec de Gunnar Sivertsen, professor del Nordic Institute for Studies in Innovation Research and Education (NIFU), Oslo, Noruega.
Vídeo: https://www.youtube.com/watch?v=kI2-RdJba-A&t=3s
11.15 h - Taula rodona: «Nous models de comunicació i avaluació de la recerca en la perifèria europea».
Modera: Ismael Ràfols, INGENIO(CSIC-UPV), Universitat Politècnica de València.
Ponents:
Paula Adam, cap d'Avaluació de la Recerca de l'Agència de Qualitat i Avaluació Sanitàries de Catalunya (AQuAS).
Martí Casadesús, director de l'Agència per a la Qualitat del Sistema Universitari de Catalunya (AQU Catalunya).
Clara Eugenia García, directora general de Política de Investigación, Desarrollo e Innovación del Ministerio de Economía, Industria y Competitividad (MINECO).
Vídeo: https://www.youtube.com/watch?v=_prn6IShKpc&t=19s