L'avaluació de la recerca en humanitats a AQU Catalunya

Introducció

L'Agència per a la Qualitat del Sistema Universitari de Catalunya (en endavant, AQU Catalunya) és l'organisme de la Generalitat de Catalunya que vetlla per la qualitat del sistema universitari català, tant pel que fa a l'oferta formativa com a l'avaluació de professorat. Si bé l'Agència es va crear l'any 1996, no va ser fins a l'any 2003, amb l'aprovació de la Llei 1/2003, de 19 de febrer, d'universitats de Catalunya (LUC), que AQU Catalunya va assumir l'avaluació del professorat universitari, en les acreditacions de recerca i en les avaluacions de l'activitat investigadora (sexennis).

En la Llei orgànica 6/2001, de 21 de desembre, d'universitats, en concret en el títol ix, es regula la dimensió del professorat establint les diferents tipologies i requisits d'accés. En aquest sentit, cal tenir present que a l'Estat espanyol hi ha dues grans vies d'accés a la funció acadèmica: d'una banda, la via funcionarial –amb més tradició a l'Estat– i de l'altra, la via contractual, que representava, l'any 2001, una novetat en el context estatal. En ambdues opcions és necessari disposar d'una acreditació prèvia emesa per una agència externa. En el cas de la via funcionarial, l'acreditació l'emet l'Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA); en canvi, pel que fa a la via contractual, l'acreditació pot ser emesa tant per l'ANECA com per les agències autonòmiques. En el cas de Catalunya, les acreditacions les emet AQU Catalunya.

L'objectiu d'aquest article és explicar les característiques d'aquests processos d'acreditació, amb un èmfasi especial en el cas concret de les disciplines de caràcter humanístic, en què s'observen elements singulars, respecte d'altres àmbits científics, que hi afegeixen una complexitat més gran. Així, s'analitza el procés d'avaluació de professorat que fa la Comissió d'Avaluació de la Recerca per mitjà de les seves comissions específiques.

Així, hi ha una comissió específica d'humanitats els membres i assessors de la qual emeten els informes de professorat lector, les acreditacions de recerca (corresponents al professorat agregat) i les acreditacions de recerca avançada (corresponents al professorat catedràtic). Els àmbits de coneixement que es cobreixen són la filosofia, la història i l'art, i la filologia. Cal fer notar que aquesta classificació és una classificació pròpia establerta per la Comissió d'Avaluació de la Recerca l'any en què es va posar en marxa el programa d'avaluació de professorat, prenent com a punt de partida l'estructura dels estudis universitaris oferts pel sistema universitari català. Com es veurà al llarg de l'article, la dinàmica d'avaluació en humanitats té uns trets específics que la fan força diferent de la resta de comissions (per exemple, la de ciències o la d'enginyeria).

Abans d'analitzar aquestes especificitats, cal tenir present que un dels aspectes més rellevants és que AQU Catalunya fa l'avaluació de la recerca, tant en humanitats com en la resta d'àmbits de coneixement, de manera indirecta, és a dir, a partir de la qualitat de les revistes i les editorials en què els investigadors publiquen els seus treballs. Es parteix, doncs, del principi que la qualitat de la recerca que fan els científics es mesura en funció del valor de les seves publicacions (Merton, 1977). Això ja representa una limitació inicial perquè l'avaluació és indirecta. Per tant, els avaluadors que participen en les avaluacions no llegeixen els treballs originals, llevat de casos molt singulars, sinó que fan seu el procés previ d'avaluació d'experts (peer review) de les publicacions abans de ser publicades per una editorial científica, principalment pel que fa als articles, les monografies o els capítols de llibre, per bé que també hi ha altres tipologies documentals referenciades als curriculum vitae (CV) que s'avaluen. Així mateix, també són avaluats altres elements propis de la dimensió de recerca, com els projectes de recerca, les tesis doctorals dirigides, les estades de recerca, etc.

Aquesta metodologia d'avaluació presenta restriccions evidents i pot ser legítimament qüestionada per part dels investigadors. Tanmateix, cal tenir present que les agències d'avaluació compleixen un mandat. En el cas d'AQU Catalunya, aquest mandat consisteix a fer avaluacions de professorat per a determinar si la qualitat dels seus CV assoleix un llindar mínim establert, que es considera previ de cara a un procés posterior de selecció per a esdevenir professor universitari. En definitiva, l'avaluació permet determinar si les persones candidates assoleixen uns estàndards mínims de qualitat, però no pas l'excel·lència. Tampoc no permet establir una ordenació de candidats ni és garantia d'obtenir un contracte de treball.

Per tant, és important disposar d'estratègies d'avaluació que permetin dur a terme aquest encàrrec social que tenen els organismes d'avaluació a un cost assumible. Així, des de la posada en marxa del programa d'avaluacions i acreditacions de professorat, en l'àmbit d'humanitats s'han fet a AQU Catalunya, fins a l'any 2016, més de tres mil avaluacions, tant de sexennis de recerca com avaluacions de professorat lector, agregat i catedràtic. Aquest volum d'expedients demana, lògicament, l'adopció d'aproximacions d'avaluació indirectes, ja que no és possible fer la lectura directa de les publicacions presents en els CV de les persones avaluades, que possiblement seria la millor manera de poder determinar-ne la vàlua. Efectivament, AQU Catalunya no està dimensionada per a fer l'avaluació directa dels treballs. Caldria un considerable increment d'experts especialistes i de pressupost per a poder afrontar aquesta tasca.

Resultats

En el cas concret de l'avaluació en humanitats que fa AQU Catalunya, el principal mecanisme d'avaluació és la combinació de dos elements: d'una banda, la vàlua del procés previ d'avaluació d'experts (peer review) de les aportacions que els investigadors recullen en els seus CV (monografies, capítols de llibre, articles, etc.) i, de l'altra, el coneixement expert del conjunt d'avaluadors que participen en els processos d'avaluació, ja sigui com a assessors ja sigui com a membres de les comissions d'avaluació que prenen les decisions de manera col·legiada.

Si hom revisa els criteris d'avaluació en l'àmbit d'humanitats vigents actualment (AQU Catalunya, 2017), que es poden consultar a la pàgina web de l'Agència, en el cas concret de les acreditacions de recerca, en la secció de publicacions de recerca, que és la dimensió amb una ponderació més alta en l'avaluació, s'hi pot llegir:

"En referència a la publicació de llibres, es valoraran els llibres de caràcter original (on el sol·licitant és l'autor o coautor i/o l'editor d'un llibre multiautor) publicats per editorials especialitzades. Es defineixen dos nivells de valoració per als llibres: 1. Llibres publicats en editorials internacionals de prestigi reconegut. 2. Llibres publicats en editorials de prestigi d'abast nacional amb criteris de selecció rigorosos."

D'altra banda, pel que fa als articles, els mateixos criteris estableixen:

"Pel que fa referència als articles, es valoraran bàsicament les publicacions en revistes que hagin passat un procés d'avaluació peer review i que estiguin presents en índexs de citacions ―com ara els de Clarivate Analytics (en particular el Social Sciences Citation Index i l'Arts and Humanities Citation Index) o Scopus―, o bé en altres bases de dades bibliogràfiques especialitzades de prestigi internacional. Per precisar la repercussió efectiva de la recerca duta a terme pel sol·licitant, i quan sigui possible, es considerarà la posició de la revista en repertoris d'avaluació de revistes (que ofereixin rànquings per índex d'impacte o per altres criteris d'avaluació), així com el nombre de citacions rebudes per cada article. També es valorarà el grau de creativitat, de diversitat temàtica i d'innovació en la recerca del sol·licitant."

En la secció dedicada a les revistes, AQU Catalunya fa una distinció entre revistes de tipus A, tipus B i tipus C. Així, les revistes de tipus A s'emmarquen en aquesta definició:

"Revista d'àmbit internacional, del màxim nivell de qualitat dins de la seva disciplina, present en índexs de citacions selectius i situada en repertoris d'avaluació i classificació de revistes en les posicions més elevades."

Les revistes de tipus B es defineixen de la manera següent:

"Revista d'àmbit internacional, present en índexs de citacions selectius i situada en repertoris d'avaluació i classificació de revistes en les posicions inferiors a les del grup A."

O bé així:

"Revista no present en índexs de citacions selectius, però reconeguda com del màxim nivell de qualitat dins del seu àmbit, d'abast internacional, amb un sistema d'avaluació d'originals rigorós i amb un comitè científic internacional."

I les revistes de tipus C tenen aquesta definició:

"Revista de bon nivell de qualitat dins del seu àmbit, amb un sistema d'avaluació rigorós."

Si bé les definicions són clares en la seva formulació, es posa de manifest la dificultat que pot tenir un potencial investigador per a poder concretar amb exactitud les diferències entre cadascuna de les tipologies descrites quan vulgui demanar una acreditació. En canvi, en altres àmbits de coneixement, com per exemple les ciències, en què el sistema d'indexació i classificació per quartils de les revistes està molt més consolidat, els investigadors tenen unes referències més clares.

Així, dins de la comunitat investigadora d'humanitats hi ha opinions en el sentit que aquesta categorització no és exhaustiva, uniforme ni amb prou nivell de consens i que és necessari avançar en una millor formulació i concreció.

Finalment, els criteris incorporen una referència al fet que la qualitat de la recerca preval per sobre de la mera quantitat:

"Les mancances relatives a la quantitat podran ser compensades amb aportacions de qualitat molt alta o excepcional en què el sol·licitant sigui l'autor principal i responsable. La qualitat ha d'estar degudament justificada i acreditada per indicadors i evidències de repercussió contrastades aportades pel sol·licitant."

Aquesta consideració és especialment rellevant, atès que es vol defugir el missatge que les acreditacions s'assoleixen per la mera agregació de treballs de recerca, amb independència de la seva qualitat. Es vol recollir la idea que el valor real dels treballs ha de pesar més que el nombre de treballs o la mera qualitat del mitjà en què es publiquen. Per tant, es posa en relleu que preval la qualitat de la recerca, alhora que es planteja als investigadors el repte de tractar de publicar la seva recerca en els millors mitjans de publicació.

D'altra banda, cal que no es perdi de vista que en cap cas no es poden automatitzar els processos d'avaluació de les persones com un mer recompte de publicacions, tesis dirigides o projectes de recerca en què el candidat hagi pogut participar. Tal com s'exposa en el primer principi del Manifest de Leiden (Hicks et al., 2015), "quantitative evaluation should support qualitative, expert assessment". És a dir, les decisions d'avaluació no poden gravitar exclusivament sobre elements quantitatius o en indicadors bibliomètrics aïllats i descontextualitzats.

No obstant això, és clar que els indicadors bibliomètrics ben elaborats i consensuats per tota la comunitat científica han de formar part dels processos d'avaluació, que, per definició, presenten un considerable nivell de complexitat i demanen una aproximació combinada d'elements qualitatius i quantitatius. Si no s'actués d'aquesta manera, es vulneraria l'ètica de l'avaluació. Aquest és, doncs, un principi àmpliament assumit per les comissions d'avaluació d'AQU Catalunya.

Per tot el que hem exposat fins ara, un dels elements centrals és poder identificar quines són les revistes i les editorials científiques que poden garantir un procés de revisió externa d'alta qualitat. Aquí encetem un dels punts centrals d'aquest article: quines característiques presenta la recerca en humanitats?

En primer lloc, cal tenir present la llengua. En general, en els àmbits de les ciències naturals, la llengua mai no representa cap dificultat, atès que l'anglès és la llengua franca. En canvi, en el context de les humanitats i algunes disciplines de les ciències socials, la recerca té una clara orientació regional o nacional (Hammarfelt, 2015). Molt sovint les principals bases de dades de citacions (per exemple,Web of Science) no cobreixen adequadament aquests camps o bé tenen un clar biaix anglosaxó. En aquest sentit, estudis recents demostren que el biaix anglosaxó de les bases de dades científiques esmentades fa que no es puguin considerar de manera aïllada per a fer comparacions sobre la productivitat científica dels diferents països en l'àmbit d'humanitats (Archambault et al., 2006).

En segon lloc, un altre aspecte important és el vehicle de comunicació emprat pels investigadors. Així, en el context d'humanitats hi ha disciplines basades principalment en les monografies (per exemple, la literatura) i disciplines més basades en els articles (per exemple, la lingüística). En el cas concret de les disciplines relacionades amb la creació artística, la restauració, les belles arts, etc., en què, a banda de les publicacions, predomina l'obra artística o les exposicions, es posa de manifest la dificultat per a fer una avaluació basada exclusivament en els indicis de qualitat de les publicacions, i cal adoptar altres perspectives.

En tercer lloc, també cal considerar la relativa fragmentació de les disciplines humanístiques. Sovint hi ha una atomització disciplinària que incrementa les dificultats per a una projecció social significativa, i, de retruc, en aquests contextos de recerca no hi ha una configuració estable i la coordinació pot ser feble. No obstant això, tal com reconeix el Manifest de Leiden abans esmentat, cal protegir l'excel·lència de rellevància local. La bona recerca en contextos locals ha de poder ser publicada en capçaleres de qualitat. Sovint, a AQU Catalunya hi ha CV amb una escassa diversitat d'editorials i un cert règim de "monocultiu", amb la qual cosa es posa de manifest la necessitat d'ampliar el ventall d'editorials en què es publica, en especial les de més nivell de reconeixement. Tanmateix, el fet que la temàtica de recerca sigui minoritària o local no és incompatible amb el fet que la recerca sigui d'alta qualitat. Així, sovint les comissions d'avaluació troben CV de sol·licitants que contenen aportacions de recerca de qualitat que no han encertat el millor mitjà per a publicar-les. Aquest pot ser un element sobre el qual cal fer més èmfasi i pedagogia, en el sentit que les persones que fan recerca en aquests espais temàtics minoritaris haurien de considerar la possibilitat de cercar capçaleres editorials de més reconeixement.

I, en quart lloc, un altre aspecte que cal tenir present és el rang de temps de les citacions (de Solla Price, 1970). Els estudis de citacions en humanitats mostren que les aportacions més citades són les monografies, més que no pas els articles. Les citacions abracen períodes més llargs que no pas la finestra de dos anys que, de manera estàndard, s'ha establert per a calcular el journal impact factor de les revistes indexades al Journal Citation Reports. Això explica, per exemple, per què el Journal Citation Reports no incorpora l'Arts and Humanities Citation Index: el volum de citacions de les revistes que indexa és tan baix que lleugeres modificacions en el nombre de citacions modificarien els valors obtinguts. Així, hi ha molts estudiosos que defensen la necessitat de considerar altres indicadors qualitatius com a forma d'equilibrar les distorsions estadístiques (Urbano, 2004). En aquest sentit, cal tenir molt presents els avantatges i les limitacions dels indicadors bibliomètrics a l'hora de fer avaluacions de persones. No són el mateix les disciplines experimentals, amb un alt consens cognitiu i una alta uniformitat en les pràctiques de recerca i de publicació, que les humanístiques, amb més pluralitat cognitiva i metodològica, i més diversitat de pràctiques de recerca i de publicació. Tampoc no són el mateix les disciplines bàsiques que les disciplines aplicades (Delgado López-Cózar, 2017). Per aquesta raó, en funció del tipus de recerca que facin els investigadors, els seus indicadors bibliomètrics tindran comportaments completament diferents. Seria un greu error considerar acríticament aquesta aproximació en l'avaluació de la recerca que fan els investigadors en humanitats. Així, la comunitat d'investigadors de bibliometria (van den Akker, 2016) desaconsella l'ús de mètodes convencionals a l'hora de fer avaluacions dels investigadors d'humanitats.

Tot aquest conjunt d'elements que acabem d'identificar són presents, fa anys, en la dinàmica d'avaluació de la recerca en humanitats que es porta a terme a AQU Catalunya. Així, l'any 2010, l'Agència va impulsar el taller L'avaluació de la recerca en humanitats i ciències socials (AQU Catalunya, 2010). En revisar les conclusions publicades, apareixen gran part dels elements que hem esmentat en aquest article. Entre altres, cal destacar les idees següents:

• La necessitat d'establir un sistema d'avaluació mixt que combini l'avaluació indirecta amb l'avaluació directa d'algun dels treballs de recerca més significatius.

• La valoració de la qualitat de la recerca sens perjudici de la llengua en què és escrita ni del seu caràcter territorial.

• La recuperació del paper del llibre, la monografia i el capítol de llibre com a instruments molt significatius sobre els quals es vehicula la recerca en aquestes àrees disciplinàries.

• La necessitat de fixar criteris de qualitat de les editorials universitàries o privades d'orientació acadèmica, i també d'establir referents clars per a l'avaluació de les revistes científiques.

En revisar aquestes conclusions, set anys després, es constata que s'han fet passos per a la concreció dels referents de qualitat de revistes i editorials científiques, com pot ser l'Scholarly Publishers Indicators (SPI). També s'ha avançat en l'aspecte de posar mecanismes per a evitar biaixos lingüístics en les avaluacions o en el de reforçar el paper de les monografies i dels capítols de llibre en les avaluacions. Però encara hi ha aspectes, com ara l'avaluació mixta dels treballs, que resten pendents d'abordar per part de les agències d'avaluació.

També es posa de manifest la necessitat de diferenciar l'impacte científic de l'impacte social de la recerca. En aquest sentit, cal tenir present la Declaració de San Francisco (ASCB, 2012), que demana millorar la manera com els resultats de la recerca científica són avaluats per part de les agències finançadores, les institucions i altres agents i no dependre tant d'elements quantitatius, com el journal impact factor, que poden donar una falsa sensació d'objectivitat. Així, es recomana basar l'avaluació de la recerca en la qualitat intrínseca més que no pas en la qualitat del mitjà en què ha estat publicada. En el cas de les institucions, com pot ser AQU Catalunya, planteja que en els processos d'avaluació de la recerca es considerin altres mesures de repercussió, incloent-hi l'impacte social.

Gradualment assistim al desenvolupament de noves aproximacions en la mesura de la recerca més enllà del mer impacte científic, com poden ser les mètriques alternatives o altmetrics, encara en clar desenvolupament (Ollé; López-Borrull, 2017). Aquestes aportacions contribuiran a millorar la valoració de la recerca en humanitats i també a mesurar la seva contribució general al progrés de les societats. Sens dubte, aquest és un dels principals reptes que els diferents agents que fan avaluació de la recerca hauran d'abordar en els anys vinents.

Discussió i conclusions

L'avaluació de la recerca en humanitats que es porta a terme a AQU Catalunya és una tasca complexa que es fa de manera indirecta o secundària. Per tant, la qualitat del mitjà en què es publica la recerca (tipus d'editorial o de revista) és determinant. Amb tot, el punt de vista expert dels assessors i membres de les comissions avaluadores és un element clau per a evitar caure en el risc d'aplicar aproximacions merament quantitatives. Els experts han de matisar, ponderar, equilibrar els indicadors bibliomètrics i no fer-ne una aplicació mecànica. Altrament, es poden cometre greus errors en l'avaluació i reaccions contràries per part dels investigadors (Krull; Tepperwien, 2016)

És fonamental per als investigadors saber quines són les editorials i les revistes amb més prestigi i rellevància en què poden publicar la seva recerca, més encara quan, en bona mesura, el resultat de l'avaluació en els processos d'acreditació descansa en el prestigi de les publicacions. Fer recerca en espais temàtics, geogràfics, socials o idiomàtics que són percebuts com a perifèrics no ha de ser incompatible amb la divulgació en mitjans d'alta qualitat.

Un element crucial és com respondrà la comunitat investigadora en l'àmbit d'humanitats als nous mecanismes de mesura i d'avaluació que es van configurant. Com més va més necessari és poder avançar en elements consensuats per a aconseguir establir mecanismes de repercussió científica que ajudin els processos d'avaluació. Aquest nou debat que s'ha encetat incorpora aspectes com ara l'impacte social de la recerca en humanitats o el paper, encara no prou consolidat, de les altmetrics. Des d'AQU Catalunya se segueix amb molt d'interès aquest debat i volem poder participar-hi des de la nostra esfera de responsabilitat.

Bibliografia

Agència per a la Qualitat del Sistema Universitari de Catalunya (2018). Comissió d'Avaluació de la Recerca. <http://www.aqu.cat/aqu/estructura/organs_avaluacio_acreditacio_certificacio/avaluacio_recerca/car.html> [Consulta: 27/01/2018].

Agència per a la Qualitat del Sistema Universitari de Catalunya (2017). Criteris en l'emissió de les acreditacions de recerca. <http://www.aqu.cat/professorat/agregat/proces_agregat.html#.Wf2Q-eEzXoo> [Consulta: 15/11/2017].

Agència per a la Qualitat del Sistema Universitari de Catalunya (2010). L'avaluació de la recerca en humanitats i ciències socials: xi taller de reflexió i debat d'AQU Catalunya amb les universitats catalanes. <http://www.aqu.cat/doc/doc_16407351_1.pdf> [Consulta: 15/11/2017].

Akker, W. van den (2016). "Yes we should; research assessment in the humanities". En: Ochsner, M.; Hug, S.; Daniel, HD. (eds.). Research assessment in the humanities towards criteria and procedures. Heidelberg: Springer, p. 23-29.

American Society for Cell Biology (ASCB) (2012). The San Francisco declaration on research assessment. <http://www.ascb.org/wp-content/uploads/2017/07/sfdora.pdf>. [Consulta: 15/11/2017].

Archambault, É.; Vignola-Gagné, É.; Côté, G.; Larivière, V.; Gingrasb, Y. (2006). "Benchmarking scientific output in the social sciences and humanities: The limits of existing databases". Scientometrics, vol. 68, no. 3, p. 329-342. <https://doi.org/10.1007/s11192-006-0115-z>. [Consulta: 15/11/2017].

Delgado López-Cózar, E. (2017). "Evaluar revistas científicas: un afán con mucho presente y pasado e incierto futuro". En: Abadal, E. (ed.). Revistas científicas. Situación actual y retos de futuro. Barcelona: Edicions de la Universitat de Barcelona, p. 73-103. <http://eprints.rclis.org/32132/>. [Consulta: 15/11/2017].

Hammarfelt, B. (2015). "Beyond coverage: toward a bibliometrics for the humanities". En: Ochsner, M.; Hug, S. E.; Daniel, HD. (eds.). Research assessment in the humanities towards criteria and procedures. Heidelberg: Springer, p. 115-131.

Hicks, D.; Wouters, P.; Waltman, L.; De Rijcke, S.; Ràfols, I. (2015) "The Leiden Manifesto for research metrics". En: Nature, vol. 520, no. 7548, p. 429-431. <https://dx.doi.org/10.1038/520429a>. [Consulta: 15/11/2017].

Krull, W.; Tepperwien, A. (2016). "The four "I"s: quality indicators for the humanities". En: Ochsner, M.; Hug, S. E.; Daniel, HD. (eds.). Research assessment in the humanities towards criteria and procedures. Heidelberg: Springer, p. 115-131.

Merton, R. K. (1977). La sociología de la ciencia. Madrid: Alianza Editorial.

Ollé, C.; López-Borrull, A. (2017) "Redes sociales y altmetrics. Nuevos retos para las revistas científicas". En: Abadal, E. (ed.). Revistas científicas. Situación actual y retos de futuro. Barcelona: Edicions de la Universitat de Barcelona, p. 197-219. <http://eprints.rclis.org/32138/>. [Consulta: 15/11/2017].

Solla Price, D. J. (1970). "Citation measures of hard science, soft science, technology, and non-science". En: Nelson, C. E.; Pollock, D. K. (eds.). Communication among scientists and engineers. Lexington, MA: Heath, p. 3-22.

Urbano, C. (dir.) (2004). "La evaluación de revistas en procesos de evaluación de la investigación española en humanidades y ciencias sociales: desarrollo de un modelo y experimentación en el área de Filología Hispánica". Ministerio de Educación y Ciencia. <http://diposit.ub.edu/dspace/handle/2445/33405>. [Consulta: 15/11/2017].