BID: textos universitaris de Biblioteconomia i Documentació

Número 10, juny 2003


Avaluació de revistes i avaluació de la recerca en humanitats i ciències socials a Catalunya: aproximació a un problema


Cristóbal Urbano

Departament de Biblioteconomia i Documentació
Universitat de Barcelona


Resum [Abstract] [Resumen]

L'avaluació de la qualitat i de la repercussió de les revistes com a punt de partida per sistematitzar la qualitat de la recerca representa un dels mètodes indirectes habitualment més emprats per obtenir informació de base en accions d'avaluació sistemàtiques i voluminoses, com ara les que es desenvolupen en les resolucions de convocatòries públiques d'ajuts a projectes i grups de recerca. De totes maneres, aquest mètode s'enfronta amb un escull important: l'elaboració de rànquings de revistes en humanitats i ciències socials resulta força més complexa que en disciplines de ciències experimentals, biomèdiques o tecnològiques. Els components culturals, lingüístics i territorials de la recerca en humanitats i ciències socials fan qüestionar de manera radical els rànquings internacionals. És en aquest context que, en el present article presentem l'experiència d'un treball en curs, amb què es vol avaluar els rànquings de revistes d'humanitats i ciències socials publicats el 1997 amb aquesta finalitat per la Generalitat de Catalunya, ja que malgrat que van significar un intent de fer una aproximació adaptada al col·lectiu català d'investigadors, la proposta ha estat objecte permanent de controvèrsies i crítiques i, avui per avui, no gaudeix del reconeixement necessari del món acadèmic català.


1  Punt de partida: la proposta de sistema d'avaluació en humanitats i ciències socials de la CONACIT

L'avaluació de la recerca en humanitats i ciències socials continua sent objecte de debat i de polèmica en molts països, especialment en aquells que no es troben en el nucli de la cultura científica i comunicacional del món anglosaxó. Es tracta de països per als quals la selecció de títols buidats en els repertoris Social science citation index i Arts and humanities citation index de l'ISI (Institute for Scientific Information) de Filadèlfia resulta del tot insuficient, especialment si es considera que parlem d'unes àrees de recerca molt marcades en l'essència dels seus objectius i temes per factors territorials, lingüístics i culturals.

És en aquest context que s'ha d'entendre i valorar positivament l'intent d'acordar a Catalunya un sistema com el que es plasma en la Proposta d'un sistema d'avaluació de la recerca en humanitats i ciències socials (CONACIT 2000) promoguda per la CIRIT. Tal com, amb data 1 d'abril de 2003, està descrita en el lloc web del DURSI (Departament d'Universitats, Recerca i Societat de la Informació de la Generalitat de Catalunya), la proposta és el resultat d'una ponència que va treballar entre febrer i maig de 1997, per encàrrec de la CONACIT. Aquesta proposta considera les aportacions que van fer unes comissions de les diferents àrees de coneixement que van ser nomenades pels vicerectorats de les universitats catalanes, comissions que no s'identifiquen clarament amb noms i cognoms en la informació disponible públicament en el web del DURSI. Posteriorment, s'han concretat aspectes com ara el sistema de puntuació dels productes de recerca generats o publicats, o com les llistes de revistes d'algunes àrees que, al seu dia, no es van completar, com per exemple la de dret.

A continuació fem alguns comentaris sobre els principis presentats en l'esmentada proposta (CONACIT 2000) pel que fa a l'avaluació de la qualitat de les revistes com a instrument per sistematitzar la qualitat de la recerca publicada en aquest tipus de publicació.

L'avaluació de la recerca, partint de l'anàlisi de la qualitat de les revistes en les quals es publica, es fonamenta en el principi segons el qual com més elevada és la qualitat d'una revista, més exigents són els comitès editorials en l'acceptació de treballs. Alhora, com més qualitat, visibilitat i difusió té una revista, major nombre de treballs per ser sotmesos a l'aprovació rep i, per tant, es pot actuar més selectivament respecte als originals rebuts sense que quedin afectades la pervivència i la periodicitat de la publicació.

Es tracta d'un indicador àmpliament debatut en la bibliografia sobre la matèria, fàcilment aplicable quan es disposa d'una llista clarament delimitada i jerarquitzada de títols d'acord amb criteris de qualitat bibliomètrics de fàcil obtenció com ara nombre de citacions i factor d'impacte obtinguts del Journal citation reports (JCR) de l'ISI , però que presenta dificultats d'aplicació quan no es disposa de rànquings reconeguts i eficients per a àrees no ben cobertes pel JCR de l'ISI (Nederhof i Zwaan, 1991; Nederhof, Luwel i Moed, 2001; Stegmann, 1999).

També presenta perills d'ús indiscriminat en l'avaluació d'autors i treballs concrets, ja que la temptació de fer traduccions mecàniques del valor d'una revista vers el valor d'un treball que s'hi publica són freqüents. Com posen clarament de manifest molts estudis empírics sobre la qüestió (p. e., per a la Universidad de Alcalá de Henares, el treball de Campanario, Cabos i Hidalgo, 1998), el fet de publicar en una revista amb un alt factor d'impacte no és sinònim que el treball publicat tingui, finalment, un impacte equivalent.

En el cas concret del sistema d'avaluació de la CIRIT, s'estableix un sistema de puntuació per als productes i per a les activitats de recerca desenvolupades, que permet l'expressió sintètica en forma numèrica de l'avaluació d'un investigador. Això facilita la comparabilitat dels resultats i fa més objectiva la integració dels resultats en l'avaluació d'evidències de naturalesa diferent. Quant al tema a què ens referim en aquest article, les revistes es jerarquitzen en quatre nivells de qualitat segons la seva difusió internacional, el sistema d'avaluació d'originals, la presència en “índexs internacionals” i el “coeficient d'impacte” (p. e., la presència que tenen en el Journal citation reports de l'ISI).

En concret, la definició exacta dels nivells és la següent:

El sistema determina els següents intervals de puntuació per als treballs publicats en cada un dels nivells: nivell A, 8-6,5 punts; nivell B, 6,5-5 punts; nivell C, 5-2,5 punts; nivell D, 2-0 punts.

De totes maneres, la puntuació assignada per als articles publicats en cada nivell s'ha de tenir en compte com a marc de referència, segons el qual els comitès avaluadors hauran de decidir puntuacions concretes. Així, en les directrius d'aplicació del sistema de puntuació que va formular una comissió de seguiment establerta el novembre de 1998 (annex II de la Proposta publicada en la pàgina web www.gencat.net/dursi/sisav_index.htm), s'afirma en relació amb les revistes que:


2  Punts febles de les llistes de revistes acordades per la CONACIT

Gràcies als treballs que hem iniciat per establir llistes alternatives per a les àrees d'educació i de documentació (Urbano, 2003), hem pogut fer una anàlisi de la proposta de la CONACIT, tant des d'un punt de vista general i teòric com des del punt de vista empíric, que ens porten a destacar una sèrie de punts febles que haurien de ser superats si el sistema d'avaluació promogut per la Generalitat vol gaudir d'un cert consens pel que fa a l'acceptació de les llistes de revistes. L'elaboració de treballs similars en altres àrees, com ara els de la Comissió de Recerca de la Divisió II de la Universitat de Barcelona (2002), així com altres rànquings fets internament en altres universitats catalanes, posen de manifest la manca de reconeixement de les llistes tal com han estat publicades per la Generalitat. De tota manera, presentarem la crítica a les llistes comentant els punts febles que hem definit, com a expressió de les bases d'un treball actualment en curs:

a) Provisionalitat de la proposta

En l'informe de la ponència s'afirma textualment: “Aquest sistema de puntuació pretén estimular la publicació a les revistes de més alt nivell internacional de cada camp. És, per tant, una precondició indispensable que es revisin les valoracions de les revistes que han estat fetes per les diferents comissions per tal de garantir una homogeneïtzació raonable dels criteris emprats en cada àmbit. En particular, és fonamental que les revistes qualificades en els grups A i B siguin d'abast internacional i garanteixin un procés de selecció d'originals mitjançant un sistema rigorós. El procés que s'hauria de seguir inclou tres estadis. En primer lloc, cal definir el més acuradament possible la tipologia de revistes que correspon a cada grup. A continuació, s'haurien d'ajustar les qualificacions a aquest criteri. Un cop feta la revisió per part dels especialistes de cada àrea, s'hauria de produir un darrer control per part d'una comissió interdisciplinària que comprovés que no hi ha desequilibris injustos entre les diverses àrees a la classificació final.” En data d'avui, no consta que el sistema de revisió explicitat s'hagi posat en marxa de manera organitzada.

b) Manca de definició dels conceptes emprats per establir els quatre nivells de revistes

No s'ha trobat en la documentació disponible públicament cap definició o enumeració relativa als següents conceptes clau per a la definició dels quatre nivells de revistes considerats:

c) Buits significatius i absència d'un sistema periòdic d'actualització

En la documentació de la Proposta s'afirma textualment: “Donat el seu caràcter experimental, aquest sistema hauria de ser revisat passat un cert temps de la seva aplicació (per exemple, al cap de tres anys). Pel que fa a l'avaluació de les publicacions periòdiques, les llistes haurien de ser actualitzades periòdicament per tal de reflectir-hi les variacions que hi hagi hagut.”

En data d'avui, no es coneix que s'hagi procedit, formalment, a la seva actualització, amb l'agreujant que les llistes publicades en les pàgines web del DURSI no indiquen la data de tancament de cada llista, ni els noms de les persones implicades en la selecció dels títols. En aquest sentit, se sap que en alguns casos s'han completat més tard que en d'altres, com ara en el cas de dret, que s'ha publicat recentment (ara fa dos anys figurava com a pendent).

En el cas de documentació i de pedagogia i didàctica, per exemple, s'observen força títols que s'han deixat de publicar, o que tenen la publicació interrompuda, i destaquen absències de noves publicacions que han vist la llum en els darrers anys. Tampoc queden ben reflectits els canvis de títol d'algunes publicacions.

d) Identificació bibliogràfica insuficient i deficient

Les publicacions s'identifiquen, únicament, per un títol que de vegades correspon al títol propi; en d'altres, al títol abreviat, i en d'altres, al títol clau i no es consigna un element clau d'identificació com és el número ISSN, l'element més unívoc i que permet una millor automatització de les llistes i dels processos d'aplicació d'aquestes llistes a l'avaluació. S'observen, a més, errades tipogràfiques freqüents i duplicacions de títols.

e) Classificació temàtica massa genèrica i duplicació de títols en més d'un àmbit temàtic

Els títols es classifiquen en un nombre molt limitat de categories, massa genèriques i no ben definides. Aquest fet porta a comparar publicacions corresponents a disciplines i subdisciplines amb dinàmiques científiques i bibliomètriques ben diferenciades. Es dóna la paradoxa que, tot i que implícitament es parteix del Journal citation reports social science edition (JCR) de l'ISI, per definir les revistes de més nivell de les classificacions, no se segueix la classificació temàtica d'aquest repertori. Per exemple, dins del JCR social science edition hi ha tres categories que tenen a veure amb educació (“Education and education research”, “Education, special” i “Psychology-Educational”), mentre que la llista de revistes per matèries de la CONACIT recull totes les ciències de l'educació, dins d'un apartat denominat “Pedagogia i didàctica”. Aquesta manca de definició dels límits temàtics fa que en aquesta darrera llista figurin un bon nombre de publicacions d'història, geografia i lingüística que haurien de ser objecte d'estudi en la seva àrea respectiva, però que figuren aquí perquè molts professors de didàctiques específiques publiquen preferentment en aquestes revistes.

La manca d'adequació dels límits i de les denominacions es pot il·lustrar, a tall d'exemple, amb el fet que la Comissió de Recerca de la Divisió II de la Universitat de Barcelona ha fet una proposta de modificació de la llista de sociologia i ha rebatejat la categoria temàtica amb l'epígraf “Ciència política i sociologia” (Universitat de Barcelona, 2002).

f) Manca d'atenció de les revistes “internacionals” al debat social que aporten les recerques amb projecció estatal, autonòmica o local

En els rànquings es fa una opció clara per identificar qualitat de la recerca amb publicació en revistes internacionals. Si bé aquest punt de partida té una lògica considerable si s'analitza, en general, des del conjunt del sistema de comunicació científica, l'aplicació d'aquest principi resulta molt complicada en moltes disciplines. El caràcter fonamentalment estatal, autonòmic i local del debat social i de certes línies de recerca que porten associades, fa que, independentment de l'alta qualitat d'un treball de recerca, certes revistes internacionals no siguin tingudes en compte com a adients pels autors i pels comitès editorials per difondre una bona part de la producció científica que es du a terme en determinats departaments. Cal, doncs, aprofundir en una avaluació de la recerca i la seva projecció internacional a partir d'indicadors complementaris si no es compta amb un sistema reconegut de revistes dites internacionals.

En efecte, és un fet objectiu que en determinats àmbits temàtics no hi ha, en un grau comparable al que es dóna en el camp de les ciències experimentals, una comunitat científica internacional amb òrgans propis (revistes, associacions, congressos) que serveixi de referència per valorar tota la producció científica pròpia. La manca de validesa internacional que des del mateix Institut for Scientific Information (ISI) es dóna a l'avaluació de la recerca que es fa d'aquestes àrees a partir de les dades bibliomètriques obtingudes dels seus índexs de citacions, fa que el repertori anual Journal citation reports per a les ciències socials sigui útil però no gaire decisiu en aquesta matèria. La situació en humanitats encara es manifesta més complexa, fins al punt que l'ISI no publica l'informe anual JCR d'arts i humanitats, tot i que disposa d'un índex de citacions d'aquestes àrees.

3  Línies de treball per a un procés sistemàtic de revisió

Una de les principals línies de treball per explotar, abans de definir un model alternatiu de treball per als rànquings avaluats, consisteix a revisar a fons la bibliografia i els precedents sobre avaluació qualitativa de la recerca en les àrees que tractem. Si bé el document de la CONACIT és el resultat d'una proposta per a una decisió de política científica, sobta la manca de fonamentació en la bibliografia prèviament publicada sobre bibliometria i avaluació de la recerca. Ni les universitats catalanes, ni la Generalitat, són les primeres d'un país amb una llengua i cultura minoritàries a escala internacional que fan front a aquest problema: s'han d'analitzar precedents i solucions a situacions similars, i alhora caldrà aprofitar el valor d'altres rànquings ja realitzats i que tinguin una certa validesa per a la comunitat acadèmica catalana.

De totes maneres, des del punt de vista metodològic, creiem que estem en condicions d'aprofundir en el desenvolupament d'un sistema de recollida d'informació sobre les publicacions que ens permeti fer un bon treball de camp a partir del qual puguin treballar comissions d'experts per a la definició dels nivells A, B, C i D, de la CIRIT en una revisió a curt termini, que permeti avançar provisionalment mentre s'avança en la línia de recerca més teòrica i de revisió bibliogràfica. És a dir, creiem que per establir una bona jerarquització a partir del judici d'experts, cal partir d'unes dades de qualitat formal, difusió i repercussió que no es van tenir en consideració al seu dia. En síntesi, estem treballant per definir un sistema d'identificació i puntuació de publicacions, que es fonamenta en els punts resumits ben clarament per José Ramón Pérez Álvarez-Ossorio (2001) en la revista BiD, amb motiu de la participació en les Jornades d'Impuls a la Recerca de la Divisió de Ciències de l'Educació de la Universitat de Barcelona, de l'any 2001:

Partint d'aquesta metodologia, hem elaborat un primer treball fruit d'una petició de la Comissió de Recerca de la Divisió V de la Universitat de Barcelona, en què hem compilat llistes d'educació i de documentació (Urbano, 2003, annex I i II) que han servit per demostrar empíricament els buits, les errades d'identificació i la manca de lògica dels rànquings publicats al seu dia per la CONACIT. Per completar dades de les publicacions, identificar-ne de noves i obtenir dades de difusió, repercussió i qualitat formal, s'ha treballat amb repertoris internacionals de publicacions seriades (Ulrich's periodical directory, Journal citation reports social sciences Ed. i LATINDEX: índice Lationamericano de publicaciones científicas seriadas) i bases de dades d'índex i resum (ERIC i LISA). El contrast dels rànquings de títols segons la CIRIT, amb les llistes obtingudes a partir de dades objectives extretes de repertoris bibliogràfics, permet afirmar, categòricament, la manca d'adequació dels primers: les llistes de la CIRIT no es correlacionen correctament amb cap dels indicadors objectius de qualitat és especialment significativa la divergència entre els títols amb nivells A i B assignats i la llista recollida pel Journal citation reports; alhora, la principal manca d'idoneïtat és imputable a les nombroses absències de títols significatius i de qualitat identificats en l'esmentat estudi.

Creiem que l'aplicació del mètode, emprat com a prova en els àmbits d'educació i documentació, pot donar resultats similars en la resta de matèries tingudes en compte per la CONACIT. Sigui com sigui, en una fase següent del treball de superació de la mera crítica per entrar en les propostes alternatives , les llistes obtingudes haurien de ser objecte, en primer lloc, de millores amb l'explotació de bases de dades bibliogràfiques d'índex i resum més representatives de l'àmbit europeu i català; en segon lloc, de ponderació segons un procés d'enquesta com el presentat per Nederhoff, Luwel i Moed (2001); i en tercer lloc, de fixació final a partir del judici de comissions d'experts.

Tanmateix, el repte més gran per a tot sistema de jerarquització qualitativa de títols de revista és el de l'actualització, especialment complex en àrees com ara les ciències humanes i socials, amb un sistema de títols de prestigi internacional no tan consolidat com en les ciències experimentals. El fet d'integrar anualment i de manera dinàmica les dades de traçabilitat dels títols que han sofert modificacions, les noves aparicions, i els canvis de qualitat formal i de rellevància de les publicacions estables, representa el repte més important. És en aquest terreny on realment creiem que caldrà validar la utilitat i l'eficiència de les fonts d'informació emprades, i en què caldrà esmerçar energies per desenvolupar una aplicació informàtica que ajudi a mantenir al dia les dades, i que permeti un accés a les dades retrospectives amb els rànquings de les publicacions per a cada any de la seva història editorial recent.

En síntesi, creiem que estem davant d'una línia de recerca que considerem de gran interès i de clara utilitat, en la qual podem treballar en tres nivells: teòric i de revisió bibliogràfica; pragmàtic per a la millora a curt termini dels llistats, incloent-hi la resolució dels problemes detectats; i tecnològic, de cara a la integració dinàmica de dades en una aplicació que faciliti el manteniment i l'explotació dels rànquings.


4  Bibliografia i referències

Alcain, M. D.; Lascurain, M. L. (2002). “Análisis de las revistas latinoamericanas de psicología incluídas en el 'directorio latindex'”. Papeles del psicólogo: revista del Colegio Oficial de Psicólogos, p. 34-43.

Campanario, J. M.; Cabos, W.; Hidalgo, M. A. (1998). “El impacto de la producción científica de la Universidad de Alcalá de Henares”. Revista española de documentación científica, vol. 21, nº 4, p. 402-415.

CONACIT (2000). Proposta d'un sistema d'avaluació de la recerca a humanitats i ciències socials [en línia]. [Barcelona: CIRIT: Departament d'Universitats Recerca i Societat de la Informació], 17 d'abril de 2000. <http://dursi.gencat.es/ca/re/cirit_aval.htm> [Consulta: 4/04/2003].

Delgado López-Cózar, E. (1997). “Evaluación y aplicación de las normas de presentación de publicaciones periódicas: revisión bibliográfica”. Revista española de documentación científica, vol. 20, nº 1, p. 39-51.

Delgado López-Cózar, E. (2001). “Las revistas españolas de Ciencias de la Documentación, productos manifiestamente mejorables”. El profesional de la información, vol. 10, nº 12, p. 46-56.

Ferreiro, L.; Jiménez Contreras, E. (1986). “Procedimientos de evaluación de las publicaciones periódicas: estudio en las revistas científicas españolas”. Revista española de documentación científica, vol. 9, nº 1, p. 9-44.

García Marín, A.; Román. A. (1998). “Las publicaciones periódicas de historia antigua, prehistoria y arqueología: difusión internacional”. Trabajos de prehistoria, vol. 55, nº 1, p. 139-146.

Giménez Toledo, E.; Román, A.; Sánchez Nistal, J. M. (1999). “Aplicación de un modelo de evaluación a las revistas científicas españolas de economía: una aproximación metodológica”. Revista española de documentación científica, vol. 23, nº 3, p. 309-324.

Gómez Caridad, I; Sancho, R.; Moreno, L.; Fernández, M.T. (1999). “Influence of Latin American journals coverage by international databases”. Scientometrics, vol. 46, nº 3, p. 443-456.

Nederhof, A. J.; Luwel, M.; Moed, H. F. (2001). “Assessing the quality of scholarly journals in linguistics: an alternative to citation based journal impact factors”. Scientometrics, vol. 51, nº 1, p. 241-265.

Nederhof, A. J.; Zwann, R. A. (1991). “Quality judgements of journals as indicators of research performance in the humanities and the social and behavioral sciences”. Journal of the American Society for Information Science, vol. 42, nº 5, p. 332-340.

Pérez Álvarez-Ossorio, J. R. (2001). “L'avaluació de les revistes científiques [en línia]”. BiD: textos universitaris de biblioteconomia i documentació, núm. 6. <http://bid.ub.edu/06perez1.htm> [Consulta: 3/04/2003].

Román, A.; Vázquez, M.; Urdín, C. (2002). “Los criterios de calidad LATINDEX en el marco de la evaluación de las revistas españolas”. Revista española de documentación científic, vol. 25, nº 3, p. 286-307.

Rowlands, I. (2002). “Journal diffusion factors: a new approach to measuring research influence”. Aslib proceedings, vol. 54, . 2, p. 77-84.

Stegmann, J. (1999). “Building a list of journals with constructed impact factors”. Journal of documentation, vol. 55, n. 3, p. 310-324.

Universitat de Barcelona (2002). Comissió de Recerca de la Divisió II. Llistat de revistes de ciència política i sociologia [en línia]. Barcelona: Universitat de Barcelona, Divisió II [última actualització: 05/03/2002]. <http://www.ub.edu/div2/recerca/revistes/socciencia/revisteciensoc.htm> [Consulta: 3/04/2003].

Urbano, Cristóbal (2003). Proposta de rectificació provisional de les llistes de revistes de documentació i de pedagogia i didàctica del sistema d'avaluació de la recerca en humanitats i ciències socials de la CONACIT [en línia]: informe presentat a la Comissió de Recerca de la Divisió V de la Universitat de Barcelona. Barcelona: Divisió de Ciències de l'Educació, Universitat de Barcelona. <http://www.ub.edu/div5/cinquena/pdf/revistesUrbano(26-05-2003).pdf> [Consulta: 2/06/2003].


Data de recepció: 24/04/2003   Data d'acceptació: 05/05/2003.