Avaluació de revistes i avaluació de la recerca en humanitats i ciències socials a Catalunya: aproximació a un problema
Departament de Biblioteconomia i Documentació
Universitat de Barcelona
Resum [Abstract] [Resumen]
L'avaluació de la qualitat i de la repercussió de les revistes com a punt de partida per sistematitzar la qualitat de la recerca representa un dels mètodes indirectes habitualment més emprats per obtenir informació de base en accions d'avaluació sistemàtiques i voluminoses, com ara les que es desenvolupen en les resolucions de convocatòries públiques d'ajuts a projectes i grups de recerca. De totes maneres, aquest mètode s'enfronta amb un escull important: l'elaboració de rànquings de revistes en humanitats i ciències socials resulta força més complexa que en disciplines de ciències experimentals, biomèdiques o tecnològiques. Els components culturals, lingüístics i territorials de la recerca en humanitats i ciències socials fan qüestionar de manera radical els rànquings internacionals. És en aquest context que, en el present article presentem l'experiència d'un treball en curs, amb què es vol avaluar els rànquings de revistes d'humanitats i ciències socials publicats el 1997 amb aquesta finalitat per la Generalitat de Catalunya, ja que malgrat que van significar un intent de fer una aproximació adaptada al col·lectiu català d'investigadors, la proposta ha estat objecte permanent de controvèrsies i crítiques i, avui per avui, no gaudeix del reconeixement necessari del món acadèmic català.
1 Punt de partida: la proposta de sistema d'avaluació en humanitats i ciències socials de la CONACIT
L'avaluació de la recerca en humanitats i ciències socials continua sent objecte de debat i de polèmica en molts països, especialment en aquells que no es troben en el nucli de la cultura científica i comunicacional del món anglosaxó. Es tracta de països per als quals la selecció de títols buidats en els repertoris Social science citation index i Arts and humanities citation index de l'ISI (Institute for Scientific Information) de Filadèlfia resulta del tot insuficient, especialment si es considera que parlem d'unes àrees de recerca molt marcades en l'essència dels seus objectius i temes per factors territorials, lingüístics i culturals.
És en aquest context que s'ha d'entendre i valorar positivament l'intent d'acordar a Catalunya un sistema com el que es plasma en la Proposta d'un sistema d'avaluació de la recerca en humanitats i ciències socials (CONACIT 2000) promoguda per la CIRIT. Tal com, amb data 1 d'abril de 2003, està descrita en el lloc web del DURSI (Departament d'Universitats, Recerca i Societat de la Informació de la Generalitat de Catalunya), la proposta és el resultat d'una ponència que va treballar entre febrer i maig de 1997, per encàrrec de la CONACIT. Aquesta proposta considera les aportacions que van fer unes comissions de les diferents àrees de coneixement que van ser nomenades pels vicerectorats de les universitats catalanes, comissions que no s'identifiquen clarament amb noms i cognoms en la informació disponible públicament en el web del DURSI. Posteriorment, s'han concretat aspectes com ara el sistema de puntuació dels productes de recerca generats o publicats, o com les llistes de revistes d'algunes àrees que, al seu dia, no es van completar, com per exemple la de dret.
A continuació fem alguns comentaris sobre els principis presentats en l'esmentada proposta (CONACIT 2000) pel que fa a l'avaluació de la qualitat de les revistes com a instrument per sistematitzar la qualitat de la recerca publicada en aquest tipus de publicació.
L'avaluació de la recerca, partint de l'anàlisi de la qualitat de les revistes en les quals es publica, es fonamenta en el principi segons el qual com més elevada és la qualitat d'una revista, més exigents són els comitès editorials en l'acceptació de treballs. Alhora, com més qualitat, visibilitat i difusió té una revista, major nombre de treballs per ser sotmesos a l'aprovació rep i, per tant, es pot actuar més selectivament respecte als originals rebuts sense que quedin afectades la pervivència i la periodicitat de la publicació.
Es tracta d'un indicador àmpliament debatut en la bibliografia sobre la matèria, fàcilment aplicable quan es disposa d'una llista clarament delimitada i jerarquitzada de títols d'acord amb criteris de qualitat bibliomètrics de fàcil obtenció com ara nombre de citacions i factor d'impacte obtinguts del Journal citation reports (JCR) de l'ISI , però que presenta dificultats d'aplicació quan no es disposa de rànquings reconeguts i eficients per a àrees no ben cobertes pel JCR de l'ISI (Nederhof i Zwaan, 1991; Nederhof, Luwel i Moed, 2001; Stegmann, 1999).
També presenta perills d'ús indiscriminat en l'avaluació d'autors i treballs concrets, ja que la temptació de fer traduccions mecàniques del valor d'una revista vers el valor d'un treball que s'hi publica són freqüents. Com posen clarament de manifest molts estudis empírics sobre la qüestió (p. e., per a la Universidad de Alcalá de Henares, el treball de Campanario, Cabos i Hidalgo, 1998), el fet de publicar en una revista amb un alt factor d'impacte no és sinònim que el treball publicat tingui, finalment, un impacte equivalent.
En el cas concret del sistema d'avaluació de la CIRIT, s'estableix un sistema de puntuació per als productes i per a les activitats de recerca desenvolupades, que permet l'expressió sintètica en forma numèrica de l'avaluació d'un investigador. Això facilita la comparabilitat dels resultats i fa més objectiva la integració dels resultats en l'avaluació d'evidències de naturalesa diferent. Quant al tema a què ens referim en aquest article, les revistes es jerarquitzen en quatre nivells de qualitat segons la seva difusió internacional, el sistema d'avaluació d'originals, la presència en “índexs internacionals” i el “coeficient d'impacte” (p. e., la presència que tenen en el Journal citation reports de l'ISI).
En concret, la definició exacta dels nivells és la següent:
- “NIVELL A. Revista d'àmbit internacional, del màxim nivell de qualitat dins la seva disciplina, situada als índexs internacionals amb els coeficients d'impacte més alts.”
- “NIVELL B. Es tenen en compte dos tipus de revista en aquest nivell: 1. Revista d'àmbit internacional, situada als índexs internacionals amb un coeficient d'impacte inferior a les del grup A; 2. Revista no indexada del màxim nivell de qualitat dins el seu àmbit, d'abast internacional, amb un sistema d'avaluació d'originals rigorós i amb un comitè científic internacional.”
- “NIVELL C. Revista de bon nivell de qualitat dins el seu àmbit, amb un sistema d'avaluació d'originals rigorós.”
- “NIVELL D. Revistes que publiquen contribucions de bon nivell, però que no tenen un sistema rigorós d'avaluació d'originals.”
El sistema determina els següents intervals de puntuació per als treballs publicats en cada un dels nivells: nivell A, 8-6,5 punts; nivell B, 6,5-5 punts; nivell C, 5-2,5 punts; nivell D, 2-0 punts.
De totes maneres, la puntuació assignada per als articles publicats en cada nivell s'ha de tenir en compte com a marc de referència, segons el qual els comitès avaluadors hauran de decidir puntuacions concretes. Així, en les directrius d'aplicació del sistema de puntuació que va formular una comissió de seguiment establerta el novembre de 1998 (annex II de la Proposta publicada en la pàgina web www.gencat.net/dursi/sisav_index.htm), s'afirma en relació amb les revistes que:
- “S'adjudicaran les puntuacions altes quan existeixi repercussió concreta, com ara referències, recensions o polèmiques de caire positiu.”
- “Podria considerar-se el cas d'especialitats o àrees específiques de treball amb molt poques revistes indexades, la qual cosa podria ser una raó per augmentar la puntuació en els grups C i D.”
- “De la mateixa manera que en les revistes dels grups A, B i C el consell de redacció garanteix la seva categoria [sic], els autors d'articles en revistes del grup D podrien en casos excepcionals demanar una avaluació exterior per millorar la puntuació dels seus treballs.”
2 Punts febles de les llistes de revistes acordades per la CONACIT
Gràcies als treballs que hem iniciat per establir llistes alternatives per a les àrees d'educació i de documentació (Urbano, 2003), hem pogut fer una anàlisi de la proposta de la CONACIT, tant des d'un punt de vista general i teòric com des del punt de vista empíric, que ens porten a destacar una sèrie de punts febles que haurien de ser superats si el sistema d'avaluació promogut per la Generalitat vol gaudir d'un cert consens pel que fa a l'acceptació de les llistes de revistes. L'elaboració de treballs similars en altres àrees, com ara els de la Comissió de Recerca de la Divisió II de la Universitat de Barcelona (2002), així com altres rànquings fets internament en altres universitats catalanes, posen de manifest la manca de reconeixement de les llistes tal com han estat publicades per la Generalitat. De tota manera, presentarem la crítica a les llistes comentant els punts febles que hem definit, com a expressió de les bases d'un treball actualment en curs:
a) Provisionalitat de la proposta
En l'informe de la ponència s'afirma textualment: “Aquest sistema de puntuació pretén estimular la publicació a les revistes de més alt nivell internacional de cada camp. És, per tant, una precondició indispensable que es revisin les valoracions de les revistes que han estat fetes per les diferents comissions per tal de garantir una homogeneïtzació raonable dels criteris emprats en cada àmbit. En particular, és fonamental que les revistes qualificades en els grups A i B siguin d'abast internacional i garanteixin un procés de selecció d'originals mitjançant un sistema rigorós. El procés que s'hauria de seguir inclou tres estadis. En primer lloc, cal definir el més acuradament possible la tipologia de revistes que correspon a cada grup. A continuació, s'haurien d'ajustar les qualificacions a aquest criteri. Un cop feta la revisió per part dels especialistes de cada àrea, s'hauria de produir un darrer control per part d'una comissió interdisciplinària que comprovés que no hi ha desequilibris injustos entre les diverses àrees a la classificació final.” En data d'avui, no consta que el sistema de revisió explicitat s'hagi posat en marxa de manera organitzada.
b) Manca de definició dels conceptes emprats per establir els quatre nivells de revistes
No s'ha trobat en la documentació disponible públicament cap definició o enumeració relativa als següents conceptes clau per a la definició dels quatre nivells de revistes considerats:
- Definició de revista. En les llistes es barregen títols de molt diversa naturalesa als quals s'assignen puntuacions idèntiques: revistes científiques (“acadèmic and scholarly journals”), revistes professionals (“professional journals”), butlletins (“newsletters”), magazins i premsa professional i comercial (“magazines and newspapers”), publicacions anuals i sèries monogràfiques (“anual reviews, advances in..., progress in...”).
- Definició de revista d'àmbit internacional. La determinació del que s'entén per revista d'àmbit internacional és realment subjectiva i arbitrària en vista dels títols recollits amb nivell A i B. Realment és molt difícil i poc significatiu jerarquitzar títols en ciències socials i humanes amb un criteri com aquest, ja que la recerca en aquestes àrees està molt condicionada en els seus temes i objectius per factors territorials, culturals i lingüístics. Potser seria més objectiu i eficient parlar de publicació difosa internacionalment.
- Delimitació dels índexs internacionals considerats. Tot i que s'esmenta en el sistema d'assignació de puntuació, el concepte “[revista] situada als índexs internacionals amb els coeficients d'impacte més alts”, no s'aclareix amb precisió a quins índexs internacionals es refereix. Sembla que es dóna per fet que l'únic índex internacional és el JCR, ja que esmenta l'indicador “coeficient d'impacte” [sic] sense una explicació clara de la font i de l'indicador.
- Establiment d'uns rangs de coeficient d'impacte per determinar l'excel·lència atribuïda al nivell A. Reben la qualificació A les publicacions “amb els coeficients d'impacte més alts dins la seva disciplina”, però no s'indiquen els criteris quantitatius per valorar aquest indicador que cada comissió temàtica ha d'aplicar: s'ha de considerar que el factor d'impacte que es pot calcular amb les dades de l'ISI pot variar, i molt, segons l'àmbit temàtic que es consideri i la finestra cronològica que es tingui en compte per ponderar el nombre de citacions rebudes en un any; és a dir, el grau d'obsolescència de la bibliografia d'una determinada disciplina s'hauria de prendre en consideració, o bé s'hauria de matisar aquest indicador amb el nombre total de citacions rebudes per la publicació en l'any de referència considerant totes les dates de la publicació citada.
- Criteris explícits que permetin als comitès valorar el nivell de qualitat. En la documentació explicativa del sistema s'esmenten gradacions de qualitat totalment buides de referents i que poden ser interpretades de manera ben diferent per les diverses persones que formen part d'una comissió (p. e., “màxim nivell de qualitat”, “bon nivell de qualitat”, “que publiquen contribucions de bon nivell”, etc.).
- Definició de sistema d'avaluació d'originals rigorós i definició de comitè científic internacional. En la documentació analitzada no es precisa què s'entén per sistema d'avaluació d'originals rigorós i no queda clar si es diferencia entre peer review cec, avaluació per un comitè estable de redacció/edició, etc. La presència en les llistes de comitès científics de les publicacions, de noms de diversos països no significa que realment aquest comitè sigui altra cosa que un comitè d'assessors nomenats únicament amb finalitats d'imatge i màrqueting. Caldria donar indicis per avaluar el grau d'implicació dels diversos elements internacionals en la gestió de la publicació.
c) Buits significatius i absència d'un sistema periòdic d'actualització
En la documentació de la Proposta s'afirma textualment: “Donat el seu caràcter experimental, aquest sistema hauria de ser revisat passat un cert temps de la seva aplicació (per exemple, al cap de tres anys). Pel que fa a l'avaluació de les publicacions periòdiques, les llistes haurien de ser actualitzades periòdicament per tal de reflectir-hi les variacions que hi hagi hagut.”
En data d'avui, no es coneix que s'hagi procedit, formalment, a la seva actualització, amb l'agreujant que les llistes publicades en les pàgines web del DURSI no indiquen la data de tancament de cada llista, ni els noms de les persones implicades en la selecció dels títols. En aquest sentit, se sap que en alguns casos s'han completat més tard que en d'altres, com ara en el cas de dret, que s'ha publicat recentment (ara fa dos anys figurava com a pendent).
En el cas de documentació i de pedagogia i didàctica, per exemple, s'observen força títols que s'han deixat de publicar, o que tenen la publicació interrompuda, i destaquen absències de noves publicacions que han vist la llum en els darrers anys. Tampoc queden ben reflectits els canvis de títol d'algunes publicacions.
d) Identificació bibliogràfica insuficient i deficient
Les publicacions s'identifiquen, únicament, per un títol que de vegades correspon al títol propi; en d'altres, al títol abreviat, i en d'altres, al títol clau i no es consigna un element clau d'identificació com és el número ISSN, l'element més unívoc i que permet una millor automatització de les llistes i dels processos d'aplicació d'aquestes llistes a l'avaluació. S'observen, a més, errades tipogràfiques freqüents i duplicacions de títols.
e) Classificació temàtica massa genèrica i duplicació de títols en més d'un àmbit temàtic
Els títols es classifiquen en un nombre molt limitat de categories, massa genèriques i no ben definides. Aquest fet porta a comparar publicacions corresponents a disciplines i subdisciplines amb dinàmiques científiques i bibliomètriques ben diferenciades. Es dóna la paradoxa que, tot i que implícitament es parteix del Journal citation reports social science edition (JCR) de l'ISI, per definir les revistes de més nivell de les classificacions, no se segueix la classificació temàtica d'aquest repertori. Per exemple, dins del JCR social science edition hi ha tres categories que tenen a veure amb educació (“Education and education research”, “Education, special” i “Psychology-Educational”), mentre que la llista de revistes per matèries de la CONACIT recull totes les ciències de l'educació, dins d'un apartat denominat “Pedagogia i didàctica”. Aquesta manca de definició dels límits temàtics fa que en aquesta darrera llista figurin un bon nombre de publicacions d'història, geografia i lingüística que haurien de ser objecte d'estudi en la seva àrea respectiva, però que figuren aquí perquè molts professors de didàctiques específiques publiquen preferentment en aquestes revistes.
La manca d'adequació dels límits i de les denominacions es pot il·lustrar, a tall d'exemple, amb el fet que la Comissió de Recerca de la Divisió II de la Universitat de Barcelona ha fet una proposta de modificació de la llista de sociologia i ha rebatejat la categoria temàtica amb l'epígraf “Ciència política i sociologia” (Universitat de Barcelona, 2002).
f) Manca d'atenció de les revistes “internacionals” al debat social que aporten les recerques amb projecció estatal, autonòmica o local
En els rànquings es fa una opció clara per identificar qualitat de la recerca amb publicació en revistes internacionals. Si bé aquest punt de partida té una lògica considerable si s'analitza, en general, des del conjunt del sistema de comunicació científica, l'aplicació d'aquest principi resulta molt complicada en moltes disciplines. El caràcter fonamentalment estatal, autonòmic i local del debat social i de certes línies de recerca que porten associades, fa que, independentment de l'alta qualitat d'un treball de recerca, certes revistes internacionals no siguin tingudes en compte com a adients pels autors i pels comitès editorials per difondre una bona part de la producció científica que es du a terme en determinats departaments. Cal, doncs, aprofundir en una avaluació de la recerca i la seva projecció internacional a partir d'indicadors complementaris si no es compta amb un sistema reconegut de revistes dites internacionals.
En efecte, és un fet objectiu que en determinats àmbits temàtics no hi ha, en un grau comparable al que es dóna en el camp de les ciències experimentals, una comunitat científica internacional amb òrgans propis (revistes, associacions, congressos) que serveixi de referència per valorar tota la producció científica pròpia. La manca de validesa internacional que des del mateix Institut for Scientific Information (ISI) es dóna a l'avaluació de la recerca que es fa d'aquestes àrees a partir de les dades bibliomètriques obtingudes dels seus índexs de citacions, fa que el repertori anual Journal citation reports per a les ciències socials sigui útil però no gaire decisiu en aquesta matèria. La situació en humanitats encara es manifesta més complexa, fins al punt que l'ISI no publica l'informe anual JCR d'arts i humanitats, tot i que disposa d'un índex de citacions d'aquestes àrees.
3 Línies de treball per a un procés sistemàtic de revisió
Una de les principals línies de treball per explotar, abans de definir un model alternatiu de treball per als rànquings avaluats, consisteix a revisar a fons la bibliografia i els precedents sobre avaluació qualitativa de la recerca en les àrees que tractem. Si bé el document de la CONACIT és el resultat d'una proposta per a una decisió de política científica, sobta la manca de fonamentació en la bibliografia prèviament publicada sobre bibliometria i avaluació de la recerca. Ni les universitats catalanes, ni la Generalitat, són les primeres d'un país amb una llengua i cultura minoritàries a escala internacional que fan front a aquest problema: s'han d'analitzar precedents i solucions a situacions similars, i alhora caldrà aprofitar el valor d'altres rànquings ja realitzats i que tinguin una certa validesa per a la comunitat acadèmica catalana.
De totes maneres, des del punt de vista metodològic, creiem que estem en condicions d'aprofundir en el desenvolupament d'un sistema de recollida d'informació sobre les publicacions que ens permeti fer un bon treball de camp a partir del qual puguin treballar comissions d'experts per a la definició dels nivells A, B, C i D, de la CIRIT en una revisió a curt termini, que permeti avançar provisionalment mentre s'avança en la línia de recerca més teòrica i de revisió bibliogràfica. És a dir, creiem que per establir una bona jerarquització a partir del judici d'experts, cal partir d'unes dades de qualitat formal, difusió i repercussió que no es van tenir en consideració al seu dia. En síntesi, estem treballant per definir un sistema d'identificació i puntuació de publicacions, que es fonamenta en els punts resumits ben clarament per José Ramón Pérez Álvarez-Ossorio (2001) en la revista BiD, amb motiu de la participació en les Jornades d'Impuls a la Recerca de la Divisió de Ciències de l'Educació de la Universitat de Barcelona, de l'any 2001:
- factor d'impacte i nombre de citacions per a les revistes recollides en el Journal citation reports,
- presència de la publicació en bases de dades internacionals de la disciplina,
- presència de la publicació en centres internacionals de subministrament de documents, i
- qualitat formal de la publicació.
Partint d'aquesta metodologia, hem elaborat un primer treball fruit d'una petició de la Comissió de Recerca de la Divisió V de la Universitat de Barcelona, en què hem compilat llistes d'educació i de documentació (Urbano, 2003, annex I i II) que han servit per demostrar empíricament els buits, les errades d'identificació i la manca de lògica dels rànquings publicats al seu dia per la CONACIT. Per completar dades de les publicacions, identificar-ne de noves i obtenir dades de difusió, repercussió i qualitat formal, s'ha treballat amb repertoris internacionals de publicacions seriades (Ulrich's periodical directory, Journal citation reports social sciences Ed. i LATINDEX: índice Lationamericano de publicaciones científicas seriadas) i bases de dades d'índex i resum (ERIC i LISA). El contrast dels rànquings de títols segons la CIRIT, amb les llistes obtingudes a partir de dades objectives extretes de repertoris bibliogràfics, permet afirmar, categòricament, la manca d'adequació dels primers: les llistes de la CIRIT no es correlacionen correctament amb cap dels indicadors objectius de qualitat és especialment significativa la divergència entre els títols amb nivells A i B assignats i la llista recollida pel Journal citation reports; alhora, la principal manca d'idoneïtat és imputable a les nombroses absències de títols significatius i de qualitat identificats en l'esmentat estudi.
Creiem que l'aplicació del mètode, emprat com a prova en els àmbits d'educació i documentació, pot donar resultats similars en la resta de matèries tingudes en compte per la CONACIT. Sigui com sigui, en una fase següent del treball de superació de la mera crítica per entrar en les propostes alternatives , les llistes obtingudes haurien de ser objecte, en primer lloc, de millores amb l'explotació de bases de dades bibliogràfiques d'índex i resum més representatives de l'àmbit europeu i català; en segon lloc, de ponderació segons un procés d'enquesta com el presentat per Nederhoff, Luwel i Moed (2001); i en tercer lloc, de fixació final a partir del judici de comissions d'experts.
Tanmateix, el repte més gran per a tot sistema de jerarquització qualitativa de títols de revista és el de l'actualització, especialment complex en àrees com ara les ciències humanes i socials, amb un sistema de títols de prestigi internacional no tan consolidat com en les ciències experimentals. El fet d'integrar anualment i de manera dinàmica les dades de traçabilitat dels títols que han sofert modificacions, les noves aparicions, i els canvis de qualitat formal i de rellevància de les publicacions estables, representa el repte més important. És en aquest terreny on realment creiem que caldrà validar la utilitat i l'eficiència de les fonts d'informació emprades, i en què caldrà esmerçar energies per desenvolupar una aplicació informàtica que ajudi a mantenir al dia les dades, i que permeti un accés a les dades retrospectives amb els rànquings de les publicacions per a cada any de la seva història editorial recent.
En síntesi, creiem que estem davant d'una línia de recerca que considerem de gran interès i de clara utilitat, en la qual podem treballar en tres nivells: teòric i de revisió bibliogràfica; pragmàtic per a la millora a curt termini dels llistats, incloent-hi la resolució dels problemes detectats; i tecnològic, de cara a la integració dinàmica de dades en una aplicació que faciliti el manteniment i l'explotació dels rànquings.
4 Bibliografia i referències
Alcain, M. D.; Lascurain, M. L. (2002). “Análisis de las revistas latinoamericanas de psicología incluídas en el 'directorio latindex'”. Papeles del psicólogo: revista del Colegio Oficial de Psicólogos, p. 34-43.
Campanario, J. M.; Cabos, W.; Hidalgo, M. A. (1998). “El impacto de la producción científica de la Universidad de Alcalá de Henares”. Revista española de documentación científica, vol. 21, nº 4, p. 402-415.
CONACIT (2000). Proposta d'un sistema d'avaluació de la recerca a humanitats i ciències socials [en línia]. [Barcelona: CIRIT: Departament d'Universitats Recerca i Societat de la Informació], 17 d'abril de 2000. <http://dursi.gencat.es/ca/re/cirit_aval.htm> [Consulta: 4/04/2003].
Delgado López-Cózar, E. (1997). “Evaluación y aplicación de las normas de presentación de publicaciones periódicas: revisión bibliográfica”. Revista española de documentación científica, vol. 20, nº 1, p. 39-51.
Delgado López-Cózar, E. (2001). “Las revistas españolas de Ciencias de la Documentación, productos manifiestamente mejorables”. El profesional de la información, vol. 10, nº 12, p. 46-56.
Ferreiro, L.; Jiménez Contreras, E. (1986). “Procedimientos de evaluación de las publicaciones periódicas: estudio en las revistas científicas españolas”. Revista española de documentación científica, vol. 9, nº 1, p. 9-44.
García Marín, A.; Román. A. (1998). “Las publicaciones periódicas de historia antigua, prehistoria y arqueología: difusión internacional”. Trabajos de prehistoria, vol. 55, nº 1, p. 139-146.
Giménez Toledo, E.; Román, A.; Sánchez Nistal, J. M. (1999). “Aplicación de un modelo de evaluación a las revistas científicas españolas de economía: una aproximación metodológica”. Revista española de documentación científica, vol. 23, nº 3, p. 309-324.
Gómez Caridad, I; Sancho, R.; Moreno, L.; Fernández, M.T. (1999). “Influence of Latin American journals coverage by international databases”. Scientometrics, vol. 46, nº 3, p. 443-456.
Nederhof, A. J.; Luwel, M.; Moed, H. F. (2001). “Assessing the quality of scholarly journals in linguistics: an alternative to citation based journal impact factors”. Scientometrics, vol. 51, nº 1, p. 241-265.
Nederhof, A. J.; Zwann, R. A. (1991). “Quality judgements of journals as indicators of research performance in the humanities and the social and behavioral sciences”. Journal of the American Society for Information Science, vol. 42, nº 5, p. 332-340.
Pérez Álvarez-Ossorio, J. R. (2001). “L'avaluació de les revistes científiques [en línia]”. BiD: textos universitaris de biblioteconomia i documentació, núm. 6. <http://bid.ub.edu/06perez1.htm> [Consulta: 3/04/2003].
Román, A.; Vázquez, M.; Urdín, C. (2002). “Los criterios de calidad LATINDEX en el marco de la evaluación de las revistas españolas”. Revista española de documentación científic, vol. 25, nº 3, p. 286-307.
Rowlands, I. (2002). “Journal diffusion factors: a new approach to measuring research influence”. Aslib proceedings, vol. 54, . 2, p. 77-84.
Stegmann, J. (1999). “Building a list of journals with constructed impact factors”. Journal of documentation, vol. 55, n. 3, p. 310-324.
Universitat de Barcelona (2002). Comissió de Recerca de la Divisió II. Llistat de revistes de ciència política i sociologia [en línia]. Barcelona: Universitat de Barcelona, Divisió II [última actualització: 05/03/2002]. <http://www.ub.edu/div2/recerca/revistes/socciencia/revisteciensoc.htm> [Consulta: 3/04/2003].
Urbano, Cristóbal (2003). Proposta de rectificació provisional de les llistes de revistes de documentació i de pedagogia i didàctica del sistema d'avaluació de la recerca en humanitats i ciències socials de la CONACIT [en línia]: informe presentat a la Comissió de Recerca de la Divisió V de la Universitat de Barcelona. Barcelona: Divisió de Ciències de l'Educació, Universitat de Barcelona. <http://www.ub.edu/div5/cinquena/pdf/revistesUrbano(26-05-2003).pdf> [Consulta: 2/06/2003].
Data de recepció: 24/04/2003 Data d'acceptació: 05/05/2003.