Selecció d'exemples fonamentals d'anàlisis de publicacions cienciomètriques

1 Introducció

En principi, l'anàlisi de publicacions implica comptar publicacions de diverses maneres i calcular una varietat de distribucions, per exemple, articles en revistes o autors o institucions molt productius, o indicadors de recerca, com el nombre d'articles publicats per científic per any, i també tenir en compte el temps. L'anàlisi de publicacions és un prerequisit fonamental per analitzar citacions i per calcular l'impacte de les citacions. Normalment, les publicacions que són objecte d'estudi les avaluen experts i, en general, l'anàlisi es limita a tipus de documents específics, com ara articles de revistes, actes de congressos publicades o llibres; més recentment, s'hi inclouen publicacions web com ara blogs, articles d'accés lliure, o volum de baixades i altres mesuraments sobre l'ús. Podem analitzar les publicacions o les seves metadades amb relació als punts següents:

• Autors de les publicacions, com ara el nombre d'autors per article.
• Canals de comunicació, com, per exemple, revistes, actes de congressos, blogs, llocs web.
• Disciplines o camps acadèmics.
• Països, regions, universitats, departaments, grups de recerca, com ara l'entitat més productiva.
• Períodes de temps, en forma de sèries de temps; per exemple, mostrar el creixement de la publicació.
• Una barreja dels elements anteriors, com ara nombre de revistes en un camp utilitzades per un país durant un període de temps.

L'anàlisi de publicacions es duu a terme assumint que els patrons de publicacions de recerca —en gran manera— són un reflex dels patrons de recerca. Si s'analitzen les publicacions tradicionals impreses o electròniques, les anàlisis són de caràcter bibliomètric (vegeu la figura 1). Si les publicacions són de caràcter acadèmic, es podria anomenar anàlisi cienciomètrica (Moed, 2005), independentment del tipus de publicacions; si l'entorn de publicació és el web, en diem webmetria (Almind; Ingwersen, 1997; Thelwall; Vaughan; Björneborn, 2004). Si comptem unitats segons diversos mitjans de comunicació social, el concepte altmetria (per mètriques alternatives) ha sorgit recentment com una forma especial d'anàlisi webmètrica (Taraborelli, 2008; Kurtz; Bollen, 2010). Com es mostra en la figura 1, tota la gamma de "-metries" pertany al camp general de la infometria, l'estudi quantitatiu de la informació en totes les seves formes (Tague-Sutcliffe, 1992).

Figura 1. El marc de la infometria (extret de Björneborn; Ingwersen, 2004, p. 1217).

A continuació, presentarem alguns exemples d'anàlisis de publicacions cienciomètriques bàsiques, el seu problema inherent d'interpretació i assenyalarem algunes de les dificultats que tenen. El primer exemple mostra l'ús de xifres d’índex per al creixement de les publicacions de recerca al llarg del temps per a tres països i regions molt diferents en termes de volums de recerca: els Estats Units (EUA), la Xina i la Unió Europea (UE). Es destacaran algunes dificultats en la interpretació de les dades. El segon exemple il·lustra una sèrie temporal de quotes mundials de publicació de països/regions en una disciplina científica. En aquest cas, anar més enllà dels resultats mostrats té una importància vital per interpretar correctament les tendències. El tercer exemple mostra que es poden utilitzar les eines analítiques del Web of Science (WoS) per calcular la mitjana de països, autors o institucions per publicació en una disciplina determinada, sense arribar a controlar els noms dels autors o les institucions. La majoria dels exemples són d'anàlisis ja publicades, de manera que els lectors poden consultar aquestes publicacions per aprofundir més en aquests casos.

2 Anàlisi del creixement de publicacions

La figura 2 mostra el creixement de publicacions de recerca a la Xina, als EUA i a la UE en períodes de cinc anys seguits entre 1981–2006. Les publicacions de recerca són, en aquest cas, només articles de revistes. El fet que se superposin els períodes temporals serveix per suavitzar les corbes de la figura. A causa de les grans diferències en les quantitats de publicacions entre els tres països/regions, el nombre real de publicacions no s'acostuma a mostrar en la mateixa figura; per això, s'apliquen valors d'índex. A més, els valors d'índex proporcionen al lector una informació immediata sobre el creixement des d'un punt concret en el temps. El període inicial (1981–1985) s'estableix en el valor d'índex 1. Per tant, per entendre les tendències indicades en la figura és crucial saber, primerament, de quina font de dades provenen les xifres dels índexs i, segonament, el volum real de publicacions per país/regió que equival al valor d'índex 1.

Figura 2. Creixement de publicacions de les bases de dades de citacions de Thomson-Reuter per a la Xina, la UE i els EUA —tots els camps acadèmics, 1981–2006 (Web of Science; National Science Indicators, 2007)— extret d'Ingwersen (2009, p. 4).

En l'article original (Ingwersen, 2009, p. 4, diagrama 3), no es mostraven els volums per al valor d'índex 1 perquè la idea de l'article era només demostrar el segon punt crucial per a la interpretació assenyalat anteriorment: la font. A primera vista, sembla com si la Xina superés els altres dos països/regions analitzats. No obstant això, com diu l'article (p. 4): "[we] observe that on the surface China's growth seems to follow a power law. However, the diagram demonstrates alone the growth of China's publications indexed by Thomson Reuters in their three citation databases, Social Science Citation Index, Science Citation Index and Arts; Humanities citation Index. That is, the curve for China signifies the growth of China's international contributions, as indexed by the citation databases, not the real growth of all Chinese publications including those published nationally". En altres paraules: la corba xinesa indica que el creixement de publicacions xineses, segurament en anglès i indexades en les bases de dades de citacions internacionals, ha estat 18 vegades més gran en els últims 25 anys; en resum, l'entrada recent de la Xina en l'escena internacional. Fenòmens similars de creixement, però menys pronunciat, es poden observar en altres països de parla no anglesa, com, per exemple, a Espanya i a molts països de l'Amèrica del Sud. La figura, per tant, es pot entendre com una representació d'una "política de recerca" activa a la Xina.

Un altre punt és que, atès que la figura mostra el creixement en valors d'índex, i no el nombre real de publicacions durant els períodes, seria una mala interpretació pensar que la Xina supera la UE, que ha superat els EUA en els últims anys; els volums de publicacions reals que equivalen al valor d'índex 1 són tals que el punt de partida de la Xina està molt per sota dels de la UE i dels EUA —només 14.114 publicacions. El volum dels EUA en l'índex 1 correspon a 887.039 publicacions respecte de les 736.616 publicacions de la UE, com a punt de partida. Una figura que representés els nombres reals d'articles indicaria la tendència real (vegeu la figura 3 a continuació). Una taula que mostrés tots tres països/regions i els nombres de publicacions reals també serviria per mostrar la imatge correcta —però, per descomptat, seria menys espectacular.

Figura 3. Nombres de publicacions de les bases de dades de citacions de Thomson-Reuter per a la Xina, la UE i els EUA 1981–2006 (Web of Science; National Science Indicators, 2007).

3 Anàlisi de les quotes mundials

El segon exemple es refereix a l'anàlisi de les quotes mundials de publicacions en una disciplina, la recerca en energies renovables. Les publicacions inclouen articles de revistes i actes publicades de congressos. S'assumeix que les tendències mostrades reflecteixen les tendències de recerca i la productivitat, és a dir, els països o les regions més productius en un àmbit durant un període de temps.

Figura 4. Percentatge de quotes mundials de publicacions sobre recerca en energies renovables, 1995–2011 (WoS, 2012; extret de Sanz-Casado et al., 2013, p. 206).

En comparació amb la figura 2, la figura 4 presenta les tendències proporcionals reals dels països i regions analitzats. En conseqüència, és acceptable mostrar les sèries temporals amb diferents períodes d'anàlisi (tres períodes de cinc anys i un període de dos anys, 2010–2011). Per entendre els patrons de la figura, les dades subjacents s'haurien de donar en forma de taula, de manera que el lector pogués conèixer el desenvolupament real de la producció mundial en la disciplina durant els períodes analitzats. No obstant això, una taula completa seria massa gran. La taula 1, a continuació, il·lustra la fracció superior de les dades. Abans d'afegir-hi els nombres de publicacions de la UE o d'altres països de la regió, s'ha d'eliminar la superposició que hi ha entre ells. Des dels punts de vista de l'analista i del lector, per cada sèrie temporal de quotes mundials nacionals, ens hauríem de preguntar sempre: quins països i quins tipus de documents són els responsables dels patrons que es mostren? Hi ha algunes anomalies quant a l'impacte de les citacions de les entitats que creixen o disminueixen? Per exemple, la productivitat de la Xina o del Japó / Corea del Sud / Taiwan augmenta de la mateixa manera que l'impacte de les citacions entre 2005–2011?

Per tant, l'anàlisi hauria de tractar, com a mínim, de les tendències més significatives observades en la figura 4.

Taula 1. Articles de revistes i actes publicades de congressos sobre generació d'energies renovables, 1995–2011, en els 20 països amb més publicacions (Web of Science, 2013; extret de Sanz-Casado et al., 2013, p. 205).

Tot i que la posició de lideratge de la UE en recerca sobre energies renovables no es posa en dubte, caldria investigar la caiguda de les quotes entre 2005–2011. Sembla que la raó principal d'aquest descens és la reducció de recerca en aquest camp a Alemanya (de l'11,4 % entre 2000–2004 al 7,8 % entre 2010–2011). "[In] general the 'old' dominant Western economies: USA, EU, Canada, Australia and New Zealand reduce their world segments during the analysis period. Simultaneously, the share of the countries outside the diagram diminishes, from 21.7 % in 2000–2004 to 12.7 % in 2010–11. India stays rather constant just below 4 %. Only China raises its world share and actual publication volume (or their international penetration as measured by WoS – see above) very rapidly, to become the second top-player from 2004 at global level in Renewable Energy research. […] [Japan], South Korea and Taiwan supersede China in volume and also increase their segment, but not as steeply as China, mainly due to a reduced Japanese growth" (Sanz-Casado et al., 2013, p. 204). Una variable oculta típica en aquest tipus d'anàlisi seria el grau de col·laboració internacional, que s'hauria d'estudiar. Una disminució de la col·laboració implica, en general, menys productivitat —i comporta també un impacte de les citacions més petit.

Pel que fa a les anàlisis detallades seleccionades de la distribució i de l'impacte de tipus de documents, la taula 2 il·lustra que la major part de l'augment entre 2005–2011 de les quotes mundials per a la Xina prové d'articles de revistes, com als EUA (66 %, aproximadament). A Espanya, que ocupa el sisè lloc per al període 2005–2009, aquest percentatge és molt més gran (73 %). Però fixeu-vos en el baixíssim impacte internacional de les actes publicades de congressos xinesos, en comparació amb d'altres països que es troben en els primers llocs.

Taula 2. Tipus de documents i impacte de citacions per al període 2005–2011 citats en recerques sobre energies renovables 2005–20012 (WoS, 2014).

4 Mitjana de països, institucions i autors per publicació

És bastant senzill calcular la mitjana de països per publicació en el Web of Science, perquè tots els països participants s'indexen i es controlen pel nom. L'eina analítica del WoS permet a l'analista obtenir en línia un desglossament per països cooperants d'un conjunt de publicacions definit per un país (en un camp, en un moment determinat, a partir d'un tipus de document concret, etc.). La classificació que dóna l'eina (fins a 500 països diferents) es pot transferir directament a un full de càlcul. El resultat s'assemblarà a la taula 3A. El conjunt de documents analitzats en cooperació internacional amb el país en qüestió (en la taula 3 és Dinamarca) se selecciona en el WoS mitjançant la recuperació de tots els documents dins del conjunt danès que estan col·laborant amb Dinamarca. Aquests països es troben gràcies a les eines analítiques del WoS. El conjunt resultant —aquí anomenat conjunt internacional— es resta de la sèrie original danesa a través de criteris no lògics. Així, tenim dues sèries de documents de Dinamarca: el conjunt internacional i el conjunt format per les publicacions només publicades per institucions daneses, i no per altres països. Això ens permetria anomenar-lo conjunt només danès. Ara ja estem preparats per calcular les mitjanes de països o institucions per document en els conjunts respectius.

4.1 Desglossament de països col·laboradors i mitjana per publicació

En l'exemple de la taula 3A, el conjunt internacional de països que col·laboren amb Dinamarca està format per 100 actes de congressos de 2012 en el camp de recerca sobre energies renovables. El conjunt només danès consta de 851 actes de congressos (vegeu la taula 3B). Per calcular la mitjana de països que col·laboren amb Dinamarca en produir les 100 actes publicades de congressos, sumem el nombre de publicacions assignades a tots els països de la llista. És clar que el nombre de països únics diferents serveix com un indicador addicional de cooperació (el nombre real és de 43 països únics, que no es mostren en la taula), però no té cap influència en el càlcul de la mitjana. La suma d'actes de congressos per a tots els països, entre els quals hi ha Dinamarca (100 publicacions), és de 333 actes publicades (vegeu la taula 3A), i la mitjana de països per document és, doncs, 333/100 = 3,33 països. Les 333 actes publicades són un nombre molt més gran que les 100 en col·laboració de Dinamarca precisament perquè hi participen diversos països. Així, a part de la mateixa Dinamarca, de mitjana, 2,33 països més cooperen per produir les 100 actes publicades.

Taula 3. Actes daneses publicades del 2012, de tots els camps. 3A: desglossament dels països que cooperen amb Dinamarca i nombre mitjà de països per acta publicada. 3B: desglossament de les institucions daneses que col·laboren en actes publicades només daneses i nombre mitjà d'institucions per acta publicada (WoS, 2014).

4.2 Desglossament d'institucions col·laboradores i mitjana per publicació

En la taula 3B, el conjunt "només danès" (851 actes de congressos publicades) es descompon en els noms institucionals indicats originalment en les actes en el moment de la publicació gràcies a l'eina analítica del WoS respecte de la categoria de metadades "Organizations Enhanced" (organitzacions destacades). A diferència dels noms de països, els noms institucionals no es controlen. Observem, per exemple, que l'Aalborg University (indexada en 229 documents) també apareix amb el nom "Aalborg Univ" (indexada en 6 documents). De la mateixa manera, un coneixement des de dins indicaria que el Niels Bohr Institute, de fet, és una part integrada de la University of Copenhagen. En conseqüència, no podem aplicar el desglossament per assenyalar el nombre real d'institucions úniques que col·laboren en el conjunt només danès d'actes de congressos publicades. Per fer-ho, hauríem de netejar tot el conjunt primer. No obstant això, es pot calcular el nombre total de documents que contenen almenys un nom institucional sumant el nombre de documents assignats a cada organització destacada en el conjunt. Després, la suma d'aquestes actes publicades (892, vegeu la taula 3B) es divideix entre el nombre de documents del conjunt només danès (851) per obtenir el nombre mitjà d'institucions per acta publicada (1,05). És important destacar que en aquest càlcul no cal controlar el nom de les institucions. Com que normalment els autors només assignen un nom de cada institució filiada a cada document, la lògica dicta que aquest càlcul que implica noms institucionals representa el nombre mitjà real d'institucions diferents que col·laboren per document.

Taula 4. Desglossament de noms d'autors que col·laboren en recerca sobre energia eòlica a Espanya, entre 2003 i 2012, classificats per ordre alfabètic, i nombre mitjà d'autors per article (Social Science Citation Index [SSCI] i Science Citation Index [SCI], 2014).

4.3 Desglossament d'autors col·laboradors i mitjana per publicació

Sovint el nombre mitjà d'autors —i el nombre mitjà d'institucions col·laboradores— s'utilitza com a mesura en els estudis d'avaluació de la recerca per explicar els canvis en l'impacte de les citacions i per justificar l'ús de la fragmentació de les citacions o indicadors de resultats de la publicació. En principi, per desglossar i calcular la mitjana d'autors s'apliquen els mateixos tipus de càlculs i d'eines d'anàlisi. Com en el cas dels noms de països, en el WoS s'indexen totes les formes de noms d'autor (AU) i, en gran manera, es controlen (cosa que succeeix poques vegades en altres bases de dades científiques, que no acostumen a mostrar autors secundaris). Observeu, per exemple, la taula 4. Com en el cas anterior de les institucions, el nivell de control dels noms no influeix en el càlcul de la mitjana d'autors per document. Per tant, podem calcular la mitjana de noms d'autors diferents per document mitjançant el mateix tipus de suma i de lògica que els utilitzats abans per a les institucions o per als països.

La taula 4 mostra un exemple d'aquest tipus de càlculs per a una sèrie temporal relacionada amb articles indexats en el WoS en les bases de dades de ciència i ciències socials sobre la recerca en energia eòlica a Espanya, que cobreix dos anys de publicació: 2003 i 2012. Observem l'alt grau de control dels noms, tot i que hi pot haver una certa incertesa en el cas de "FYNBO JPU" i "FYNBO JU", que probablement representen la mateixa persona. En el cas que es mostra, la mitjana d'autors per article s'ha doblat, aproximadament, en els deu anys analitzats.

5 Discussió i conclusions

Les característiques i els elements següents són crucials per fer interpretacions vàlides dels resultats i de les presentacions de les anàlisis:

La qualitat i la validesa de la font de dades. La font conté totes les dades requerides, per exemple, tots els autors o tipus de documents, i de quina manera els controla?

El coneixement expert. En cada anàlisi cienciomètrica, calen dos tipus d'experts: l'especialista amb experiència bibliomètrica i un expert del camp que pugui explicar les anomalies en les tendències observades; per exemple, variables/efectes desconeguts dependents del camp d'estudi o explicar formes de nom.

Manera de presentació. Trieu la manera de presentació adequada, com ara, utilitzar els valors d'índex en lloc dels nombres reals perquè una figura no pot incloure tots els rangs numèrics ni tots els detalls, però assegureu-vos que proporcioneu prou dades subjacents per interpretar les referències informatives.

La raó que hi ha darrere de l'ús del WoS (o l'Scopus) és, bàsicament, l'exhaustivitat. A banda que també és capaç d'analitzar citacions, la base de dades de citacions ofereix a l'analista una sèrie d'eines d'anàlisi que poques vegades es poden trobar en bases de dades que depenen del camp estudiat. A més, la base de dades de citacions acostuma a indexar totes o la majoria de metadades; per exemple, tots els autors i les seves filiacions, mentre que altres fonts només indexen algunes metadades, com ara, el primer autor i la seva filiació. No obstant això, el WoS i l'Scopus continuen estan esbiaixats cap a fonts angloamericanes.

El control de les formes dels noms és un tema important, perquè en el cas d'un control rigorós dels noms institucionals o dels noms dels autors sorgeixen altres indicadors de productivitat. Si es coneix el nombre real de les institucions de recerca o dels autors, és possible calcular la productivitat de les entitats individuals. A partir de la taula 4, per exemple, obtenim la mateixa productivitat per autor el 2003 (23 art. / 162 noms únics = 0,14 article per científic) que el 2012 (114/824 = 0,14), encara que la mitjana de científics col·laboradors ha incrementat un 25 % durant els deu anys.

El coneixement expert és vital per a la interpretació, com hem demostrat amb relació a la figura 2. Com que la majoria de gràfics mostren les mitjanes o les sumes, les estructures subjacents de dades poden mostrar valors atípics importants o explicar certs esdeveniments —com en la figura 4 per a la Xina. Disposar de títols i llegendes adequats i informatius de les figures i taules és fonamental per minimitzar malentesos. Sempre hauria de ser possible entendre el significat i el missatge d'una figura directament de la mateixa figura, amb l'ajuda de la llegenda. La informació necessària no s'hauria de separar i incloure només en el cos del text.

Per concloure, aquest article ha mostrat casos seleccionats d'anàlisis de publicacions, la presentació dels seus resultats i la seva possible interpretació, inclosos els inconvenients principals. La importància rau a entendre que l'anàlisi de citacions i de l'impacte de les citacions només es pot fer per mitjà d'anàlisis de publicacions vàlides. Per dur a terme les primeres anàlisis, cal disposar dels resultats de les segones com a dispositius de normalització. A més, els estudis de publicacions en si mateixos proporcionen una visió de la productivitat, de la recerca (publicació), de patrons i de tendències.

Bibliografia

Almind, T. C.; Ingwersen, P. (1997). "Informetric analyses on the World Wide Web: methodological approaches to Webometrics". Journal of Documentation, vol. 53(4), p. 404–426.

Björneborn, L.; Ingwersen, P. (2004). "Toward a Basic Framework for Webometrics". Journal of the American Society for Information Science and Technology, vol. 55(14), p. 1216–1227.

Ingwersen, P. (2009). "Scientometric and Webometric methods". In: Document, Information and Knowledge. China: Wuhan University, p. 1–11. ISSN: 1003-2797.

Kurtz, M.; Bollen, J. (2010). "Usage bibliometrics". Annual Review of Information Science and Technology, vol. 44, p. 3–64.

Moed, H. F. (2005). Citation Analysis in Research Evaluation. Dordrecht: Springer.

Sanz-Casado, E.; Carlos Garcia-Zorita, J.; Serrano-López, E. A.; Larsen, B.; Ingwersen, P. (2013). "Renewable energy research 1995–2009: a case study of wind power research in EU, Spain, Germany and Denmark". Scientometrics, vol. 95, p. 197–224.

Tague-Sutcliffe, J. (1992). "An introduction to informetrics". Information processing; management, vol. 28(1), p. 1–3.

Taraborelli, D. (2008). "Soft peer review: social software and distributed scientific evaluation". In: Hassanaly, P.; Ramrajsingh, A.; Randall, D.; Salembier, P.; Tixier, M. (eds.). Proceedings of the 8th International Conference on the Design of Cooperative Systems, Carry-le-Rouet, 20–23 May 2008 (pp. 99–110). Aix-en-Provence, France: Institut d'Etudes Politiques d'Aix-en-Provence.

Thelwall, M.; Vaughan, L.; Björneborn, L. (2004). "Webometrics". Annual Review of Information Science and Technology, vol. 39, p. 81–135.