L'avaluació bibliomètrica d'institucions de recerca més enllà de la comunicació científica: el cas d'Embrapa

1 Introducció

Els articles (articles), les ressenyes (reviews) i les publicacions de treballs en esdeveniments científics (proceeding papers), entre altres documents, acostumen a representar una bona part del coneixement codificat d'un país i dels seus organismes d'ensenyament i recerca, a més de proveir dades rellevants per a anàlisis del seu rendiment en ciència i tecnologia. La seva adopció internacional com a fonts importants d'informació es deu, si més no, a tres factors: a) la contribució històrica dels estudis bibliomètrics, que es remunten al final del segle xix (Hood; Wilson, 2001; Godin, 2003; Björneborn; Ingwersen, 2004; Godin, 2006); b) l'interès d'institucions nacionals i internacionals en la creació d'indicadors de ciència i tecnologia a partir de la dècada de 1950 (Godin, 2003; 2007) i c) el sorgiment, en la dècada de 1990, d'una indústria d'informació en ciència i tecnologia ancorada en bases de dades informatitzades (Packer et al., 2007).

De fet, amb l'aparició d'Internet, la comunicació científica ha passat per transformacions profundes com el sorgiment dels diaris digitals, la creació de repositoris web i el debat mundial sobre l'accés obert a la informació científica (Bertin, 2008). Una cosa semblant passa amb els estudis bibliomètrics davant del sorgiment d'àrees cada vegada més especialitzades, com ara la cibermetria (cybermetrics), l'analítica web (webometrics) i la bibliometria alternativa (altmetrics) (Björneborn; Ingwersen, 2004; Roemer; Borchardt, 2015). Aquestes transformacions representen un gran desafiament per als organismes d'ensenyament i recerca en el desenvolupament dels seus sistemes d'avaluació del rendiment, que se sumen a les pressions externes creixents d'iniciatives similars per part d'organismes i programes internacionals (Archibugi; Coco, 2005; Kayyat; Lee, 2015), rànquings acadèmics mundials (Santos, 2015) i sistemes d'avaluació governamentals (Penteado Filho et al., 2017).

La major part dels índexs d'avaluació del rendiment desenvolupats per aquestes institucions estan formats per subindicadors bibliomètrics, alguns dels quals no es limiten a l'anàlisi de documents estrictament científics. En són exemples el Webometrics Ranking, proporcionat pel Cybermetrics Lab del Consejo Superior de Investigaciones Científicas (CSIC), i el SCImago Institutions Rankings (SIR), creat pel grup Scimago, ambdós d'Espanya, que incorporen subindicadors com ara el nombre d'enllaços externs que rep el domini d'una institució des d'altres llocs web (Santos, 2015).

Davant del creixement i de la pressió cada vegada més gran que exerceixen aquestes iniciatives sobre les institucions de ciència i tecnologia i innovació, la comunitat científica s'està qüestionant l'adopció d'indicadors quantitatius sense un criteri o una interpretació adequats. És el cas, per exemple, del "The Leiden Manifesto for research metrics"(Hicks et al., 2015), en què un grup de científics proposa deu principis sobre l'avaluació de recerca basada en indicadors. En la descripció d'aquests principis els autors recomanen, per exemple, que el rendiment ha de ser mesurat d'acord amb la missió de la institució i que cal protegir l'excel·lència de la recerca que és rellevant a escala local.

Aquest context també representa un desafiament per a institucions de recerca com l'Empresa Brasileira de Pesquisa Agropecuária (Embrapa). Des de la creació, el 1973, i, especialment, a partir de la dècada de 1990, aquesta organització ha estat cada vegada més sol·licitada pel govern, per la premsa, per associacions de productors rurals i per altres organitzacions per justificar els recursos governamentals invertits en la seva activitat (Penteado Filho et al., 2017; Embrapa, 2017c). Respondre a aquesta demanda requereix per part de l'Embrapa, i també per part d'altres institucions similars, d'una ampliació dels seus indicadors bibliomètrics més enllà de la comunicació estrictament científica, entre altres iniciatives.

Perquè passi això, cal superar un desafiament doble: sota la perspectiva epistemològica, cal que l'entorn científic trenqui els últims lligams amb la visió unidireccional de Vannevar Bush (1890–1974) sobre la relació entre ciència, sistemes d'innovació i societat, mitjançant l'adopció d'altres referències teòriques i metodològiques, ja disponibles en la literatura (Freeman, 1995; Gibbons et al., 1996; Etzkowitz; Leydesdorff, 1995; 2000; Leydesdorff, 2003; Stokes, 1997; 2005). Aquest canvi de paradigma, aplicat a la gestió, pot ampliar la relació dialògica entre les institucions de ciència i tecnologia (universitats, organismes de recerca), els seus departaments (facultats, centres de recerca) i els entorns respectius. Des de la perspectiva metòdica, cal avaluar els resultats i impactes d'aquesta relació amb la creació d'indicadors i índexs bibliomètrics adequats, a més de tenir-los en compte dins d'un sistema d'avaluació més ampli.

Aquest article és una contribució inicial sobre el tema. Es tracta d'una recerca exploradora, la finalitat de la qual és formular problemes més concrets per a estudis posteriors (Gil, 2018) sobre el paper de la recerca bibliomètrica en sistemes d'avaluació del rendiment. Per fer-ho, associa alguns referents teòrics sobre l'organització de la recerca científica i la comunicació en ciència i tecnologia a un cas concret d'avaluació del rendiment institucional. La pregunta principal que ha guiat aquest treball ha estat: en quina mesura el rendiment de diferents centres de recerca d'una mateixa institució de ciència i tecnologia pot ser comparat quan es tenen en compte diferents corpus de recerca? En aquest estudi, aquests diferents corpus estan representats per les dades sobre resultats i impactes d'un conjunt d'articles científics i per les dades de descàrregues d'un conjunt de documents tecnicocientífics produïts per l'Embrapa.

2 Metodologia

L'estratègia metodològica adoptada en aquest estudi ha estat dur a terme, inicialment, una revisió bibliogràfica sobre la relació entre ciència i societat i les implicacions en la recerca bibliomètrica. En una segona etapa, s'ha avaluat la producció científica de l'Embrapa amb l'estudi bibliomètric de 19.343 articles i ressenyes registrats en la base de dades Web of science baixats el dia 25/07/2017. Per analitzar les descàrregues de publicacions tecnicocientífiques es van tenir en compte els documents registrats i baixats del repositori Base de dados da pesquisa agropecuária da Embrapa (BDPA) durant el període de 2011 a 2016, disponible a Internet. Les dues anàlisis van contribuir a l'avaluació del rendiment dels 42 centres de recerca de la institució.

3 La superació del model lineal de recerca

El paradigma tradicional de la ciència es remunta al final de la Segona Guerra Mundial. En aquella època l'enginyer i polític nord-americà Vannevar Bush (1890 ̶ 1974) va publicar el seu estudi clàssic Science: The endless frontier (Bush, 1945), en què proposa un model conceptual sobre la relació entre la ciència fonamental i la innovació tecnològica. Es tracta d'un model lineal en què la recerca bàsica, duta a terme sense cap finalitat pràctica amb l'objectiu de produir coneixement en general, és considerada precursora del progrés tecnològic, ja que contribueix a la ciència aplicada, al desenvolupament i a la innovació.

Encara que aquest model se segueixi adoptant avui en dia, amb algunes modificacions, per elaborar índexs d'avaluació del rendiment en ciència i tecnologia i innovació, els seus principis han estat revisats, com a mínim, entre el 1980 i el 1990 per la comunitat científica. Entre les contribucions més conegudes en aquest sentit es troba el model de quadrants de Stokes, proposat el 1997, que organitza les diverses formes de recerca científica en quatre variants, d'acord amb els objectius d'entesa fonamental i de consideracions d'ús: recerca bàsica pura; recerca inspirada en l'ús; recerca aplicada pura, i recerca no inspirada ni en l'entesa ni en l'ús, sinó motivada per la curiositat per fets concrets (Stokes, 1997; 2005).

Una altra contribució important és l'estudi de Gibbons et al. (1996), que també qüestiona la divisió tradicional entre ciència i tecnologia, ja que considera que la recerca bàsica és inseparable del desenvolupament tecnològic. En dedicar-se a comprendre les condicions socials de la producció i l'ús de la ciència, aquests autors van proposar dos models per caracteritzar els canvis que es van produir al segle xx en les formes de producció de coneixement: el model 1, considerat tradicional, i el model 2, que representa una nova visió. En el model tradicional, associat a la concepció de Bush, el coneixement és disciplinari i definit per les normes socials que regeixen la recerca bàsica (és a dir, la ciència acadèmica) i el seu control de qualitat està marcat per l'avaluació d'experts. En el model alternatiu, el coneixement és transdisciplinari, destinat a ser útil per a algú (indústria, govern, societat en general), es produeix en negociació contínua amb diversos segments socials i el seu control de qualitat incorpora una àmplia gamma de criteris addicionals.

Durant aquest període, es va desenvolupar el concepte de sistema nacional d'innovació amb l'objectiu de comprendre el conjunt ampli de factors que configuren la capacitat d'innovació dels diversos països. En un article sobre aquest tema, Freeman (1995) argumenta que, tot i que les connexions internacionals tenen una importància creixent, les xarxes de relacions dels sistemes d'innovació nacionals i regionals segueixen sent un domini essencial de l'anàlisi econòmica. Així, el progrés tecnològic d'un país és el resultat coordinat dels sectors públic i privat mitjançant les polítiques governamentals, el sistema d'ensenyament i recerca, les relacions industrials, les tradicions culturals i moltes altres institucions nacionals (Freeman, 1995; Liu et al., 2015).

Una altra alternativa, que té en compte les opinions anteriors, va ser proposada per Etzkowitz i Leydesdorff (1995) a l'hora de dissenyar un model de triple hèlix —adoptada habitualment en biologia per modelar la relació entre gens, organismes i ambients— per analitzar les relacions entre la universitat, la indústria i el govern en la generació de coneixement basada en sistemes d'innovació. Aquest model es tradueix, dins de la bibliometria, en la mesura de les relacions entre aquestes tres institucions, a partir de les dades disponibles a Internet, obtingudes a través dels motors de cerca. Aquestes dades es tracten estadísticament mitjançant l'anàlisi de xarxa, a partir de les aparicions i coincidències de les paraules universitat, indústria i govern (Leydesdorff, 2003).

4 De la comunicació científica a la comunicació en ciència i tecnologia

Malgrat la contribució d'estudis com els d'Etzkowitz i Leydesdorff (1995) i Leydesdorff (2003), l'adopció de la recerca bibliomètrica en l'avaluació d'institucions d'ensenyament i recerca continua centrada en l'anàlisi de documents produïts en l'àmbit de la comunicació científica. Històricament, la comunicació científica (Scientific Communication) s'ha concebut com una de les dues línies de comunicació de la ciència (Science Communication). L'altra vessant és la comunicació pública de la ciència i la tecnologia (Public Communication of Science and Technology), coneguda també com a divulgació o divulgació científica (Bucchi, 2008; Bucchi; Trench, 2014; Bueno, 2010; Epstein, 2012).

Segons la ressenya de Fonseca Júnior (2014, p. 93), "essas duas formas de comunicação, podem convergir em alguns aspectos e divergir em outros, mas a relação entre ambas costuma ser assimétrica". Igual que amb l'esquema de Bush, el model de comunicació científica actual segueix generalment un camí unidireccional, en el qual el coneixement validat per la comunitat científica i expressat en revistes especialitzades és una font indispensable per a la divulgació científica, que es fa a través de diaris, Internet, museus de ciències, etc.

Aquesta visió de la comunicació, anomenada per Bucchi (2008) la "concepção difusionista", parteix de la premissa que la informació científica és poc entesa pel gran públic, i aquest patró d'ignorància cap a la ciència ha de ser contrarestat per una comunicació adequada. Normalment no es té en compte la influència en sentit contrari, és a dir, de la societat sobre la ciència.

En les últimes dècades, però, alguns estudis han tingut en compte aquest flux invers, com ara Phillips (1991, citat per Bucchi, 2008), que registra l'augment del nombre de citacions entre experts d'un article científic determinat des de la seva publicació en la premsa internacional. En un sentit ampli, altres aportacions (Bueno, 2010; Fonseca Júnior, 2014) mostren que les activitats de recerca, comunicació científica i divulgació científica estan cada vegada més afectades per interessos comercials, legals, socials, militars i religiosos, entre d'altres. Aquests interessos solen ser conflictius, com és el cas dels debats sobre la regulació de l'ús de cèl·lules mare per part de la ciència o de la recerca i producció d'aliments modificats genèticament.

El sorgiment de les noves tecnologies de la comunicació també ha comportat la transformació de la relació entre ciència i societat, amb la creixent fragmentació de públics i mitjans de comunicació, a més de modificar la noció mateixa de públic, fins ara constituït en gran part per lectors o espectadors passius de la ciència, mediatitzats pels mitjans de comunicació de masses (diaris i revistes, programes de ràdio i televisió) (Bucchi; Trench, 2014). Les noves tecnologies han permès, d'una banda, formar grups de pressió institucionalitzats i moviments socials en xarxa, que han començat a democratitzar el debat sobre diversos temes, inclosos la ciència i la tecnologia (Magnoli, 2004; Castells, 2013). D'altra banda, aquestes tecnologies també han permès a les institucions científiques produir una gran varietat de continguts textuals i audiovisuals, amb la seva difusió respectiva als llocs web i particularment a través de les xarxes socials (Bucchi; Trench, 2014). És a dir, les institucions científiques mai no han estat tan exposades al seu entorn com ho són avui en dia, mentre que, històricament, les inversions públiques en recerca sempre depenien del suport de la societat (Stokes, 2005).

En aquest nou context, l'estudi de la comunicació en l'àmbit de la ciència i la tecnologia, segons Fonseca Júnior (2014), ha de superar els enfocaments tradicionals de la comunicació científica i la divulgació científica i tenir en compte les múltiples interaccions entre ciència i societat, a través dels diversos mitjans de comunicació, públic i continguts. Per tant, si les activitats científiques, els seus efectes i implicacions són inseparables de la vida social, llavors ja no es pot parlar de comunicació "de la" ciència, sinó de comunicació "en" (relacionada "amb", en el context "de la") ciència i tecnologia (Fonseca Júnior, 2014).

5 Nous paradigmes per a la bibliometria i l'avaluació del rendiment

Aquest canvi de paradigma té profundes implicacions per als estudis bibliomètrics, que ara han de contribuir, amb els recursos tecnològics i d'informació disponibles actualment, a la comprensió de les influències recíproques entre les iniciatives de ciència i tecnologia pública i empresarial (polítiques de ciència i tecnologia, programes i portafolis de recerca), els resultats derivats directament de la recerca (publicacions científiques, patents, productes i serveis), l'àmplia actuació d'investigadors i institucions científiques de la societat (articles periodístics, manuals tècnics, vídeos educatius, insercions en xarxes socials, blogs, etc.) i manifestacions socials sobre iniciatives o resultats en ciència i tecnologia (descàrregues de publicacions, publicacions en xarxes socials, informes periodístics, blogs, etc.).

El sorgiment d'àrees cada vegada més especialitzades en l'àmbit de les ciències de la informació, com l'analítica web i, especialment, la bibliometria alternativa satisfarà bona part d'aquestes necessitats. Pel que fa a l'analítica web, es dedica a l'anàlisi dels aspectes quantitatius relacionats amb la Web; per la seva banda, la bibliometria alternativa proposa mètriques alternatives per avaluar la difusió de treballs acadèmics, l'ús i l'expansió de termes científics, la interacció entre col·legues i entre aquests amb altres públics, així com amb altres fenòmens similars manifestats, sovint, a les xarxes socials (Björneborn; Ingwersen, 2004; Roemer; Borchardt, 2015; Barnes, 2015).

Es tracta, però, d'àrees recents. En el cas de la bibliometria alternativa, per exemple, González-Valiente et al. (2016) van examinar a les bases de dades Scopus i Web of science el nombre d'articles que esmenten aquest concepte per any. Van trobar que la primera menció de altmetria es fa en un article publicat el 2005, però que la producció científica sobre el tema va augmentar significativament a partir del 2012, amb 19 articles, i va arribar als 96 articles el 2015. En aquesta anàlisi, els principals descriptors trobats, agrupats per clústers, són social media, social networking (online), information systems, research impact i information services.

Malgrat el potencial de les mètriques alternatives per avaluar els fluxos d'informació i la influència recíproca entre ciència i societat, estudis com el de Maricato i Martins (2017) encara reprodueixen, fins i tot parcialment, la concepció unidireccional de l'organització de la ciència i la comunicació científica. En valorar la comunicació científica com a nucli central dels estudis bibliomètrics, afirmen que "as altmetrias abrangem a socialização de diversos resultados de pesquisas científicas [la cursiva és nostra], registradas em diferentes fontes, por variados atores sociais, nas mais diversas mídias e redes sociais, meios de comunicação e ferramentas de gerenciamento de referências". D'altra banda, tenint en compte la transversalitat de les mètriques aplicades a diferents suports, així com la connexió entre les ciències de la informació i altres camps de coneixement, aquests autors obren pas a la construcció d'indicadors bibliomètrics més adequats a les institucions científiques, així com a la seva inserció en sistemes i avaluació del rendiment. Aquest és el repte immediat de la recerca bibliomètrica en el marc de l'Embrapa.

6 L'actuació de l'Embrapa en la comunicació i l'avaluació del rendiment

L'Empresa Brasileira de Pesquisa Agropecuária (Embrapa), un organisme vinculat al Ministério da Agricultura, Pecuária e Abastecimento (MAPA), es va crear el 1973 i actualment compta amb 9.713 empleats, 2.430 dels quals són investigadors: 312 (un 12,75 %) amb màster, 1.816 (74,18 %) amb doctorat i 302 (12,34 %) amb postdoctorat. L'Embrapa té la seu a Brasília i 42 centres de recerca distribuïts per tot el territori brasiler, organitzats en centres temàtics (que treballen en temes específics i en zones situades a la frontera del coneixement, com ara la informàtica, la nanotecnologia i l'agricultura de precisió), centres de producció animal (Caprinos e Ovinos, Gado de Corte, Pesca e Aquicultura, Suínos e Aves, entre d'altres), centres de producció vegetal (Algodão, Arroz e Feijão, Soja, Trigo, etc.) i centres ecoregionals (que cerquen solucions tecnològiques per al desenvolupament sostenible de diferents ecosistemes nacionals, com ara Amazônia, Cerrados i Pantanal) (Embrapa, 2017a).

A principis de la dècada de 1990, l'Embrapa va experimentar canvis organitzatius profunds, davant les exigències internes i les transformacions en curs del país i del món. La primera iniciativa consistia a ampliar la seva missió —fins llavors dedicada a les investigacions per augmentar la productivitat al camp—, fins a englobar tota la cadena de producció agroalimentària i satisfer les necessitats de tota la societat brasilera. Com a resultat d'aquesta nova missió, el perfil de comunicació de l'Embrapa, aleshores centrat en la comunicació científica i la difusió de la tecnologia als productors rurals, va començar a incloure diversos segments socials i diversos modes de comunicació (administratius, científics, governamentals, de màrqueting, socials i de comunicació per a transferència de tecnologia), ampliant l'atenció a les comunitats urbanes (Fonseca Júnior et al., 2009).

El model actual d'avaluació del rendiment de l'Embrapa és el resultat d'un procés amb dues dècades d'aplicació i en millora constant. La seva característica principal és la multidimensionalitat, ja que té en compte els criteris d'eficàcia (assoliment d'objectius, obtenció de productes), eficiència (productes obtinguts per costos d'obtenció) i efectivitat (adopció, ús de productes i/o processos desenvolupats i els seus respectius impactes). Entre els criteris i els indicadors del rendiment que es tenen en compte actualment en el procés d'avaluació del rendiment institucional de la companyia, s'inclou la seva producció tècnica i tecnicocientífica i l'ús per part de la societat, tal com es presenta en la taula 1.

Taula 1. Criteris i indicadors d'avaluació del rendiment utilitzats per l'Embrapa, 2017 ̶ 2018

Els resultats de l'anàlisi d'eficiència (Avila et al., 2013) i de les avaluacions d'impacte (Avila et al., 2008; 2015) s'han publicat anualment des del 1997 en el seu Informe Social (vegeu la figura 1). Aquesta publicació és, doncs, el resultat de dos processos: l'elaboració d'estudis d'avaluació d'impacte dels anys vuitanta i la implementació de la política de comunicació de l'Embrapa a la dècada de 1990 (Embrapa, 2017c). En un estudi comparatiu internacional sobre sistemes d'avaluació d'impacte agrícola fet per Joly et al. (2016), l'Embrapa destaca entre institucions similars per la seva llarga tradició d'avaluació, associada a la publicació periòdica d'un informe social.

Figura 1. Informe Social de l'Embrapa

7 El rendiment de l'Embrapa en la seva producció científica

En l'àmbit de la producció científica, l'Embrapa es troba entre les principals institucions del Brasil. L'historial d'aquesta producció, indexada a la base de dades Web of science (WoS), presenta algunes dates clau. La primera es va produir el 1997, quan va superar la barrera de 200 articles anuals. El 1996, l'Embrapa va adoptar un sistema d'avaluació institucional on es prioritzava la meta: la publicació d'articles científics. La segona és el 2007, quan es va produir un salt sense precedents en el volum de producció d'articles, 854. Aquest comportament també es va repetir el 2008, amb 1.056 articles, i el 2011, amb 1.321. Els anys 2014, 2015 i 2016 es va arribar a 1.533, 1.489 i 1.630 articles científics, respectivament. En la figura 2 es presenta un resum d'aquest historial.

Figura 2. Producció d'articles científics de l'Embrapa 1977 ̶ 2016

Cal destacar que la base de dades WoS només conté al voltant d'un 30 % de tota la producció científica de l'Embrapa (Penteado Filho; Avila, 2009). Per tant, aquesta producció és molt més gran que la recollida per la base de dades referenciada i vinculada a la producció científica. La taula 2 mostra els centres classificats segons la producció d'articles presents al WoS el 2016 i també durant tot el període (1977 ̶ 2016), com es pot veure a la columna "Total*". En aquest cas, els centres que lideren la producció científica al llarg de tot el període són els que treballen amb recursos genètics i biotecnologia (1.965 articles), bestiar de llet (1.045 articles), arròs i mongetes (1.011 articles) i soja (1.010 articles). Tot i això, en aquesta mateixa taula, a la columna que fa referència al 2016, el lideratge el tenen els centres de Recursos Genéticos e Biotecnologia (125 articles), Pecuária da Região Sul (116 articles), Instrumentação Agropecuária (94 articles) i Florestas (83 articles).

Taula 2. Articles per centre de recerca de l'Embrapa entre el 2011 i el 2016 i total d'articles del període 1977 ̶ 2016

A més de la producció científica, la classificació dels centres de l'Embrapa pel nombre de citacions permet conèixer millor la seva diversitat. La taula 3 està ordenada pel nombre de citacions per article de cada centre de recerca (última columna), però conté dos rànquings més (pel nombre de citacions i pel nombre d'articles). En aquest cas, el centre de recerca de l'Embrapa líder pel nombre d'articles i pel nombre de citacions (Embrapa Recursos Genéticos e Biotecnologia) ha passat a ocupar la quarta posició. Els primers tres llocs ara estan ocupats per centres de producció més petits, però amb un nombre més alt de citacions: Embrapa Agrobiologia, Embrapa Amazônia Oriental i Embrapa Monitoramento por Satélite. El resultat d'aquesta comparació ens permet concloure que els indicadors de l'avaluació institucional s'han de seleccionar amb cura per cercar una major equitat entre el conjunt que s'ha d'avaluar.

Taula 3. Rànquings per nombre d'articles, nombre de citacions i nombre de citacions per article, per centre de recerca de l'Embrapa, 1977 ̶ 2016

8 L'impacte de les descàrregues de publicacions tècniques

L'interès de l'Embrapa per avaluar el seu rendiment en publicacions tècniques no és recent. De fet, segons un estudi anterior (Penteado et al., 2017), els seus centres de recerca es van avaluar entre el 1996 i el 2009, a través del seu sistema d'avaluació d'unitats (SAU), pel nombre de títols produïts. Tanmateix, l'aparició de les noves tecnologies de la informació i la comunicació ha posat en evidència aquesta diversitat de productes pel fet d'estar disponible en mitjans electrònics, amb la possibilitat de valorar l'interès de les diverses audiències de la institució pel nombre de descàrregues. Aquest nou context ha ampliat la reflexió de l'Embrapa sobre el paper que tenen aquests productes en el compliment de la seva missió.

L'avaluació del rendiment pel nombre de descàrregues de publicacions tècniques és una mètrica incorporada recentment per l'Embrapa. En aquest cas, el rendiment dels seus centres de recerca presenta una altra configuració en comparació amb els resultats de la seva producció científica. En l'avaluació de les dades disponibles entre el 2011 i el 2016, l'Embrapa va arribar a 68,9 milions de descàrregues, el contingut de les quals inclou principalment documents preparats per a la difusió pública i privada de la tecnologia i dirigits a productors rurals (documents, circulars tècniques, comunicacions tècniques, col·leccions, manuals, butlletins, llibres tècnics, etc.).

En aquest indicador, els centres de recerca de l'Embrapa amb un millor rendiment són els que serveixen més específicament per a la funció de transferència de tecnologia a petits i mitjans agricultors, com ara els centres ecoregionals (Semiárido i Amazônia Oriental) i de productes (Milho e Sorgo, Florestas, Caprinos e Ovinos), a més de la seu de l'Embrapa, que inclou publicacions didàctiques de l'editorial i les arts gràfiques corporatives. D'altra banda, és interessant assenyalar que els centres de recerca amb millors resultats en publicacions científiques (nombre d'articles i de citacions, segons la taula 3) i els centres de menor rendiment (publicacions tècniques) solen ser els que treballen amb temes relacionats amb la recerca bàsica (Recursos Genéticos e Biotecnologia; Instrumentação Agropecuária). És a dir, els documents de diferents tipus, segons la seva finalitat i el canal de comunicació per on es distribueixen, solen arribar a públics diferents. Aquest rendiment es pot apreciar en la taula 4.

Taula 4. Nombre de descàrregues per centre de recerca entre el 2011 i el 2016

Una anàlisi detallada de la demanda d'aquestes publicacions, reflectida pel nombre de descàrregues, és una mostra més que els resultats generats per les recerques de l'Embrapa són ben rebuts pel sector productiu. Els temes més descarregats van des de conceptes bàsics en biologia molecular fins a la producció d'enciam hidropònic, passant per l'anàlisi fisicoquímica de l'aigua, la cria de pollastre de pagès, la preparació i ús de biofertilitzants líquids i la tecnologia per a la producció d'oli de soja, entre d'altres, com es pot observar en la taula 5.

Taula 5. Publicacions amb més descàrregues

A més, en l'actual model d'avaluació del rendiment de l'Embrapa, els resultats de la producció i de les citacions d'articles científics, així com les descàrregues de produccions científiques i tecnicocientífiques es ponderen pel nombre d'investigadors, tal com es presenta a les taules 6 i 7. La taula 6, classificada pels índexs d'articles per investigador del 2016, està liderada pels centres següents de l'Embrapa: Pecuária Sul (3,63), Instrumentação (3,13), Pecuária Sudeste (1,32) i Soja (1,18).

Taula 6. Índexs d'articles per investigador per centre entre el 2011 i el 2016

En la taula 7, en la classificació per l'índex de descàrregues per investigador, encapçalen el lideratge els centres següents de l'Embrapa: Milho e Sorgo (11,9 mil), Semiárido (11,4 mil), Pecuária Sudeste (10,3 mil) i Caprinos e Ovinos (9,8 mil).

Taula 7. Índexs de producció, citació i descàrregues ponderats pel nombre d'investigadors

9 Conclusió

Els resultats obtinguts en aquest treball indiquen que el rendiment de les produccions tècniques i científiques de l'Embrapa pot variar segons el perfil dels seus centres de recerca. Hi ha centres que treballen qüestions relacionades amb la frontera del coneixement i tenen un millor rendiment en la publicació d'articles en revistes internacionals, mentre que d'altres treballen en la resolució de problemes regionals o productes o animals específics i destaquen pel nombre de descàrregues de publicacions tècniques necessàries per a un ús immediat en l'agricultura.

Aquests resultats van provocar una reflexió interna i es van incorporar al sistema d'avaluació del rendiment de l'Embrapa, per considerar les peculiaritats de l'actuació dels seus centres de recerca en el desenvolupament d'indicadors i bases bibliomètrics. Per satisfer aquesta necessitat es compleixen diversos principis exposats al "The Leiden Manifesto for research metrics" (Hicks et al., 2015), com ara mesurar el rendiment d'acord amb la missió de la institució i protegir la recerca que sigui rellevant en l'àmbit local. Al mateix temps que són importants per millorar el sistema d'avaluació del rendiment de l'Embrapa, i certament per a altres institucions, aquests resultats es poden considerar modestos enfront del potencial d'aplicació de la recerca bibliomètrica en la gestió d'organismes de recerca.

La possibilitat d'articulació entre diferents mètriques, adequada per a l'anàlisi de dades produïdes pels diferents segments implicats en la relació entre ciència i societat, en els mitjans digitals més diversos, xarxes socials i eines de gestió de referència (Maricato; Martins, 2017), representa una gran esperança per a la recerca bibliomètrica, en el sentit d'ampliar els seus horitzons en l'àmbit de la gestió d'institucions d'ensenyament i recerca. A més de la seva aplicació en sistemes d'avaluació del rendiment, també pot col·laborar, per exemple, en el desenvolupament o la millora de sistemes d'intel·ligència i comunicació, entre d'altres. Per a això és necessari aprendre a tenir una mirada més àmplia que tingui en compte els acords institucionals, els fluxos d'informació i la influència recíproca entre ciència i societat. Aquest exercici representa un repte important per a la recerca bibliomètrica i per a la gestió de les institucions de ciència i tecnologia, però val la pena perseguir-lo.

Bibliografia

Archibugi, Daniele; Coco, Alberto (2005). "Measuring technological capabilities at the country level: A survey and a menu for choice". Research policy, vol. 34, no. 2, p. 175–194.

Avila, Antonio Flavio Dias; Gomes, Eliane Gonçalves; Souza, Geraldo da Silva; Penteado Filho, Roberto de Camargo (2013). Avaliação de desempenho de unidades de pesquisa agropecuária: métricas e resultados da experiência da Embrapa. Brasília, DF: Secretaria de Gestão Estratégica - SGE. <https://www.embrapa.br/busca-de-publicacoes/-/publicacao/957536/avaliacao-de-desempenho-de-unidades-de-pesquisa-agropecuaria-metricas-e-resultados-da-experiencia-da-embrapa>. [Consulta: 19/11/2019].

Avila, Antonio Flavio Dias; Robrigues, Geraldo Stachetti; Vedovoto, Graciela Luzia (ed.) (2008). Avaliação dos impactos de tecnologias geradas pela Embrapa: metodologia de referência. Brasília, DF: Embrapa Informação Tecnológica. <https://ainfo.cnptia.embrapa.br/digital/bitstream/item/132174/1/MetodologiaReferenciaAvalImpactoEmbrapa.pdf>. [Consulta: 19/11/2019].

Avila, Antonio Flavio Dias; Rodrigues, Geraldo Stachetti; Vedovoto, Graciela Luzia; Penteado Filho, Roberto de Camargo; Fonseca Júnior, Wilson Corrêa da (2015). "Embrapa experience on the impact assessment of agricultural R&D: 15 Years using a multidimensional approach". En: IMPAR CONFERENCE, 2015, Paris. Impacts of agricultural research: Towards an approach of societal values: Book of abstracts... Paris: INRA, 2015. <https://www.alice.cnptia.embrapa.br/alice/bitstream/doc/1036444/1/EmbrapaExperienceontheimpact.pdf>. [Consulta: 19/11/2019].

Barnes, Cameron (2015). "The Use of altimetrics as a tool for measuring research impact". Australian academic & research libraries, vol. 46, no. 2, p. 121–134. <https://doi.org/10.1080/00048623.2014.1003174>. [Consulta: 19/11/2019].

Bertin, Patrícia (2008). "A Three-phase model proposal for the evolution of scientific communication: From first print periodicals to current electronic communication system". Transinformação, vol. 20, n.º 1, p. 17–28. <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-37862008000100002&lng=en&nrm=iso >. [Consulta: 18/11/2019].

Björneborn, Lennart; Ingwersen, Peter (2004). "Toward a basic framework for webometrics". Journal of the American Society for Information Science and Technology, vol. 55, no. 14, p. 1216–1227.

Bucchi, Massimiano (2008). "Of deficits, deviations and dialogues: Theories of public communication of science". En: Bucchi, Massimiano; Trench, Brian (ed.). Handbook of public communication of science and technology. London: Routledge, p. 57–76.

Bucchi, Massimiano; Trench, Brian (2014). "Science communication research: Themes and challenges". En: Bucchi, Massimiano; Trench, Brian (ed.). Handbook of public communication of science and technology. 2nd ed. London: Routledge.

Bush, Vannevar (1945). Science, the endless frontier. Washington, DC: National Science Foundation. <https://archive.org/details/scienceendlessfr00unit/page/n0>. [Consulta: 18/11/2019].

Bueno, Wilson da Costa (2010). "Comunicação científica e divulgação científica: aproximações e rupturas conceituais". Informação & informação, n.º 15, p. 1–12. <http://www.uel.br/revistas/uel/index.php/informacao/article/view/6585>.  [Consulta: 18/11/2019].

Castells, Manuel (2008). "The New public sphere: Global civil society, communication networks, and global governance". The Annals of the American Academy of Political and Social Science, no. 616, p. 78–93.

Embrapa (2017a). Quem somos. <https://www.embrapa.br/pt/web/portal/quem-somos>. [Consulta: 19/11/2019].

— (2017b). Embrapa em números. Brasília, DF: Secretaria de Comunicação. <https://www.embrapa.br/documents/10180/1600893/Embrapa+em+N%C3%BAmeros/7624614b-ff8c-40c0-a87f-c9f00cd0a832>. [Consulta: 19/11/2019].

— (2017c). Balanço social. Brasília, DF: Secretaria de Comunicação – Secom; Secretaria de Gestão e Desenvolvimento Institucional – SGI. <http://bs.sede.embrapa.br/2016/balancosocialembrapa2016web.pdf>. [Consulta: 04/10/2017].

Epstein, Isaac (2012). "Comunicação da ciência: rumo a uma teoria da divulgação científica". Organicom: Revista brasileira de comunicação organizacional e relações públicas, vol. 9, n.º 16/17, p. 19–38.

Etzkowitz, Henry; Leydesdorff, Loet (1995). "The Triple helix – University-industry-government relations: A laboratory for knowledge based economic development". EASST Review, no. 14, p. 14–19.

— (2000). "The Dynamics of innovation: From National Systems and 'Mode 2' to a Triple Helix of university-industry-government relations". Research policy, no. 29, p. 10–123.

Fonseca Júnior, Wilson Corrêa da (2014). "Relações internacionais, ciência e tecnologia, comunicação: interfaces e perspectivas". Cadernos de ciência e tecnologia, vol. 31, n.º 1, p. 77–98. <https://seer.sct.embrapa.br/index.php/cct/article/view/19444>. [Consulta: 19/11/2019].

Fonseca Júnior, Wilson Corrêa da; Fragalle, Edilson Pepino; Silva, Heloiza Dias da; Penteado Filho, Roberto de Camargo (2009). "A Comunicação na Embrapa: do difusionismo à comunicação como inteligência organizacional". Prisma.com: Revista de ciências e tecnologias de informação e comunicação, n.º 8, p. 77–92. <http://ojs.letras.up.pt/index.php/prismacom/article/view/2062>. [Consulta: 19/11/2019].

Freeman, Chris (1995). "The 'National System of Innovation' in historical perspective". Cambridge journal of economics, no. 19, p. 5–24. <http://www.ie.ufrj.br/intranet/ie/userintranet/hpp/arquivos
/101120164328_Freeman1995TheNationalSystemofInnovationinHistoricalPerspectiveCamb.J.Econ
.524.pdf>. [Consulta: 18/11/2019].

Gibbons, Michael; Limoges, Camille; Nowotny, Helga; Schwartzman, Simon; Scott, Peter; Trow, Martin (1996). The New production of knowledge: The dynamics of science and research in contemporary societies. London: Sage.

Gil, Antonio Carlos (2018). Métodos e técnicas de pesquisa social. São Paulo: Atlas.

Godin, Benoit (2003). "The Emergence of S&T indicators: Why did governments supplement statistics with indicators". Research policy, no. 32, p. 679–691.

— (2006). "On the origins of bibliometrics". Scientometrics, vol. 68, no. 1, p. 109–133.

— (2007). "Science, accounting and statistics: The input-output framework". Research policy, no. 36, p. 1388–1403.

González-Valiente, Carlos Luis; Pacheco-Mendoza, Josmel; Arenciba-Jorge, Ricardo (2016). "A Review of altmetrics as an emerging discipline for research evaluation". Learned publishing, no. 29, p. 229–238. <https://onlinelibrary.wiley.com/doi/pdf/10.1002/leap.1043>. [Consulta: 19/11/2019]. 

Hicks, Diana; Wouters, Paul; Waltman, Ludo; De Rijcke, Sara; Rafols, Ismael (2015). "The Leiden Manifesto for research metrics". Nature, vol. 520 (23 April 2015), p. 429–431. <http://www.nature.com/polopoly_fs/1.17351!/menu/main/topColumns/topLeftColumn/pdf/520429a.pdf>. [Consulta: 18/11/2019].

Hood, William W.; Wilson, Concepción S. (2001). "The Literature of bibliometrics, scientometrics, and informetrics". Scientometrics, vol. 52, no. 2, p. 291–314.

Joly, Pierre-Benoit; Colinet, Lawrence; Gaunand, Ariane; Lemarié, Stéphane; Matt, Mireille (2016), "Agricultural research impact assessment: Issues, methods and challenges". OECD - Food, agriculture and fisheries papers, no. 98. <http://dx.doi.org/10.1787/5339e165-en>. [Consulta: 19/11/2019].

Khayyat, T. Nabaz; Lee, Jeong-Dong (2015). "A Measure of technological capabilities for developing countries". Technological forecasting & social change, no. 92, p. 210–233.

Leydesdorff, Loet (2003). "The Mutual information of university-industry-government relations: An indicator of the Triple Helix dynamics". Scientometrics. vol. 58, no. 2, p. 445–467.

Liu, Jianguo; Mooney, Harold; Hull, Vanessa; Davis, Steven J.; Gaskell, Joanne; Hertel, Thomas; Lubchenco, Jane; Seto, Karen C.; Gleick, Peter; Kremen, Claire; Li, Shuxin (2015). "Systems integration for global sustainability". Science, vol. 347, no. 6225, p. 963–971. <https://science.sciencemag.org/content/sci/347/6225/1258832.full.pdf>. [Consulta: 18/11/2019].

Magnoli, Demétrio (2004). Relações internacionais: teoria e história. São Paulo: Saraiva.

Maricato, João de Melo; Martins, Dalton Lopes (2017). "Altmetria: complexidades, desafios e novas formas de mensuração e compreensão da comunicação científica na web social". Biblios, n.º 68.  <https://biblios.pitt.edu/ojs/index.php/biblios/article/view/358/309>. [Consulta: 19/11/2019].

Packer, Abel Laerte; Tardelli, Adalberto Otranto; Castro, Regina Célia Figueiredo (2007). "A distribuição do conhecimento científico público em informação, comunicação e informática em saúde indexado nas bases de dados MEDLINE e LILACS". Ciência e saúde coletiva, vol. 12, n.º 3, p. 587–599. <http://www.scielo.br/pdf/csc/v12n3/09.pdf>. [Consulta: 18/11/2019].

Penteado Filho, Roberto de Camargo; Avila, Antonio Flavio Dias (2009). Embrapa Brasil: análise bibliométrica dos artigos na Web of Science: (1977-2006). Brasília, DF: Embrapa Informação Tecnológica.

Penteado Filho, Roberto de Camargo; Fonseca Júnior, Wilson Corrêa da; Avila, Antonio Flavio Dias (2017). Perfil da produção de artigos da Embrapa entre 2007 e 2015: oportunidades e desafios. Brasília, DF: Embrapa, Secretaria de Gestão e Desenvolvimento Institucional – SGI. (Documentos; 17). <https://www.embrapa.br/busca-de-publicacoes/-/publicacao/1067799/perfil-da-producao-de-artigos-da-embrapa-entre-2007-e-2015-oportunidades-e-desafios>. [Consulta: 18/11/2019].

Roemer, Robin Chin; Borchardt, Rachel (2015). "Introduction do altmetrics". Library technology reports, vol. 51, no. 5, p. 5–10.

Santos, Solange Maria dos (2015). O desempenho das universidades brasileiras nos rankings internacionais: áreas de destaque da produção científica brasileira. [Tese de doutorado]. São Paulo: Universidade de São Paulo – USP. <http://www.capes.gov.br/images/stories/download/pct/2016/Teses-Premiadas/Ciencias-Sociais-Aplicadas-Solange-Maria-dos-Santos.PDF>. [Consulta: 18/11/2019].

Stokes, Donald E. (1997). Pasteur's quadrant: Basic science and technological innovation. Washington, DC: The Brookings Institution.

— (2005). O quadrante de Pasteur: a ciência básica e a inovação tecnológica. Campinas, SP: Editora da Unicamp.