L'avaluació bibliomètrica d'institucions de recerca més enllà de la comunicació científica: el cas d'Embrapa

Time to read
30 minutes
Read so far

L'avaluació bibliomètrica d'institucions de recerca més enllà de la comunicació científica: el cas d'Embrapa

 

[Versão portuguesa]


Wilson Corrêa da Fonseca Júnior

Analista
Empresa Brasileira de Pesquisa Agropecuária (Embrapa)

Roberto de Camargo Penteado Filho

Analista de recerca
Empresa Brasileira de Pesquisa Agropecuária (Embrapa)

Antonio Flavio Dias Avila

Coordinador d'avaluació del rendiment institucional
Empresa Brasileira de Pesquisa Agropecuária (Embrapa)

Claudio Costa Cardoso

Analista
Empresa Brasileira de Pesquisa Agropecuária (Embrapa)

 

Resum

En les últimes dècades, el sorgiment de les noves tecnologies de la informació i la comunicació ha comportat l'ampliació dels estudis bibliomètrics més enllà dels productes de la comunicació científica (articles, ressenyes, etc.) amb la incorporació de l'anàlisi d'altres continguts (pàgines web, repositoris de publicacions tècniques, apunts en xarxes socials, etc.), per mitjà de l'analítica web i de la bibliometria alternativa. Aquest treball presenta les implicacions d'aquest canvi per a l'Empresa Brasileira de Pesquisa Agropecuária (Embrapa), que els últims anys ha passat a tenir en compte, en el seu sistema d'avaluació del rendiment, el nombre de citacions d'articles científics i el nombre de descàrregues de publicacions tècniques disponibles en el seu portal d'Internet. Com es pot veure en aquest article, els 42 centres de recerca de la institució presenten comportaments diferenciats pel que fa al rendiment en la producció exclusivament científica (nombre d'articles científics i de citacions) i en la producció tècnica (descàrregues de manuals, butlletins i altres publicacions). L'existència d'aquestes diferències està comportant que l'Embrapa consideri, en el seu sistema d'avaluació del rendiment, les particularitats dels seus centres de recerca, ja sigui en l'àmbit del procés de producció de coneixement i tecnologia, ja sigui en les formes de comunicació. A partir d'aquesta experiència, s'arriba a la conclusió que el desenvolupament d'indicadors bibliomètrics adequats per gestionar institucions d'ensenyament i recerca requereix una mirada àmplia, que tingui en compte els acords institucionals, els fluxos d'informació i la influència recíproca entre ciència i societat.

Resumen

En las últimas décadas, el surgimiento de las nuevas tecnologías de la información y la comunicación ha supuesto la ampliación de los estudios bibliométricos más allá de los productos de la comunicación científica (artículos, reseñas, etc.) con la incorporación del análisis de otros contenidos (páginas web, repositorios de publicaciones técnicas, apuntes en redes sociales, etc.), por medio de la analítica web y de la bibliometría alternativa. Este trabajo presenta las implicaciones de este cambio para la empresa Brasileira de Pesquisa Agropecuária (Embrapa), que en los últimos años ha pasado a tener en cuenta, en su sistema de evaluación del rendimiento, el número de citas de artículos científicos y el número de descargas de publicaciones técnicas disponibles en su portal de Internet. Como se puede ver en este artículo, los 42 centros de investigación de la institución presentan comportamientos diferenciados en cuanto a su rendimiento en la producción exclusivamente científica (número de artículos científicos y de citas) y en la producción técnica (descargas de manuales, boletines y otras publicaciones). La existencia de estas diferencias está comportando que la Embrapa considere, en su sistema de evaluación del rendimiento, las particularidades de sus centros de investigación, ya sea en el ámbito del proceso de producción de conocimiento y tecnología, ya sea en las formas de comunicación. A partir de esta experiencia, se llega a la conclusión que el desarrollo de indicadores bibliométricos adecuados para la gestión de instituciones de enseñanza e investigación requiere una mirada amplia, que contemple los acuerdos institucionales, los flujos de información y la influencia recíproca entre ciencia y sociedad.

Abstract

In recent decades, the emergence of new information and communication technologies has broadened the remit of bibliometric analysis. Bibliometrics are now used not only to assess products of scholarly communication such as articles or monographs, but to examine technology-related content such as web portals, repositories of technical publications or documents in social networks, which are studied with the help of web analytics and altmetrics. This paper examines the implications of this trend for the Brazilian Agricultural Research Corporation (Embrapa), whose criteria for assessing institutional performance have been extended in recent years to include the number of citations of scientific articles and downloads of the technical publications made available at the corporation's web portal. As the paper shows, Embrapa's 42 research centres do not all follow the same pattern in the production of scientific articles and citations, on the one hand, and of technical documents on the other (measured by downloads of manuals, bulletins and other publications). For this reason, Embrapa is beginning to tailor its system of performance assessment to the particularities of each centre, whether these involve the way the centre produces knowledge and technology or how it channels scholarly communication. The paper concludes that the development of suitable bibliometric indicators for managing centres dedicated to research and education requires a broad view of the centres themselves and can take on board such varied factors as institutional agreements, information flows and the ways in which science and society influence each other.

 

1 Introducció

Els articles (articles), les ressenyes (reviews) i les publicacions de treballs en esdeveniments científics (proceeding papers), entre altres documents, acostumen a representar una bona part del coneixement codificat d'un país i dels seus organismes d'ensenyament i recerca, a més de proveir dades rellevants per a anàlisis del seu rendiment en ciència i tecnologia. La seva adopció internacional com a fonts importants d'informació es deu, si més no, a tres factors: a) la contribució històrica dels estudis bibliomètrics, que es remunten al final del segle xix (Hood; Wilson, 2001; Godin, 2003; Björneborn; Ingwersen, 2004; Godin, 2006); b) l'interès d'institucions nacionals i internacionals en la creació d'indicadors de ciència i tecnologia a partir de la dècada de 1950 (Godin, 2003; 2007) i c) el sorgiment, en la dècada de 1990, d'una indústria d'informació en ciència i tecnologia ancorada en bases de dades informatitzades (Packer et al., 2007).

De fet, amb l'aparició d'Internet, la comunicació científica ha passat per transformacions profundes com el sorgiment dels diaris digitals, la creació de repositoris web i el debat mundial sobre l'accés obert a la informació científica (Bertin, 2008). Una cosa semblant passa amb els estudis bibliomètrics davant del sorgiment d'àrees cada vegada més especialitzades, com ara la cibermetria (cybermetrics), l'analítica web (webometrics) i la bibliometria alternativa (altmetrics) (Björneborn; Ingwersen, 2004; Roemer; Borchardt, 2015). Aquestes transformacions representen un gran desafiament per als organismes d'ensenyament i recerca en el desenvolupament dels seus sistemes d'avaluació del rendiment, que se sumen a les pressions externes creixents d'iniciatives similars per part d'organismes i programes internacionals (Archibugi; Coco, 2005; Kayyat; Lee, 2015), rànquings acadèmics mundials (Santos, 2015) i sistemes d'avaluació governamentals (Penteado Filho et al., 2017).

La major part dels índexs d'avaluació del rendiment desenvolupats per aquestes institucions estan formats per subindicadors bibliomètrics, alguns dels quals no es limiten a l'anàlisi de documents estrictament científics. En són exemples el Webometrics Ranking, proporcionat pel Cybermetrics Lab del Consejo Superior de Investigaciones Científicas (CSIC), i el SCImago Institutions Rankings (SIR), creat pel grup Scimago, ambdós d'Espanya, que incorporen subindicadors com ara el nombre d'enllaços externs que rep el domini d'una institució des d'altres llocs web (Santos, 2015).

Davant del creixement i de la pressió cada vegada més gran que exerceixen aquestes iniciatives sobre les institucions de ciència i tecnologia i innovació, la comunitat científica s'està qüestionant l'adopció d'indicadors quantitatius sense un criteri o una interpretació adequats. És el cas, per exemple, del "The Leiden Manifesto for research metrics"(Hicks et al., 2015), en què un grup de científics proposa deu principis sobre l'avaluació de recerca basada en indicadors. En la descripció d'aquests principis els autors recomanen, per exemple, que el rendiment ha de ser mesurat d'acord amb la missió de la institució i que cal protegir l'excel·lència de la recerca que és rellevant a escala local.

Aquest context també representa un desafiament per a institucions de recerca com l'Empresa Brasileira de Pesquisa Agropecuária (Embrapa). Des de la creació, el 1973, i, especialment, a partir de la dècada de 1990, aquesta organització ha estat cada vegada més sol·licitada pel govern, per la premsa, per associacions de productors rurals i per altres organitzacions per justificar els recursos governamentals invertits en la seva activitat (Penteado Filho et al., 2017; Embrapa, 2017c). Respondre a aquesta demanda requereix per part de l'Embrapa, i també per part d'altres institucions similars, d'una ampliació dels seus indicadors bibliomètrics més enllà de la comunicació estrictament científica, entre altres iniciatives.

Perquè passi això, cal superar un desafiament doble: sota la perspectiva epistemològica, cal que l'entorn científic trenqui els últims lligams amb la visió unidireccional de Vannevar Bush (1890–1974) sobre la relació entre ciència, sistemes d'innovació i societat, mitjançant l'adopció d'altres referències teòriques i metodològiques, ja disponibles en la literatura (Freeman, 1995; Gibbons et al., 1996; Etzkowitz; Leydesdorff, 1995; 2000; Leydesdorff, 2003; Stokes, 1997; 2005). Aquest canvi de paradigma, aplicat a la gestió, pot ampliar la relació dialògica entre les institucions de ciència i tecnologia (universitats, organismes de recerca), els seus departaments (facultats, centres de recerca) i els entorns respectius. Des de la perspectiva metòdica, cal avaluar els resultats i impactes d'aquesta relació amb la creació d'indicadors i índexs bibliomètrics adequats, a més de tenir-los en compte dins d'un sistema d'avaluació més ampli.

Aquest article és una contribució inicial sobre el tema. Es tracta d'una recerca exploradora, la finalitat de la qual és formular problemes més concrets per a estudis posteriors (Gil, 2018) sobre el paper de la recerca bibliomètrica en sistemes d'avaluació del rendiment. Per fer-ho, associa alguns referents teòrics sobre l'organització de la recerca científica i la comunicació en ciència i tecnologia a un cas concret d'avaluació del rendiment institucional. La pregunta principal que ha guiat aquest treball ha estat: en quina mesura el rendiment de diferents centres de recerca d'una mateixa institució de ciència i tecnologia pot ser comparat quan es tenen en compte diferents corpus de recerca? En aquest estudi, aquests diferents corpus estan representats per les dades sobre resultats i impactes d'un conjunt d'articles científics i per les dades de descàrregues d'un conjunt de documents tecnicocientífics produïts per l'Embrapa.

 

2 Metodologia

L'estratègia metodològica adoptada en aquest estudi ha estat dur a terme, inicialment, una revisió bibliogràfica sobre la relació entre ciència i societat i les implicacions en la recerca bibliomètrica. En una segona etapa, s'ha avaluat la producció científica de l'Embrapa amb l'estudi bibliomètric de 19.343 articles i ressenyes registrats en la base de dades Web of science baixats el dia 25/07/2017. Per analitzar les descàrregues de publicacions tecnicocientífiques es van tenir en compte els documents registrats i baixats del repositori Base de dados da pesquisa agropecuária da Embrapa (BDPA) durant el període de 2011 a 2016, disponible a Internet. Les dues anàlisis van contribuir a l'avaluació del rendiment dels 42 centres de recerca de la institució.

 

3 La superació del model lineal de recerca

El paradigma tradicional de la ciència es remunta al final de la Segona Guerra Mundial. En aquella època l'enginyer i polític nord-americà Vannevar Bush (1890 ̶ 1974) va publicar el seu estudi clàssic Science: The endless frontier (Bush, 1945), en què proposa un model conceptual sobre la relació entre la ciència fonamental i la innovació tecnològica. Es tracta d'un model lineal en què la recerca bàsica, duta a terme sense cap finalitat pràctica amb l'objectiu de produir coneixement en general, és considerada precursora del progrés tecnològic, ja que contribueix a la ciència aplicada, al desenvolupament i a la innovació.

Encara que aquest model se segueixi adoptant avui en dia, amb algunes modificacions, per elaborar índexs d'avaluació del rendiment en ciència i tecnologia i innovació, els seus principis han estat revisats, com a mínim, entre el 1980 i el 1990 per la comunitat científica. Entre les contribucions més conegudes en aquest sentit es troba el model de quadrants de Stokes, proposat el 1997, que organitza les diverses formes de recerca científica en quatre variants, d'acord amb els objectius d'entesa fonamental i de consideracions d'ús: recerca bàsica pura; recerca inspirada en l'ús; recerca aplicada pura, i recerca no inspirada ni en l'entesa ni en l'ús, sinó motivada per la curiositat per fets concrets (Stokes, 1997; 2005).

Una altra contribució important és l'estudi de Gibbons et al. (1996), que també qüestiona la divisió tradicional entre ciència i tecnologia, ja que considera que la recerca bàsica és inseparable del desenvolupament tecnològic. En dedicar-se a comprendre les condicions socials de la producció i l'ús de la ciència, aquests autors van proposar dos models per caracteritzar els canvis que es van produir al segle xx en les formes de producció de coneixement: el model 1, considerat tradicional, i el model 2, que representa una nova visió. En el model tradicional, associat a la concepció de Bush, el coneixement és disciplinari i definit per les normes socials que regeixen la recerca bàsica (és a dir, la ciència acadèmica) i el seu control de qualitat està marcat per l'avaluació d'experts. En el model alternatiu, el coneixement és transdisciplinari, destinat a ser útil per a algú (indústria, govern, societat en general), es produeix en negociació contínua amb diversos segments socials i el seu control de qualitat incorpora una àmplia gamma de criteris addicionals.

Durant aquest període, es va desenvolupar el concepte de sistema nacional d'innovació amb l'objectiu de comprendre el conjunt ampli de factors que configuren la capacitat d'innovació dels diversos països. En un article sobre aquest tema, Freeman (1995) argumenta que, tot i que les connexions internacionals tenen una importància creixent, les xarxes de relacions dels sistemes d'innovació nacionals i regionals segueixen sent un domini essencial de l'anàlisi econòmica. Així, el progrés tecnològic d'un país és el resultat coordinat dels sectors públic i privat mitjançant les polítiques governamentals, el sistema d'ensenyament i recerca, les relacions industrials, les tradicions culturals i moltes altres institucions nacionals (Freeman, 1995; Liu et al., 2015).

Una altra alternativa, que té en compte les opinions anteriors, va ser proposada per Etzkowitz i Leydesdorff (1995) a l'hora de dissenyar un model de triple hèlix —adoptada habitualment en biologia per modelar la relació entre gens, organismes i ambients— per analitzar les relacions entre la universitat, la indústria i el govern en la generació de coneixement basada en sistemes d'innovació. Aquest model es tradueix, dins de la bibliometria, en la mesura de les relacions entre aquestes tres institucions, a partir de les dades disponibles a Internet, obtingudes a través dels motors de cerca. Aquestes dades es tracten estadísticament mitjançant l'anàlisi de xarxa, a partir de les aparicions i coincidències de les paraules universitat, indústria i govern (Leydesdorff, 2003).

 

4 De la comunicació científica a la comunicació en ciència i tecnologia

Malgrat la contribució d'estudis com els d'Etzkowitz i Leydesdorff (1995) i Leydesdorff (2003), l'adopció de la recerca bibliomètrica en l'avaluació d'institucions d'ensenyament i recerca continua centrada en l'anàlisi de documents produïts en l'àmbit de la comunicació científica. Històricament, la comunicació científica (Scientific Communication) s'ha concebut com una de les dues línies de comunicació de la ciència (Science Communication). L'altra vessant és la comunicació pública de la ciència i la tecnologia (Public Communication of Science and Technology), coneguda també com a divulgació o divulgació científica (Bucchi, 2008; Bucchi; Trench, 2014; Bueno, 2010; Epstein, 2012).

Segons la ressenya de Fonseca Júnior (2014, p. 93), "essas duas formas de comunicação, podem convergir em alguns aspectos e divergir em outros, mas a relação entre ambas costuma ser assimétrica". Igual que amb l'esquema de Bush, el model de comunicació científica actual segueix generalment un camí unidireccional, en el qual el coneixement validat per la comunitat científica i expressat en revistes especialitzades és una font indispensable per a la divulgació científica, que es fa a través de diaris, Internet, museus de ciències, etc.

Aquesta visió de la comunicació, anomenada per Bucchi (2008) la "concepção difusionista", parteix de la premissa que la informació científica és poc entesa pel gran públic, i aquest patró d'ignorància cap a la ciència ha de ser contrarestat per una comunicació adequada. Normalment no es té en compte la influència en sentit contrari, és a dir, de la societat sobre la ciència.

En les últimes dècades, però, alguns estudis han tingut en compte aquest flux invers, com ara Phillips (1991, citat per Bucchi, 2008), que registra l'augment del nombre de citacions entre experts d'un article científic determinat des de la seva publicació en la premsa internacional. En un sentit ampli, altres aportacions (Bueno, 2010; Fonseca Júnior, 2014) mostren que les activitats de recerca, comunicació científica i divulgació científica estan cada vegada més afectades per interessos comercials, legals, socials, militars i religiosos, entre d'altres. Aquests interessos solen ser conflictius, com és el cas dels debats sobre la regulació de l'ús de cèl·lules mare per part de la ciència o de la recerca i producció d'aliments modificats genèticament.

El sorgiment de les noves tecnologies de la comunicació també ha comportat la transformació de la relació entre ciència i societat, amb la creixent fragmentació de públics i mitjans de comunicació, a més de modificar la noció mateixa de públic, fins ara constituït en gran part per lectors o espectadors passius de la ciència, mediatitzats pels mitjans de comunicació de masses (diaris i revistes, programes de ràdio i televisió) (Bucchi; Trench, 2014). Les noves tecnologies han permès, d'una banda, formar grups de pressió institucionalitzats i moviments socials en xarxa, que han començat a democratitzar el debat sobre diversos temes, inclosos la ciència i la tecnologia (Magnoli, 2004; Castells, 2013). D'altra banda, aquestes tecnologies també han permès a les institucions científiques produir una gran varietat de continguts textuals i audiovisuals, amb la seva difusió respectiva als llocs web i particularment a través de les xarxes socials (Bucchi; Trench, 2014). És a dir, les institucions científiques mai no han estat tan exposades al seu entorn com ho són avui en dia, mentre que, històricament, les inversions públiques en recerca sempre depenien del suport de la societat (Stokes, 2005).

En aquest nou context, l'estudi de la comunicació en l'àmbit de la ciència i la tecnologia, segons Fonseca Júnior (2014), ha de superar els enfocaments tradicionals de la comunicació científica i la divulgació científica i tenir en compte les múltiples interaccions entre ciència i societat, a través dels diversos mitjans de comunicació, públic i continguts. Per tant, si les activitats científiques, els seus efectes i implicacions són inseparables de la vida social, llavors ja no es pot parlar de comunicació "de la" ciència, sinó de comunicació "en" (relacionada "amb", en el context "de la") ciència i tecnologia (Fonseca Júnior, 2014).

 

5 Nous paradigmes per a la bibliometria i l'avaluació del rendiment

Aquest canvi de paradigma té profundes implicacions per als estudis bibliomètrics, que ara han de contribuir, amb els recursos tecnològics i d'informació disponibles actualment, a la comprensió de les influències recíproques entre les iniciatives de ciència i tecnologia pública i empresarial (polítiques de ciència i tecnologia, programes i portafolis de recerca), els resultats derivats directament de la recerca (publicacions científiques, patents, productes i serveis), l'àmplia actuació d'investigadors i institucions científiques de la societat (articles periodístics, manuals tècnics, vídeos educatius, insercions en xarxes socials, blogs, etc.) i manifestacions socials sobre iniciatives o resultats en ciència i tecnologia (descàrregues de publicacions, publicacions en xarxes socials, informes periodístics, blogs, etc.).

El sorgiment d'àrees cada vegada més especialitzades en l'àmbit de les ciències de la informació, com l'analítica web i, especialment, la bibliometria alternativa satisfarà bona part d'aquestes necessitats. Pel que fa a l'analítica web, es dedica a l'anàlisi dels aspectes quantitatius relacionats amb la Web; per la seva banda, la bibliometria alternativa proposa mètriques alternatives per avaluar la difusió de treballs acadèmics, l'ús i l'expansió de termes científics, la interacció entre col·legues i entre aquests amb altres públics, així com amb altres fenòmens similars manifestats, sovint, a les xarxes socials (Björneborn; Ingwersen, 2004; Roemer; Borchardt, 2015; Barnes, 2015).

Es tracta, però, d'àrees recents. En el cas de la bibliometria alternativa, per exemple, González-Valiente et al. (2016) van examinar a les bases de dades Scopus i Web of science el nombre d'articles que esmenten aquest concepte per any. Van trobar que la primera menció de altmetria es fa en un article publicat el 2005, però que la producció científica sobre el tema va augmentar significativament a partir del 2012, amb 19 articles, i va arribar als 96 articles el 2015. En aquesta anàlisi, els principals descriptors trobats, agrupats per clústers, són social media, social networking (online), information systems, research impact i information services.

Malgrat el potencial de les mètriques alternatives per avaluar els fluxos d'informació i la influència recíproca entre ciència i societat, estudis com el de Maricato i Martins (2017) encara reprodueixen, fins i tot parcialment, la concepció unidireccional de l'organització de la ciència i la comunicació científica. En valorar la comunicació científica com a nucli central dels estudis bibliomètrics, afirmen que "as altmetrias abrangem a socialização de diversos resultados de pesquisas científicas [la cursiva és nostra], registradas em diferentes fontes, por variados atores sociais, nas mais diversas mídias e redes sociais, meios de comunicação e ferramentas de gerenciamento de referências". D'altra banda, tenint en compte la transversalitat de les mètriques aplicades a diferents suports, així com la connexió entre les ciències de la informació i altres camps de coneixement, aquests autors obren pas a la construcció d'indicadors bibliomètrics més adequats a les institucions científiques, així com a la seva inserció en sistemes i avaluació del rendiment. Aquest és el repte immediat de la recerca bibliomètrica en el marc de l'Embrapa.

 

6 L'actuació de l'Embrapa en la comunicació i l'avaluació del rendiment

L'Empresa Brasileira de Pesquisa Agropecuária (Embrapa), un organisme vinculat al Ministério da Agricultura, Pecuária e Abastecimento (MAPA), es va crear el 1973 i actualment compta amb 9.713 empleats, 2.430 dels quals són investigadors: 312 (un 12,75 %) amb màster, 1.816 (74,18 %) amb doctorat i 302 (12,34 %) amb postdoctorat. L'Embrapa té la seu a Brasília i 42 centres de recerca distribuïts per tot el territori brasiler, organitzats en centres temàtics (que treballen en temes específics i en zones situades a la frontera del coneixement, com ara la informàtica, la nanotecnologia i l'agricultura de precisió), centres de producció animal (Caprinos e Ovinos, Gado de Corte, Pesca e Aquicultura, Suínos e Aves, entre d'altres), centres de producció vegetal (Algodão, Arroz e Feijão, Soja, Trigo, etc.) i centres ecoregionals (que cerquen solucions tecnològiques per al desenvolupament sostenible de diferents ecosistemes nacionals, com ara Amazônia, Cerrados i Pantanal) (Embrapa, 2017a).

A principis de la dècada de 1990, l'Embrapa va experimentar canvis organitzatius profunds, davant les exigències internes i les transformacions en curs del país i del món. La primera iniciativa consistia a ampliar la seva missió —fins llavors dedicada a les investigacions per augmentar la productivitat al camp—, fins a englobar tota la cadena de producció agroalimentària i satisfer les necessitats de tota la societat brasilera. Com a resultat d'aquesta nova missió, el perfil de comunicació de l'Embrapa, aleshores centrat en la comunicació científica i la difusió de la tecnologia als productors rurals, va començar a incloure diversos segments socials i diversos modes de comunicació (administratius, científics, governamentals, de màrqueting, socials i de comunicació per a transferència de tecnologia), ampliant l'atenció a les comunitats urbanes (Fonseca Júnior et al., 2009).

El model actual d'avaluació del rendiment de l'Embrapa és el resultat d'un procés amb dues dècades d'aplicació i en millora constant. La seva característica principal és la multidimensionalitat, ja que té en compte els criteris d'eficàcia (assoliment d'objectius, obtenció de productes), eficiència (productes obtinguts per costos d'obtenció) i efectivitat (adopció, ús de productes i/o processos desenvolupats i els seus respectius impactes). Entre els criteris i els indicadors del rendiment que es tenen en compte actualment en el procés d'avaluació del rendiment institucional de la companyia, s'inclou la seva producció tècnica i tecnicocientífica i l'ús per part de la societat, tal com es presenta en la taula 1.

 

Dimensió: Eficàcia
1) Compliment de les agendes institucional i programàtica
2) Excel·lència i maduresa en la gestió
A. Gestió en la visió de la unitat
B. Gestió integrada de la qualitat
C. Gestió d'ingressos i despeses
Dimensió: Eficiència
3) Desenvolupament en eficiència i productivitat
Dimensió: Efectivitat
4) Actius tecnològics qualificats i disponibles
5) Innovacions tecnològiques (outcomes)
6) Rellevància i impactes de l'agenda de prioritats
7) Qualitat de les avaluacions d'impactes
8) Aplicació de coneixements de publicacions

Taula 1. Criteris i indicadors d'avaluació del rendiment utilitzats per l'Embrapa, 2017 ̶ 2018

 

Els resultats de l'anàlisi d'eficiència (Avila et al., 2013) i de les avaluacions d'impacte (Avila et al., 2008; 2015) s'han publicat anualment des del 1997 en el seu Informe Social (vegeu la figura 1). Aquesta publicació és, doncs, el resultat de dos processos: l'elaboració d'estudis d'avaluació d'impacte dels anys vuitanta i la implementació de la política de comunicació de l'Embrapa a la dècada de 1990 (Embrapa, 2017c). En un estudi comparatiu internacional sobre sistemes d'avaluació d'impacte agrícola fet per Joly et al. (2016), l'Embrapa destaca entre institucions similars per la seva llarga tradició d'avaluació, associada a la publicació periòdica d'un informe social.

 

Figura 1. Informe Social de l'Embrapa

Figura 1. Informe Social de l'Embrapa

 

7 El rendiment de l'Embrapa en la seva producció científica

En l'àmbit de la producció científica, l'Embrapa es troba entre les principals institucions del Brasil. L'historial d'aquesta producció, indexada a la base de dades Web of science (WoS), presenta algunes dates clau. La primera es va produir el 1997, quan va superar la barrera de 200 articles anuals. El 1996, l'Embrapa va adoptar un sistema d'avaluació institucional on es prioritzava la meta: la publicació d'articles científics. La segona és el 2007, quan es va produir un salt sense precedents en el volum de producció d'articles, 854. Aquest comportament també es va repetir el 2008, amb 1.056 articles, i el 2011, amb 1.321. Els anys 2014, 2015 i 2016 es va arribar a 1.533, 1.489 i 1.630 articles científics, respectivament. En la figura 2 es presenta un resum d'aquest historial.

 

Figura 2. Producció d'articles científics de l'Embrapa 1977 ̶ 2016

Figura 2. Producció d'articles científics de l'Embrapa 1977 ̶ 2016

 

Cal destacar que la base de dades WoS només conté al voltant d'un 30 % de tota la producció científica de l'Embrapa (Penteado Filho; Avila, 2009). Per tant, aquesta producció és molt més gran que la recollida per la base de dades referenciada i vinculada a la producció científica. La taula 2 mostra els centres classificats segons la producció d'articles presents al WoS el 2016 i també durant tot el període (1977 ̶ 2016), com es pot veure a la columna "Total*". En aquest cas, els centres que lideren la producció científica al llarg de tot el període són els que treballen amb recursos genètics i biotecnologia (1.965 articles), bestiar de llet (1.045 articles), arròs i mongetes (1.011 articles) i soja (1.010 articles). Tot i això, en aquesta mateixa taula, a la columna que fa referència al 2016, el lideratge el tenen els centres de Recursos Genéticos e Biotecnologia (125 articles), Pecuária da Região Sul (116 articles), Instrumentação Agropecuária (94 articles) i Florestas (83 articles).

 

Class.
Centre de recerca
2011
2012
2013
2014
2015
2016
Total*
1
Recursos Genéticos e Biotecnologia
137
112
139
126
124
125
1.965
2
Pecuária Sul
16
20
24
23
31
116
387
3
Instrumentação
55
73
67
73
72
94
916
4
Florestas
37
46
55
64
67
83
551
5
Gado de Leite
67
55
66
99
90
81
1.045
6
Soja
55
75
78
75
71
80
1.010
7
Amazônia Oriental
34
50
57
39
58
71
689
8
Mandioca e Fruticultura
52
60
59
67
64
71
689
9
Cerrados
60
51
72
80
70
66
990
10
Arroz e Feijão
58
65
82
96
73
64
1.011
11
Semiárido
49
47
50
65
60
61
722
12
Agroindústria Tropical
32
38
39
41
37
56
584
13
Meio Ambiente
22
43
41
40
46
56
592
14
Clima Temperado
48
55
57
71
63
54
685
15
Pecuária Sudeste
50
38
45
44
42
54
677
16
Suínos e Aves
43
40
37
46
38
54
634
17
Gado de Corte
49
43
47
44
40
51
697
18
Agroindústria de Alimentos
30
40
47
37
42
49
500
19
Milho e Sorgo
40
53
37
60
45
45
703
20
Trigo
28
26
39
34
28
39
544
21
Agrobiologia
36
53
42
40
41
38
806
22
Solos
34
33
43
29
40
36
422
23
Uva e Vinho
39
36
30
44
39
35
407
24
Pantanal
32
19
23
24
36
33
400
25
Sede Embrapa
34
21
29
36
30
32
438
26
Algodão
32
39
45
50
45
31
524
27
Informática Agropecuária
16
16
28
23
18
29
240
28
Meio-Norte
31
32
27
24
37
29
339
29
Tabuleiros Costeiros
28
38
35
27
29
28
362
30
Caprinos e Ovinos
30
24
31
39
27
27
379
31
Hortaliças
38
47
39
27
39
27
562
32
Agroenergia
14
25
25
22
27
26
177
33
Amapá
13
12
16
18
20
25
145
34
Amazônia Ocidental
21
27
20
19
19
24
404
35
Agropecuária Oeste
32
27
33
22
18
21
262
36
Acre
17
25
21
29
11
17
232
37
Agrossilvipastoril
19
11
9
16
12
17
90
38
Monitoramento por Satélite
12
14
8
10
13
17
114
39
Rondônia
8
21
24
14
15
17
163
40
Roraima
20
18
17
19
19
13
177
41
Café
16
10
20
14
13
11
132
42
Pesca e Aquicultura
15
18
17
13
15
11
97
43
Cocais
1
2
4
2
1
6
16

Taula 2. Articles per centre de recerca de l'Embrapa entre el 2011 i el 2016 i total d'articles del període 1977 ̶ 2016

 

A més de la producció científica, la classificació dels centres de l'Embrapa pel nombre de citacions permet conèixer millor la seva diversitat. La taula 3 està ordenada pel nombre de citacions per article de cada centre de recerca (última columna), però conté dos rànquings més (pel nombre de citacions i pel nombre d'articles). En aquest cas, el centre de recerca de l'Embrapa líder pel nombre d'articles i pel nombre de citacions (Embrapa Recursos Genéticos e Biotecnologia) ha passat a ocupar la quarta posició. Els primers tres llocs ara estan ocupats per centres de producció més petits, però amb un nombre més alt de citacions: Embrapa Agrobiologia, Embrapa Amazônia Oriental i Embrapa Monitoramento por Satélite. El resultat d'aquesta comparació ens permet concloure que els indicadors de l'avaluació institucional s'han de seleccionar amb cura per cercar una major equitat entre el conjunt que s'ha d'avaluar.

 

Class.
Centre de recerca
Rànq. cit.
#Citacions
Rànq. art.
# Articles
Rànq. Raó.
Raó
1
Agrobiologia
2
17.693
7
806
1
21,95
2
Amazônia Oriental
3
15.049
11
689
2
21,84
3
Monitoramento por Satélite
28
2.233
40
114
3
19,59
4
Recursos Genéticos e Biotecnologia
1
31.529
1
1.965
4
16,05
5
Instrumentação
4
13.957
6
916
5
15,24
6
Amazônia Ocidental
14
5.355
26
404
6
13,25
7
Solos
15
5.331
24
422
7
12,63
8
Soja
5
11.714
4
1.010
8
11,60
9
Meio Ambiente
8
6.776
16
592
9
11,45
10
Agroindústria de Alimentos
13
5.451
22
500
10
10,90
11
Arroz e Feijão
6
10.354
3
1.011
11
10,24
12
Cerrados
7
9.641
5
990
12
9,74
13
Milho e Sorgo
9
6.465
9
703
13
9,20
14
Agroindústria Tropical
16
5.203
17
584
14
8,91
15
Pecuária Sudeste
12
5.987
14
677
15
8,84
16
Gado de Corte
11
6.076
10
697
16
8,72
17
Agroenergia
35
1.530
35
177
17
8,64
18
Informática Agropecuária
31
1.973
33
240
18
8,22
19
Sede Embrapa
22
3.570
23
438
19
8,15
20
Roraima
37
1.411
36
177
20
7,97
21
Pantanal
26
3.154
27
400
21
7,89
22
Café
38
982
39
132
22
7,44
23
Acre
33
1.652
34
232
23
7,12
24
Hortaliças
18
3.963
18
562
24
7,05
25
Algodão
25
3.425
21
524
25
6,54
26
Florestas
23
3.558
19
551
26
6,46
27
Trigo
24
3.494
20
544
27
6,42
28
Uva e Vinho
27
2.515
25
407
28
6,18
29
Mandioca e Fruticultura
17
4.248
12
689
29
6,17
30
Agropecuária Oeste
34
1.577
32
262
30
6,02
31
Meio-Norte
30
2.010
31
339
31
5,93
32
Tabuleiros Costeiros
29
2.139
30
362
32
5,91
33
Gado de Leite
10
6.149
2
1.045
33
5,88
34
Suínos e Aves
21
3.606
15
634
34
5,69
35
Clima Temperado
19
3.771
13
685
35
5,51
36
Caprinos e Ovinos
32
1.943
29
379
36
5,13
37
Semiárido
20
3.653
8
722
37
5,06
38
Pesca e Aquicultura
41
446
41
97
38
4,60
39
Rondônia
39
741
37
163
39
4,55
40
Amapá
40
613
38
145
40
4,23
41
Pecuária Sul
36
1.450
28
387
41
3,75
42
Cocais
43
54
43
16
42
3,38
43
Agrossilvipastoril
42
236
42
90
43
2,62

Taula 3. Rànquings per nombre d'articles, nombre de citacions i nombre de citacions per article, per centre de recerca de l'Embrapa, 1977 ̶ 2016

 

8 L'impacte de les descàrregues de publicacions tècniques

L'interès de l'Embrapa per avaluar el seu rendiment en publicacions tècniques no és recent. De fet, segons un estudi anterior (Penteado et al., 2017), els seus centres de recerca es van avaluar entre el 1996 i el 2009, a través del seu sistema d'avaluació d'unitats (SAU), pel nombre de títols produïts. Tanmateix, l'aparició de les noves tecnologies de la informació i la comunicació ha posat en evidència aquesta diversitat de productes pel fet d'estar disponible en mitjans electrònics, amb la possibilitat de valorar l'interès de les diverses audiències de la institució pel nombre de descàrregues. Aquest nou context ha ampliat la reflexió de l'Embrapa sobre el paper que tenen aquests productes en el compliment de la seva missió.

L'avaluació del rendiment pel nombre de descàrregues de publicacions tècniques és una mètrica incorporada recentment per l'Embrapa. En aquest cas, el rendiment dels seus centres de recerca presenta una altra configuració en comparació amb els resultats de la seva producció científica. En l'avaluació de les dades disponibles entre el 2011 i el 2016, l'Embrapa va arribar a 68,9 milions de descàrregues, el contingut de les quals inclou principalment documents preparats per a la difusió pública i privada de la tecnologia i dirigits a productors rurals (documents, circulars tècniques, comunicacions tècniques, col·leccions, manuals, butlletins, llibres tècnics, etc.).

En aquest indicador, els centres de recerca de l'Embrapa amb un millor rendiment són els que serveixen més específicament per a la funció de transferència de tecnologia a petits i mitjans agricultors, com ara els centres ecoregionals (Semiárido i Amazônia Oriental) i de productes (Milho e Sorgo, Florestas, Caprinos e Ovinos), a més de la seu de l'Embrapa, que inclou publicacions didàctiques de l'editorial i les arts gràfiques corporatives. D'altra banda, és interessant assenyalar que els centres de recerca amb millors resultats en publicacions científiques (nombre d'articles i de citacions, segons la taula 3) i els centres de menor rendiment (publicacions tècniques) solen ser els que treballen amb temes relacionats amb la recerca bàsica (Recursos Genéticos e Biotecnologia; Instrumentação Agropecuária). És a dir, els documents de diferents tipus, segons la seva finalitat i el canal de comunicació per on es distribueixen, solen arribar a públics diferents. Aquest rendiment es pot apreciar en la taula 4.

 

Class.
Centre de recerca
Total
1
Semiárido
5.557.152
2
Milho e Sorgo
5.345.697
3
Sede Embrapa
5.173.955
4
Amazônia Oriental
5.102.426
5
Florestas
3.603.404
6
Soja
2.896.649
7
Caprinos e Ovinos
2.662.211
8
Arroz e Feijão
2.423.356
9
Pecuária Sudeste
2.411.369
10
Clima Temperado
2.185.345
11
Suínos e Aves 
2.071.346
12
Algodão
1.840.580
13
Mandioca e Fruticultura
1.599.186
14
Agroindústria Tropical
1.562.342
15
Solos
1.488.359
16
Amazônia Ocidental
1.482.753
17
Agropecuária Oeste
1.476.475
18
Rondônia 
1.428.660
19
Meio-Norte
1.384.140
20
Agroindústria de Alimentos
1.229.649
21
Cerrados
1.217.115
22
Informática Agropecuária
1.190.555
23
Hortaliças
981.753
24
Meio Ambiente
950.757
25
Acre
910.851
26
Instrumentação
887.008
27
Tabuleiros Costeiros
856.592
28
Pantanal 
841.774
29
Recursos Genéticos e Biotecnologia
833.690
30
Agrobiologia
782.364
31
Trigo
767.082
32
Uva e Vinho
716.880
33
Amapá
696.940
34
Pecuária Sul
664.566
35
Monitoramento por Satélite
635.136
36
Gado de Leite
633.273
37
Café
560.506
38
Agroenergia
540.315
39
Roraima
517.361
40
Gado de Corte
421.594
41
Pesca e Aquicultura
245.664
42
Agrossilvipastoril 
100.380
43
Cocais
26.336
44
Total descàrregues
68.903.546

Taula 4. Nombre de descàrregues per centre de recerca entre el 2011 i el 2016

 

Una anàlisi detallada de la demanda d'aquestes publicacions, reflectida pel nombre de descàrregues, és una mostra més que els resultats generats per les recerques de l'Embrapa són ben rebuts pel sector productiu. Els temes més descarregats van des de conceptes bàsics en biologia molecular fins a la producció d'enciam hidropònic, passant per l'anàlisi fisicoquímica de l'aigua, la cria de pollastre de pagès, la preparació i ús de biofertilitzants líquids i la tecnologia per a la producció d'oli de soja, entre d'altres, com es pot observar en la taula 5.

 

# Descàrregues
Centre de recerca
Títol
Tipus de publicació
44.019
Algodão Conceitos básicos de técnicas em biologia molecular Sèrie de documents
37.479
Semiárido Produção de alface hidropônica: um estudo de viabilidade técnico-econômica Article en annals de congrés
30.984
Florestas Manual de procedimentos de amostragem e análise físico-química de água Sèrie de documents
28.694
Amazônia Oriental Manual sobre criação de galinha caipira na agricultura familiar: noções básicas Sèrie de documents
27.857
Semiárido Preparo e uso de biofertilizantes líquidos Informe tècnic
24.754
Soja Tecnologia para produção do óleo de soja: descrição das etapas, equipamentos, produtos e subprodutos Sèrie de documents
21.251
Amazônia Oriental Cultivo da ipecacuanha [Psychotria ipecacuanha (Brot) Stokes] Sèrie de documents
17.477
Hortaliças Horta em pequenos espaços Llibre tècnic
15.779
Amazônia Ocidental Manual de procedimentos do Laboratório de Cultura de Tecidos da Embrapa Amazônia Ocidental Sèrie de documents
15.473
Meio Norte Criação de galinhas caipiras Col·lecció ABC Agricultura Familiar
15.382
Mandioca e Fruticultura Sistemas de irrigação para agricultura familiar Circular tècnica
12.218
Clima Temperado Instruções para o cultivo da acerola Circular tècnica
11.730
Amazônia Ocidental Normas de elaboração de Procedimentos Operacionais Padrão (POPs) para o Laboratório de Biologia Molecular da Embrapa Amazônia Ocidental Sèrie de documents
11.382
Mandioca e Fruticultura A cultura do limão-taiti Col·lecció Plantar
10.798
Agrobiologia Armadilha PET para captura de adultos de moscas-das-frutas em pomares comerciais e domésticos Circular tècnica
10.766
Rondônia Manual prático para formulação de ração para vacas leiteiras Sèrie de documents
10.755
Florestas Propagação vegetativa Article en annals de congrés
10.418
Milho e Sorgo Variação geográfica do tamanho dos módulos fiscais no Brasil Sèrie de documents
9.852
Semiárido Clima e água de chuva no Semiárido Capítol en llibre tecnicocientífic
9.318
Pecuária Sudeste Dimensionamento de piquetes para bovinos leiteiros, em sistemas de pastejo rotacionado Informe tècnic
8.699
Semiárido Disponibilidade de água e a gestão dos recursos hídricos Capítol en llibre tecnicocientífic
8.599
Milho e Sorgo Manejo da cultura do milheto Circular tècnica
8.540
Agropecuária Oeste Fungos em sementes de soja: detecção e importância Sèrie de documents
8.386
Suínos e Aves Medição da vazão em rios pelo método do flutuador Informe tècnic
8.255
Uva e Vinho Suco de uva Col·lecció Agroindústria Familiar
8.213
Informação Agropecuária Como produzir melancia Col·lecció ABC Agricultura Familiar
8.209
Gado de Leite Silagens: oportunidades e pontos críticos Informe tècnic
8.194
Amazônia Oriental Manual de extração de DNA Sèrie de documents
7.762
Semiárido Potencial agrícola do solo para o cultivo da melancia Article en annals de congrés
7.615
Meio Ambiente Biocontrole de doenças de plantas: uso e perspectivas Llibres científics
7.550
Agroindústria de Alimentos Avaliação do efeito da extração e da microfiltração do açaí sobre sua composição e atividade antioxidante Tesis/tesines

Taula 5. Publicacions amb més descàrregues

 

A més, en l'actual model d'avaluació del rendiment de l'Embrapa, els resultats de la producció i de les citacions d'articles científics, així com les descàrregues de produccions científiques i tecnicocientífiques es ponderen pel nombre d'investigadors, tal com es presenta a les taules 6 i 7. La taula 6, classificada pels índexs d'articles per investigador del 2016, està liderada pels centres següents de l'Embrapa: Pecuária Sul (3,63), Instrumentação (3,13), Pecuária Sudeste (1,32) i Soja (1,18).

 

Class.
Centre de recerca
2011
2012
2013
2014
2015
2016
1
Pecuária Sul
0,59
0,67
0,8
0,72
0,97
3,63
2
Instrumentação
1,9
2,61
2,48
2,61
2,48
3,13
3
Pecuária Sudeste
1,32
0,97
1,15
1,16
1,08
1,32
4
Soja
0,85
1,15
1,16
1,07
1,03
1,18
5
Florestas
0,51
0,63
0,75
0,9
0,94
1,15
6
Arroz e Feijão
0,97
1,03
1,34
1,55
1,18
1,1
7
Suínos e Aves
0,86
0,8
0,76
0,88
0,75
1,1
8
Gado de Leite
0,94
0,73
0,88
1,34
1,18
1,05
9
Mandioca e Fruticultura
0,73
0,86
0,84
0,94
0,94
1,03
10
Recursos Genéticos e Biotecnologia
1,14
0,94
1,13
1,03
1
1,01
11
Agroindústria de Alimentos
0,61
0,78
0,9
0,7
0,79
0,92
12
Pantanal
0,74
0,46
0,61
0,65
0,95
0,92
13
Gado de Corte
0,89
0,75
0,84
0,77
0,7
0,89
14
Agrobiologia
0,88
1,2
0,95
0,91
0,93
0,88
15
Monitoramento por Satélite
0,55
0,64
0,35
0,42
0,59
0,81
16
Uva e Vinho
0,98
0,9
0,75
1,05
0,91
0,81
17
Agroenergia
0,5
0,76
0,76
0,73
0,87
0,79
18
Amapá
0,45
0,4
0,53
0,56
0,63
0,78
19
Agroindústria Tropical
0,45
0,54
0,56
0,59
0,52
0,77
20
Meio Ambiente
0,31
0,62
0,59
0,56
0,65
0,75
21
Trigo
0,51
0,47
0,71
0,62
0,51
0,74
22
Semiárido
0,66
0,6
0,64
0,76
0,71
0,72
23
Agropecuária Oeste
1,03
0,84
1,03
0,69
0,56
0,7
24
Cerrados
0,62
0,52
0,72
0,8
0,69
0,65
25
Amazônia Oriental
0,33
0,47
0,52
0,34
0,52
0,63
26
Informática Agropecuária
0,39
0,38
0,65
0,49
0,38
0,62
27
Caprinos e Ovinos
0,68
0,53
0,67
0,81
0,61
0,61
28
Milho e Sorgo
0,55
0,72
0,49
0,78
0,61
0,61
29
Agrossilvipastoril
0,68
0,35
0,29
0,52
0,41
0,59
30
Clima Temperado
0,56
0,63
0,67
0,81
0,71
0,59
31
Hortaliças
0,81
1,04
0,89
0,56
0,83
0,59
32
Rondônia
0,23
0,62
0,71
0,4
0,45
0,57
33
Algodão
0,53
0,66
0,78
0,88
0,79
0,54
34
Meio Norte
0,5
0,53
0,46
0,41
0,63
0,51
35
Solos
0,52
0,48
0,61
0,41
0,56
0,51
36
Café
0,8
0,48
1
0,67
0,59
0,5
37
Acre
0,43
0,63
0,51
0,71
0,29
0,45
38
Tabuleiros Costeiros
0,45
0,6
0,55
0,43
0,46
0,45
39
Amazônia Ocidental
0,32
0,4
0,3
0,3
0,31
0,42
40
Roraima
0,56
0,51
0,47
0,51
0,54
0,39
41
Cocais
0,06
0,13
0,24
0,11
0,06
0,33
42
Pesca e Aquicultura
0,48
0,53
0,47
0,35
0,42
0,32
43
Sede Embrapa
0,21
0,13
0,17
0,21
0,17
0,22

Taula 6. Índexs d'articles per investigador per centre entre el 2011 i el 2016

En la taula 7, en la classificació per l'índex de descàrregues per investigador, encapçalen el lideratge els centres següents de l'Embrapa: Milho e Sorgo (11,9 mil), Semiárido (11,4 mil), Pecuária Sudeste (10,3 mil) i Caprinos e Ovinos (9,8 mil).

 

Class.
Centre de recerca
# Articles
# Citacions
# Descàrregues
1
Milho e Sorgo
0,63
3,84
11.959,05
2
Semiárido
0,68
2,05
11.458,05
3
Pecuária Sudeste
1,17
7,74
10.305,00
4
Caprinos e Ovinos
0,66
2,24
9.823,66
5
Florestas
0,81
2,67
8.341,21
6
Agropecuária Oeste
0,81
2,25
7.812,04
7
Amazônia Oriental
0,47
4,89
7.754,45
8
Soja
1,07
7,39
7.169,92
9
Rondônia
0,49
1,16
7.107,76
10
Suínos e Aves
0,86
3,37
6.881,55
11
Arroz e Feijão
1,20
7,53
6.621,19
12
Algodão
0,70
2,84
5.289,02
13
Sede Embrapa
0,18
0,7
5.258,08
14
Instrumentação
2,54
27,57
5.187,18
15
Monitoramento por Satélite
0,55
6,46
4.739,82
16
Informática Agropecuária
0,49
2,64
4.459,01
17
Café
0,67
3,38
4.448,46
18
Clima Temperado
0,66
1,89
4.146,76
19
Agroindústria Tropical
0,79
5,14
3.953,86
20
Meio-Norte
0,51
1,63
3.888,03
21
Amazônia Ocidental
0,34
3,56
3.871,42
22
Acre
0,50
2,13
3.827,11
23
Mandioca e Fruticultura
0,89
2,96
3.816,67
24
Amapá
0,56
1,43
3.767,24
25
Agroindústria de Alimentos
0,57
3,8
3.676,10
26
Pecuária Sul
1,26
2,56
3.631,51
27
Pantanal
0,72
3,73
3.612,76
28
Solos
0,52
3,81
3.577,79
29
Hortaliças
0,78
3,17
3.544,23
30
Agrobiologia
0,96
14,18
3.009,09
31
Uva e Vinho
0,90
2,95
2.890,65
32
Agroenergia
0,74
6,37
2.874,02
33
Roraima
0,50
2,76
2.440,38
34
Trigo
0,59
2,61
2.338,66
35
Tabuleiros Costeiros
0,49
2,02
2.272,13
36
Meio Ambiente
0,58
4,73
2.237,08
37
Cerrados
0,67
4,15
2.038,72
38
Gado de Leite
1,02
3,85
1.413,56
39
Gado de Corte
0,81
4,96
1.243,64
40
Pesca e Aquicultura
0,43
1,96
1.181,08
41
Recursos Genéticos e Biotecnologia
1,04
11,31
1.087,29
42
Agrossilvipastoril
0,47
1,19
560,78
43
Cocais
0,16
0,52
255,69

Taula 7. Índexs de producció, citació i descàrregues ponderats pel nombre d'investigadors

 

9 Conclusió

Els resultats obtinguts en aquest treball indiquen que el rendiment de les produccions tècniques i científiques de l'Embrapa pot variar segons el perfil dels seus centres de recerca. Hi ha centres que treballen qüestions relacionades amb la frontera del coneixement i tenen un millor rendiment en la publicació d'articles en revistes internacionals, mentre que d'altres treballen en la resolució de problemes regionals o productes o animals específics i destaquen pel nombre de descàrregues de publicacions tècniques necessàries per a un ús immediat en l'agricultura.

Aquests resultats van provocar una reflexió interna i es van incorporar al sistema d'avaluació del rendiment de l'Embrapa, per considerar les peculiaritats de l'actuació dels seus centres de recerca en el desenvolupament d'indicadors i bases bibliomètrics. Per satisfer aquesta necessitat es compleixen diversos principis exposats al "The Leiden Manifesto for research metrics" (Hicks et al., 2015), com ara mesurar el rendiment d'acord amb la missió de la institució i protegir la recerca que sigui rellevant en l'àmbit local. Al mateix temps que són importants per millorar el sistema d'avaluació del rendiment de l'Embrapa, i certament per a altres institucions, aquests resultats es poden considerar modestos enfront del potencial d'aplicació de la recerca bibliomètrica en la gestió d'organismes de recerca.

La possibilitat d'articulació entre diferents mètriques, adequada per a l'anàlisi de dades produïdes pels diferents segments implicats en la relació entre ciència i societat, en els mitjans digitals més diversos, xarxes socials i eines de gestió de referència (Maricato; Martins, 2017), representa una gran esperança per a la recerca bibliomètrica, en el sentit d'ampliar els seus horitzons en l'àmbit de la gestió d'institucions d'ensenyament i recerca. A més de la seva aplicació en sistemes d'avaluació del rendiment, també pot col·laborar, per exemple, en el desenvolupament o la millora de sistemes d'intel·ligència i comunicació, entre d'altres. Per a això és necessari aprendre a tenir una mirada més àmplia que tingui en compte els acords institucionals, els fluxos d'informació i la influència recíproca entre ciència i societat. Aquest exercici representa un repte important per a la recerca bibliomètrica i per a la gestió de les institucions de ciència i tecnologia, però val la pena perseguir-lo.

 

Bibliografia

Archibugi, Daniele; Coco, Alberto (2005). "Measuring technological capabilities at the country level: A survey and a menu for choice". Research policy, vol. 34, no. 2, p. 175–194.

Avila, Antonio Flavio Dias; Gomes, Eliane Gonçalves; Souza, Geraldo da Silva; Penteado Filho, Roberto de Camargo (2013). Avaliação de desempenho de unidades de pesquisa agropecuária: métricas e resultados da experiência da Embrapa. Brasília, DF: Secretaria de Gestão Estratégica - SGE. <https://www.embrapa.br/busca-de-publicacoes/-/publicacao/957536/avaliacao-de-desempenho-de-unidades-de-pesquisa-agropecuaria-metricas-e-resultados-da-experiencia-da-embrapa>. [Consulta: 19/11/2019].

Avila, Antonio Flavio Dias; Robrigues, Geraldo Stachetti; Vedovoto, Graciela Luzia (ed.) (2008). Avaliação dos impactos de tecnologias geradas pela Embrapa: metodologia de referência. Brasília, DF: Embrapa Informação Tecnológica. <https://ainfo.cnptia.embrapa.br/digital/bitstream/item/132174/1/MetodologiaReferenciaAvalImpactoEmbrapa.pdf>. [Consulta: 19/11/2019].

Avila, Antonio Flavio Dias; Rodrigues, Geraldo Stachetti; Vedovoto, Graciela Luzia; Penteado Filho, Roberto de Camargo; Fonseca Júnior, Wilson Corrêa da (2015). "Embrapa experience on the impact assessment of agricultural R&D: 15 Years using a multidimensional approach". En: IMPAR CONFERENCE, 2015, Paris. Impacts of agricultural research: Towards an approach of societal values: Book of abstracts... Paris: INRA, 2015. <https://www.alice.cnptia.embrapa.br/alice/bitstream/doc/1036444/1/EmbrapaExperienceontheimpact.pdf>. [Consulta: 19/11/2019].

Barnes, Cameron (2015). "The Use of altimetrics as a tool for measuring research impact". Australian academic & research libraries, vol. 46, no. 2, p. 121–134. <https://doi.org/10.1080/00048623.2014.1003174>. [Consulta: 19/11/2019].

Bertin, Patrícia (2008). "A Three-phase model proposal for the evolution of scientific communication: From first print periodicals to current electronic communication system". Transinformação, vol. 20, n.º 1, p. 17–28. <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-37862008000100002&lng=en&nrm=iso >. [Consulta: 18/11/2019].

Björneborn, Lennart; Ingwersen, Peter (2004). "Toward a basic framework for webometrics". Journal of the American Society for Information Science and Technology, vol. 55, no. 14, p. 1216–1227.

Bucchi, Massimiano (2008). "Of deficits, deviations and dialogues: Theories of public communication of science". En: Bucchi, Massimiano; Trench, Brian (ed.). Handbook of public communication of science and technology. London: Routledge, p. 57–76.

Bucchi, Massimiano; Trench, Brian (2014). "Science communication research: Themes and challenges". En: Bucchi, Massimiano; Trench, Brian (ed.). Handbook of public communication of science and technology. 2nd ed. London: Routledge.

Bush, Vannevar (1945). Science, the endless frontier. Washington, DC: National Science Foundation. <https://archive.org/details/scienceendlessfr00unit/page/n0>. [Consulta: 18/11/2019].

Bueno, Wilson da Costa (2010). "Comunicação científica e divulgação científica: aproximações e rupturas conceituais". Informação & informação, n.º 15, p. 1–12. <http://www.uel.br/revistas/uel/index.php/informacao/article/view/6585>.  [Consulta: 18/11/2019].

Castells, Manuel (2008). "The New public sphere: Global civil society, communication networks, and global governance". The Annals of the American Academy of Political and Social Science, no. 616, p. 78–93.

Embrapa (2017a). Quem somos. <https://www.embrapa.br/pt/web/portal/quem-somos>. [Consulta: 19/11/2019].

— (2017b). Embrapa em números. Brasília, DF: Secretaria de Comunicação. <https://www.embrapa.br/documents/10180/1600893/Embrapa+em+N%C3%BAmeros/7624614b-ff8c-40c0-a87f-c9f00cd0a832>. [Consulta: 19/11/2019].

— (2017c). Balanço social. Brasília, DF: Secretaria de Comunicação – Secom; Secretaria de Gestão e Desenvolvimento Institucional – SGI. <http://bs.sede.embrapa.br/2016/balancosocialembrapa2016web.pdf>. [Consulta: 04/10/2017].

Epstein, Isaac (2012). "Comunicação da ciência: rumo a uma teoria da divulgação científica". Organicom: Revista brasileira de comunicação organizacional e relações públicas, vol. 9, n.º 16/17, p. 19–38.

Etzkowitz, Henry; Leydesdorff, Loet (1995). "The Triple helix – University-industry-government relations: A laboratory for knowledge based economic development". EASST Review, no. 14, p. 14–19.

— (2000). "The Dynamics of innovation: From National Systems and 'Mode 2' to a Triple Helix of university-industry-government relations". Research policy, no. 29, p. 10–123.

Fonseca Júnior, Wilson Corrêa da (2014). "Relações internacionais, ciência e tecnologia, comunicação: interfaces e perspectivas". Cadernos de ciência e tecnologia, vol. 31, n.º 1, p. 77–98. <https://seer.sct.embrapa.br/index.php/cct/article/view/19444>. [Consulta: 19/11/2019].

Fonseca Júnior, Wilson Corrêa da; Fragalle, Edilson Pepino; Silva, Heloiza Dias da; Penteado Filho, Roberto de Camargo (2009). "A Comunicação na Embrapa: do difusionismo à comunicação como inteligência organizacional". Prisma.com: Revista de ciências e tecnologias de informação e comunicação, n.º 8, p. 77–92. <http://ojs.letras.up.pt/index.php/prismacom/article/view/2062>. [Consulta: 19/11/2019].

Freeman, Chris (1995). "The 'National System of Innovation' in historical perspective". Cambridge journal of economics, no. 19, p. 5–24. <http://www.ie.ufrj.br/intranet/ie/userintranet/hpp/arquivos
/101120164328_Freeman1995TheNationalSystemofInnovationinHistoricalPerspectiveCamb.J.Econ
.524.pdf
>. [Consulta: 18/11/2019].

Gibbons, Michael; Limoges, Camille; Nowotny, Helga; Schwartzman, Simon; Scott, Peter; Trow, Martin (1996). The New production of knowledge: The dynamics of science and research in contemporary societies. London: Sage.

Gil, Antonio Carlos (2018). Métodos e técnicas de pesquisa social. São Paulo: Atlas.

Godin, Benoit (2003). "The Emergence of S&T indicators: Why did governments supplement statistics with indicators". Research policy, no. 32, p. 679–691.

— (2006). "On the origins of bibliometrics". Scientometrics, vol. 68, no. 1, p. 109–133.

— (2007). "Science, accounting and statistics: The input-output framework". Research policy, no. 36, p. 1388–1403.

González-Valiente, Carlos Luis; Pacheco-Mendoza, Josmel; Arenciba-Jorge, Ricardo (2016). "A Review of altmetrics as an emerging discipline for research evaluation". Learned publishing, no. 29, p. 229–238. <https://onlinelibrary.wiley.com/doi/pdf/10.1002/leap.1043>. [Consulta: 19/11/2019]. 

Hicks, Diana; Wouters, Paul; Waltman, Ludo; De Rijcke, Sara; Rafols, Ismael (2015). "The Leiden Manifesto for research metrics". Nature, vol. 520 (23 April 2015), p. 429–431. <http://www.nature.com/polopoly_fs/1.17351!/menu/main/topColumns/topLeftColumn/pdf/520429a.pdf>. [Consulta: 18/11/2019].

Hood, William W.; Wilson, Concepción S. (2001). "The Literature of bibliometrics, scientometrics, and informetrics". Scientometrics, vol. 52, no. 2, p. 291–314.

Joly, Pierre-Benoit; Colinet, Lawrence; Gaunand, Ariane; Lemarié, Stéphane; Matt, Mireille (2016), "Agricultural research impact assessment: Issues, methods and challenges". OECD - Food, agriculture and fisheries papers, no. 98. <http://dx.doi.org/10.1787/5339e165-en>. [Consulta: 19/11/2019].

Khayyat, T. Nabaz; Lee, Jeong-Dong (2015). "A Measure of technological capabilities for developing countries". Technological forecasting & social change, no. 92, p. 210–233.

Leydesdorff, Loet (2003). "The Mutual information of university-industry-government relations: An indicator of the Triple Helix dynamics". Scientometrics. vol. 58, no. 2, p. 445–467.

Liu, Jianguo; Mooney, Harold; Hull, Vanessa; Davis, Steven J.; Gaskell, Joanne; Hertel, Thomas; Lubchenco, Jane; Seto, Karen C.; Gleick, Peter; Kremen, Claire; Li, Shuxin (2015). "Systems integration for global sustainability". Science, vol. 347, no. 6225, p. 963–971. <https://science.sciencemag.org/content/sci/347/6225/1258832.full.pdf>. [Consulta: 18/11/2019].

Magnoli, Demétrio (2004). Relações internacionais: teoria e história. São Paulo: Saraiva.

Maricato, João de Melo; Martins, Dalton Lopes (2017). "Altmetria: complexidades, desafios e novas formas de mensuração e compreensão da comunicação científica na web social". Biblios, n.º 68.  <https://biblios.pitt.edu/ojs/index.php/biblios/article/view/358/309>. [Consulta: 19/11/2019].

Packer, Abel Laerte; Tardelli, Adalberto Otranto; Castro, Regina Célia Figueiredo (2007). "A distribuição do conhecimento científico público em informação, comunicação e informática em saúde indexado nas bases de dados MEDLINE e LILACS". Ciência e saúde coletiva, vol. 12, n.º 3, p. 587–599. <http://www.scielo.br/pdf/csc/v12n3/09.pdf>. [Consulta: 18/11/2019].

Penteado Filho, Roberto de Camargo; Avila, Antonio Flavio Dias (2009). Embrapa Brasil: análise bibliométrica dos artigos na Web of Science: (1977-2006). Brasília, DF: Embrapa Informação Tecnológica.

Penteado Filho, Roberto de Camargo; Fonseca Júnior, Wilson Corrêa da; Avila, Antonio Flavio Dias (2017). Perfil da produção de artigos da Embrapa entre 2007 e 2015: oportunidades e desafios. Brasília, DF: Embrapa, Secretaria de Gestão e Desenvolvimento Institucional – SGI. (Documentos; 17). <https://www.embrapa.br/busca-de-publicacoes/-/publicacao/1067799/perfil-da-producao-de-artigos-da-embrapa-entre-2007-e-2015-oportunidades-e-desafios>. [Consulta: 18/11/2019].

Roemer, Robin Chin; Borchardt, Rachel (2015). "Introduction do altmetrics". Library technology reports, vol. 51, no. 5, p. 5–10.

Santos, Solange Maria dos (2015). O desempenho das universidades brasileiras nos rankings internacionais: áreas de destaque da produção científica brasileira. [Tese de doutorado]. São Paulo: Universidade de São Paulo – USP. <http://www.capes.gov.br/images/stories/download/pct/2016/Teses-Premiadas/Ciencias-Sociais-Aplicadas-Solange-Maria-dos-Santos.PDF>. [Consulta: 18/11/2019].

Stokes, Donald E. (1997). Pasteur's quadrant: Basic science and technological innovation. Washington, DC: The Brookings Institution.

— (2005). O quadrante de Pasteur: a ciência básica e a inovação tecnológica. Campinas, SP: Editora da Unicamp.

Citació recomanada

Fonseca Júnior, Wilson Corrêa da; Penteado Filho, Roberto de Camargo; Avila, Antonio Favio Dias; Costa Cardoso, Claudio (2019). "L'avaluació bibliomètrica d'institucions de recerca més enllà de la comunicació científica : el cas d'Embrapa". BiD: textos universitaris de biblioteconomia i documentació, núm. 43 (desembre). <http://bid.ub.edu/43/fonseca.htm>. DOI: http://dx.doi.org/10.1344/BiD2019.43.19 [Consulta: 26-01-2020].

 

Articles similars a BiD

Articles similars a Temària