Wilson Corrêa da Fonseca Júnior
Analista
Empresa Brasileira de Pesquisa Agropecuária (Embrapa)
Roberto de Camargo Penteado Filho
Analista de recerca
Empresa Brasileira de Pesquisa Agropecuária (Embrapa)
Antonio Flavio Dias Avila
Coordinador d'avaluació del rendiment institucional
Empresa Brasileira de Pesquisa Agropecuária (Embrapa)
Claudio Costa Cardoso
Analista
Empresa Brasileira de Pesquisa Agropecuária (Embrapa)
Resum
En les últimes dècades, el sorgiment de les noves tecnologies de la informació i la comunicació ha comportat l'ampliació dels estudis bibliomètrics més enllà dels productes de la comunicació científica (articles, ressenyes, etc.) amb la incorporació de l'anàlisi d'altres continguts (pàgines web, repositoris de publicacions tècniques, apunts en xarxes socials, etc.), per mitjà de l'analítica web i de la bibliometria alternativa. Aquest treball presenta les implicacions d'aquest canvi per a l'Empresa Brasileira de Pesquisa Agropecuária (Embrapa), que els últims anys ha passat a tenir en compte, en el seu sistema d'avaluació del rendiment, el nombre de citacions d'articles científics i el nombre de descàrregues de publicacions tècniques disponibles en el seu portal d'Internet. Com es pot veure en aquest article, els 42 centres de recerca de la institució presenten comportaments diferenciats pel que fa al rendiment en la producció exclusivament científica (nombre d'articles científics i de citacions) i en la producció tècnica (descàrregues de manuals, butlletins i altres publicacions). L'existència d'aquestes diferències està comportant que l'Embrapa consideri, en el seu sistema d'avaluació del rendiment, les particularitats dels seus centres de recerca, ja sigui en l'àmbit del procés de producció de coneixement i tecnologia, ja sigui en les formes de comunicació. A partir d'aquesta experiència, s'arriba a la conclusió que el desenvolupament d'indicadors bibliomètrics adequats per gestionar institucions d'ensenyament i recerca requereix una mirada àmplia, que tingui en compte els acords institucionals, els fluxos d'informació i la influència recíproca entre ciència i societat.
Resumen
En las últimas décadas, el surgimiento de las nuevas tecnologías de la información y la comunicación ha supuesto la ampliación de los estudios bibliométricos más allá de los productos de la comunicación científica (artículos, reseñas, etc.) con la incorporación del análisis de otros contenidos (páginas web, repositorios de publicaciones técnicas, apuntes en redes sociales, etc.), por medio de la analítica web y de la bibliometría alternativa. Este trabajo presenta las implicaciones de este cambio para la empresa Brasileira de Pesquisa Agropecuária (Embrapa), que en los últimos años ha pasado a tener en cuenta, en su sistema de evaluación del rendimiento, el número de citas de artículos científicos y el número de descargas de publicaciones técnicas disponibles en su portal de Internet. Como se puede ver en este artículo, los 42 centros de investigación de la institución presentan comportamientos diferenciados en cuanto a su rendimiento en la producción exclusivamente científica (número de artículos científicos y de citas) y en la producción técnica (descargas de manuales, boletines y otras publicaciones). La existencia de estas diferencias está comportando que la Embrapa considere, en su sistema de evaluación del rendimiento, las particularidades de sus centros de investigación, ya sea en el ámbito del proceso de producción de conocimiento y tecnología, ya sea en las formas de comunicación. A partir de esta experiencia, se llega a la conclusión que el desarrollo de indicadores bibliométricos adecuados para la gestión de instituciones de enseñanza e investigación requiere una mirada amplia, que contemple los acuerdos institucionales, los flujos de información y la influencia recíproca entre ciencia y sociedad.
Abstract
In recent decades, the emergence of new information and communication technologies has broadened the remit of bibliometric analysis. Bibliometrics are now used not only to assess products of scholarly communication such as articles or monographs, but to examine technology-related content such as web portals, repositories of technical publications or documents in social networks, which are studied with the help of web analytics and altmetrics. This paper examines the implications of this trend for the Brazilian Agricultural Research Corporation (Embrapa), whose criteria for assessing institutional performance have been extended in recent years to include the number of citations of scientific articles and downloads of the technical publications made available at the corporation's web portal. As the paper shows, Embrapa's 42 research centres do not all follow the same pattern in the production of scientific articles and citations, on the one hand, and of technical documents on the other (measured by downloads of manuals, bulletins and other publications). For this reason, Embrapa is beginning to tailor its system of performance assessment to the particularities of each centre, whether these involve the way the centre produces knowledge and technology or how it channels scholarly communication. The paper concludes that the development of suitable bibliometric indicators for managing centres dedicated to research and education requires a broad view of the centres themselves and can take on board such varied factors as institutional agreements, information flows and the ways in which science and society influence each other.
1 Introducció
Els articles (articles), les ressenyes (reviews) i les publicacions de treballs en esdeveniments científics (proceeding papers), entre altres documents, acostumen a representar una bona part del coneixement codificat d'un país i dels seus organismes d'ensenyament i recerca, a més de proveir dades rellevants per a anàlisis del seu rendiment en ciència i tecnologia. La seva adopció internacional com a fonts importants d'informació es deu, si més no, a tres factors: a) la contribució històrica dels estudis bibliomètrics, que es remunten al final del segle xix (Hood; Wilson, 2001; Godin, 2003; Björneborn; Ingwersen, 2004; Godin, 2006); b) l'interès d'institucions nacionals i internacionals en la creació d'indicadors de ciència i tecnologia a partir de la dècada de 1950 (Godin, 2003; 2007) i c) el sorgiment, en la dècada de 1990, d'una indústria d'informació en ciència i tecnologia ancorada en bases de dades informatitzades (Packer et al., 2007).
De fet, amb l'aparició d'Internet, la comunicació científica ha passat per transformacions profundes com el sorgiment dels diaris digitals, la creació de repositoris web i el debat mundial sobre l'accés obert a la informació científica (Bertin, 2008). Una cosa semblant passa amb els estudis bibliomètrics davant del sorgiment d'àrees cada vegada més especialitzades, com ara la cibermetria (cybermetrics), l'analítica web (webometrics) i la bibliometria alternativa (altmetrics) (Björneborn; Ingwersen, 2004; Roemer; Borchardt, 2015). Aquestes transformacions representen un gran desafiament per als organismes d'ensenyament i recerca en el desenvolupament dels seus sistemes d'avaluació del rendiment, que se sumen a les pressions externes creixents d'iniciatives similars per part d'organismes i programes internacionals (Archibugi; Coco, 2005; Kayyat; Lee, 2015), rànquings acadèmics mundials (Santos, 2015) i sistemes d'avaluació governamentals (Penteado Filho et al., 2017).
La major part dels índexs d'avaluació del rendiment desenvolupats per aquestes institucions estan formats per subindicadors bibliomètrics, alguns dels quals no es limiten a l'anàlisi de documents estrictament científics. En són exemples el Webometrics Ranking, proporcionat pel Cybermetrics Lab del Consejo Superior de Investigaciones Científicas (CSIC), i el SCImago Institutions Rankings (SIR), creat pel grup Scimago, ambdós d'Espanya, que incorporen subindicadors com ara el nombre d'enllaços externs que rep el domini d'una institució des d'altres llocs web (Santos, 2015).
Davant del creixement i de la pressió cada vegada més gran que exerceixen aquestes iniciatives sobre les institucions de ciència i tecnologia i innovació, la comunitat científica s'està qüestionant l'adopció d'indicadors quantitatius sense un criteri o una interpretació adequats. És el cas, per exemple, del "The Leiden Manifesto for research metrics"(Hicks et al., 2015), en què un grup de científics proposa deu principis sobre l'avaluació de recerca basada en indicadors. En la descripció d'aquests principis els autors recomanen, per exemple, que el rendiment ha de ser mesurat d'acord amb la missió de la institució i que cal protegir l'excel·lència de la recerca que és rellevant a escala local.
Aquest context també representa un desafiament per a institucions de recerca com l'Empresa Brasileira de Pesquisa Agropecuária (Embrapa). Des de la creació, el 1973, i, especialment, a partir de la dècada de 1990, aquesta organització ha estat cada vegada més sol·licitada pel govern, per la premsa, per associacions de productors rurals i per altres organitzacions per justificar els recursos governamentals invertits en la seva activitat (Penteado Filho et al., 2017; Embrapa, 2017c). Respondre a aquesta demanda requereix per part de l'Embrapa, i també per part d'altres institucions similars, d'una ampliació dels seus indicadors bibliomètrics més enllà de la comunicació estrictament científica, entre altres iniciatives.
Perquè passi això, cal superar un desafiament doble: sota la perspectiva epistemològica, cal que l'entorn científic trenqui els últims lligams amb la visió unidireccional de Vannevar Bush (1890–1974) sobre la relació entre ciència, sistemes d'innovació i societat, mitjançant l'adopció d'altres referències teòriques i metodològiques, ja disponibles en la literatura (Freeman, 1995; Gibbons et al., 1996; Etzkowitz; Leydesdorff, 1995; 2000; Leydesdorff, 2003; Stokes, 1997; 2005). Aquest canvi de paradigma, aplicat a la gestió, pot ampliar la relació dialògica entre les institucions de ciència i tecnologia (universitats, organismes de recerca), els seus departaments (facultats, centres de recerca) i els entorns respectius. Des de la perspectiva metòdica, cal avaluar els resultats i impactes d'aquesta relació amb la creació d'indicadors i índexs bibliomètrics adequats, a més de tenir-los en compte dins d'un sistema d'avaluació més ampli.
Aquest article és una contribució inicial sobre el tema. Es tracta d'una recerca exploradora, la finalitat de la qual és formular problemes més concrets per a estudis posteriors (Gil, 2018) sobre el paper de la recerca bibliomètrica en sistemes d'avaluació del rendiment. Per fer-ho, associa alguns referents teòrics sobre l'organització de la recerca científica i la comunicació en ciència i tecnologia a un cas concret d'avaluació del rendiment institucional. La pregunta principal que ha guiat aquest treball ha estat: en quina mesura el rendiment de diferents centres de recerca d'una mateixa institució de ciència i tecnologia pot ser comparat quan es tenen en compte diferents corpus de recerca? En aquest estudi, aquests diferents corpus estan representats per les dades sobre resultats i impactes d'un conjunt d'articles científics i per les dades de descàrregues d'un conjunt de documents tecnicocientífics produïts per l'Embrapa.
2 Metodologia
L'estratègia metodològica adoptada en aquest estudi ha estat dur a terme, inicialment, una revisió bibliogràfica sobre la relació entre ciència i societat i les implicacions en la recerca bibliomètrica. En una segona etapa, s'ha avaluat la producció científica de l'Embrapa amb l'estudi bibliomètric de 19.343 articles i ressenyes registrats en la base de dades Web of science baixats el dia 25/07/2017. Per analitzar les descàrregues de publicacions tecnicocientífiques es van tenir en compte els documents registrats i baixats del repositori Base de dados da pesquisa agropecuária da Embrapa (BDPA) durant el període de 2011 a 2016, disponible a Internet. Les dues anàlisis van contribuir a l'avaluació del rendiment dels 42 centres de recerca de la institució.
3 La superació del model lineal de recerca
El paradigma tradicional de la ciència es remunta al final de la Segona Guerra Mundial. En aquella època l'enginyer i polític nord-americà Vannevar Bush (1890 ̶ 1974) va publicar el seu estudi clàssic Science: The endless frontier (Bush, 1945), en què proposa un model conceptual sobre la relació entre la ciència fonamental i la innovació tecnològica. Es tracta d'un model lineal en què la recerca bàsica, duta a terme sense cap finalitat pràctica amb l'objectiu de produir coneixement en general, és considerada precursora del progrés tecnològic, ja que contribueix a la ciència aplicada, al desenvolupament i a la innovació.
Encara que aquest model se segueixi adoptant avui en dia, amb algunes modificacions, per elaborar índexs d'avaluació del rendiment en ciència i tecnologia i innovació, els seus principis han estat revisats, com a mínim, entre el 1980 i el 1990 per la comunitat científica. Entre les contribucions més conegudes en aquest sentit es troba el model de quadrants de Stokes, proposat el 1997, que organitza les diverses formes de recerca científica en quatre variants, d'acord amb els objectius d'entesa fonamental i de consideracions d'ús: recerca bàsica pura; recerca inspirada en l'ús; recerca aplicada pura, i recerca no inspirada ni en l'entesa ni en l'ús, sinó motivada per la curiositat per fets concrets (Stokes, 1997; 2005).
Una altra contribució important és l'estudi de Gibbons et al. (1996), que també qüestiona la divisió tradicional entre ciència i tecnologia, ja que considera que la recerca bàsica és inseparable del desenvolupament tecnològic. En dedicar-se a comprendre les condicions socials de la producció i l'ús de la ciència, aquests autors van proposar dos models per caracteritzar els canvis que es van produir al segle xx en les formes de producció de coneixement: el model 1, considerat tradicional, i el model 2, que representa una nova visió. En el model tradicional, associat a la concepció de Bush, el coneixement és disciplinari i definit per les normes socials que regeixen la recerca bàsica (és a dir, la ciència acadèmica) i el seu control de qualitat està marcat per l'avaluació d'experts. En el model alternatiu, el coneixement és transdisciplinari, destinat a ser útil per a algú (indústria, govern, societat en general), es produeix en negociació contínua amb diversos segments socials i el seu control de qualitat incorpora una àmplia gamma de criteris addicionals.
Durant aquest període, es va desenvolupar el concepte de sistema nacional d'innovació amb l'objectiu de comprendre el conjunt ampli de factors que configuren la capacitat d'innovació dels diversos països. En un article sobre aquest tema, Freeman (1995) argumenta que, tot i que les connexions internacionals tenen una importància creixent, les xarxes de relacions dels sistemes d'innovació nacionals i regionals segueixen sent un domini essencial de l'anàlisi econòmica. Així, el progrés tecnològic d'un país és el resultat coordinat dels sectors públic i privat mitjançant les polítiques governamentals, el sistema d'ensenyament i recerca, les relacions industrials, les tradicions culturals i moltes altres institucions nacionals (Freeman, 1995; Liu et al., 2015).
Una altra alternativa, que té en compte les opinions anteriors, va ser proposada per Etzkowitz i Leydesdorff (1995) a l'hora de dissenyar un model de triple hèlix —adoptada habitualment en biologia per modelar la relació entre gens, organismes i ambients— per analitzar les relacions entre la universitat, la indústria i el govern en la generació de coneixement basada en sistemes d'innovació. Aquest model es tradueix, dins de la bibliometria, en la mesura de les relacions entre aquestes tres institucions, a partir de les dades disponibles a Internet, obtingudes a través dels motors de cerca. Aquestes dades es tracten estadísticament mitjançant l'anàlisi de xarxa, a partir de les aparicions i coincidències de les paraules universitat, indústria i govern (Leydesdorff, 2003).
4 De la comunicació científica a la comunicació en ciència i tecnologia
Malgrat la contribució d'estudis com els d'Etzkowitz i Leydesdorff (1995) i Leydesdorff (2003), l'adopció de la recerca bibliomètrica en l'avaluació d'institucions d'ensenyament i recerca continua centrada en l'anàlisi de documents produïts en l'àmbit de la comunicació científica. Històricament, la comunicació científica (Scientific Communication) s'ha concebut com una de les dues línies de comunicació de la ciència (Science Communication). L'altra vessant és la comunicació pública de la ciència i la tecnologia (Public Communication of Science and Technology), coneguda també com a divulgació o divulgació científica (Bucchi, 2008; Bucchi; Trench, 2014; Bueno, 2010; Epstein, 2012).
Segons la ressenya de Fonseca Júnior (2014, p. 93), "essas duas formas de comunicação, podem convergir em alguns aspectos e divergir em outros, mas a relação entre ambas costuma ser assimétrica". Igual que amb l'esquema de Bush, el model de comunicació científica actual segueix generalment un camí unidireccional, en el qual el coneixement validat per la comunitat científica i expressat en revistes especialitzades és una font indispensable per a la divulgació científica, que es fa a través de diaris, Internet, museus de ciències, etc.
Aquesta visió de la comunicació, anomenada per Bucchi (2008) la "concepção difusionista", parteix de la premissa que la informació científica és poc entesa pel gran públic, i aquest patró d'ignorància cap a la ciència ha de ser contrarestat per una comunicació adequada. Normalment no es té en compte la influència en sentit contrari, és a dir, de la societat sobre la ciència.
En les últimes dècades, però, alguns estudis han tingut en compte aquest flux invers, com ara Phillips (1991, citat per Bucchi, 2008), que registra l'augment del nombre de citacions entre experts d'un article científic determinat des de la seva publicació en la premsa internacional. En un sentit ampli, altres aportacions (Bueno, 2010; Fonseca Júnior, 2014) mostren que les activitats de recerca, comunicació científica i divulgació científica estan cada vegada més afectades per interessos comercials, legals, socials, militars i religiosos, entre d'altres. Aquests interessos solen ser conflictius, com és el cas dels debats sobre la regulació de l'ús de cèl·lules mare per part de la ciència o de la recerca i producció d'aliments modificats genèticament.
El sorgiment de les noves tecnologies de la comunicació també ha comportat la transformació de la relació entre ciència i societat, amb la creixent fragmentació de públics i mitjans de comunicació, a més de modificar la noció mateixa de públic, fins ara constituït en gran part per lectors o espectadors passius de la ciència, mediatitzats pels mitjans de comunicació de masses (diaris i revistes, programes de ràdio i televisió) (Bucchi; Trench, 2014). Les noves tecnologies han permès, d'una banda, formar grups de pressió institucionalitzats i moviments socials en xarxa, que han començat a democratitzar el debat sobre diversos temes, inclosos la ciència i la tecnologia (Magnoli, 2004; Castells, 2013). D'altra banda, aquestes tecnologies també han permès a les institucions científiques produir una gran varietat de continguts textuals i audiovisuals, amb la seva difusió respectiva als llocs web i particularment a través de les xarxes socials (Bucchi; Trench, 2014). És a dir, les institucions científiques mai no han estat tan exposades al seu entorn com ho són avui en dia, mentre que, històricament, les inversions públiques en recerca sempre depenien del suport de la societat (Stokes, 2005).
En aquest nou context, l'estudi de la comunicació en l'àmbit de la ciència i la tecnologia, segons Fonseca Júnior (2014), ha de superar els enfocaments tradicionals de la comunicació científica i la divulgació científica i tenir en compte les múltiples interaccions entre ciència i societat, a través dels diversos mitjans de comunicació, públic i continguts. Per tant, si les activitats científiques, els seus efectes i implicacions són inseparables de la vida social, llavors ja no es pot parlar de comunicació "de la" ciència, sinó de comunicació "en" (relacionada "amb", en el context "de la") ciència i tecnologia (Fonseca Júnior, 2014).
5 Nous paradigmes per a la bibliometria i l'avaluació del rendiment
Aquest canvi de paradigma té profundes implicacions per als estudis bibliomètrics, que ara han de contribuir, amb els recursos tecnològics i d'informació disponibles actualment, a la comprensió de les influències recíproques entre les iniciatives de ciència i tecnologia pública i empresarial (polítiques de ciència i tecnologia, programes i portafolis de recerca), els resultats derivats directament de la recerca (publicacions científiques, patents, productes i serveis), l'àmplia actuació d'investigadors i institucions científiques de la societat (articles periodístics, manuals tècnics, vídeos educatius, insercions en xarxes socials, blogs, etc.) i manifestacions socials sobre iniciatives o resultats en ciència i tecnologia (descàrregues de publicacions, publicacions en xarxes socials, informes periodístics, blogs, etc.).
El sorgiment d'àrees cada vegada més especialitzades en l'àmbit de les ciències de la informació, com l'analítica web i, especialment, la bibliometria alternativa satisfarà bona part d'aquestes necessitats. Pel que fa a l'analítica web, es dedica a l'anàlisi dels aspectes quantitatius relacionats amb la Web; per la seva banda, la bibliometria alternativa proposa mètriques alternatives per avaluar la difusió de treballs acadèmics, l'ús i l'expansió de termes científics, la interacció entre col·legues i entre aquests amb altres públics, així com amb altres fenòmens similars manifestats, sovint, a les xarxes socials (Björneborn; Ingwersen, 2004; Roemer; Borchardt, 2015; Barnes, 2015).
Es tracta, però, d'àrees recents. En el cas de la bibliometria alternativa, per exemple, González-Valiente et al. (2016) van examinar a les bases de dades Scopus i Web of science el nombre d'articles que esmenten aquest concepte per any. Van trobar que la primera menció de altmetria es fa en un article publicat el 2005, però que la producció científica sobre el tema va augmentar significativament a partir del 2012, amb 19 articles, i va arribar als 96 articles el 2015. En aquesta anàlisi, els principals descriptors trobats, agrupats per clústers, són social media, social networking (online), information systems, research impact i information services.
Malgrat el potencial de les mètriques alternatives per avaluar els fluxos d'informació i la influència recíproca entre ciència i societat, estudis com el de Maricato i Martins (2017) encara reprodueixen, fins i tot parcialment, la concepció unidireccional de l'organització de la ciència i la comunicació científica. En valorar la comunicació científica com a nucli central dels estudis bibliomètrics, afirmen que "as altmetrias abrangem a socialização de diversos resultados de pesquisas científicas [la cursiva és nostra], registradas em diferentes fontes, por variados atores sociais, nas mais diversas mídias e redes sociais, meios de comunicação e ferramentas de gerenciamento de referências". D'altra banda, tenint en compte la transversalitat de les mètriques aplicades a diferents suports, així com la connexió entre les ciències de la informació i altres camps de coneixement, aquests autors obren pas a la construcció d'indicadors bibliomètrics més adequats a les institucions científiques, així com a la seva inserció en sistemes i avaluació del rendiment. Aquest és el repte immediat de la recerca bibliomètrica en el marc de l'Embrapa.
6 L'actuació de l'Embrapa en la comunicació i l'avaluació del rendiment
L'Empresa Brasileira de Pesquisa Agropecuária (Embrapa), un organisme vinculat al Ministério da Agricultura, Pecuária e Abastecimento (MAPA), es va crear el 1973 i actualment compta amb 9.713 empleats, 2.430 dels quals són investigadors: 312 (un 12,75 %) amb màster, 1.816 (74,18 %) amb doctorat i 302 (12,34 %) amb postdoctorat. L'Embrapa té la seu a Brasília i 42 centres de recerca distribuïts per tot el territori brasiler, organitzats en centres temàtics (que treballen en temes específics i en zones situades a la frontera del coneixement, com ara la informàtica, la nanotecnologia i l'agricultura de precisió), centres de producció animal (Caprinos e Ovinos, Gado de Corte, Pesca e Aquicultura, Suínos e Aves, entre d'altres), centres de producció vegetal (Algodão, Arroz e Feijão, Soja, Trigo, etc.) i centres ecoregionals (que cerquen solucions tecnològiques per al desenvolupament sostenible de diferents ecosistemes nacionals, com ara Amazônia, Cerrados i Pantanal) (Embrapa, 2017a).
A principis de la dècada de 1990, l'Embrapa va experimentar canvis organitzatius profunds, davant les exigències internes i les transformacions en curs del país i del món. La primera iniciativa consistia a ampliar la seva missió —fins llavors dedicada a les investigacions per augmentar la productivitat al camp—, fins a englobar tota la cadena de producció agroalimentària i satisfer les necessitats de tota la societat brasilera. Com a resultat d'aquesta nova missió, el perfil de comunicació de l'Embrapa, aleshores centrat en la comunicació científica i la difusió de la tecnologia als productors rurals, va començar a incloure diversos segments socials i diversos modes de comunicació (administratius, científics, governamentals, de màrqueting, socials i de comunicació per a transferència de tecnologia), ampliant l'atenció a les comunitats urbanes (Fonseca Júnior et al., 2009).
El model actual d'avaluació del rendiment de l'Embrapa és el resultat d'un procés amb dues dècades d'aplicació i en millora constant. La seva característica principal és la multidimensionalitat, ja que té en compte els criteris d'eficàcia (assoliment d'objectius, obtenció de productes), eficiència (productes obtinguts per costos d'obtenció) i efectivitat (adopció, ús de productes i/o processos desenvolupats i els seus respectius impactes). Entre els criteris i els indicadors del rendiment que es tenen en compte actualment en el procés d'avaluació del rendiment institucional de la companyia, s'inclou la seva producció tècnica i tecnicocientífica i l'ús per part de la societat, tal com es presenta en la taula 1.
Dimensió: Eficàcia |
1) Compliment de les agendes institucional i programàtica |
2) Excel·lència i maduresa en la gestió |
A. Gestió en la visió de la unitat |
B. Gestió integrada de la qualitat |
C. Gestió d'ingressos i despeses |
Dimensió: Eficiència |
3) Desenvolupament en eficiència i productivitat |
Dimensió: Efectivitat |
4) Actius tecnològics qualificats i disponibles |
5) Innovacions tecnològiques (outcomes) |
6) Rellevància i impactes de l'agenda de prioritats |
7) Qualitat de les avaluacions d'impactes |
8) Aplicació de coneixements de publicacions |
Taula 1. Criteris i indicadors d'avaluació del rendiment utilitzats per l'Embrapa, 2017 ̶ 2018
Els resultats de l'anàlisi d'eficiència (Avila et al., 2013) i de les avaluacions d'impacte (Avila et al., 2008; 2015) s'han publicat anualment des del 1997 en el seu Informe Social (vegeu la figura 1). Aquesta publicació és, doncs, el resultat de dos processos: l'elaboració d'estudis d'avaluació d'impacte dels anys vuitanta i la implementació de la política de comunicació de l'Embrapa a la dècada de 1990 (Embrapa, 2017c). En un estudi comparatiu internacional sobre sistemes d'avaluació d'impacte agrícola fet per Joly et al. (2016), l'Embrapa destaca entre institucions similars per la seva llarga tradició d'avaluació, associada a la publicació periòdica d'un informe social.
Figura 1. Informe Social de l'Embrapa
7 El rendiment de l'Embrapa en la seva producció científica
En l'àmbit de la producció científica, l'Embrapa es troba entre les principals institucions del Brasil. L'historial d'aquesta producció, indexada a la base de dades Web of science (WoS), presenta algunes dates clau. La primera es va produir el 1997, quan va superar la barrera de 200 articles anuals. El 1996, l'Embrapa va adoptar un sistema d'avaluació institucional on es prioritzava la meta: la publicació d'articles científics. La segona és el 2007, quan es va produir un salt sense precedents en el volum de producció d'articles, 854. Aquest comportament també es va repetir el 2008, amb 1.056 articles, i el 2011, amb 1.321. Els anys 2014, 2015 i 2016 es va arribar a 1.533, 1.489 i 1.630 articles científics, respectivament. En la figura 2 es presenta un resum d'aquest historial.
Figura 2. Producció d'articles científics de l'Embrapa 1977 ̶ 2016
Cal destacar que la base de dades WoS només conté al voltant d'un 30 % de tota la producció científica de l'Embrapa (Penteado Filho; Avila, 2009). Per tant, aquesta producció és molt més gran que la recollida per la base de dades referenciada i vinculada a la producció científica. La taula 2 mostra els centres classificats segons la producció d'articles presents al WoS el 2016 i també durant tot el període (1977 ̶ 2016), com es pot veure a la columna "Total*". En aquest cas, els centres que lideren la producció científica al llarg de tot el període són els que treballen amb recursos genètics i biotecnologia (1.965 articles), bestiar de llet (1.045 articles), arròs i mongetes (1.011 articles) i soja (1.010 articles). Tot i això, en aquesta mateixa taula, a la columna que fa referència al 2016, el lideratge el tenen els centres de Recursos Genéticos e Biotecnologia (125 articles), Pecuária da Região Sul (116 articles), Instrumentação Agropecuária (94 articles) i Florestas (83 articles).
|
Centre de recerca |
|
|
|
|
|
|
|
---|---|---|---|---|---|---|---|---|
|
Recursos Genéticos e Biotecnologia |
|
|
|
|
|
|
|
|
Pecuária Sul |
|
|
|
|
|
|
|
|
Instrumentação |
|
|
|
|
|
|
|
|
Florestas |
|
|
|
|
|
|
|
|
Gado de Leite |
|
|
|
|
|
|
|
|
Soja |
|
|
|
|
|
|
|
|
Amazônia Oriental |
|
|
|
|
|
|
|
|
Mandioca e Fruticultura |
|
|
|
|
|
|
|
|
Cerrados |
|
|
|
|
|
|
|
|
Arroz e Feijão |
|
|
|
|
|
|
|
|
Semiárido |
|
|
|
|
|
|
|
|
Agroindústria Tropical |
|
|
|
|
|
|
|
|
Meio Ambiente |
|
|
|
|
|
|
|
|
Clima Temperado |
|
|
|
|
|
|
|
|
Pecuária Sudeste |
|
|
|
|
|
|
|
|
Suínos e Aves |
|
|
|
|
|
|
|
|
Gado de Corte |
|
|
|
|
|
|
|
|
Agroindústria de Alimentos |
|
|
|
|
|
|
|
|
Milho e Sorgo |
|
|
|
|
|
|
|
|
Trigo |
|
|
|
|
|
|
|
|
Agrobiologia |
|
|
|
|
|
|
|
|
Solos |
|
|
|
|
|
|
|
|
Uva e Vinho |
|
|
|
|
|
|
|
|
Pantanal |
|
|
|
|
|
|
|
|
Sede Embrapa |
|
|
|
|
|
|
|
|
Algodão |
|
|
|
|
|
|
|
|
Informática Agropecuária |
|
|
|
|
|
|
|
|
Meio-Norte |
|
|
|
|
|
|
|
|
Tabuleiros Costeiros |
|
|
|
|
|
|
|
|
Caprinos e Ovinos |
|
|
|
|
|
|
|
|
Hortaliças |
|
|
|
|
|
|
|
|
Agroenergia |
|
|
|
|
|
|
|
|
Amapá |
|
|
|
|
|
|
|
|
Amazônia Ocidental |
|
|
|
|
|
|
|
|
Agropecuária Oeste |
|
|
|
|
|
|
|
|
Acre |
|
|
|
|
|
|
|
|
Agrossilvipastoril |
|
|
|
|
|
|
|
|
Monitoramento por Satélite |
|
|
|
|
|
|
|
|
Rondônia |
|
|
|
|
|
|
|
|
Roraima |
|
|
|
|
|
|
|
|
Café |
|
|
|
|
|
|
|
|
Pesca e Aquicultura |
|
|
|
|
|
|
|
|
Cocais |
|
|
|
|
|
|
|
Taula 2. Articles per centre de recerca de l'Embrapa entre el 2011 i el 2016 i total d'articles del període 1977 ̶ 2016
A més de la producció científica, la classificació dels centres de l'Embrapa pel nombre de citacions permet conèixer millor la seva diversitat. La taula 3 està ordenada pel nombre de citacions per article de cada centre de recerca (última columna), però conté dos rànquings més (pel nombre de citacions i pel nombre d'articles). En aquest cas, el centre de recerca de l'Embrapa líder pel nombre d'articles i pel nombre de citacions (Embrapa Recursos Genéticos e Biotecnologia) ha passat a ocupar la quarta posició. Els primers tres llocs ara estan ocupats per centres de producció més petits, però amb un nombre més alt de citacions: Embrapa Agrobiologia, Embrapa Amazônia Oriental i Embrapa Monitoramento por Satélite. El resultat d'aquesta comparació ens permet concloure que els indicadors de l'avaluació institucional s'han de seleccionar amb cura per cercar una major equitat entre el conjunt que s'ha d'avaluar.
|
|
|
|
|
|
|
|
---|---|---|---|---|---|---|---|
|
Agrobiologia |
|
|
|
|
|
|
|
Amazônia Oriental |
|
|
|
|
|
|
|
Monitoramento por Satélite |
|
|
|
|
|
|
|
Recursos Genéticos e Biotecnologia |
|
|
|
|
|
|
|
Instrumentação |
|
|
|
|
|
|
|
Amazônia Ocidental |
|
|
|
|
|
|
|
Solos |
|
|
|
|
|
|
|
Soja |
|
|
|
|
|
|
|
Meio Ambiente |
|
|
|
|
|
|
|
Agroindústria de Alimentos |
|
|
|
|
|
|
|
Arroz e Feijão |
|
|
|
|
|
|
|
Cerrados |
|
|
|
|
|
|
|
Milho e Sorgo |
|
|
|
|
|
|
|
Agroindústria Tropical |
|
|
|
|
|
|
|
Pecuária Sudeste |
|
|
|
|
|
|
|
Gado de Corte |
|
|
|
|
|
|
|
Agroenergia |
|
|
|
|
|
|
|
Informática Agropecuária |
|
|
|
|
|
|
|
Sede Embrapa |
|
|
|
|
|
|
|
Roraima |
|
|
|
|
|
|
|
Pantanal |
|
|
|
|
|
|
|
Café |
|
|
|
|
|
|
|
Acre |
|
|
|
|
|
|
|
Hortaliças |
|
|
|
|
|
|
|
Algodão |
|
|
|
|
|
|
|
Florestas |
|
|
|
|
|
|
|
Trigo |
|
|
|
|
|
|
|
Uva e Vinho |
|
|
|
|
|
|
|
Mandioca e Fruticultura |
|
|
|
|
|
|
|
Agropecuária Oeste |
|
|
|
|
|
|
|
Meio-Norte |
|
|
|
|
|
|
|
Tabuleiros Costeiros |
|
|
|
|
|
|
|
Gado de Leite |
|
|
|
|
|
|
|
Suínos e Aves |
|
|
|
|
|
|
|
Clima Temperado |
|
|
|
|
|
|
|
Caprinos e Ovinos |
|
|
|
|
|
|
|
Semiárido |
|
|
|
|
|
|
|
Pesca e Aquicultura |
|
|
|
|
|
|
|
Rondônia |
|
|
|
|
|
|
|
Amapá |
|
|
|
|
|
|
|
Pecuária Sul |
|
|
|
|
|
|
|
Cocais |
|
|
|
|
|
|
|
Agrossilvipastoril |
|
|
|
|
|
|
Taula 3. Rànquings per nombre d'articles, nombre de citacions i nombre de citacions per article, per centre de recerca de l'Embrapa, 1977 ̶ 2016
8 L'impacte de les descàrregues de publicacions tècniques
L'interès de l'Embrapa per avaluar el seu rendiment en publicacions tècniques no és recent. De fet, segons un estudi anterior (Penteado et al., 2017), els seus centres de recerca es van avaluar entre el 1996 i el 2009, a través del seu sistema d'avaluació d'unitats (SAU), pel nombre de títols produïts. Tanmateix, l'aparició de les noves tecnologies de la informació i la comunicació ha posat en evidència aquesta diversitat de productes pel fet d'estar disponible en mitjans electrònics, amb la possibilitat de valorar l'interès de les diverses audiències de la institució pel nombre de descàrregues. Aquest nou context ha ampliat la reflexió de l'Embrapa sobre el paper que tenen aquests productes en el compliment de la seva missió.
L'avaluació del rendiment pel nombre de descàrregues de publicacions tècniques és una mètrica incorporada recentment per l'Embrapa. En aquest cas, el rendiment dels seus centres de recerca presenta una altra configuració en comparació amb els resultats de la seva producció científica. En l'avaluació de les dades disponibles entre el 2011 i el 2016, l'Embrapa va arribar a 68,9 milions de descàrregues, el contingut de les quals inclou principalment documents preparats per a la difusió pública i privada de la tecnologia i dirigits a productors rurals (documents, circulars tècniques, comunicacions tècniques, col·leccions, manuals, butlletins, llibres tècnics, etc.).
En aquest indicador, els centres de recerca de l'Embrapa amb un millor rendiment són els que serveixen més específicament per a la funció de transferència de tecnologia a petits i mitjans agricultors, com ara els centres ecoregionals (Semiárido i Amazônia Oriental) i de productes (Milho e Sorgo, Florestas, Caprinos e Ovinos), a més de la seu de l'Embrapa, que inclou publicacions didàctiques de l'editorial i les arts gràfiques corporatives. D'altra banda, és interessant assenyalar que els centres de recerca amb millors resultats en publicacions científiques (nombre d'articles i de citacions, segons la taula 3) i els centres de menor rendiment (publicacions tècniques) solen ser els que treballen amb temes relacionats amb la recerca bàsica (Recursos Genéticos e Biotecnologia; Instrumentação Agropecuária). És a dir, els documents de diferents tipus, segons la seva finalitat i el canal de comunicació per on es distribueixen, solen arribar a públics diferents. Aquest rendiment es pot apreciar en la taula 4.
|
|
|
---|---|---|
|
Semiárido |
|
|
Milho e Sorgo |
|
|
Sede Embrapa |
|
|
Amazônia Oriental |
|
|
Florestas |
|
|
Soja |
|
|
Caprinos e Ovinos |
|
|
Arroz e Feijão |
|
|
Pecuária Sudeste |
|
|
Clima Temperado |
|
|
Suínos e Aves |
|
|
Algodão |
|
|
Mandioca e Fruticultura |
|
|
Agroindústria Tropical |
|
|
Solos |
|
|
Amazônia Ocidental |
|
|
Agropecuária Oeste |
|
|
Rondônia |
|
|
Meio-Norte |
|
|
Agroindústria de Alimentos |
|
|
Cerrados |
|
|
Informática Agropecuária |
|
|
Hortaliças |
|
|
Meio Ambiente |
|
|
Acre |
|
|
Instrumentação |
|
|
Tabuleiros Costeiros |
|
|
Pantanal |
|
|
Recursos Genéticos e Biotecnologia |
|
|
Agrobiologia |
|
|
Trigo |
|
|
Uva e Vinho |
|
|
Amapá |
|
|
Pecuária Sul |
|
|
Monitoramento por Satélite |
|
|
Gado de Leite |
|
|
Café |
|
|
Agroenergia |
|
|
Roraima |
|
|
Gado de Corte |
|
|
Pesca e Aquicultura |
|
|
Agrossilvipastoril |
|
|
Cocais |
|
|
Total descàrregues |
|
Taula 4. Nombre de descàrregues per centre de recerca entre el 2011 i el 2016
Una anàlisi detallada de la demanda d'aquestes publicacions, reflectida pel nombre de descàrregues, és una mostra més que els resultats generats per les recerques de l'Embrapa són ben rebuts pel sector productiu. Els temes més descarregats van des de conceptes bàsics en biologia molecular fins a la producció d'enciam hidropònic, passant per l'anàlisi fisicoquímica de l'aigua, la cria de pollastre de pagès, la preparació i ús de biofertilitzants líquids i la tecnologia per a la producció d'oli de soja, entre d'altres, com es pot observar en la taula 5.
|
|
|
|
---|---|---|---|
|
Algodão | Conceitos básicos de técnicas em biologia molecular | Sèrie de documents |
|
Semiárido | Produção de alface hidropônica: um estudo de viabilidade técnico-econômica | Article en annals de congrés |
|
Florestas | Manual de procedimentos de amostragem e análise físico-química de água | Sèrie de documents |
|
Amazônia Oriental | Manual sobre criação de galinha caipira na agricultura familiar: noções básicas | Sèrie de documents |
|
Semiárido | Preparo e uso de biofertilizantes líquidos | Informe tècnic |
|
Soja | Tecnologia para produção do óleo de soja: descrição das etapas, equipamentos, produtos e subprodutos | Sèrie de documents |
|
Amazônia Oriental | Cultivo da ipecacuanha [Psychotria ipecacuanha (Brot) Stokes] | Sèrie de documents |
|
Hortaliças | Horta em pequenos espaços | Llibre tècnic |
|
Amazônia Ocidental | Manual de procedimentos do Laboratório de Cultura de Tecidos da Embrapa Amazônia Ocidental | Sèrie de documents |
|
Meio Norte | Criação de galinhas caipiras | Col·lecció ABC Agricultura Familiar |
|
Mandioca e Fruticultura | Sistemas de irrigação para agricultura familiar | Circular tècnica |
|
Clima Temperado | Instruções para o cultivo da acerola | Circular tècnica |
|
Amazônia Ocidental | Normas de elaboração de Procedimentos Operacionais Padrão (POPs) para o Laboratório de Biologia Molecular da Embrapa Amazônia Ocidental | Sèrie de documents |
|
Mandioca e Fruticultura | A cultura do limão-taiti | Col·lecció Plantar |
|
Agrobiologia | Armadilha PET para captura de adultos de moscas-das-frutas em pomares comerciais e domésticos | Circular tècnica |
|
Rondônia | Manual prático para formulação de ração para vacas leiteiras | Sèrie de documents |
|
Florestas | Propagação vegetativa | Article en annals de congrés |
|
Milho e Sorgo | Variação geográfica do tamanho dos módulos fiscais no Brasil | Sèrie de documents |
|
Semiárido | Clima e água de chuva no Semiárido | Capítol en llibre tecnicocientífic |
|
Pecuária Sudeste | Dimensionamento de piquetes para bovinos leiteiros, em sistemas de pastejo rotacionado | Informe tècnic |
|
Semiárido | Disponibilidade de água e a gestão dos recursos hídricos | Capítol en llibre tecnicocientífic |
|
Milho e Sorgo | Manejo da cultura do milheto | Circular tècnica |
|
Agropecuária Oeste | Fungos em sementes de soja: detecção e importância | Sèrie de documents |
|
Suínos e Aves | Medição da vazão em rios pelo método do flutuador | Informe tècnic |
|
Uva e Vinho | Suco de uva | Col·lecció Agroindústria Familiar |
|
Informação Agropecuária | Como produzir melancia | Col·lecció ABC Agricultura Familiar |
|
Gado de Leite | Silagens: oportunidades e pontos críticos | Informe tècnic |
|
Amazônia Oriental | Manual de extração de DNA | Sèrie de documents |
|
Semiárido | Potencial agrícola do solo para o cultivo da melancia | Article en annals de congrés |
|
Meio Ambiente | Biocontrole de doenças de plantas: uso e perspectivas | Llibres científics |
|
Agroindústria de Alimentos | Avaliação do efeito da extração e da microfiltração do açaí sobre sua composição e atividade antioxidante | Tesis/tesines |
Taula 5. Publicacions amb més descàrregues
A més, en l'actual model d'avaluació del rendiment de l'Embrapa, els resultats de la producció i de les citacions d'articles científics, així com les descàrregues de produccions científiques i tecnicocientífiques es ponderen pel nombre d'investigadors, tal com es presenta a les taules 6 i 7. La taula 6, classificada pels índexs d'articles per investigador del 2016, està liderada pels centres següents de l'Embrapa: Pecuária Sul (3,63), Instrumentação (3,13), Pecuária Sudeste (1,32) i Soja (1,18).
|
|
|
|
|
|
|
|
---|---|---|---|---|---|---|---|
|
Pecuária Sul |
|
|
|
|
|
|
|
Instrumentação |
|
|
|
|
|
|
|
Pecuária Sudeste |
|
|
|
|
|
|
|
Soja |
|
|
|
|
|
|
|
Florestas |
|
|
|
|
|
|
|
Arroz e Feijão |
|
|
|
|
|
|
|
Suínos e Aves |
|
|
|
|
|
|
|
Gado de Leite |
|
|
|
|
|
|
|
Mandioca e Fruticultura |
|
|
|
|
|
|
|
Recursos Genéticos e Biotecnologia |
|
|
|
|
|
|
|
Agroindústria de Alimentos |
|
|
|
|
|
|
|
Pantanal |
|
|
|
|
|
|
|
Gado de Corte |
|
|
|
|
|
|
|
Agrobiologia |
|
|
|
|
|
|
|
Monitoramento por Satélite |
|
|
|
|
|
|
|
Uva e Vinho |
|
|
|
|
|
|
|
Agroenergia |
|
|
|
|
|
|
|
Amapá |
|
|
|
|
|
|
|
Agroindústria Tropical |
|
|
|
|
|
|
|
Meio Ambiente |
|
|
|
|
|
|
|
Trigo |
|
|
|
|
|
|
|
Semiárido |
|
|
|
|
|
|
|
Agropecuária Oeste |
|
|
|
|
|
|
|
Cerrados |
|
|
|
|
|
|
|
Amazônia Oriental |
|
|
|
|
|
|
|
Informática Agropecuária |
|
|
|
|
|
|
|
Caprinos e Ovinos |
|
|
|
|
|
|
|
Milho e Sorgo |
|
|
|
|
|
|
|
Agrossilvipastoril |
|
|
|
|
|
|
|
Clima Temperado |
|
|
|
|
|
|
|
Hortaliças |
|
|
|
|
|
|
|
Rondônia |
|
|
|
|
|
|
|
Algodão |
|
|
|
|
|
|
|
Meio Norte |
|
|
|
|
|
|
|
Solos |
|
|
|
|
|
|
|
Café |
|
|
|
|
|
|
|
Acre |
|
|
|
|
|
|
|
Tabuleiros Costeiros |
|
|
|
|
|
|
|
Amazônia Ocidental |
|
|
|
|
|
|
|
Roraima |
|
|
|
|
|
|
|
Cocais |
|
|
|
|
|
|
|
Pesca e Aquicultura |
|
|
|
|
|
|
|
Sede Embrapa |
|
|
|
|
|
|
Taula 6. Índexs d'articles per investigador per centre entre el 2011 i el 2016
En la taula 7, en la classificació per l'índex de descàrregues per investigador, encapçalen el lideratge els centres següents de l'Embrapa: Milho e Sorgo (11,9 mil), Semiárido (11,4 mil), Pecuária Sudeste (10,3 mil) i Caprinos e Ovinos (9,8 mil).
|
|
|
|
|
---|---|---|---|---|
|
Milho e Sorgo |
|
|
|
|
Semiárido |
|
|
|
|
Pecuária Sudeste |
|
|
|
|
Caprinos e Ovinos |
|
|
|
|
Florestas |
|
|
|
|
Agropecuária Oeste |
|
|
|
|
Amazônia Oriental |
|
|
|
|
Soja |
|
|
|
|
Rondônia |
|
|
|
|
Suínos e Aves |
|
|
|
|
Arroz e Feijão |
|
|
|
|
Algodão |
|
|
|
|
Sede Embrapa |
|
|
|
|
Instrumentação |
|
|
|
|
Monitoramento por Satélite |
|
|
|
|
Informática Agropecuária |
|
|
|
|
Café |
|
|
|
|
Clima Temperado |
|
|
|
|
Agroindústria Tropical |
|
|
|
|
Meio-Norte |
|
|
|
|
Amazônia Ocidental |
|
|
|
|
Acre |
|
|
|
|
Mandioca e Fruticultura |
|
|
|
|
Amapá |
|
|
|
|
Agroindústria de Alimentos |
|
|
|
|
Pecuária Sul |
|
|
|
|
Pantanal |
|
|
|
|
Solos |
|
|
|
|
Hortaliças |
|
|
|
|
Agrobiologia |
|
|
|
|
Uva e Vinho |
|
|
|
|
Agroenergia |
|
|
|
|
Roraima |
|
|
|
|
Trigo |
|
|
|
|
Tabuleiros Costeiros |
|
|
|
|
Meio Ambiente |
|
|
|
|
Cerrados |
|
|
|
|
Gado de Leite |
|
|
|
|
Gado de Corte |
|
|
|
|
Pesca e Aquicultura |
|
|
|
|
Recursos Genéticos e Biotecnologia |
|
|
|
|
Agrossilvipastoril |
|
|
|
|
Cocais |
|
|
|
Taula 7. Índexs de producció, citació i descàrregues ponderats pel nombre d'investigadors
9 Conclusió
Els resultats obtinguts en aquest treball indiquen que el rendiment de les produccions tècniques i científiques de l'Embrapa pot variar segons el perfil dels seus centres de recerca. Hi ha centres que treballen qüestions relacionades amb la frontera del coneixement i tenen un millor rendiment en la publicació d'articles en revistes internacionals, mentre que d'altres treballen en la resolució de problemes regionals o productes o animals específics i destaquen pel nombre de descàrregues de publicacions tècniques necessàries per a un ús immediat en l'agricultura.
Aquests resultats van provocar una reflexió interna i es van incorporar al sistema d'avaluació del rendiment de l'Embrapa, per considerar les peculiaritats de l'actuació dels seus centres de recerca en el desenvolupament d'indicadors i bases bibliomètrics. Per satisfer aquesta necessitat es compleixen diversos principis exposats al "The Leiden Manifesto for research metrics" (Hicks et al., 2015), com ara mesurar el rendiment d'acord amb la missió de la institució i protegir la recerca que sigui rellevant en l'àmbit local. Al mateix temps que són importants per millorar el sistema d'avaluació del rendiment de l'Embrapa, i certament per a altres institucions, aquests resultats es poden considerar modestos enfront del potencial d'aplicació de la recerca bibliomètrica en la gestió d'organismes de recerca.
La possibilitat d'articulació entre diferents mètriques, adequada per a l'anàlisi de dades produïdes pels diferents segments implicats en la relació entre ciència i societat, en els mitjans digitals més diversos, xarxes socials i eines de gestió de referència (Maricato; Martins, 2017), representa una gran esperança per a la recerca bibliomètrica, en el sentit d'ampliar els seus horitzons en l'àmbit de la gestió d'institucions d'ensenyament i recerca. A més de la seva aplicació en sistemes d'avaluació del rendiment, també pot col·laborar, per exemple, en el desenvolupament o la millora de sistemes d'intel·ligència i comunicació, entre d'altres. Per a això és necessari aprendre a tenir una mirada més àmplia que tingui en compte els acords institucionals, els fluxos d'informació i la influència recíproca entre ciència i societat. Aquest exercici representa un repte important per a la recerca bibliomètrica i per a la gestió de les institucions de ciència i tecnologia, però val la pena perseguir-lo.
Bibliografia
Archibugi, Daniele; Coco, Alberto (2005). "Measuring technological capabilities at the country level: A survey and a menu for choice". Research policy, vol. 34, no. 2, p. 175–194.
Avila, Antonio Flavio Dias; Gomes, Eliane Gonçalves; Souza, Geraldo da Silva; Penteado Filho, Roberto de Camargo (2013). Avaliação de desempenho de unidades de pesquisa agropecuária: métricas e resultados da experiência da Embrapa. Brasília, DF: Secretaria de Gestão Estratégica - SGE. <https://www.embrapa.br/busca-de-publicacoes/-/publicacao/957536/avaliacao-de-desempenho-de-unidades-de-pesquisa-agropecuaria-metricas-e-resultados-da-experiencia-da-embrapa>. [Consulta: 19/11/2019].
Avila, Antonio Flavio Dias; Robrigues, Geraldo Stachetti; Vedovoto, Graciela Luzia (ed.) (2008). Avaliação dos impactos de tecnologias geradas pela Embrapa: metodologia de referência. Brasília, DF: Embrapa Informação Tecnológica. <https://ainfo.cnptia.embrapa.br/digital/bitstream/item/132174/1/MetodologiaReferenciaAvalImpactoEmbrapa.pdf>. [Consulta: 19/11/2019].
Avila, Antonio Flavio Dias; Rodrigues, Geraldo Stachetti; Vedovoto, Graciela Luzia; Penteado Filho, Roberto de Camargo; Fonseca Júnior, Wilson Corrêa da (2015). "Embrapa experience on the impact assessment of agricultural R&D: 15 Years using a multidimensional approach". En: IMPAR CONFERENCE, 2015, Paris. Impacts of agricultural research: Towards an approach of societal values: Book of abstracts... Paris: INRA, 2015. <https://www.alice.cnptia.embrapa.br/alice/bitstream/doc/1036444/1/EmbrapaExperienceontheimpact.pdf>. [Consulta: 19/11/2019].
Barnes, Cameron (2015). "The Use of altimetrics as a tool for measuring research impact". Australian academic & research libraries, vol. 46, no. 2, p. 121–134. <https://doi.org/10.1080/00048623.2014.1003174>. [Consulta: 19/11/2019].
Bertin, Patrícia (2008). "A Three-phase model proposal for the evolution of scientific communication: From first print periodicals to current electronic communication system". Transinformação, vol. 20, n.º 1, p. 17–28. <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-37862008000100002&lng=en&nrm=iso >. [Consulta: 18/11/2019].
Björneborn, Lennart; Ingwersen, Peter (2004). "Toward a basic framework for webometrics". Journal of the American Society for Information Science and Technology, vol. 55, no. 14, p. 1216–1227.
Bucchi, Massimiano (2008). "Of deficits, deviations and dialogues: Theories of public communication of science". En: Bucchi, Massimiano; Trench, Brian (ed.). Handbook of public communication of science and technology. London: Routledge, p. 57–76.
Bucchi, Massimiano; Trench, Brian (2014). "Science communication research: Themes and challenges". En: Bucchi, Massimiano; Trench, Brian (ed.). Handbook of public communication of science and technology. 2nd ed. London: Routledge.
Bush, Vannevar (1945). Science, the endless frontier. Washington, DC: National Science Foundation. <https://archive.org/details/scienceendlessfr00unit/page/n0>. [Consulta: 18/11/2019].
Bueno, Wilson da Costa (2010). "Comunicação científica e divulgação científica: aproximações e rupturas conceituais". Informação & informação, n.º 15, p. 1–12. <http://www.uel.br/revistas/uel/index.php/informacao/article/view/6585>. [Consulta: 18/11/2019].
Castells, Manuel (2008). "The New public sphere: Global civil society, communication networks, and global governance". The Annals of the American Academy of Political and Social Science, no. 616, p. 78–93.
Embrapa (2017a). Quem somos. <https://www.embrapa.br/pt/web/portal/quem-somos>. [Consulta: 19/11/2019].
— (2017b). Embrapa em números. Brasília, DF: Secretaria de Comunicação. <https://www.embrapa.br/documents/10180/1600893/Embrapa+em+N%C3%BAmeros/7624614b-ff8c-40c0-a87f-c9f00cd0a832>. [Consulta: 19/11/2019].
— (2017c). Balanço social. Brasília, DF: Secretaria de Comunicação – Secom; Secretaria de Gestão e Desenvolvimento Institucional – SGI. <http://bs.sede.embrapa.br/2016/balancosocialembrapa2016web.pdf>. [Consulta: 04/10/2017].
Epstein, Isaac (2012). "Comunicação da ciência: rumo a uma teoria da divulgação científica". Organicom: Revista brasileira de comunicação organizacional e relações públicas, vol. 9, n.º 16/17, p. 19–38.
Etzkowitz, Henry; Leydesdorff, Loet (1995). "The Triple helix – University-industry-government relations: A laboratory for knowledge based economic development". EASST Review, no. 14, p. 14–19.
— (2000). "The Dynamics of innovation: From National Systems and 'Mode 2' to a Triple Helix of university-industry-government relations". Research policy, no. 29, p. 10–123.
Fonseca Júnior, Wilson Corrêa da (2014). "Relações internacionais, ciência e tecnologia, comunicação: interfaces e perspectivas". Cadernos de ciência e tecnologia, vol. 31, n.º 1, p. 77–98. <https://seer.sct.embrapa.br/index.php/cct/article/view/19444>. [Consulta: 19/11/2019].
Fonseca Júnior, Wilson Corrêa da; Fragalle, Edilson Pepino; Silva, Heloiza Dias da; Penteado Filho, Roberto de Camargo (2009). "A Comunicação na Embrapa: do difusionismo à comunicação como inteligência organizacional". Prisma.com: Revista de ciências e tecnologias de informação e comunicação, n.º 8, p. 77–92. <http://ojs.letras.up.pt/index.php/prismacom/article/view/2062>. [Consulta: 19/11/2019].
Freeman, Chris (1995). "The 'National System of Innovation' in historical perspective". Cambridge journal of economics, no. 19, p. 5–24. <http://www.ie.ufrj.br/intranet/ie/userintranet/hpp/arquivos
/101120164328_Freeman1995TheNationalSystemofInnovationinHistoricalPerspectiveCamb.J.Econ
.524.pdf>. [Consulta: 18/11/2019].
Gibbons, Michael; Limoges, Camille; Nowotny, Helga; Schwartzman, Simon; Scott, Peter; Trow, Martin (1996). The New production of knowledge: The dynamics of science and research in contemporary societies. London: Sage.
Gil, Antonio Carlos (2018). Métodos e técnicas de pesquisa social. São Paulo: Atlas.
Godin, Benoit (2003). "The Emergence of S&T indicators: Why did governments supplement statistics with indicators". Research policy, no. 32, p. 679–691.
— (2006). "On the origins of bibliometrics". Scientometrics, vol. 68, no. 1, p. 109–133.
— (2007). "Science, accounting and statistics: The input-output framework". Research policy, no. 36, p. 1388–1403.
González-Valiente, Carlos Luis; Pacheco-Mendoza, Josmel; Arenciba-Jorge, Ricardo (2016). "A Review of altmetrics as an emerging discipline for research evaluation". Learned publishing, no. 29, p. 229–238. <https://onlinelibrary.wiley.com/doi/pdf/10.1002/leap.1043>. [Consulta: 19/11/2019].
Hicks, Diana; Wouters, Paul; Waltman, Ludo; De Rijcke, Sara; Rafols, Ismael (2015). "The Leiden Manifesto for research metrics". Nature, vol. 520 (23 April 2015), p. 429–431. <http://www.nature.com/polopoly_fs/1.17351!/menu/main/topColumns/topLeftColumn/pdf/520429a.pdf>. [Consulta: 18/11/2019].
Hood, William W.; Wilson, Concepción S. (2001). "The Literature of bibliometrics, scientometrics, and informetrics". Scientometrics, vol. 52, no. 2, p. 291–314.
Joly, Pierre-Benoit; Colinet, Lawrence; Gaunand, Ariane; Lemarié, Stéphane; Matt, Mireille (2016), "Agricultural research impact assessment: Issues, methods and challenges". OECD - Food, agriculture and fisheries papers, no. 98. <http://dx.doi.org/10.1787/5339e165-en>. [Consulta: 19/11/2019].
Khayyat, T. Nabaz; Lee, Jeong-Dong (2015). "A Measure of technological capabilities for developing countries". Technological forecasting & social change, no. 92, p. 210–233.
Leydesdorff, Loet (2003). "The Mutual information of university-industry-government relations: An indicator of the Triple Helix dynamics". Scientometrics. vol. 58, no. 2, p. 445–467.
Liu, Jianguo; Mooney, Harold; Hull, Vanessa; Davis, Steven J.; Gaskell, Joanne; Hertel, Thomas; Lubchenco, Jane; Seto, Karen C.; Gleick, Peter; Kremen, Claire; Li, Shuxin (2015). "Systems integration for global sustainability". Science, vol. 347, no. 6225, p. 963–971. <https://science.sciencemag.org/content/sci/347/6225/1258832.full.pdf>. [Consulta: 18/11/2019].
Magnoli, Demétrio (2004). Relações internacionais: teoria e história. São Paulo: Saraiva.
Maricato, João de Melo; Martins, Dalton Lopes (2017). "Altmetria: complexidades, desafios e novas formas de mensuração e compreensão da comunicação científica na web social". Biblios, n.º 68. <https://biblios.pitt.edu/ojs/index.php/biblios/article/view/358/309>. [Consulta: 19/11/2019].
Packer, Abel Laerte; Tardelli, Adalberto Otranto; Castro, Regina Célia Figueiredo (2007). "A distribuição do conhecimento científico público em informação, comunicação e informática em saúde indexado nas bases de dados MEDLINE e LILACS". Ciência e saúde coletiva, vol. 12, n.º 3, p. 587–599. <http://www.scielo.br/pdf/csc/v12n3/09.pdf>. [Consulta: 18/11/2019].
Penteado Filho, Roberto de Camargo; Avila, Antonio Flavio Dias (2009). Embrapa Brasil: análise bibliométrica dos artigos na Web of Science: (1977-2006). Brasília, DF: Embrapa Informação Tecnológica.
Penteado Filho, Roberto de Camargo; Fonseca Júnior, Wilson Corrêa da; Avila, Antonio Flavio Dias (2017). Perfil da produção de artigos da Embrapa entre 2007 e 2015: oportunidades e desafios. Brasília, DF: Embrapa, Secretaria de Gestão e Desenvolvimento Institucional – SGI. (Documentos; 17). <https://www.embrapa.br/busca-de-publicacoes/-/publicacao/1067799/perfil-da-producao-de-artigos-da-embrapa-entre-2007-e-2015-oportunidades-e-desafios>. [Consulta: 18/11/2019].
Roemer, Robin Chin; Borchardt, Rachel (2015). "Introduction do altmetrics". Library technology reports, vol. 51, no. 5, p. 5–10.
Santos, Solange Maria dos (2015). O desempenho das universidades brasileiras nos rankings internacionais: áreas de destaque da produção científica brasileira. [Tese de doutorado]. São Paulo: Universidade de São Paulo – USP. <http://www.capes.gov.br/images/stories/download/pct/2016/Teses-Premiadas/Ciencias-Sociais-Aplicadas-Solange-Maria-dos-Santos.PDF>. [Consulta: 18/11/2019].
Stokes, Donald E. (1997). Pasteur's quadrant: Basic science and technological innovation. Washington, DC: The Brookings Institution.
— (2005). O quadrante de Pasteur: a ciência básica e a inovação tecnológica. Campinas, SP: Editora da Unicamp.