A avaliação bibliométrica de instituições de pesquisa para além da comunicação científica: o caso Embrapa

Time to read
31 minutes
Read so far

A avaliação bibliométrica de instituições de pesquisa para além da comunicação científica: o caso Embrapa

 

[Versió catalana]


Wilson Corrêa da Fonseca Júnior

Analista
Empresa Brasileira de Pesquisa Agropecuária (Embrapa)

Roberto de Camargo Penteado Filho

Analista de pesquisa
Empresa Brasileira de Pesquisa Agropecuária (Embrapa)

Antonio Flavio Dias Avila

Coordenador de Avaliação de Desempenho Institucional
Empresa Brasileira de Pesquisa Agropecuária (Embrapa)

Claudio Costa Cardoso

Analista
Empresa Brasileira de Pesquisa Agropecuária (Embrapa)

 

Resumo

Nas últimas décadas, a emergência das novas tecnologias de comunicação e informação levou à ampliação dos estudos bibliométricos para além dos produtos da Comunicação Científica (artigos, revisões, etc.) com a incorporação da análise de outros conteúdos (páginas da internet, repositórios de publicações técnicas, posts em mídias sociais, etc.), por intermédio da webometria e da altmetria. Este trabalho apresenta as implicações dessa mudança para a Empresa Brasileira de Pesquisa Agropecuária (Embrapa), que passou a contemplar nos últimos anos, em seu sistema de avaliação de desempenho, o número de citações de artigos científicos e o número de downloads de publicações técnicas disponíveis em seu portal da internet. Como poderá ser observado neste artigo, os 42 centros de pesquisa da instituição apresentam comportamentos diferenciados quanto a seu desempenho na produção exclusivamente científica (número de artigos científicos e de citações) e na produção técnica (downloads de manuais, boletins e outras publicações). A existência dessas diferenças está levando a Embrapa a considerar em seu sistema de avaliação de desempenho as particularidades de seus centros de pesquisa, seja no âmbito de seu processo de produção de conhecimentos e tecnologias, seja em suas formas de comunicação. A partir dessa experiência, conclui-se que o desenvolvimento de indicadores bibliométricos adequados à gestão de instituições de ensino e pesquisa necessita de um olhar abrangente, que contemple os arranjos institucionais, os fluxos de informação, e a influência recíproca entre ciência e sociedade.

Resum

En les últimes dècades, el sorgiment de les noves tecnologies de la informació i la comunicació ha comportat l'ampliació dels estudis bibliomètrics més enllà dels productes de la comunicació científica (articles, ressenyes, etc.) amb la incorporació de l'anàlisi d'altres continguts (pàgines web, repositoris de publicacions tècniques, apunts en xarxes socials, etc.), per mitjà de l'analítica web i de la bibliometria alternativa. Aquest treball presenta les implicacions d'aquest canvi per a l'Empresa Brasileira de Pesquisa Agropecuária (Embrapa), que els últims anys ha passat a tenir en compte, en el seu sistema d'avaluació del rendiment, el nombre de citacions d'articles científics i el nombre de descàrregues de publicacions tècniques disponibles en el seu portal d'Internet. Com es pot veure en aquest article, els 42 centres de recerca de la institució presenten comportaments diferenciats pel que fa al rendiment en la producció exclusivament científica (nombre d'articles científics i de citacions) i en la producció tècnica (descàrregues de manuals, butlletins i altres publicacions). L'existència d'aquestes diferències està comportant que l'Embrapa consideri, en el seu sistema d'avaluació del rendiment, les particularitats dels seus centres de recerca, ja sigui en l'àmbit del procés de producció de coneixement i tecnologia, ja sigui en les formes de comunicació. A partir d'aquesta experiència, s'arriba a la conclusió que el desenvolupament d'indicadors bibliomètrics adequats per gestionar institucions d'ensenyament i recerca requereix una mirada àmplia, que tingui en compte els acords institucionals, els fluxos d'informació i la influència recíproca entre ciència i societat.

Resumen

En las últimas décadas, el surgimiento de las nuevas tecnologías de la información y la comunicación ha supuesto la ampliación de los estudios bibliométricos más allá de los productos de la comunicación científica (artículos, reseñas, etc.) con la incorporación del análisis de otros contenidos (páginas web, repositorios de publicaciones técnicas, apuntes en redes sociales, etc.), por medio de la analítica web y de la bibliometría alternativa. Este trabajo presenta las implicaciones de este cambio para la empresa Brasileira de Pesquisa Agropecuária (Embrapa), que en los últimos años ha pasado a tener en cuenta, en su sistema de evaluación del rendimiento, el número de citas de artículos científicos y el número de descargas de publicaciones técnicas disponibles en su portal de Internet. Como se puede ver en este artículo, los 42 centros de investigación de la institución presentan comportamientos diferenciados en cuanto a su rendimiento en la producción exclusivamente científica (número de artículos científicos y de citas) y en la producción técnica (descargas de manuales, boletines y otras publicaciones). La existencia de estas diferencias está comportando que la Embrapa considere, en su sistema de evaluación del rendimiento, las particularidades de sus centros de investigación, ya sea en el ámbito del proceso de producción de conocimiento y tecnología, ya sea en las formas de comunicación. A partir de esta experiencia, se llega a la conclusión que el desarrollo de indicadores bibliométricos adecuados para la gestión de instituciones de enseñanza e investigación requiere una mirada amplia, que contemple los acuerdos institucionales, los flujos de información y la influencia recíproca entre ciencia y sociedad.

Abstract

In recent decades, the emergence of new information and communication technologies has broadened the remit of bibliometric analysis. Bibliometrics are now used not only to assess products of scholarly communication such as articles or monographs, but to examine technology-related content such as web portals, repositories of technical publications or documents in social networks, which are studied with the help of web analytics and altmetrics. This paper examines the implications of this trend for the Brazilian Agricultural Research Corporation (Embrapa), whose criteria for assessing institutional performance have been extended in recent years to include the number of citations of scientific articles and downloads of the technical publications made available at the corporation's web portal. As the paper shows, Embrapa's 42 research centres do not all follow the same pattern in the production of scientific articles and citations, on the one hand, and of technical documents on the other (measured by downloads of manuals, bulletins and other publications). For this reason, Embrapa is beginning to tailor its system of performance assessment to the particularities of each centre, whether these involve the way the centre produces knowledge and technology or how it channels scholarly communication. The paper concludes that the development of suitable bibliometric indicators for managing centres dedicated to research and education requires a broad view of the centres themselves and can take on board such varied factors as institutional agreements, information flows and the ways in which science and society influence each other.

 

1 Introdução

Artigos originais (articles), artigos de revisão (reviews) e publicações de trabalhos em eventos científicos (proceeding papers), entre outros documentos, costumam representar grande parte do conhecimento codificado de um país e de suas organizações de ensino e pesquisa, além de fornecerem dados relevantes para análises de seu desempenho em ciência e tecnologia (C&T). Eles são adotados internacionalmente como importantes fontes de informação devido a, pelo menos, três fatores: a) à contribuição histórica dos estudos bibliométricos, que remontam ao final do século xix (Hood; Wilson, 2001; Godin, 2003; Björneborn; Ingwersen, 2004; Godin, 2006); b) ao empenho de instituições nacionais e internacionais na criação de indicadores de C&T a partir da década de 1950 (Godin, 2003; 2007) e c) à emergência, na década de 1990, de uma indústria de informação em ciência e tecnologia ancorada em bases de dados informatizadas (Packer et al., 2007).

De fato, com a emergência da internet, a Comunicação Científica vem passando por profundas transformações tais como o surgimento dos periódicos digitais, a criação de repositórios da web e a discussão mundial sobre o acesso à livre informação científica (Bertin, 2008). Situação similar ocorre com os estudos bibliométricos diante do surgimento de áreas cada vez mais especializadas, tais como a cibermetria (cybermetrics), a webometria (webometrics) e a altmetria (altmetrics) (Björneborn; Ingwersen, 2004; Roemer; Borchardt, 2015). Essas transformações representam um grande desafio para as organizações de ensino e pesquisa no desenvolvimento de seus sistemas de avaliação de desempenho, somadas às crescentes pressões externas de iniciativas similares por parte de organismos e programas internacionais (Archibugi; Coco, 2005; Kayyat; Lee, 2015), rankings acadêmicos mundiais (Santos, 2015) e sistemas de avaliação governamentais (Penteado Filho et al., 2017).

A maioria dos índices de avaliação de desempenho desenvolvidos por essas instituições é composta por subindicadores bibliométricos, alguns dos quais não se restringem à análise de documentos estritamente científicos. Exemplos nesse sentido são o Webometrics Ranking, proposto pelo Cybermetrics Lab do Consejo Superior de Investigaciones Científicas (CSIC), e o SCImago Institutions Rankings (SIR), criado pelo grupo Scimago, ambos da Espanha, que incorporam subindicadores tais como o número de links externos que o domínio de uma instituição recebe dos demais sites (Santos, 2015).

Diante de seu crescimento e da pressão cada vez maior que essas iniciativas exercem sobre as instituições de C&T e inovação, a comunidade científica vem se posicionando quanto à adoção de indicadores quantitativos sem o devido critério ou interpretação. Este é o caso, por exemplo, do "Manifesto de Leiden sobre Métricas de Pesquisa" (Hicks et al., 2015), em que um grupo de cientistas propõe dez princípios sobre a avaliação de pesquisa baseada em indicadores. Na descrição desses princípios os autores recomendam, por exemplo, que a mensuração de desempenho deve ser realizada de acordo com a missão da instituição e que é preciso proteger a excelência da pesquisa localmente relevante.

Esse contexto também representa um desafio para instituições de pesquisa como a Empresa Brasileira de Pesquisa Agropecuária – Embrapa. Desde sua criação em 1973 e, especialmente, a partir da década de 1990, essa organização tem sido cada vez mais demandada pelo governo, pela imprensa, por associações de produtores rurais e por diversos outros segmentos a justificar os recursos governamentais investidos em sua atuação (Penteado Filho et al., 2017; Embrapa, 2017c). O atendimento a essa demanda requer da Embrapa, e certamente de outras instituições similares, a ampliação de seus indicadores bibliométricos para além da comunicação estritamente científica, entre outras iniciativas.

Para que isso aconteça, é necessária a superação de um duplo desafio: sob a perspectiva epistemológica, é preciso que o ambiente científico desfaça seus últimos laços com a visão unidirecional de Vanevar Bush (1890–1974) sobre a relação entre ciência, sistemas de inovação e sociedade, por meio da adoção de outros referenciais teóricos e metodológicos, já disponíveis na literatura (Freeman, 1995; Gibbons et al., 1996; Etzkowitz; Leydesdorff, 1995; 2000; Leydesdorff, 2003; Stokes, 1997; 2005). Essa mudança de paradigma, aplicada à gestão, pode ampliar a relação dialógica entre as instituições de C&T (universidades, organizações de pesquisa), suas unidades (faculdades, centros de pesquisa) e respectivos ambientes. Sob a perspectiva metódica, é preciso avaliar os resultados e impactos dessa relação com a criação de indicadores e índices bibliométricos adequados, além de contemplá-los em um sistema de avaliação mais abrangente.

Este artigo é uma contribuição inicial sobre o assunto. Trata-se de uma pesquisa exploratória, cuja finalidade é formular problemas mais precisos para estudos posteriores (Gil, 2018) sobre o papel da pesquisa bibliométrica em sistemas de avaliação de desempenho. Para isso, associa alguns referenciais teóricos sobre a organização da pesquisa científica e a comunicação em C&T a um caso concreto de avaliação de desempenho institucional. A principal pergunta que norteou este trabalho foi: em que medida o desempenho de diferentes centros de pesquisa de uma mesma instituição de C&T pode ser comparado quando se leva em consideração distintos corpora de pesquisa? Neste estudo, esses diferentes corpora estão representados pelos dados sobre resultados e impactos de um conjunto de artigos científicos e pelos dados de downloads de um conjunto de documentos técnico-científicos produzidos pela Embrapa.

 

2 Metodologia

A estratégia metodológica adotada neste estudo foi realizar, inicialmente, uma revisão bibliográfica sobre a relação entre ciência e sociedade e suas decorrências para a pesquisa bibliométrica. Num segundo momento, foi avaliada a produção científica da Embrapa com o estudo bibliométrico de 19.343 artigos e artigos de revisão registrados na base de dados Web of Science baixados no dia 25/07/2017. Para a análise de downloads de publicações técnico-científicas foram considerados os documentos cadastrados e baixados do repositório Base de Dados da Pesquisa Agropecuária da Embrapa - BDPA no período de 2011 a 2016, disponível na internet. Ambas as análises contribuíram para a avaliação de desempenho de 42 centros de pesquisa da instituição.

 

3 A superação do modelo linear de pesquisa

O paradigma tradicional da ciência remonta ao final da Segunda Guerra Mundial. Foi nesse período que o engenheiro e político norte-americano Vannevar Bush (1890–1974) publicou seu clássico estudo Science: The endless frontier (Bush, 1945), em que propõe um modelo conceitual sobre o relacionamento entre a ciência fundamental e a inovação tecnológica. Trata-se de um modelo linear em que pesquisa básica, realizada sem finalidade prática com o objetivo de produzir conhecimento em geral, é considerada precursora do progresso tecnológico ao contribuir para a ciência aplicada, ao desenvolvimento e à inovação.

Embora esse modelo seja ainda hoje adotado, mesmo com adaptações, para a elaboração de índices de avaliação de desempenho em C&T e inovação, seus princípios vêm sendo revistos, pelo menos, desde os anos de 1980 e 1990 pela comunidade científica. Entre as contribuições mais conhecidas nesse sentido encontra-se o modelo de quadrantes de Stokes, proposto em 1997, que organiza as diversas formas da pesquisa científica em quatro variantes, de acordo com os objetivos de entendimento fundamental e de considerações de uso: pesquisa básica pura; pesquisa inspirada pelo uso; pesquisa aplicada pura; e pesquisa não inspirada pelo entendimento, nem pelo uso, mas motivada pela curiosidade por fatos particulares (Stokes, 1997; 2005).

Outra contribuição importante é o estudo de Gibbons et al. (1996), que também questiona a divisão tradicional entre ciência e tecnologia por considerar a pesquisa básica inseparável do desenvolvimento tecnológico. Ao se dedicarem à compreensão das condições sociais de produção e uso da ciência, esses autores propuseram dois modelos para caracterizar as mudanças ocorridas no século xx nas formas de produção do conhecimento: o modelo 1, considerado tradicional, e o modelo 2, que representa uma nova visão. No modelo tradicional, associado à concepção de Bush, o conhecimento é disciplinar e definido pelas normas sociais que governam a pesquisa básica (ou seja, a ciência acadêmica) e seu controle da qualidade é marcado pela revisão entre pares. No modelo alternativo o conhecimento é transdisciplinar, se destina a ser útil a alguém (indústria, governo, sociedade em geral), é produzido em contínua negociação com diversos segmentos socais e seu controle da qualidade incorpora um amplo leque de critérios adicionais.

Ainda nesse período foi desenvolvido o conceito de sistema nacional de inovação, visando a compreensão do amplo conjunto de fatores que moldam a capacidade de inovação dos diversos países. Em artigo sobre o tema, Freeman (1995) defende que, embora as conexões internacionais sejam de importância crescente, as redes de relacionamento dos sistemas nacionais e regionais de inovação continuam a ser um domínio essencial da análise econômica. Assim, o progresso tecnológico de um país é o resultado coordenado entre setores público e privado, por meio de políticas governamentais, do sistema de ensino e pesquisa, das relações industriais, das tradições culturais e de muitas outras instituições nacionais (Freeman, 1995; Liu et al., 2015).

Outra alternativa, que leva em consideração as visões anteriores, foi proposta por Etzkowitz e Leydesdorff (1995) ao conceberem um modelo de hélice tripla —comumente adotado na biologia para modelar a relação entre genes, organismos e ambientes— visando analisar as relações entre universidade, indústria e governo na geração de conhecimento baseado em sistemas de inovação. Esse modelo é traduzido, no âmbito na bibliometria, pela mensuração das relações entre essas três instituições, a partir de dados disponíveis na internet, obtidos por intermédio de motores de busca. Esses dados são tratados estatisticamente com o uso da análise de redes, com base nas ocorrências e coocorrências entre as palavras universidade, indústria e governo (Leydesdorff, 2003).

 

4 Da comunicação científica à comunicação em ciência e tecnologia

Apesar da contribuição de estudos como os de Etzkowitz e Leydesdorff (1995) e de Leydesdorff (2003), a adoção da pesquisa bibliométrica na avaliação de instituições de ensino e pesquisa ainda está centrada na análise de documentos produzidos no âmbito da Comunicação Científica. Historicamente, a Comunicação Científica (Scientific Communication), é concebida como uma das duas vertentes da Comunicação da Ciência (Science Communication). A outra vertente é a Comunicação Pública da Ciência e Tecnologia (Public Communication of Science and Technology), também conhecida como divulgação ou popularização da ciência (Bucchi, 2008; Bucchi; Trench, 2014; Bueno, 2010; Epstein, 2012).

De acordo com a revisão elaborada por Fonseca Júnior (2014, p. 93), "essas duas formas de comunicação, podem convergir em alguns aspectos e divergir em outros, mas a relação entre ambas costuma ser assimétrica". Assim como ocorre com o esquema de Bush, o modelo de comunicação vigente no âmbito da ciência geralmente percorre um caminho unidirecional, em que o conhecimento validado pela comunidade científica e expresso em revistas especializadas é fonte indispensável para a divulgação científica, a qual se realiza por intermédio de jornais, internet, museus de ciência, etc.

Essa visão de comunicação, denominada por Bucchi (2008) de "concepção difusionista", parte da premissa que a informação científica é pouco compreendida pelo público em geral, cujo padrão de ignorância para com a ciência deve ser combatido pela comunicação adequada. A influência no sentido oposto, ou seja, da sociedade sobre a ciência, costuma não ser considerada.    

Nas últimas décadas, no entanto, estudos passaram a considerar esse fluxo inverso, como o de Phillips (1991, citado por Bucchi, 2008), por exemplo, que registra o aumento do número de citações interpares de determinado artigo científico a partir de sua divulgação em veículos da imprensa internacional. Em sentido amplo, outras contribuições (Bueno, 2010; Fonseca Júnior, 2014) demonstram que as atividades de pesquisa, comunicação científica e divulgação científica são cada vez mais afetadas por interesses comerciais, jurídicos, sociais, militares e religiosos, entre outros. Tais interesses são muitas vezes conflitantes, como é o caso dos debates sobre a regulamentação do uso de células-tronco pela ciência ou da pesquisa e produção de alimentos geneticamente modificados.

A emergência das novas tecnologias de comunicação também levou à transformação da relação entre ciência e sociedade, com a crescente fragmentação dos públicos e das mídias, além de alterar a própria noção de público, até então formado, em sua grande maioria, por leitores ou espectadores passivos da ciência, intermediados pelos meios de comunicação de massa (jornais e revistas, programas de rádio e de televisão) (Bucchi; Trench, 2014). As novas tecnologias possibilitaram, por um lado, a formação de grupos de pressão institucionalizados e de movimentos sociais conectados em rede, que passaram a democratizar o debate sobre vários temas, inclusive ciência e tecnologia (Magnoli, 2004; Castells, 2013). Por outro lado, essas tecnologias também permitiram às instituições científicas a produção de uma variedade de conteúdos textuais e audiovisuais, com sua respectiva difusão em sites da internet e, particularmente, por intermédio das mídias sociais (Bucchi; Trench, 2014). Ou seja, as instituições científicas nunca estiveram tão expostas a seu ambiente como nos dias atuais, sendo que, historicamente, os investimentos públicos em pesquisa sempre dependeram do apoio da sociedade (Stokes, 2005).

Diante desse novo contexto, o estudo da comunicação no âmbito de C&T, de acordo com Fonseca Júnior (2014), precisa superar as abordagens tradicionais da comunicação científica e divulgação científica para contemplar as múltiplas interações entre ciência e sociedade, por intermédio das diversas mídias, público e conteúdos. Portanto, se as atividades científicas, seus efeitos e implicações são indissociáveis da vida social, então não se pode mais falar em comunicação "da" ciência, mas sim de comunicação "em" (relacionada "a", no contexto "da") ciência e tecnologia (Fonseca Júnior, 2014).

 

5 Novos paradigmas para a bibliometria e a avaliação de desempenho

Essa mudança de paradigma possui profundas implicações para os estudos bibliométricos, que agora precisam contribuir, com os recursos tecnológicos e de informação atualmente disponíveis, para a compreensão das influências recíprocas entre as iniciativas públicas e empresariais em C&T (políticas de C&T, programas e portfólios de pesquisa), os resultados decorrentes diretamente da pesquisa científica (publicações científicas, patentes, produtos e serviços), a atuação mais ampla de pesquisadores e instituições científicas na sociedade (artigos jornalísticos, manuais técnicos, vídeos educativos, inserções em mídias sociais, blogs, etc.) e as manifestações sociais sobre iniciativas ou resultados em C&T (downloads de publicações, posts em mídias sociais, reportagens jornalísticas, blogs, etc.).

O surgimento de áreas cada vez mais especializadas no âmbito das Ciências da Informação, tais como a webometria (webometrics) e, especialmente, a altmetria (altmetrics) vem atender boa parte dessas necessidades. Enquanto a webometria se dedica à análise dos aspectos quantitativos relacionados à web, a altimetria propõe métricas alternativas para avaliar a divulgação e compartilhamento de trabalhos acadêmicos, o uso e expansão de termos científicos, a interação entre pares e entre estes com os demais públicos, bem como outros fenômenos similares manifestados, muitas vezes, nas mídias sociais (Björneborn; Ingwersen, 2004; Roemer; Borchardt, 2015; Barnes, 2015).

Tratam-se, no entanto, de áreas recentes. No caso da altmetria, por exemplo, González-Valiente et al. (2016) levantaram nas bases de dados Scopus e Web of Science o número de artigos com menção a essa palavra por ano. Eles descobriram que a primeira menção à altmetria se deve a um artigo publicado em 2005, mas que a produção científica sobre o tema aumentou significativamente a partir de 2012, com 19 artigos, chegando em 2015 com 96 artigos. Nesse levantamento, os principais descritores encontrados, agrupados por clusters, são social media, social networking (online), information systems, research impact e information services.

Apesar do potencial das métricas alternativas para a avaliação dos fluxos de informação e da influência recíproca entre ciência e sociedade, estudos como o de Maricato e Martins (2017) ainda reproduzem, mesmo que parcialmente, a concepção unidirecional sobre a organização da ciência e a comunicação científica. Ao valorizarem a comunicação científica como núcleo central dos estudos bibliométricos, eles afirmam que "as altmetrias abrangem a socialização de diversos resultados de pesquisas científicas (grifo nosso), registradas em diferentes fontes, por variados atores sociais, nas mais diversas mídias e redes sociais, meios de comunicação e ferramentas de gerenciamento de referências". Por outro lado, ao considerarem a transversalidade das metrias aplicadas a diferentes mídias, bem como a conexão entre as Ciências da Informação e demais campos do conhecimento, esses autores abrem espaço para a construção de indicadores bibliométricos mais adequados às instituições científicas, bem como sua inserção em sistemas e de avaliação de desempenho. Este é o desafio imediato da pesquisa bibliométrica no âmbito da Embrapa.

 

6 A atuação da Embrapa em comunicação e avaliação de desempenho

A Empresa Brasileira de Pesquisa Agropecuária (Embrapa), órgão vinculado ao Ministério da Agricultura, Pecuária e Abastecimento (MAPA), foi criada em 1973 e possui atualmente 9.713 empregados, dos quais 2.430 pesquisadores, sendo 312 (12,75 %) com mestrado, 1.816 (74,18 %) com doutorado e 302 (12,34 %) com pós-doutorado. A Embrapa possui sua sede em Brasília e 42 centros de pesquisa distribuídos em todo o território brasileiro, organizados em centros temáticos (que trabalham com assuntos específicos e em áreas situadas na fronteira do conhecimento, tais como Informática, Nanotecnologia e Agricultura de Precisão), centros de produto animal (Caprinos e Ovinos, Gado de Corte, Pesca e Aquicultura, Suínos e Aves, entre outros), centros de produto vegetal (Algodão, Arroz e Feijão, Soja, Trigo, etc.) e centros ecorregionais (que buscam soluções tecnológicas para o desenvolvimento sustentável dos diferentes ecossistemas nacionais, tais como a Amazônia, Cerrados e Pantanal) (Embrapa, 2017a).

No início dos anos de 1990 a Embrapa passou por profundas mudanças organizacionais, diante das demandas de seu ambiente interno e das transformações em curso no país e no mundo. A primeira iniciativa nesse sentido foi ampliar sua missão —até então dedicada à realização de pesquisas para o aumento da produtividade no campo— de forma a englobar toda a cadeia produtiva do agronegócio e atender aos interesses de toda a sociedade brasileira. Em decorrência dessa nova missão, o perfil da comunicação da Embrapa —então concentrado na comunicação científica e na difusão de tecnologias aos produtores rurais— passou a contemplar diversos segmentos sociais e diversas modalidades de comunicação (administrativa, científica, governamental, mercadológica, social e comunicação para transferência de tecnologia), ampliando o foco para as comunidades urbanas (Fonseca Júnior et al., 2009).

O atual modelo de avaliação de desempenho da Embrapa é o resultado de um processo com duas décadas de aplicação e em constante aperfeiçoamento. Sua principal característica é a multidimensionalidade, ao contemplar critérios de Eficácia (cumprimento de metas - obtenção de produtos), Eficiência (produtos obtidos x custos de sua obtenção) e de Efetividade (adoção/uso dos produtos e/ou processos desenvolvidos e seus respectivos impactos). Entre os critérios e indicadores de desempenho atualmente contemplados no processo de avaliação de desempenho institucional da Empresa se encontram sua produção técnica e técnico-científica, bem como seu uso pela sociedade, conforme apresentado na Tabela 1.

 

Dimensão: Eficácia
1) Cumprimento das Agendas Institucional e Programática
2) Excelência e Maturidade na Gestão
A. Gestão na Visão da Unidade
B. Gestão Integrada da Qualidade
C. Gestão de Receitas e Despesas
Dimensão: Eficiência
3) Desempenho em Eficiência e Produtividade
Dimensão: Efetividade
4) Ativos Tecnológicos Qualificados e Disponibilizados
5) Inovações Tecnológicas ("outcomes")
6) Relevância e Impactos da Agenda de Destaques
7) Qualidade das Avaliações de Impactos
8) Aplicação de Conhecimentos de Publicações

Tabela 1. Critérios e Indicadores de Avaliação de Desempenho em uso na Embrapa, 2017–2018

 

Os resultados decorrentes da análise de eficiência (Avila et al., 2013) e das avaliações de impacto (Avila et al., 2008; 2015) são publicados anualmente, desde 1997, em seu Balanço Social (Figura 1). Essa publicação é, portanto, decorrência de dois processos: a realização de estudos de avaliação de impactos a partir da década de 1980 e a implantação, da política de comunicação da Embrapa na década de 1990 (Embrapa, 2017c). Em estudo comparativo internacional sobre sistemas de avaliação de impacto da pesquisa agropecuária conduzido por Joly et al. (2016), a Embrapa se destaca entre instituições similares por sua longa tradição de avaliação, associada à publicação periódica de um Balanço Social.

 

Figura 1 – Balanço Social da Embrapa

Figura 1 – Balanço Social da Embrapa

 

7 O desempenho da Embrapa em sua produção científica

No âmbito de sua produção científica a Embrapa está entre as instituições líderes do Brasil. A história dessa produção, indexada na base de dados Web of Science (WoS), apresenta algumas datas-chave. A primeira delas ocorreu em 1997, quando ultrapassou a barreira dos 200 artigos anuais. Em 1996, a Embrapa adotou um sistema de avaliação institucional onde a meta —publicação de artigos científicos— foi priorizada. A segunda é 2007, quando houve um salto inédito no volume de produção de artigos para 854. Esse comportamento também se repetiu em 2008 com 1.056 artigos, e em 2011 com 1.321. Os anos de 2014, 2015 e 2016 oscilaram, respectivamente, de 1.533 para 1.489 e 1.630 artigos científicos. Uma síntese desse histórico é apresentada na Figura 2.

 

Figura 2. Produção de artigos científicos da Embrapa 1977-2016

Figura 2. Produção de artigos científicos da Embrapa 1977–2016

 

Deve-se ressaltar que a base WoS contém apenas cerca de 30 % de toda a produção científica da Embrapa (Penteado Filho; Avila, 2009). Essa produção, portanto, é bem maior do que a captada pela base de dados referenciada e vinculada à produção científica. Na Tabela 2 são apresentados os centros classificados de acordo com a produção de artigos presentes na WoS no ano de 2016 e também em todo o período (1977–2016), conforme pode ser verificado na coluna "Total*". Neste caso, os centros que lideram a produção científica em todo o período são os que trabalham com recursos genéticos e biotecnologia (1.965 artigos), com gado de leite (1.045 artigos), com arroz e feijão (1.011 artigos) e com soja (1.010 artigos). No entanto, nessa mesma tabela, na coluna referente apenas ao ano de 2016, essa ordem se modifica para os centros de Recursos Genéticos e Biotecnologia (125 artigos), Pecuária da Região Sul (116 artigos), Instrumentação Agropecuária (94 artigos) e Florestas (83 artigos).

 

Class.
Centro de Pesquisa
2011
2012
2013
2014
2015
2016
Total*
1
Recursos Genéticos e Biotecnologia
137
112
139
126
124
125
1.965
2
Pecuária Sul
16
20
24
23
31
116
387
3
Instrumentação
55
73
67
73
72
94
916
4
Florestas
37
46
55
64
67
83
551
5
Gado de Leite
67
55
66
99
90
81
1.045
6
Soja
55
75
78
75
71
80
1.010
7
Amazônia Oriental
34
50
57
39
58
71
689
8
Mandioca e Fruticultura
52
60
59
67
64
71
689
9
Cerrados
60
51
72
80
70
66
990
10
Arroz e Feijão
58
65
82
96
73
64
1.011
11
Semiárido
49
47
50
65
60
61
722
12
Agroindústria Tropical
32
38
39
41
37
56
584
13
Meio Ambiente
22
43
41
40
46
56
592
14
Clima Temperado
48
55
57
71
63
54
685
15
Pecuária Sudeste
50
38
45
44
42
54
677
16
Suínos e Aves
43
40
37
46
38
54
634
17
Gado de Corte
49
43
47
44
40
51
697
18
Agroindústria de Alimentos
30
40
47
37
42
49
500
19
Milho e Sorgo
40
53
37
60
45
45
703
20
Trigo
28
26
39
34
28
39
544
21
Agrobiologia
36
53
42
40
41
38
806
22
Solos
34
33
43
29
40
36
422
23
Uva e Vinho
39
36
30
44
39
35
407
24
Pantanal
32
19
23
24
36
33
400
25
Sede Embrapa
34
21
29
36
30
32
438
26
Algodão
32
39
45
50
45
31
524
27
Informática Agropecuária
16
16
28
23
18
29
240
28
Meio-Norte
31
32
27
24
37
29
339
29
Tabuleiros Costeiros
28
38
35
27
29
28
362
30
Caprinos e Ovinos
30
24
31
39
27
27
379
31
Hortaliças
38
47
39
27
39
27
562
32
Agroenergia
14
25
25
22
27
26
177
33
Amapá
13
12
16
18
20
25
145
34
Amazônia Ocidental
21
27
20
19
19
24
404
35
Agropecuária Oeste
32
27
33
22
18
21
262
36
Acre
17
25
21
29
11
17
232
37
Agrossilvipastoril
19
11
9
16
12
17
90
38
Monitoramento por Satélite
12
14
8
10
13
17
114
39
Rondônia
8
21
24
14
15
17
163
40
Roraima
20
18
17
19
19
13
177
41
Café
16
10
20
14
13
11
132
42
Pesca e Aquicultura
15
18
17
13
15
11
97
43
Cocais
1
2
4
2
1
6
16

Tabela 2. Artigos por centro de pesquisa da Embrapa entre 2011 e 2016 e total de artigos no período 1977 a 2016

 

Além da produção científica, a classificação dos centros da Embrapa pelo número de citações permite uma melhor compreensão sobre sua diversidade. A Tabela 3 está ordenada pelo número de citações por artigo em cada centro de pesquisa (última coluna), mas contêm outros dois rankings (pelo número de citações e pelo número de artigos). Neste caso, o centro de pesquisa da Embrapa que liderava pelo número de artigos e pelo número de citações (Embrapa Recursos Genéticos e Biotecnologia) passou a ocupar a quarta posição. Os três primeiros lugares são agora ocupados por centros de pesquisa com menor produção, mas com maior número de citações: Embrapa Agrobiologia, Embrapa Amazônia Oriental e Embrapa Monitoramento por Satélite. O resultado dessa comparação permite concluir que os indicadores de avaliação institucional devem ser selecionados com cautela no sentido de buscar maior equidade entre o conjunto a ser avaliado.

 

Class.
Centro de Pesquisa
Rank Cit.
#Citações
Rank Art.
# Artigos
Rank Raz.
Razão
1
Agrobiologia
2
17.693
7
806
1
21,95
2
Amazônia Oriental
3
15.049
11
689
2
21,84
3
Monitoramento por Satélite
28
2.233
40
114
3
19,59
4
Recursos Genéticos e Biotecnologia
1
31.529
1
1.965
4
16,05
5
Instrumentação
4
13.957
6
916
5
15,24
6
Amazônia Ocidental
14
5.355
26
404
6
13,25
7
Solos
15
5.331
24
422
7
12,63
8
Soja
5
11.714
4
1.010
8
11,60
9
Meio Ambiente
8
6.776
16
592
9
11,45
10
Agroindústria de Alimentos
13
5.451
22
500
10
10,90
11
Arroz e Feijão
6
10.354
3
1.011
11
10,24
12
Cerrados
7
9.641
5
990
12
9,74
13
Milho e Sorgo
9
6.465
9
703
13
9,20
14
Agroindústria Tropical
16
5.203
17
584
14
8,91
15
Pecuária Sudeste
12
5.987
14
677
15
8,84
16
Gado de Corte
11
6.076
10
697
16
8,72
17
Agroenergia
35
1.530
35
177
17
8,64
18
Informática Agropecuária
31
1.973
33
240
18
8,22
19
Sede Embrapa
22
3.570
23
438
19
8,15
20
Roraima
37
1.411
36
177
20
7,97
21
Pantanal
26
3.154
27
400
21
7,89
22
Café
38
982
39
132
22
7,44
23
Acre
33
1.652
34
232
23
7,12
24
Hortaliças
18
3.963
18
562
24
7,05
25
Algodão
25
3.425
21
524
25
6,54
26
Florestas
23
3.558
19
551
26
6,46
27
Trigo
24
3.494
20
544
27
6,42
28
Uva e Vinho
27
2.515
25
407
28
6,18
29
Mandioca e Fruticultura
17
4.248
12
689
29
6,17
30
Agropecuária Oeste
34
1.577
32
262
30
6,02
31
Meio-Norte
30
2.010
31
339
31
5,93
32
Tabuleiros Costeiros
29
2.139
30
362
32
5,91
33
Gado de Leite
10
6.149
2
1.045
33
5,88
34
Suínos e Aves
21
3.606
15
634
34
5,69
35
Clima Temperado
19
3.771
13
685
35
5,51
36
Caprinos e Ovinos
32
1.943
29
379
36
5,13
37
Semiárido
20
3.653
8
722
37
5,06
38
Pesca e Aquicultura
41
446
41
97
38
4,60
39
Rondônia
39
741
37
163
39
4,55
40
Amapá
40
613
38
145
40
4,23
41
Pecuária Sul
36
1.450
28
387
41
3,75
42
Cocais
43
54
43
16
42
3,38
43
Agrossilvipastoril
42
236
42
90
43
2,62

Tabela 3. Rankings por número de artigos, número de citações e número de citações por artigo, por centro de pesquisa da Embrapa, 1977–2016

 

8 O impacto dos downloads de publicações técnicas

O interesse da Embrapa pela avaliação de seu desempenho em publicações técnicas não é recente. Na realidade, conforme estudo anterior (Penteado et al., 2017), seus centros de pesquisa chegaram a ser avaliados entre 1996 e 2009, por intermédio de seu Sistema de Avaliação de Unidades (SAU), pelo número de títulos produzidos. Porém, o surgimento das novas tecnologias de informação e comunicação colocou essa diversidade de produtos em evidência ao ser disponibilizada em meios eletrônicos, com a possibilidade de se avaliar o interesse dos diversos públicos da instituição pelo número de downloads. Esse novo contexto ampliou a reflexão da Embrapa sobre os papéis desempenhados por esses produtos no cumprimento de sua missão.

A avaliação do desempenho pelo número de downloads de publicações técnicas é uma métrica recentemente incorporada pela Embrapa. Neste caso, o desempenho de seus centros de pesquisa apresenta outra configuração, quando comparado com os resultados de sua produção científica. Na avaliação dos dados disponíveis entre 2011 e 2016, a Embrapa atingiu 68,9 milhões de downloads, cujo conteúdo contempla, em sua maior parte, documentos elaborados para a extensão pública e privada de tecnologias e direcionadas aos produtores rurais (documentos, circulares técnicas, comunicados técnicos, coleções, manuais, boletins, livros técnicos, etc.).

Neste indicador, os centros de pesquisa da Embrapa com melhor desempenho são aqueles que atendem mais especificamente à função de transferência de tecnologia a pequenos e médios agricultores, tais como os centros ecorregionais (Semiárido e Amazônia Oriental) e de produtos (Milho e Sorgo, Florestas, Caprinos e Ovinos), além da Sede da Embrapa, que contempla publicações didáticas da editora e gráfica corporativa. Por outro lado, é interessante observar que os centros de pesquisa com melhor desempenho em publicações científicas (número de artigos e de citações, conforme a Tabela 3) e desempenho inferior em downloads (publicações técnicas) tendem a ser aqueles que atuam em temas relacionados à pesquisa em temas básicos (Recursos Genéticos e Biotecnologia; Instrumentação Agropecuária). Ou seja, documentos de diferentes tipos, dependendo de sua finalidade e do canal de comunicação em que são veiculados, tendem a atingir públicos distintos. Esse desempenho pode ser constatado na Tabela 4.

 

Class.
Centro de Pesquisa
Total
1
Semiárido
5.557.152
2
Milho e Sorgo
5.345.697
3
Sede Embrapa
5.173.955
4
Amazônia Oriental
5.102.426
5
Florestas
3.603.404
6
Soja
2.896.649
7
Caprinos e Ovinos
2.662.211
8
Arroz e Feijão
2.423.356
9
Pecuária Sudeste
2.411.369
10
Clima Temperado
2.185.345
11
Suínos e Aves 
2.071.346
12
Algodão
1.840.580
13
Mandioca e Fruticultura
1.599.186
14
Agroindústria Tropical
1.562.342
15
Solos
1.488.359
16
Amazônia Ocidental
1.482.753
17
Agropecuária Oeste
1.476.475
18
Rondônia 
1.428.660
19
Meio-Norte
1.384.140
20
Agroindústria de Alimentos
1.229.649
21
Cerrados
1.217.115
22
Informática Agropecuária
1.190.555
23
Hortaliças
981.753
24
Meio Ambiente
950.757
25
Acre
910.851
26
Instrumentação
887.008
27
Tabuleiros Costeiros
856.592
28
Pantanal 
841.774
29
Recursos Genéticos e Biotecnologia
833.690
30
Agrobiologia
782.364
31
Trigo
767.082
32
Uva e Vinho
716.880
33
Amapá
696.940
34
Pecuária Sul
664.566
35
Monitoramento por Satélite
635.136
36
Gado de Leite
633.273
37
Café
560.506
38
Agroenergia
540.315
39
Roraima
517.361
40
Gado de Corte
421.594
41
Pesca e Aquicultura
245.664
42
Agrossilvipastoril 
100.380
43
Cocais
26.336
44
Total Downloads
68.903.546

Tabela 4. Número de downloads por centro de pesquisa entre 2011 e 2016

 

Uma análise detalhada das demandas por essas publicações, refletidas pelo número de downloads, é mais uma evidência de que os resultados gerados pelas pesquisas da Embrapa estão sendo bem recebidos pelo setor produtivo. Os temas que registraram o maior número de downloads abrangem desde conceitos básicos em biologia molecular, passam pela produção de alface hidropônica, análise físico-química da água, criação de galinha caipira na agricultura familiar, preparo e uso de biofertilizantes líquidos, além da tecnologia para a produção de óleo de soja, entre outros, conforme pode ser constatado na Tabela 5.

 

# Downloads
Centro de Pesquisa
Título
Tipo de publicação
44.019
Algodão Conceitos básicos de técnicas em biologia molecular Série documentos
37.479
Semiárido Produção de alface hidropônica: um estudo de viabilidade técnico-econômica Artigo em anais de congresso
30.984
Florestas Manual de procedimentos de amostragem e análise físico-química de água Série documentos 
28.694
Amazônia Oriental Manual sobre criação de galinha caipira na agricultura familiar: noções básicas Série documentos 
27.857
Semiárido Preparo e uso de biofertilizantes líquidos Comunicado técnico 
24.754
Soja Tecnologia para produção do óleo de soja: descrição das etapas, equipamentos, produtos e subprodutos Série Documentos 
21.251
Amazônia Oriental Cultivo da ipecacuanha [Psychotria ipecacuanha (Brot) Stokes] Série documentos 
17.477
Hortaliças Horta em pequenos espaços Livro técnico 
15.779
Amazônia Ocidental Manual de procedimentos do Laboratório de Cultura de Tecidos da Embrapa Amazônia Ocidental Série documentos 
15.473
Meio Norte Criação de galinhas caipiras Coleção ABC Agricultura Familiar 
15.382
Mandioca e Fruticultura Sistemas de irrigação para agricultura familiar Circular técnica 
12.218
Clima Temperado Instruções para o cultivo da acerola Circular técnica 
11.730
Amazônia Ocidental Normas de elaboração de Procedimentos Operacionais Padrão (POPs) para o Laboratório de Biologia Molecular da Embrapa Amazônia Ocidental Série documentos 
11.382
Mandioca e Fruticultura A cultura do limão-taiti Coleção Plantar
10.798
Agrobiologia Armadilha PET para captura de adultos de moscas-das-frutas em pomares comerciais e domésticos Circular Técnica
10.766
Rondônia Manual prático para formulação de ração para vacas leiteiras Série Documentos
10.755
Florestas Propagação vegetativa Artigo em anais de congresso
10.418
Milho e Sorgo Variação geográfica do tamanho dos módulos fiscais no Brasil Série Documentos
9.852
Semiárido Clima e água de chuva no Semiárido Capítulo em livro técnico-científico
9.318
Pecuária Sudeste Dimensionamento de piquetes para bovinos leiteiros, em sistemas de pastejo rotacionado Comunicado Técnico
8.699
Semiárido Disponibilidade de água e a gestão dos recursos hídricos Capítulo em livro técnico-científico
8.599
Milho e Sorgo Manejo da cultura do milheto Circular técnica
8.540
Agropecuária Oeste Fungos em sementes de soja: detecção e importância Série Documentos
8.386
Suínos e Aves Medição da vazão em rios pelo método do flutuador Comunicado Técnico
8.255
Uva e Vinho Suco de uva Coleção Agroindústria Familiar
8.213
Informação Agropecuária Como produzir melancia Coleção ABC Agricultura Familiar
8.209
Gado de Leite Silagens: oportunidades e pontos críticos Comunicado Técnico
8.194
Amazônia Oriental Manual de extração de DNA Série documentos
7.762
Semiárido Potencial agrícola do solo para o cultivo da melancia Artigo em anais de congresso
7.615
Meio Ambiente Biocontrole de doenças de plantas: uso e perspectivas Livros científicos
7.550
Agroindústria de Alimentos Avaliação do efeito da extração e da microfiltração do açaí sobre sua composição e atividade antioxidante Teses/dissertações

Tabela 5. Publicações com mais downloads

 

Além disso, no atual modelo de avaliação de desempenho da Embrapa os resultados da produção e das citações de artigos científicos, bem como os downloads de produções científicas e técnico-científicas são ponderados pelo número de pesquisadores, conforme apresentados nas tabelas 6 e 7. A Tabela 6, classificada pelos índices de 2016 de artigos por pesquisador é liderada pelos seguintes centros da Embrapa: Pecuária Sul (3,63), Instrumentação (3,13), Pecuária Sudeste (1,32) e Soja (1,18).

 

Class
.
Centro de Pesquisa
2011
2012
2013
2014
2015
2016
1
Pecuária Sul
0,59
0,67
0,8
0,72
0,97
3,63
2
Instrumentação
1,9
2,61
2,48
2,61
2,48
3,13
3
Pecuária Sudeste
1,32
0,97
1,15
1,16
1,08
1,32
4
Soja
0,85
1,15
1,16
1,07
1,03
1,18
5
Florestas
0,51
0,63
0,75
0,9
0,94
1,15
6
Arroz e Feijão
0,97
1,03
1,34
1,55
1,18
1,1
7
Suínos e Aves
0,86
0,8
0,76
0,88
0,75
1,1
8
Gado de Leite
0,94
0,73
0,88
1,34
1,18
1,05
9
Mandioca e Fruticultura
0,73
0,86
0,84
0,94
0,94
1,03
10
Recursos Genéticos e Biotecnologia
1,14
0,94
1,13
1,03
1
1,01
11
Agroindústria de Alimentos
0,61
0,78
0,9
0,7
0,79
0,92
12
Pantanal
0,74
0,46
0,61
0,65
0,95
0,92
13
Gado de Corte
0,89
0,75
0,84
0,77
0,7
0,89
14
Agrobiologia
0,88
1,2
0,95
0,91
0,93
0,88
15
Monitoramento por Satélite
0,55
0,64
0,35
0,42
0,59
0,81
16
Uva e Vinho
0,98
0,9
0,75
1,05
0,91
0,81
17
Agroenergia
0,5
0,76
0,76
0,73
0,87
0,79
18
Amapá
0,45
0,4
0,53
0,56
0,63
0,78
19
Agroindústria Tropical
0,45
0,54
0,56
0,59
0,52
0,77
20
Meio Ambiente
0,31
0,62
0,59
0,56
0,65
0,75
21
Trigo
0,51
0,47
0,71
0,62
0,51
0,74
22
Semiárido
0,66
0,6
0,64
0,76
0,71
0,72
23
Agropecuária Oeste
1,03
0,84
1,03
0,69
0,56
0,7
24
Cerrados
0,62
0,52
0,72
0,8
0,69
0,65
25
Amazônia Oriental
0,33
0,47
0,52
0,34
0,52
0,63
26
Informática Agropecuária
0,39
0,38
0,65
0,49
0,38
0,62
27
Caprinos e Ovinos
0,68
0,53
0,67
0,81
0,61
0,61
28
Milho e Sorgo
0,55
0,72
0,49
0,78
0,61
0,61
29
Agrossilvipastoril
0,68
0,35
0,29
0,52
0,41
0,59
30
Clima Temperado
0,56
0,63
0,67
0,81
0,71
0,59
31
Hortaliças
0,81
1,04
0,89
0,56
0,83
0,59
32
Rondônia
0,23
0,62
0,71
0,4
0,45
0,57
33
Algodão
0,53
0,66
0,78
0,88
0,79
0,54
34
Meio Norte
0,5
0,53
0,46
0,41
0,63
0,51
35
Solos
0,52
0,48
0,61
0,41
0,56
0,51
36
Café
0,8
0,48
1
0,67
0,59
0,5
37
Acre
0,43
0,63
0,51
0,71
0,29
0,45
38
Tabuleiros Costeiros
0,45
0,6
0,55
0,43
0,46
0,45
39
Amazônia Ocidental
0,32
0,4
0,3
0,3
0,31
0,42
40
Roraima
0,56
0,51
0,47
0,51
0,54
0,39
41
Cocais
0,06
0,13
0,24
0,11
0,06
0,33
42
Pesca e Aquicultura
0,48
0,53
0,47
0,35
0,42
0,32
43
Sede Embrapa
0,21
0,13
0,17
0,21
0,17
0,22

Tabela 6. Índice de artigos por pesquisador por centro entre 2011 e 2016

 

Na Tabela 7, na classificação pelo índice de downloads por pesquisador, lideram os seguintes centros de pesquisa da Embrapa: Milho e Sorgo (11,9 mil), Semiárido (11,4 mil), Pecuária Sudeste (10,3 mil) e Caprinos e Ovinos (9,8 mil).

 

Class.
Centro de Pesquisa
# Artigos
# Citações
# Downloads
1
Milho e Sorgo
0,63
3,84
11.959,05
2
Semiárido
0,68
2,05
11.458,05
3
Pecuária Sudeste
1,17
7,74
10.305,00
4
Caprinos e Ovinos
0,66
2,24
9.823,66
5
Florestas
0,81
2,67
8.341,21
6
Agropecuária Oeste
0,81
2,25
7.812,04
7
Amazônia Oriental
0,47
4,89
7.754,45
8
Soja
1,07
7,39
7.169,92
9
Rondônia
0,49
1,16
7.107,76
10
Suínos e Aves
0,86
3,37
6.881,55
11
Arroz e Feijão
1,20
7,53
6.621,19
12
Algodão
0,70
2,84
5.289,02
13
Sede Embrapa
0,18
0,7
5.258,08
14
Instrumentação
2,54
27,57
5.187,18
15
Monitoramento por Satélite
0,55
6,46
4.739,82
16
Informática Agropecuária
0,49
2,64
4.459,01
17
Café
0,67
3,38
4.448,46
18
Clima Temperado
0,66
1,89
4.146,76
19
Agroindústria Tropical
0,79
5,14
3.953,86
20
Meio-Norte
0,51
1,63
3.888,03
21
Amazônia Ocidental
0,34
3,56
3.871,42
22
Acre
0,50
2,13
3.827,11
23
Mandioca e Fruticultura
0,89
2,96
3.816,67
24
Amapá
0,56
1,43
3.767,24
25
Agroindústria de Alimentos
0,57
3,8
3.676,10
26
Pecuária Sul
1,26
2,56
3.631,51
27
Pantanal
0,72
3,73
3.612,76
28
Solos
0,52
3,81
3.577,79
29
Hortaliças
0,78
3,17
3.544,23
30
Agrobiologia
0,96
14,18
3.009,09
31
Uva e Vinho
0,90
2,95
2.890,65
32
Agroenergia
0,74
6,37
2.874,02
33
Roraima
0,50
2,76
2.440,38
34
Trigo
0,59
2,61
2.338,66
35
Tabuleiros Costeiros
0,49
2,02
2.272,13
36
Meio Ambiente
0,58
4,73
2.237,08
37
Cerrados
0,67
4,15
2.038,72
38
Gado de Leite
1,02
3,85
1.413,56
39
Gado de Corte
0,81
4,96
1.243,64
40
Pesca e Aquicultura
0,43
1,96
1.181,08
41
Recursos Genéticos e Biotecnologia
1,04
11,31
1.087,29
42
Agrossilvipastoril
0,47
1,19
560,78
43
Cocais
0,16
0,52
255,69

Tabela 7. Índices de produção, citação e downloads ponderados pelo número de pesquisadores

 

9 Conclusão

Os resultados encontrados nesse trabalho indicam que o desempenho das produções técnica e científica da Embrapa pode variar de acordo com o perfil de seus centros de pesquisa. Há centros que trabalham com temas relacionados à fronteira do conhecimento e possuem melhor desempenho na publicação de artigos em revistas internacionais, enquanto outros atuam na solução de problemas regionais ou produtos/animais específicos e se destacam pelo número de downloads de publicações técnicas necessárias ao uso imediato na agricultura.

Esses resultados levaram à reflexão interna e foram incorporados ao sistema de avaliação de desempenho da Embrapa, de forma a considerar as peculiaridades da atuação de seus centros de pesquisa no desenvolvimento de indicadores e bases bibliométricos. O atendimento a essa necessidade vem ao encontro de diversos princípios apresentados no Manifesto de Leiden sobre Métricas de Pesquisa (Hicks et al., 2015), tais como a realização da mensuração de desempenho de acordo com a missão da instituição e a proteção da pesquisa localmente relevante. Ao mesmo tempo em que são importantes para o aprimoramento do sistema de avaliação de desempenho da Embrapa, e certamente de outras instituições, esses resultados podem ser considerados modestos diante do potencial de aplicação da pesquisa bibliométrica na gestão de organizações de pesquisa.

A possibilidade de articulação entre diferentes métricas, adequadas à análise de dados produzidos pelos diversos segmentos envolvidos na relação entre ciência e sociedade, nas mais diversas mídias digitais, redes sociais e ferramentas de gerenciamento de referências (Maricato; Martins, 2017), representa uma grande esperança para a pesquisa bibliométrica, no sentido de ampliar seus horizontes no âmbito da gestão de instituições de ensino e pesquisa. Além de sua aplicação em sistemas de avaliação de desempenho, ela também pode colaborar, por exemplo, no desenvolvimento ou aprimoramento de sistemas de inteligência e de comunicação, entre outros. Para isso é preciso exercitar um olhar mais abrangente, que contemple os arranjos institucionais, os fluxos de informação e a influência recíproca entre ciência e sociedade. Esse exercício representa um grande desafio para a pesquisa bibliométrica e para a gestão das instituições de C&T, mas que vale a pena ser levado adiante.

 

Bibliografia

Archibugi, Daniele; Coco, Alberto (2005). "Measuring technological capabilities at the country level: A survey and a menu for choice". Research policy, vol. 34, no. 2, p. 175–194.

Avila, Antonio Flavio Dias; Gomes, Eliane Gonçalves; Souza, Geraldo da Silva; Penteado Filho, Roberto de Camargo (2013). Avaliação de desempenho de unidades de pesquisa agropecuária: métricas e resultados da experiência da Embrapa. Brasília, DF: Secretaria de Gestão Estratégica - SGE. <https://www.embrapa.br/busca-de-publicacoes/-/publicacao/957536/avaliacao-de-desempenho-de-unidades-de-pesquisa-agropecuaria-metricas-e-resultados-da-experiencia-da-embrapa>. [Consulta: 19/11/2019].

Avila, Antonio Flavio Dias; Robrigues, Geraldo Stachetti; Vedovoto, Graciela Luzia (ed.) (2008). Avaliação dos impactos de tecnologias geradas pela Embrapa: metodologia de referência. Brasília, DF: Embrapa Informação Tecnológica. <https://ainfo.cnptia.embrapa.br/digital/bitstream/item/132174/1/MetodologiaReferenciaAvalImpactoEmbrapa.pdf>. [Consulta: 19/11/2019].

Avila, Antonio Flavio Dias; Rodrigues, Geraldo Stachetti; Vedovoto, Graciela Luzia; Penteado Filho, Roberto de Camargo; Fonseca Júnior, Wilson Corrêa da (2015). "Embrapa experience on the impact assessment of agricultural R&D: 15 Years using a multidimensional approach". En: IMPAR CONFERENCE, 2015, Paris. Impacts of agricultural research: Towards an approach of societal values: Book of abstracts... Paris: INRA, 2015. <https://www.alice.cnptia.embrapa.br/alice/bitstream/doc/1036444/1/EmbrapaExperienceontheimpact.pdf>. [Consulta: 19/11/2019].

Barnes, Cameron (2015). "The Use of altimetrics as a tool for measuring research impact". Australian academic & research libraries, vol. 46, no. 2, p. 121–134. <https://doi.org/10.1080/00048623.2014.1003174>. [Consulta: 19/11/2019].

Bertin, Patrícia (2008). "A Three-phase model proposal for the evolution of scientific communication: From first print periodicals to current electronic communication system". Transinformação, vol. 20, n.º 1, p. 17–28. <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-37862008000100002&lng=en&nrm=iso >. [Consulta: 18/11/2019].

Björneborn, Lennart; Ingwersen, Peter (2004). "Toward a basic framework for webometrics". Journal of the American Society for Information Science and Technology, vol. 55, no. 14, p. 1216–1227.

Bucchi, Massimiano (2008). "Of deficits, deviations and dialogues: Theories of public communication of science". En: Bucchi, Massimiano; Trench, Brian (ed.). Handbook of public communication of science and technology. London: Routledge, p. 57–76.

Bucchi, Massimiano; Trench, Brian (2014). "Science communication research: Themes and challenges". En: Bucchi, Massimiano; Trench, Brian (ed.). Handbook of public communication of science and technology. 2nd ed. London: Routledge.

Bush, Vannevar (1945). Science, the endless frontier. Washington, DC: National Science Foundation. <https://archive.org/details/scienceendlessfr00unit/page/n0>. [Consulta: 18/11/2019].

Bueno, Wilson da Costa (2010). "Comunicação científica e divulgação científica: aproximações e rupturas conceituais". Informação & informação, n.º 15, p. 1–12. <http://www.uel.br/revistas/uel/index.php/informacao/article/view/6585>.  [Consulta: 18/11/2019].

Castells, Manuel (2008). "The New public sphere: Global civil society, communication networks, and global governance". The Annals of the American Academy of Political and Social Science, no. 616, p. 78–93.

Embrapa (2017a). Quem somos. <https://www.embrapa.br/pt/web/portal/quem-somos>. [Consulta: 19/11/2019].

— (2017b). Embrapa em números. Brasília, DF: Secretaria de Comunicação. <https://www.embrapa.br/documents/10180/1600893/Embrapa+em+N%C3%BAmeros/7624614b-ff8c-40c0-a87f-c9f00cd0a832>. [Consulta: 19/11/2019].

— (2017c). Balanço social. Brasília, DF: Secretaria de Comunicação – Secom; Secretaria de Gestão e Desenvolvimento Institucional – SGI. <http://bs.sede.embrapa.br/2016/balancosocialembrapa2016web.pdf>. [Consulta: 04/10/2017].

Epstein, Isaac (2012). "Comunicação da ciência: rumo a uma teoria da divulgação científica". Organicom: Revista brasileira de comunicação organizacional e relações públicas, vol. 9, n.º 16/17, p. 19–38.

Etzkowitz, Henry; Leydesdorff, Loet (1995). "The Triple helix – University-industry-government relations: A laboratory for knowledge based economic development". EASST Review, no. 14, p. 14–19.

— (2000). "The Dynamics of innovation: From National Systems and 'Mode 2' to a Triple Helix of university-industry-government relations". Research policy, no. 29, p. 10–123.

Fonseca Júnior, Wilson Corrêa da (2014). "Relações internacionais, ciência e tecnologia, comunicação: interfaces e perspectivas". Cadernos de ciência e tecnologia, vol. 31, n.º 1, p. 77–98. <https://seer.sct.embrapa.br/index.php/cct/article/view/19444>. [Consulta: 19/11/2019].

Fonseca Júnior, Wilson Corrêa da; Fragalle, Edilson Pepino; Silva, Heloiza Dias da; Penteado Filho, Roberto de Camargo (2009). "A Comunicação na Embrapa: do difusionismo à comunicação como inteligência organizacional". Prisma.com: Revista de ciências e tecnologias de informação e comunicação, n.º 8, p. 77–92. <http://ojs.letras.up.pt/index.php/prismacom/article/view/2062>. [Consulta: 19/11/2019].

Freeman, Chris (1995). "The 'National System of Innovation' in historical perspective". Cambridge journal of economics, no. 19, p. 5–24. <http://www.ie.ufrj.br/intranet/ie/userintranet/hpp/arquivos/101120164328_Freeman1995TheNationalSystemofInnovationinHistoricalPerspectiveCamb.J.Econ.524.pdf>. [Consulta: 18/11/2019].

Gibbons, Michael; Limoges, Camille; Nowotny, Helga; Schwartzman, Simon; Scott, Peter; Trow, Martin (1996). The New production of knowledge: The dynamics of science and research in contemporary societies. London: Sage.

Gil, Antonio Carlos (2018). Métodos e técnicas de pesquisa social. São Paulo: Atlas.

Godin, Benoit (2003). "The Emergence of S&T indicators: Why did governments supplement statistics with indicators". Research policy, no. 32, p. 679–691.

— (2006). "On the origins of bibliometrics". Scientometrics, vol. 68, no. 1, p. 109–133.

— (2007). "Science, accounting and statistics: The input-output framework". Research policy, no. 36, p. 1388–1403.

González-Valiente, Carlos Luis; Pacheco-Mendoza, Josmel; Arenciba-Jorge, Ricardo (2016). "A Review of altmetrics as an emerging discipline for research evaluation". Learned publishing, no. 29, p. 229–238. <https://onlinelibrary.wiley.com/doi/pdf/10.1002/leap.1043>. [Consulta: 19/11/2019]. 

Hicks, Diana; Wouters, Paul; Waltman, Ludo; De Rijcke, Sara; Rafols, Ismael (2015). "The Leiden Manifesto for research metrics". Nature, vol. 520 (23 April 2015), p. 429–431. <http://www.nature.com/polopoly_fs/1.17351!/menu/main/topColumns/topLeftColumn/pdf/520429a.pdf>. [Consulta: 18/11/2019].

Hood, William W.; Wilson, Concepción S. (2001). "The Literature of bibliometrics, scientometrics, and informetrics". Scientometrics, vol. 52, no. 2, p. 291–314.

Joly, Pierre-Benoit; Colinet, Lawrence; Gaunand, Ariane; Lemarié, Stéphane; Matt, Mireille (2016), "Agricultural research impact assessment: Issues, methods and challenges". OECD - Food, agriculture and fisheries papers, no. 98. <http://dx.doi.org/10.1787/5339e165-en>. [Consulta: 19/11/2019].

Khayyat, T. Nabaz; Lee, Jeong-Dong (2015). "A Measure of technological capabilities for developing countries". Technological forecasting & social change, no. 92, p. 210–233.

Leydesdorff, Loet (2003). "The Mutual information of university-industry-government relations: An indicator of the Triple Helix dynamics". Scientometrics. vol. 58, no. 2, p. 445–467.

Liu, Jianguo; Mooney, Harold; Hull, Vanessa; Davis, Steven J.; Gaskell, Joanne; Hertel, Thomas; Lubchenco, Jane; Seto, Karen C.; Gleick, Peter; Kremen, Claire; Li, Shuxin (2015). "Systems integration for global sustainability". Science, vol. 347, no. 6225, p. 963–971. <https://science.sciencemag.org/content/sci/347/6225/1258832.full.pdf>. [Consulta: 18/11/2019].

Magnoli, Demétrio (2004). Relações internacionais: teoria e história. São Paulo: Saraiva.

Maricato, João de Melo; Martins, Dalton Lopes (2017). "Altmetria: complexidades, desafios e novas formas de mensuração e compreensão da comunicação científica na web social". Biblios, n.º 68.  <https://biblios.pitt.edu/ojs/index.php/biblios/article/view/358/309>. [Consulta: 19/11/2019].

Packer, Abel Laerte; Tardelli, Adalberto Otranto; Castro, Regina Célia Figueiredo (2007). "A distribuição do conhecimento científico público em informação, comunicação e informática em saúde indexado nas bases de dados MEDLINE e LILACS". Ciência e saúde coletiva, vol. 12, n.º 3, p. 587–599. <http://www.scielo.br/pdf/csc/v12n3/09.pdf>. [Consulta: 18/11/2019].

Penteado Filho, Roberto de Camargo; Avila, Antonio Flavio Dias (2009). Embrapa Brasil: análise bibliométrica dos artigos na Web of Science: (1977-2006). Brasília, DF: Embrapa Informação Tecnológica.

Penteado Filho, Roberto de Camargo; Fonseca Júnior, Wilson Corrêa da; Avila, Antonio Flavio Dias (2017). Perfil da produção de artigos da Embrapa entre 2007 e 2015: oportunidades e desafios. Brasília, DF: Embrapa, Secretaria de Gestão e Desenvolvimento Institucional – SGI. (Documentos; 17). <https://www.embrapa.br/busca-de-publicacoes/-/publicacao/1067799/perfil-da-producao-de-artigos-da-embrapa-entre-2007-e-2015-oportunidades-e-desafios>. [Consulta: 18/11/2019].

Roemer, Robin Chin; Borchardt, Rachel (2015). "Introduction do altmetrics". Library technology reports, vol. 51, no. 5, p. 5–10.

Santos, Solange Maria dos (2015). O desempenho das universidades brasileiras nos rankings internacionais: áreas de destaque da produção científica brasileira. [Tese de doutorado]. São Paulo: Universidade de São Paulo – USP. <http://www.capes.gov.br/images/stories/download/pct/2016/Teses-Premiadas/Ciencias-Sociais-Aplicadas-Solange-Maria-dos-Santos.PDF>. [Consulta: 18/11/2019].

Stokes, Donald E. (1997). Pasteur's quadrant: Basic science and technological innovation. Washington, DC: The Brookings Institution.

— (2005). O quadrante de Pasteur: a ciência básica e a inovação tecnológica. Campinas, SP: Editora da Unicamp.

Fonseca Júnior, Wilson Corrêa da; Penteado Filho, Roberto de Camargo; Avila, Antonio Favio Dias; Costa Cardoso, Claudio (2019). "A avaliação biblioemétrica de instituições de pesquisa para além da comunicação científica : o caso Embrapa". BiD: textos universitaris de biblioteconomia i documentació, núm. 43 (desembre). <http://bid.ub.edu/es/43/fonseca.htm>. DOI: https://dx.doi.org/10.1344/BiD2019.43.20 [Consulta: 15-07-2020].

 

Temària