A avaliação bibliométrica de instituições de pesquisa para além da comunicação científica: o caso Embrapa

1 Introdução

Artigos originais (articles), artigos de revisão (reviews) e publicações de trabalhos em eventos científicos (proceeding papers), entre outros documentos, costumam representar grande parte do conhecimento codificado de um país e de suas organizações de ensino e pesquisa, além de fornecerem dados relevantes para análises de seu desempenho em ciência e tecnologia (C&T). Eles são adotados internacionalmente como importantes fontes de informação devido a, pelo menos, três fatores: a) à contribuição histórica dos estudos bibliométricos, que remontam ao final do século xix (Hood; Wilson, 2001; Godin, 2003; Björneborn; Ingwersen, 2004; Godin, 2006); b) ao empenho de instituições nacionais e internacionais na criação de indicadores de C&T a partir da década de 1950 (Godin, 2003; 2007) e c) à emergência, na década de 1990, de uma indústria de informação em ciência e tecnologia ancorada em bases de dados informatizadas (Packer et al., 2007).

De fato, com a emergência da internet, a Comunicação Científica vem passando por profundas transformações tais como o surgimento dos periódicos digitais, a criação de repositórios da web e a discussão mundial sobre o acesso à livre informação científica (Bertin, 2008). Situação similar ocorre com os estudos bibliométricos diante do surgimento de áreas cada vez mais especializadas, tais como a cibermetria (cybermetrics), a webometria (webometrics) e a altmetria (altmetrics) (Björneborn; Ingwersen, 2004; Roemer; Borchardt, 2015). Essas transformações representam um grande desafio para as organizações de ensino e pesquisa no desenvolvimento de seus sistemas de avaliação de desempenho, somadas às crescentes pressões externas de iniciativas similares por parte de organismos e programas internacionais (Archibugi; Coco, 2005; Kayyat; Lee, 2015), rankings acadêmicos mundiais (Santos, 2015) e sistemas de avaliação governamentais (Penteado Filho et al., 2017).

A maioria dos índices de avaliação de desempenho desenvolvidos por essas instituições é composta por subindicadores bibliométricos, alguns dos quais não se restringem à análise de documentos estritamente científicos. Exemplos nesse sentido são o Webometrics Ranking, proposto pelo Cybermetrics Lab do Consejo Superior de Investigaciones Científicas (CSIC), e o SCImago Institutions Rankings (SIR), criado pelo grupo Scimago, ambos da Espanha, que incorporam subindicadores tais como o número de links externos que o domínio de uma instituição recebe dos demais sites (Santos, 2015).

Diante de seu crescimento e da pressão cada vez maior que essas iniciativas exercem sobre as instituições de C&T e inovação, a comunidade científica vem se posicionando quanto à adoção de indicadores quantitativos sem o devido critério ou interpretação. Este é o caso, por exemplo, do "Manifesto de Leiden sobre Métricas de Pesquisa" (Hicks et al., 2015), em que um grupo de cientistas propõe dez princípios sobre a avaliação de pesquisa baseada em indicadores. Na descrição desses princípios os autores recomendam, por exemplo, que a mensuração de desempenho deve ser realizada de acordo com a missão da instituição e que é preciso proteger a excelência da pesquisa localmente relevante.

Esse contexto também representa um desafio para instituições de pesquisa como a Empresa Brasileira de Pesquisa Agropecuária – Embrapa. Desde sua criação em 1973 e, especialmente, a partir da década de 1990, essa organização tem sido cada vez mais demandada pelo governo, pela imprensa, por associações de produtores rurais e por diversos outros segmentos a justificar os recursos governamentais investidos em sua atuação (Penteado Filho et al., 2017; Embrapa, 2017c). O atendimento a essa demanda requer da Embrapa, e certamente de outras instituições similares, a ampliação de seus indicadores bibliométricos para além da comunicação estritamente científica, entre outras iniciativas.

Para que isso aconteça, é necessária a superação de um duplo desafio: sob a perspectiva epistemológica, é preciso que o ambiente científico desfaça seus últimos laços com a visão unidirecional de Vanevar Bush (1890–1974) sobre a relação entre ciência, sistemas de inovação e sociedade, por meio da adoção de outros referenciais teóricos e metodológicos, já disponíveis na literatura (Freeman, 1995; Gibbons et al., 1996; Etzkowitz; Leydesdorff, 1995; 2000; Leydesdorff, 2003; Stokes, 1997; 2005). Essa mudança de paradigma, aplicada à gestão, pode ampliar a relação dialógica entre as instituições de C&T (universidades, organizações de pesquisa), suas unidades (faculdades, centros de pesquisa) e respectivos ambientes. Sob a perspectiva metódica, é preciso avaliar os resultados e impactos dessa relação com a criação de indicadores e índices bibliométricos adequados, além de contemplá-los em um sistema de avaliação mais abrangente.

Este artigo é uma contribuição inicial sobre o assunto. Trata-se de uma pesquisa exploratória, cuja finalidade é formular problemas mais precisos para estudos posteriores (Gil, 2018) sobre o papel da pesquisa bibliométrica em sistemas de avaliação de desempenho. Para isso, associa alguns referenciais teóricos sobre a organização da pesquisa científica e a comunicação em C&T a um caso concreto de avaliação de desempenho institucional. A principal pergunta que norteou este trabalho foi: em que medida o desempenho de diferentes centros de pesquisa de uma mesma instituição de C&T pode ser comparado quando se leva em consideração distintos corpora de pesquisa? Neste estudo, esses diferentes corpora estão representados pelos dados sobre resultados e impactos de um conjunto de artigos científicos e pelos dados de downloads de um conjunto de documentos técnico-científicos produzidos pela Embrapa.

2 Metodologia

A estratégia metodológica adotada neste estudo foi realizar, inicialmente, uma revisão bibliográfica sobre a relação entre ciência e sociedade e suas decorrências para a pesquisa bibliométrica. Num segundo momento, foi avaliada a produção científica da Embrapa com o estudo bibliométrico de 19.343 artigos e artigos de revisão registrados na base de dados Web of Science baixados no dia 25/07/2017. Para a análise de downloads de publicações técnico-científicas foram considerados os documentos cadastrados e baixados do repositório Base de Dados da Pesquisa Agropecuária da Embrapa - BDPA no período de 2011 a 2016, disponível na internet. Ambas as análises contribuíram para a avaliação de desempenho de 42 centros de pesquisa da instituição.

3 A superação do modelo linear de pesquisa

O paradigma tradicional da ciência remonta ao final da Segunda Guerra Mundial. Foi nesse período que o engenheiro e político norte-americano Vannevar Bush (1890–1974) publicou seu clássico estudo Science: The endless frontier (Bush, 1945), em que propõe um modelo conceitual sobre o relacionamento entre a ciência fundamental e a inovação tecnológica. Trata-se de um modelo linear em que pesquisa básica, realizada sem finalidade prática com o objetivo de produzir conhecimento em geral, é considerada precursora do progresso tecnológico ao contribuir para a ciência aplicada, ao desenvolvimento e à inovação.

Embora esse modelo seja ainda hoje adotado, mesmo com adaptações, para a elaboração de índices de avaliação de desempenho em C&T e inovação, seus princípios vêm sendo revistos, pelo menos, desde os anos de 1980 e 1990 pela comunidade científica. Entre as contribuições mais conhecidas nesse sentido encontra-se o modelo de quadrantes de Stokes, proposto em 1997, que organiza as diversas formas da pesquisa científica em quatro variantes, de acordo com os objetivos de entendimento fundamental e de considerações de uso: pesquisa básica pura; pesquisa inspirada pelo uso; pesquisa aplicada pura; e pesquisa não inspirada pelo entendimento, nem pelo uso, mas motivada pela curiosidade por fatos particulares (Stokes, 1997; 2005).

Outra contribuição importante é o estudo de Gibbons et al. (1996), que também questiona a divisão tradicional entre ciência e tecnologia por considerar a pesquisa básica inseparável do desenvolvimento tecnológico. Ao se dedicarem à compreensão das condições sociais de produção e uso da ciência, esses autores propuseram dois modelos para caracterizar as mudanças ocorridas no século xx nas formas de produção do conhecimento: o modelo 1, considerado tradicional, e o modelo 2, que representa uma nova visão. No modelo tradicional, associado à concepção de Bush, o conhecimento é disciplinar e definido pelas normas sociais que governam a pesquisa básica (ou seja, a ciência acadêmica) e seu controle da qualidade é marcado pela revisão entre pares. No modelo alternativo o conhecimento é transdisciplinar, se destina a ser útil a alguém (indústria, governo, sociedade em geral), é produzido em contínua negociação com diversos segmentos socais e seu controle da qualidade incorpora um amplo leque de critérios adicionais.

Ainda nesse período foi desenvolvido o conceito de sistema nacional de inovação, visando a compreensão do amplo conjunto de fatores que moldam a capacidade de inovação dos diversos países. Em artigo sobre o tema, Freeman (1995) defende que, embora as conexões internacionais sejam de importância crescente, as redes de relacionamento dos sistemas nacionais e regionais de inovação continuam a ser um domínio essencial da análise econômica. Assim, o progresso tecnológico de um país é o resultado coordenado entre setores público e privado, por meio de políticas governamentais, do sistema de ensino e pesquisa, das relações industriais, das tradições culturais e de muitas outras instituições nacionais (Freeman, 1995; Liu et al., 2015).

Outra alternativa, que leva em consideração as visões anteriores, foi proposta por Etzkowitz e Leydesdorff (1995) ao conceberem um modelo de hélice tripla —comumente adotado na biologia para modelar a relação entre genes, organismos e ambientes— visando analisar as relações entre universidade, indústria e governo na geração de conhecimento baseado em sistemas de inovação. Esse modelo é traduzido, no âmbito na bibliometria, pela mensuração das relações entre essas três instituições, a partir de dados disponíveis na internet, obtidos por intermédio de motores de busca. Esses dados são tratados estatisticamente com o uso da análise de redes, com base nas ocorrências e coocorrências entre as palavras universidade, indústria e governo (Leydesdorff, 2003).

4 Da comunicação científica à comunicação em ciência e tecnologia

Apesar da contribuição de estudos como os de Etzkowitz e Leydesdorff (1995) e de Leydesdorff (2003), a adoção da pesquisa bibliométrica na avaliação de instituições de ensino e pesquisa ainda está centrada na análise de documentos produzidos no âmbito da Comunicação Científica. Historicamente, a Comunicação Científica (Scientific Communication), é concebida como uma das duas vertentes da Comunicação da Ciência (Science Communication). A outra vertente é a Comunicação Pública da Ciência e Tecnologia (Public Communication of Science and Technology), também conhecida como divulgação ou popularização da ciência (Bucchi, 2008; Bucchi; Trench, 2014; Bueno, 2010; Epstein, 2012).

De acordo com a revisão elaborada por Fonseca Júnior (2014, p. 93), "essas duas formas de comunicação, podem convergir em alguns aspectos e divergir em outros, mas a relação entre ambas costuma ser assimétrica". Assim como ocorre com o esquema de Bush, o modelo de comunicação vigente no âmbito da ciência geralmente percorre um caminho unidirecional, em que o conhecimento validado pela comunidade científica e expresso em revistas especializadas é fonte indispensável para a divulgação científica, a qual se realiza por intermédio de jornais, internet, museus de ciência, etc.

Essa visão de comunicação, denominada por Bucchi (2008) de "concepção difusionista", parte da premissa que a informação científica é pouco compreendida pelo público em geral, cujo padrão de ignorância para com a ciência deve ser combatido pela comunicação adequada. A influência no sentido oposto, ou seja, da sociedade sobre a ciência, costuma não ser considerada.    

Nas últimas décadas, no entanto, estudos passaram a considerar esse fluxo inverso, como o de Phillips (1991, citado por Bucchi, 2008), por exemplo, que registra o aumento do número de citações interpares de determinado artigo científico a partir de sua divulgação em veículos da imprensa internacional. Em sentido amplo, outras contribuições (Bueno, 2010; Fonseca Júnior, 2014) demonstram que as atividades de pesquisa, comunicação científica e divulgação científica são cada vez mais afetadas por interesses comerciais, jurídicos, sociais, militares e religiosos, entre outros. Tais interesses são muitas vezes conflitantes, como é o caso dos debates sobre a regulamentação do uso de células-tronco pela ciência ou da pesquisa e produção de alimentos geneticamente modificados.

A emergência das novas tecnologias de comunicação também levou à transformação da relação entre ciência e sociedade, com a crescente fragmentação dos públicos e das mídias, além de alterar a própria noção de público, até então formado, em sua grande maioria, por leitores ou espectadores passivos da ciência, intermediados pelos meios de comunicação de massa (jornais e revistas, programas de rádio e de televisão) (Bucchi; Trench, 2014). As novas tecnologias possibilitaram, por um lado, a formação de grupos de pressão institucionalizados e de movimentos sociais conectados em rede, que passaram a democratizar o debate sobre vários temas, inclusive ciência e tecnologia (Magnoli, 2004; Castells, 2013). Por outro lado, essas tecnologias também permitiram às instituições científicas a produção de uma variedade de conteúdos textuais e audiovisuais, com sua respectiva difusão em sites da internet e, particularmente, por intermédio das mídias sociais (Bucchi; Trench, 2014). Ou seja, as instituições científicas nunca estiveram tão expostas a seu ambiente como nos dias atuais, sendo que, historicamente, os investimentos públicos em pesquisa sempre dependeram do apoio da sociedade (Stokes, 2005).

Diante desse novo contexto, o estudo da comunicação no âmbito de C&T, de acordo com Fonseca Júnior (2014), precisa superar as abordagens tradicionais da comunicação científica e divulgação científica para contemplar as múltiplas interações entre ciência e sociedade, por intermédio das diversas mídias, público e conteúdos. Portanto, se as atividades científicas, seus efeitos e implicações são indissociáveis da vida social, então não se pode mais falar em comunicação "da" ciência, mas sim de comunicação "em" (relacionada "a", no contexto "da") ciência e tecnologia (Fonseca Júnior, 2014).

5 Novos paradigmas para a bibliometria e a avaliação de desempenho

Essa mudança de paradigma possui profundas implicações para os estudos bibliométricos, que agora precisam contribuir, com os recursos tecnológicos e de informação atualmente disponíveis, para a compreensão das influências recíprocas entre as iniciativas públicas e empresariais em C&T (políticas de C&T, programas e portfólios de pesquisa), os resultados decorrentes diretamente da pesquisa científica (publicações científicas, patentes, produtos e serviços), a atuação mais ampla de pesquisadores e instituições científicas na sociedade (artigos jornalísticos, manuais técnicos, vídeos educativos, inserções em mídias sociais, blogs, etc.) e as manifestações sociais sobre iniciativas ou resultados em C&T (downloads de publicações, posts em mídias sociais, reportagens jornalísticas, blogs, etc.).

O surgimento de áreas cada vez mais especializadas no âmbito das Ciências da Informação, tais como a webometria (webometrics) e, especialmente, a altmetria (altmetrics) vem atender boa parte dessas necessidades. Enquanto a webometria se dedica à análise dos aspectos quantitativos relacionados à web, a altimetria propõe métricas alternativas para avaliar a divulgação e compartilhamento de trabalhos acadêmicos, o uso e expansão de termos científicos, a interação entre pares e entre estes com os demais públicos, bem como outros fenômenos similares manifestados, muitas vezes, nas mídias sociais (Björneborn; Ingwersen, 2004; Roemer; Borchardt, 2015; Barnes, 2015).

Tratam-se, no entanto, de áreas recentes. No caso da altmetria, por exemplo, González-Valiente et al. (2016) levantaram nas bases de dados Scopus e Web of Science o número de artigos com menção a essa palavra por ano. Eles descobriram que a primeira menção à altmetria se deve a um artigo publicado em 2005, mas que a produção científica sobre o tema aumentou significativamente a partir de 2012, com 19 artigos, chegando em 2015 com 96 artigos. Nesse levantamento, os principais descritores encontrados, agrupados por clusters, são social media, social networking (online), information systems, research impact e information services.

Apesar do potencial das métricas alternativas para a avaliação dos fluxos de informação e da influência recíproca entre ciência e sociedade, estudos como o de Maricato e Martins (2017) ainda reproduzem, mesmo que parcialmente, a concepção unidirecional sobre a organização da ciência e a comunicação científica. Ao valorizarem a comunicação científica como núcleo central dos estudos bibliométricos, eles afirmam que "as altmetrias abrangem a socialização de diversos resultados de pesquisas científicas (grifo nosso), registradas em diferentes fontes, por variados atores sociais, nas mais diversas mídias e redes sociais, meios de comunicação e ferramentas de gerenciamento de referências". Por outro lado, ao considerarem a transversalidade das metrias aplicadas a diferentes mídias, bem como a conexão entre as Ciências da Informação e demais campos do conhecimento, esses autores abrem espaço para a construção de indicadores bibliométricos mais adequados às instituições científicas, bem como sua inserção em sistemas e de avaliação de desempenho. Este é o desafio imediato da pesquisa bibliométrica no âmbito da Embrapa.

6 A atuação da Embrapa em comunicação e avaliação de desempenho

A Empresa Brasileira de Pesquisa Agropecuária (Embrapa), órgão vinculado ao Ministério da Agricultura, Pecuária e Abastecimento (MAPA), foi criada em 1973 e possui atualmente 9.713 empregados, dos quais 2.430 pesquisadores, sendo 312 (12,75 %) com mestrado, 1.816 (74,18 %) com doutorado e 302 (12,34 %) com pós-doutorado. A Embrapa possui sua sede em Brasília e 42 centros de pesquisa distribuídos em todo o território brasileiro, organizados em centros temáticos (que trabalham com assuntos específicos e em áreas situadas na fronteira do conhecimento, tais como Informática, Nanotecnologia e Agricultura de Precisão), centros de produto animal (Caprinos e Ovinos, Gado de Corte, Pesca e Aquicultura, Suínos e Aves, entre outros), centros de produto vegetal (Algodão, Arroz e Feijão, Soja, Trigo, etc.) e centros ecorregionais (que buscam soluções tecnológicas para o desenvolvimento sustentável dos diferentes ecossistemas nacionais, tais como a Amazônia, Cerrados e Pantanal) (Embrapa, 2017a).

No início dos anos de 1990 a Embrapa passou por profundas mudanças organizacionais, diante das demandas de seu ambiente interno e das transformações em curso no país e no mundo. A primeira iniciativa nesse sentido foi ampliar sua missão —até então dedicada à realização de pesquisas para o aumento da produtividade no campo— de forma a englobar toda a cadeia produtiva do agronegócio e atender aos interesses de toda a sociedade brasileira. Em decorrência dessa nova missão, o perfil da comunicação da Embrapa —então concentrado na comunicação científica e na difusão de tecnologias aos produtores rurais— passou a contemplar diversos segmentos sociais e diversas modalidades de comunicação (administrativa, científica, governamental, mercadológica, social e comunicação para transferência de tecnologia), ampliando o foco para as comunidades urbanas (Fonseca Júnior et al., 2009).

O atual modelo de avaliação de desempenho da Embrapa é o resultado de um processo com duas décadas de aplicação e em constante aperfeiçoamento. Sua principal característica é a multidimensionalidade, ao contemplar critérios de Eficácia (cumprimento de metas - obtenção de produtos), Eficiência (produtos obtidos x custos de sua obtenção) e de Efetividade (adoção/uso dos produtos e/ou processos desenvolvidos e seus respectivos impactos). Entre os critérios e indicadores de desempenho atualmente contemplados no processo de avaliação de desempenho institucional da Empresa se encontram sua produção técnica e técnico-científica, bem como seu uso pela sociedade, conforme apresentado na Tabela 1.

Tabela 1. Critérios e Indicadores de Avaliação de Desempenho em uso na Embrapa, 2017–2018

Os resultados decorrentes da análise de eficiência (Avila et al., 2013) e das avaliações de impacto (Avila et al., 2008; 2015) são publicados anualmente, desde 1997, em seu Balanço Social (Figura 1). Essa publicação é, portanto, decorrência de dois processos: a realização de estudos de avaliação de impactos a partir da década de 1980 e a implantação, da política de comunicação da Embrapa na década de 1990 (Embrapa, 2017c). Em estudo comparativo internacional sobre sistemas de avaliação de impacto da pesquisa agropecuária conduzido por Joly et al. (2016), a Embrapa se destaca entre instituições similares por sua longa tradição de avaliação, associada à publicação periódica de um Balanço Social.

Figura 1 – Balanço Social da Embrapa

7 O desempenho da Embrapa em sua produção científica

No âmbito de sua produção científica a Embrapa está entre as instituições líderes do Brasil. A história dessa produção, indexada na base de dados Web of Science (WoS), apresenta algumas datas-chave. A primeira delas ocorreu em 1997, quando ultrapassou a barreira dos 200 artigos anuais. Em 1996, a Embrapa adotou um sistema de avaliação institucional onde a meta —publicação de artigos científicos— foi priorizada. A segunda é 2007, quando houve um salto inédito no volume de produção de artigos para 854. Esse comportamento também se repetiu em 2008 com 1.056 artigos, e em 2011 com 1.321. Os anos de 2014, 2015 e 2016 oscilaram, respectivamente, de 1.533 para 1.489 e 1.630 artigos científicos. Uma síntese desse histórico é apresentada na Figura 2.

Figura 2. Produção de artigos científicos da Embrapa 1977–2016

Deve-se ressaltar que a base WoS contém apenas cerca de 30 % de toda a produção científica da Embrapa (Penteado Filho; Avila, 2009). Essa produção, portanto, é bem maior do que a captada pela base de dados referenciada e vinculada à produção científica. Na Tabela 2 são apresentados os centros classificados de acordo com a produção de artigos presentes na WoS no ano de 2016 e também em todo o período (1977–2016), conforme pode ser verificado na coluna "Total*". Neste caso, os centros que lideram a produção científica em todo o período são os que trabalham com recursos genéticos e biotecnologia (1.965 artigos), com gado de leite (1.045 artigos), com arroz e feijão (1.011 artigos) e com soja (1.010 artigos). No entanto, nessa mesma tabela, na coluna referente apenas ao ano de 2016, essa ordem se modifica para os centros de Recursos Genéticos e Biotecnologia (125 artigos), Pecuária da Região Sul (116 artigos), Instrumentação Agropecuária (94 artigos) e Florestas (83 artigos).

Tabela 2. Artigos por centro de pesquisa da Embrapa entre 2011 e 2016 e total de artigos no período 1977 a 2016

Além da produção científica, a classificação dos centros da Embrapa pelo número de citações permite uma melhor compreensão sobre sua diversidade. A Tabela 3 está ordenada pelo número de citações por artigo em cada centro de pesquisa (última coluna), mas contêm outros dois rankings (pelo número de citações e pelo número de artigos). Neste caso, o centro de pesquisa da Embrapa que liderava pelo número de artigos e pelo número de citações (Embrapa Recursos Genéticos e Biotecnologia) passou a ocupar a quarta posição. Os três primeiros lugares são agora ocupados por centros de pesquisa com menor produção, mas com maior número de citações: Embrapa Agrobiologia, Embrapa Amazônia Oriental e Embrapa Monitoramento por Satélite. O resultado dessa comparação permite concluir que os indicadores de avaliação institucional devem ser selecionados com cautela no sentido de buscar maior equidade entre o conjunto a ser avaliado.

Tabela 3. Rankings por número de artigos, número de citações e número de citações por artigo, por centro de pesquisa da Embrapa, 1977–2016

8 O impacto dos downloads de publicações técnicas

O interesse da Embrapa pela avaliação de seu desempenho em publicações técnicas não é recente. Na realidade, conforme estudo anterior (Penteado et al., 2017), seus centros de pesquisa chegaram a ser avaliados entre 1996 e 2009, por intermédio de seu Sistema de Avaliação de Unidades (SAU), pelo número de títulos produzidos. Porém, o surgimento das novas tecnologias de informação e comunicação colocou essa diversidade de produtos em evidência ao ser disponibilizada em meios eletrônicos, com a possibilidade de se avaliar o interesse dos diversos públicos da instituição pelo número de downloads. Esse novo contexto ampliou a reflexão da Embrapa sobre os papéis desempenhados por esses produtos no cumprimento de sua missão.

A avaliação do desempenho pelo número de downloads de publicações técnicas é uma métrica recentemente incorporada pela Embrapa. Neste caso, o desempenho de seus centros de pesquisa apresenta outra configuração, quando comparado com os resultados de sua produção científica. Na avaliação dos dados disponíveis entre 2011 e 2016, a Embrapa atingiu 68,9 milhões de downloads, cujo conteúdo contempla, em sua maior parte, documentos elaborados para a extensão pública e privada de tecnologias e direcionadas aos produtores rurais (documentos, circulares técnicas, comunicados técnicos, coleções, manuais, boletins, livros técnicos, etc.).

Neste indicador, os centros de pesquisa da Embrapa com melhor desempenho são aqueles que atendem mais especificamente à função de transferência de tecnologia a pequenos e médios agricultores, tais como os centros ecorregionais (Semiárido e Amazônia Oriental) e de produtos (Milho e Sorgo, Florestas, Caprinos e Ovinos), além da Sede da Embrapa, que contempla publicações didáticas da editora e gráfica corporativa. Por outro lado, é interessante observar que os centros de pesquisa com melhor desempenho em publicações científicas (número de artigos e de citações, conforme a Tabela 3) e desempenho inferior em downloads (publicações técnicas) tendem a ser aqueles que atuam em temas relacionados à pesquisa em temas básicos (Recursos Genéticos e Biotecnologia; Instrumentação Agropecuária). Ou seja, documentos de diferentes tipos, dependendo de sua finalidade e do canal de comunicação em que são veiculados, tendem a atingir públicos distintos. Esse desempenho pode ser constatado na Tabela 4.

Tabela 4. Número de downloads por centro de pesquisa entre 2011 e 2016

Uma análise detalhada das demandas por essas publicações, refletidas pelo número de downloads, é mais uma evidência de que os resultados gerados pelas pesquisas da Embrapa estão sendo bem recebidos pelo setor produtivo. Os temas que registraram o maior número de downloads abrangem desde conceitos básicos em biologia molecular, passam pela produção de alface hidropônica, análise físico-química da água, criação de galinha caipira na agricultura familiar, preparo e uso de biofertilizantes líquidos, além da tecnologia para a produção de óleo de soja, entre outros, conforme pode ser constatado na Tabela 5.

Tabela 5. Publicações com mais downloads

Além disso, no atual modelo de avaliação de desempenho da Embrapa os resultados da produção e das citações de artigos científicos, bem como os downloads de produções científicas e técnico-científicas são ponderados pelo número de pesquisadores, conforme apresentados nas tabelas 6 e 7. A Tabela 6, classificada pelos índices de 2016 de artigos por pesquisador é liderada pelos seguintes centros da Embrapa: Pecuária Sul (3,63), Instrumentação (3,13), Pecuária Sudeste (1,32) e Soja (1,18).

Tabela 6. Índice de artigos por pesquisador por centro entre 2011 e 2016

Na Tabela 7, na classificação pelo índice de downloads por pesquisador, lideram os seguintes centros de pesquisa da Embrapa: Milho e Sorgo (11,9 mil), Semiárido (11,4 mil), Pecuária Sudeste (10,3 mil) e Caprinos e Ovinos (9,8 mil).

Tabela 7. Índices de produção, citação e downloads ponderados pelo número de pesquisadores

9 Conclusão

Os resultados encontrados nesse trabalho indicam que o desempenho das produções técnica e científica da Embrapa pode variar de acordo com o perfil de seus centros de pesquisa. Há centros que trabalham com temas relacionados à fronteira do conhecimento e possuem melhor desempenho na publicação de artigos em revistas internacionais, enquanto outros atuam na solução de problemas regionais ou produtos/animais específicos e se destacam pelo número de downloads de publicações técnicas necessárias ao uso imediato na agricultura.

Esses resultados levaram à reflexão interna e foram incorporados ao sistema de avaliação de desempenho da Embrapa, de forma a considerar as peculiaridades da atuação de seus centros de pesquisa no desenvolvimento de indicadores e bases bibliométricos. O atendimento a essa necessidade vem ao encontro de diversos princípios apresentados no Manifesto de Leiden sobre Métricas de Pesquisa (Hicks et al., 2015), tais como a realização da mensuração de desempenho de acordo com a missão da instituição e a proteção da pesquisa localmente relevante. Ao mesmo tempo em que são importantes para o aprimoramento do sistema de avaliação de desempenho da Embrapa, e certamente de outras instituições, esses resultados podem ser considerados modestos diante do potencial de aplicação da pesquisa bibliométrica na gestão de organizações de pesquisa.

A possibilidade de articulação entre diferentes métricas, adequadas à análise de dados produzidos pelos diversos segmentos envolvidos na relação entre ciência e sociedade, nas mais diversas mídias digitais, redes sociais e ferramentas de gerenciamento de referências (Maricato; Martins, 2017), representa uma grande esperança para a pesquisa bibliométrica, no sentido de ampliar seus horizontes no âmbito da gestão de instituições de ensino e pesquisa. Além de sua aplicação em sistemas de avaliação de desempenho, ela também pode colaborar, por exemplo, no desenvolvimento ou aprimoramento de sistemas de inteligência e de comunicação, entre outros. Para isso é preciso exercitar um olhar mais abrangente, que contemple os arranjos institucionais, os fluxos de informação e a influência recíproca entre ciência e sociedade. Esse exercício representa um grande desafio para a pesquisa bibliométrica e para a gestão das instituições de C&T, mas que vale a pena ser levado adiante.

Bibliografia

Archibugi, Daniele; Coco, Alberto (2005). "Measuring technological capabilities at the country level: A survey and a menu for choice". Research policy, vol. 34, no. 2, p. 175–194.

Avila, Antonio Flavio Dias; Gomes, Eliane Gonçalves; Souza, Geraldo da Silva; Penteado Filho, Roberto de Camargo (2013). Avaliação de desempenho de unidades de pesquisa agropecuária: métricas e resultados da experiência da Embrapa. Brasília, DF: Secretaria de Gestão Estratégica - SGE. <https://www.embrapa.br/busca-de-publicacoes/-/publicacao/957536/avaliacao-de-desempenho-de-unidades-de-pesquisa-agropecuaria-metricas-e-resultados-da-experiencia-da-embrapa>. [Consulta: 19/11/2019].

Avila, Antonio Flavio Dias; Robrigues, Geraldo Stachetti; Vedovoto, Graciela Luzia (ed.) (2008). Avaliação dos impactos de tecnologias geradas pela Embrapa: metodologia de referência. Brasília, DF: Embrapa Informação Tecnológica. <https://ainfo.cnptia.embrapa.br/digital/bitstream/item/132174/1/MetodologiaReferenciaAvalImpactoEmbrapa.pdf>. [Consulta: 19/11/2019].

Avila, Antonio Flavio Dias; Rodrigues, Geraldo Stachetti; Vedovoto, Graciela Luzia; Penteado Filho, Roberto de Camargo; Fonseca Júnior, Wilson Corrêa da (2015). "Embrapa experience on the impact assessment of agricultural R&D: 15 Years using a multidimensional approach". En: IMPAR CONFERENCE, 2015, Paris. Impacts of agricultural research: Towards an approach of societal values: Book of abstracts... Paris: INRA, 2015. <https://www.alice.cnptia.embrapa.br/alice/bitstream/doc/1036444/1/EmbrapaExperienceontheimpact.pdf>. [Consulta: 19/11/2019].

Barnes, Cameron (2015). "The Use of altimetrics as a tool for measuring research impact". Australian academic & research libraries, vol. 46, no. 2, p. 121–134. <https://doi.org/10.1080/00048623.2014.1003174>. [Consulta: 19/11/2019].

Bertin, Patrícia (2008). "A Three-phase model proposal for the evolution of scientific communication: From first print periodicals to current electronic communication system". Transinformação, vol. 20, n.º 1, p. 17–28. <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-37862008000100002&lng=en&nrm=iso >. [Consulta: 18/11/2019].

Björneborn, Lennart; Ingwersen, Peter (2004). "Toward a basic framework for webometrics". Journal of the American Society for Information Science and Technology, vol. 55, no. 14, p. 1216–1227.

Bucchi, Massimiano (2008). "Of deficits, deviations and dialogues: Theories of public communication of science". En: Bucchi, Massimiano; Trench, Brian (ed.). Handbook of public communication of science and technology. London: Routledge, p. 57–76.

Bucchi, Massimiano; Trench, Brian (2014). "Science communication research: Themes and challenges". En: Bucchi, Massimiano; Trench, Brian (ed.). Handbook of public communication of science and technology. 2nd ed. London: Routledge.

Bush, Vannevar (1945). Science, the endless frontier. Washington, DC: National Science Foundation. <https://archive.org/details/scienceendlessfr00unit/page/n0>. [Consulta: 18/11/2019].

Bueno, Wilson da Costa (2010). "Comunicação científica e divulgação científica: aproximações e rupturas conceituais". Informação & informação, n.º 15, p. 1–12. <http://www.uel.br/revistas/uel/index.php/informacao/article/view/6585>.  [Consulta: 18/11/2019].

Castells, Manuel (2008). "The New public sphere: Global civil society, communication networks, and global governance". The Annals of the American Academy of Political and Social Science, no. 616, p. 78–93.

Embrapa (2017a). Quem somos. <https://www.embrapa.br/pt/web/portal/quem-somos>. [Consulta: 19/11/2019].

— (2017b). Embrapa em números. Brasília, DF: Secretaria de Comunicação. <https://www.embrapa.br/documents/10180/1600893/Embrapa+em+N%C3%BAmeros/7624614b-ff8c-40c0-a87f-c9f00cd0a832>. [Consulta: 19/11/2019].

— (2017c). Balanço social. Brasília, DF: Secretaria de Comunicação – Secom; Secretaria de Gestão e Desenvolvimento Institucional – SGI. <http://bs.sede.embrapa.br/2016/balancosocialembrapa2016web.pdf>. [Consulta: 04/10/2017].

Epstein, Isaac (2012). "Comunicação da ciência: rumo a uma teoria da divulgação científica". Organicom: Revista brasileira de comunicação organizacional e relações públicas, vol. 9, n.º 16/17, p. 19–38.

Etzkowitz, Henry; Leydesdorff, Loet (1995). "The Triple helix – University-industry-government relations: A laboratory for knowledge based economic development". EASST Review, no. 14, p. 14–19.

— (2000). "The Dynamics of innovation: From National Systems and 'Mode 2' to a Triple Helix of university-industry-government relations". Research policy, no. 29, p. 10–123.

Fonseca Júnior, Wilson Corrêa da (2014). "Relações internacionais, ciência e tecnologia, comunicação: interfaces e perspectivas". Cadernos de ciência e tecnologia, vol. 31, n.º 1, p. 77–98. <https://seer.sct.embrapa.br/index.php/cct/article/view/19444>. [Consulta: 19/11/2019].

Fonseca Júnior, Wilson Corrêa da; Fragalle, Edilson Pepino; Silva, Heloiza Dias da; Penteado Filho, Roberto de Camargo (2009). "A Comunicação na Embrapa: do difusionismo à comunicação como inteligência organizacional". Prisma.com: Revista de ciências e tecnologias de informação e comunicação, n.º 8, p. 77–92. <http://ojs.letras.up.pt/index.php/prismacom/article/view/2062>. [Consulta: 19/11/2019].

Freeman, Chris (1995). "The 'National System of Innovation' in historical perspective". Cambridge journal of economics, no. 19, p. 5–24. <http://www.ie.ufrj.br/intranet/ie/userintranet/hpp/arquivos/101120164328_Freeman1995TheNationalSystemofInnovationinHistoricalPerspectiveCamb.J.Econ.524.pdf>. [Consulta: 18/11/2019].

Gibbons, Michael; Limoges, Camille; Nowotny, Helga; Schwartzman, Simon; Scott, Peter; Trow, Martin (1996). The New production of knowledge: The dynamics of science and research in contemporary societies. London: Sage.

Gil, Antonio Carlos (2018). Métodos e técnicas de pesquisa social. São Paulo: Atlas.

Godin, Benoit (2003). "The Emergence of S&T indicators: Why did governments supplement statistics with indicators". Research policy, no. 32, p. 679–691.

— (2006). "On the origins of bibliometrics". Scientometrics, vol. 68, no. 1, p. 109–133.

— (2007). "Science, accounting and statistics: The input-output framework". Research policy, no. 36, p. 1388–1403.

González-Valiente, Carlos Luis; Pacheco-Mendoza, Josmel; Arenciba-Jorge, Ricardo (2016). "A Review of altmetrics as an emerging discipline for research evaluation". Learned publishing, no. 29, p. 229–238. <https://onlinelibrary.wiley.com/doi/pdf/10.1002/leap.1043>. [Consulta: 19/11/2019]. 

Hicks, Diana; Wouters, Paul; Waltman, Ludo; De Rijcke, Sara; Rafols, Ismael (2015). "The Leiden Manifesto for research metrics". Nature, vol. 520 (23 April 2015), p. 429–431. <http://www.nature.com/polopoly_fs/1.17351!/menu/main/topColumns/topLeftColumn/pdf/520429a.pdf>. [Consulta: 18/11/2019].

Hood, William W.; Wilson, Concepción S. (2001). "The Literature of bibliometrics, scientometrics, and informetrics". Scientometrics, vol. 52, no. 2, p. 291–314.

Joly, Pierre-Benoit; Colinet, Lawrence; Gaunand, Ariane; Lemarié, Stéphane; Matt, Mireille (2016), "Agricultural research impact assessment: Issues, methods and challenges". OECD - Food, agriculture and fisheries papers, no. 98. <http://dx.doi.org/10.1787/5339e165-en>. [Consulta: 19/11/2019].

Khayyat, T. Nabaz; Lee, Jeong-Dong (2015). "A Measure of technological capabilities for developing countries". Technological forecasting & social change, no. 92, p. 210–233.

Leydesdorff, Loet (2003). "The Mutual information of university-industry-government relations: An indicator of the Triple Helix dynamics". Scientometrics. vol. 58, no. 2, p. 445–467.

Liu, Jianguo; Mooney, Harold; Hull, Vanessa; Davis, Steven J.; Gaskell, Joanne; Hertel, Thomas; Lubchenco, Jane; Seto, Karen C.; Gleick, Peter; Kremen, Claire; Li, Shuxin (2015). "Systems integration for global sustainability". Science, vol. 347, no. 6225, p. 963–971. <https://science.sciencemag.org/content/sci/347/6225/1258832.full.pdf>. [Consulta: 18/11/2019].

Magnoli, Demétrio (2004). Relações internacionais: teoria e história. São Paulo: Saraiva.

Maricato, João de Melo; Martins, Dalton Lopes (2017). "Altmetria: complexidades, desafios e novas formas de mensuração e compreensão da comunicação científica na web social". Biblios, n.º 68.  <https://biblios.pitt.edu/ojs/index.php/biblios/article/view/358/309>. [Consulta: 19/11/2019].

Packer, Abel Laerte; Tardelli, Adalberto Otranto; Castro, Regina Célia Figueiredo (2007). "A distribuição do conhecimento científico público em informação, comunicação e informática em saúde indexado nas bases de dados MEDLINE e LILACS". Ciência e saúde coletiva, vol. 12, n.º 3, p. 587–599. <http://www.scielo.br/pdf/csc/v12n3/09.pdf>. [Consulta: 18/11/2019].

Penteado Filho, Roberto de Camargo; Avila, Antonio Flavio Dias (2009). Embrapa Brasil: análise bibliométrica dos artigos na Web of Science: (1977-2006). Brasília, DF: Embrapa Informação Tecnológica.

Penteado Filho, Roberto de Camargo; Fonseca Júnior, Wilson Corrêa da; Avila, Antonio Flavio Dias (2017). Perfil da produção de artigos da Embrapa entre 2007 e 2015: oportunidades e desafios. Brasília, DF: Embrapa, Secretaria de Gestão e Desenvolvimento Institucional – SGI. (Documentos; 17). <https://www.embrapa.br/busca-de-publicacoes/-/publicacao/1067799/perfil-da-producao-de-artigos-da-embrapa-entre-2007-e-2015-oportunidades-e-desafios>. [Consulta: 18/11/2019].

Roemer, Robin Chin; Borchardt, Rachel (2015). "Introduction do altmetrics". Library technology reports, vol. 51, no. 5, p. 5–10.

Santos, Solange Maria dos (2015). O desempenho das universidades brasileiras nos rankings internacionais: áreas de destaque da produção científica brasileira. [Tese de doutorado]. São Paulo: Universidade de São Paulo – USP. <http://www.capes.gov.br/images/stories/download/pct/2016/Teses-Premiadas/Ciencias-Sociais-Aplicadas-Solange-Maria-dos-Santos.PDF>. [Consulta: 18/11/2019].

Stokes, Donald E. (1997). Pasteur's quadrant: Basic science and technological innovation. Washington, DC: The Brookings Institution.

— (2005). O quadrante de Pasteur: a ciência básica e a inovação tecnológica. Campinas, SP: Editora da Unicamp.