L’avaluació bibliomètrica d’institucions de recerca més enllà de la comunicació científica: el cas d’Embrapa
En les últimes dècades, el sorgiment de les noves tecnologies de la informació i la comunicació ha comportat l’ampliació dels estudis bibliomètrics més enllà dels productes de la comunicació científica (articles, ressenyes, etc.) amb la incorporació de l’anàlisi d’altres continguts (pàgines web, repositoris de publicacions tècniques, apunts en xarxes socials, etc.), per mitjà de l’analítica web i de la bibliometria alternativa. Aquest treball presenta les implicacions d’aquest canvi per a l’Empresa Brasileira de Pesquisa Agropecuária (Embrapa), que els últims anys ha passat a tenir en compte, en el seu sistema d’avaluació del rendiment, el nombre de citacions d’articles científics i el nombre de descàrregues de publicacions tècniques disponibles en el seu portal d’Internet. Com es pot veure en aquest article, els 42 centres de recerca de la institució presenten comportaments diferenciats pel que fa al rendiment en la producció exclusivament científica (nombre d’articles científics i de citacions) i en la producció tècnica (descàrregues de manuals, butlletins i altres publicacions). L’existència d’aquestes diferències està comportant que l’Embrapa consideri, en el seu sistema d’avaluació del rendiment, les particularitats dels seus centres de recerca, ja sigui en l’àmbit del procés de producció de coneixement i tecnologia, ja sigui en les formes de comunicació. A partir d’aquesta experiència, s’arriba a la conclusió que el desenvolupament d’indicadors bibliomètrics adequats per gestionar institucions d’ensenyament i recerca requereix una mirada àmplia, que tingui en compte els acords institucionals, els fluxos d’informació i la influència recíproca entre ciència i societat. — En las últimas décadas, el surgimiento de las nuevas tecnologías de la información y la comunicación ha supuesto la ampliación de los estudios bibliométricos más allá de los productos de la comunicación científica (artículos, reseñas, etc.) con la incorporación del análisis de otros contenidos (páginas web, repositorios de publicaciones técnicas, apuntes en redes sociales, etc.), por medio de la analítica web y de la bibliometría alternativa. Este trabajo presenta las implicaciones de este cambio para la empresa Brasileira de Pesquisa Agropecuária (Embrapa), que en los últimos años ha pasado a tener en cuenta, en su sistema de evaluación del rendimiento, el número de citas de artículos científicos y el número de descargas de publicaciones técnicas disponibles en su portal de Internet. Como se puede ver en este artículo, los 42 centros de investigación de la institución presentan comportamientos diferenciados en cuanto a su rendimiento en la producción exclusivamente científica (número de artículos científicos y de citas) y en la producción técnica (descargas de manuales, boletines y otras publicaciones). La existencia de estas diferencias está comportando que la Embrapa considere, en su sistema de evaluación del rendimiento, las particularidades de sus centros de investigación, ya sea en el ámbito del proceso de producción de conocimiento y tecnología, ya sea en las formas de comunicación. A partir de esta experiencia, se llega a la conclusión que el desarrollo de indicadores bibliométricos adecuados para la gestión de instituciones de enseñanza e investigación requiere una mirada amplia, que contemple los acuerdos institucionales, los flujos de información y la influencia recíproca entre ciencia y sociedad. — In recent decades, the emergence of new information and communication technologies has broadened the remit of bibliometric analysis. Bibliometrics are now used not only to assess products of scholarly communication such as articles or monographs, but to examine technology-related content such as web portals, repositories of technical publications or documents in social networks, which are studied with the help of web analytics and altmetrics. This paper examines the implications of this trend for the Brazilian Agricultural Research Corporation (Embrapa), whose criteria for assessing institutional performance have been extended in recent years to include the number of citations of scientific articles and downloads of the technical publications made available at the corporation’s web portal. As the paper shows, Embrapa’s 42 research centres do not all follow the same pattern in the production of scientific articles and citations, on the one hand, and of technical documents on the other (measured by downloads of manuals, bulletins and other publications). For this reason, Embrapa is beginning to tailor its system of performance assessment to the particularities of each centre, whether these involve the way the centre produces knowledge and technology or how it channels scholarly communication. The paper concludes that the development of suitable bibliometric indicators for managing centres dedicated to research and education requires a broad view of the centres themselves and can take on board such varied factors as institutional agreements, information flows and the ways in which science and society influence each other. — Nas últimas décadas, a emergência das novas tecnologias de comunicação e informação levou à ampliação dos estudos bibliométricos para além dos produtos da Comunicação Científica (artigos, revisões, etc.) com a incorporação da análise de outros conteúdos (páginas da internet, repositórios de publicações técnicas, posts em mídias sociais, etc.), por intermédio da webometria e da altmetria. Este trabalho apresenta as implicações dessa mudança para a Empresa Brasileira de Pesquisa Agropecuária (Embrapa), que passou a contemplar nos últimos anos, em seu sistema de avaliação de desempenho, o número de citações de artigos científicos e o número de downloads de publicações técnicas disponíveis em seu portal da internet. Como poderá ser observado neste artigo, os 42 centros de pesquisa da instituição apresentam comportamentos diferenciados quanto a seu desempenho na produção exclusivamente científica (número de artigos científicos e de citações) e na produção técnica (downloads de manuais, boletins e outras publicações). A existência dessas diferenças está levando a Embrapa a considerar em seu sistema de avaliação de desempenho as particularidades de seus centros de pesquisa, seja no âmbito de seu processo de produção de conhecimentos e tecnologias, seja em suas formas de comunicação. A partir dessa experiência, conclui-se que o desenvolvimento de indicadores bibliométricos adequados à gestão de instituições de ensino e pesquisa necessita de um olhar abrangente, que contemple os arranjos institucionais, os fluxos de informação, e a influência recíproca entre ciência e sociedade.
