Scientific productivity

Anàlisi bibliomètrica amb Wikidata: el cas Comunicar

per
Figura 1. Nombre d'autors en cada article publicat a la revista <em>Comunicar</em>

Objectius: aquest estudi presenta una anàlisi bibliomètrica realitzada després de la incorporació de tots els articles de la revista Comunicar a la base de dades lliure Wikidata. Es tracta d’una base de coneixement editada de manera col·laborativa que pertany a la Fundació Wikimedia, la mateixa organització que proveeix l’enciclopèdia cooperativa en línia Viquipèdia. Després de la realització d’una anàlisi minuciosa de les publicacions, l’objectiu que s’ha plantejat és analitzar la producció científica de la revista Comunicar al llarg dels seus 27 anys d’existència (1993–2020), aplicant per a això diversos indicadors bibliomètrics i utilitzant una base de dades lliure a la qual qualsevol usuari pugui accedir.

Metodologia: de caràcter descriptiu-retrospectiu, en aquesta recerca es van analitzar els 62 números i 1.230 articles publicats a la revista, després d’haver-se afegit a Wikidata. Es van tenir en compte indicadors bibliomètrics de productivitat científica, col·laboració, consum, repercussió i impacte, per mitjà de diverses eines lliures per estudiar la informació.

Resultats: s’han constatat diferències notables en dues èpoques. En la primera, des de la seva fundació fins al 2009, no tots els articles disposaven de referències, la mitjana d’aquestes no era gaire alta, i hi havia un índex de col·laboració bastant baix. Aquest treball ha visibilitzat el canvi experimentat en la revista Comunicar a partir del 2010, moment en el qual comença a aparèixer en les principals bases de dades de revistes científiques. Després de realitzar totes les anàlisis, s’ha constatat que la introducció d’informació bibliogràfica en obert permet fer anàlisis bibliomètriques, amb accés lliure per a qualsevol usuari.

La Unió Europea com a cap i garant del sistema d’avaluació i difusió de la producció científica

per
Gràfic 1. Nivells del sistema europeu de difusió i avaluació de la ciència

Es presenta i es desenvolupa un sistema potencial d’avaluació i difusió de l’activitat científica generada a partir de recursos de finançament públics. Aquest sistema té una estructura piramidal, el cap de la qual és la Unió Europea (o l’organisme dependent creat a aquest efecte), de la qual ha de dependre l’avaluació i la difusió dels continguts científics dels estats membres i de les diferents divisions territorials que puguin tenir. Fent nostra la Declaració de San Francisco, el mètode proposat és una alternativa al factor d’impacte com a mètode d’avaluació; en aquest mètode es torna a donar la importància a l’avaluació d’experts i s’incorpora la informació generada amb diners públics a un repositori amb diferents nivells de qualitat. — Se presenta y desarrolla un potencial sistema de evaluación y difusión de la actividad científica generada a partir de recursos de financiación públicos. Dicho sistema tiene una estructura piramidal, cuya cabecera es la Unión Europea (u organismo dependiente creado a tal efecto), de la que dependerá la evaluación y difusión de los contenidos científicos de los estados miembros y de las diferentes divisiones territoriales que pudieran tener estos. Haciendo nuestra la Declaración de San Francisco, el método propuesto es una alternativa al factor de impacto como método de evaluación; en este método se vuelve a dar la importancia a la evaluación por pares y se incorpora la información generada con dinero público a un repositorio con diferentes niveles de calidad. — The article introduces and explains a model that could be used to assess and disseminate publicly-financed scientific activity more effectively. The pyramidal model would take as its head the European Union or an EU-dependent body charged with appraising the scientific knowledge produced by the EU’s member states and their different administrative regions, and making this knowledge more visible. Inspired by the San Francisco Declaration, the model provides an alternative to using journal impact factor as a quality measure by reinstating the peer review process and incorporating the information generated by publicly-financed scientific activity into a repository with different quality levels.

L’avaluació bibliomètrica d’institucions de recerca més enllà de la comunicació científica: el cas d’Embrapa

per
Figura 1 – Balanço Social da Embrapa

En les últimes dècades, el sorgiment de les noves tecnologies de la informació i la comunicació ha comportat l’ampliació dels estudis bibliomètrics més enllà dels productes de la comunicació científica (articles, ressenyes, etc.) amb la incorporació de l’anàlisi d’altres continguts (pàgines web, repositoris de publicacions tècniques, apunts en xarxes socials, etc.), per mitjà de l’analítica web i de la bibliometria alternativa. Aquest treball presenta les implicacions d’aquest canvi per a l’Empresa Brasileira de Pesquisa Agropecuária (Embrapa), que els últims anys ha passat a tenir en compte, en el seu sistema d’avaluació del rendiment, el nombre de citacions d’articles científics i el nombre de descàrregues de publicacions tècniques disponibles en el seu portal d’Internet. Com es pot veure en aquest article, els 42 centres de recerca de la institució presenten comportaments diferenciats pel que fa al rendiment en la producció exclusivament científica (nombre d’articles científics i de citacions) i en la producció tècnica (descàrregues de manuals, butlletins i altres publicacions). L’existència d’aquestes diferències està comportant que l’Embrapa consideri, en el seu sistema d’avaluació del rendiment, les particularitats dels seus centres de recerca, ja sigui en l’àmbit del procés de producció de coneixement i tecnologia, ja sigui en les formes de comunicació. A partir d’aquesta experiència, s’arriba a la conclusió que el desenvolupament d’indicadors bibliomètrics adequats per gestionar institucions d’ensenyament i recerca requereix una mirada àmplia, que tingui en compte els acords institucionals, els fluxos d’informació i la influència recíproca entre ciència i societat. — En las últimas décadas, el surgimiento de las nuevas tecnologías de la información y la comunicación ha supuesto la ampliación de los estudios bibliométricos más allá de los productos de la comunicación científica (artículos, reseñas, etc.) con la incorporación del análisis de otros contenidos (páginas web, repositorios de publicaciones técnicas, apuntes en redes sociales, etc.), por medio de la analítica web y de la bibliometría alternativa. Este trabajo presenta las implicaciones de este cambio para la empresa Brasileira de Pesquisa Agropecuária (Embrapa), que en los últimos años ha pasado a tener en cuenta, en su sistema de evaluación del rendimiento, el número de citas de artículos científicos y el número de descargas de publicaciones técnicas disponibles en su portal de Internet. Como se puede ver en este artículo, los 42 centros de investigación de la institución presentan comportamientos diferenciados en cuanto a su rendimiento en la producción exclusivamente científica (número de artículos científicos y de citas) y en la producción técnica (descargas de manuales, boletines y otras publicaciones). La existencia de estas diferencias está comportando que la Embrapa considere, en su sistema de evaluación del rendimiento, las particularidades de sus centros de investigación, ya sea en el ámbito del proceso de producción de conocimiento y tecnología, ya sea en las formas de comunicación. A partir de esta experiencia, se llega a la conclusión que el desarrollo de indicadores bibliométricos adecuados para la gestión de instituciones de enseñanza e investigación requiere una mirada amplia, que contemple los acuerdos institucionales, los flujos de información y la influencia recíproca entre ciencia y sociedad. — In recent decades, the emergence of new information and communication technologies has broadened the remit of bibliometric analysis. Bibliometrics are now used not only to assess products of scholarly communication such as articles or monographs, but to examine technology-related content such as web portals, repositories of technical publications or documents in social networks, which are studied with the help of web analytics and altmetrics. This paper examines the implications of this trend for the Brazilian Agricultural Research Corporation (Embrapa), whose criteria for assessing institutional performance have been extended in recent years to include the number of citations of scientific articles and downloads of the technical publications made available at the corporation’s web portal. As the paper shows, Embrapa’s 42 research centres do not all follow the same pattern in the production of scientific articles and citations, on the one hand, and of technical documents on the other (measured by downloads of manuals, bulletins and other publications). For this reason, Embrapa is beginning to tailor its system of performance assessment to the particularities of each centre, whether these involve the way the centre produces knowledge and technology or how it channels scholarly communication. The paper concludes that the development of suitable bibliometric indicators for managing centres dedicated to research and education requires a broad view of the centres themselves and can take on board such varied factors as institutional agreements, information flows and the ways in which science and society influence each other. — Nas últimas décadas, a emergência das novas tecnologias de comunicação e informação levou à ampliação dos estudos bibliométricos para além dos produtos da Comunicação Científica (artigos, revisões, etc.) com a incorporação da análise de outros conteúdos (páginas da internet, repositórios de publicações técnicas, posts em mídias sociais, etc.), por intermédio da webometria e da altmetria. Este trabalho apresenta as implicações dessa mudança para a Empresa Brasileira de Pesquisa Agropecuária (Embrapa), que passou a contemplar nos últimos anos, em seu sistema de avaliação de desempenho, o número de citações de artigos científicos e o número de downloads de publicações técnicas disponíveis em seu portal da internet. Como poderá ser observado neste artigo, os 42 centros de pesquisa da instituição apresentam comportamentos diferenciados quanto a seu desempenho na produção exclusivamente científica (número de artigos científicos e de citações) e na produção técnica (downloads de manuais, boletins e outras publicações). A existência dessas diferenças está levando a Embrapa a considerar em seu sistema de avaliação de desempenho as particularidades de seus centros de pesquisa, seja no âmbito de seu processo de produção de conhecimentos e tecnologias, seja em suas formas de comunicação. A partir dessa experiência, conclui-se que o desenvolvimento de indicadores bibliométricos adequados à gestão de instituições de ensino e pesquisa necessita de um olhar abrangente, que contemple os arranjos institucionais, os fluxos de informação, e a influência recíproca entre ciência e sociedade.

Critérios de avaliação em Turismo e seus efeitos no perfil de publicação dos pesquisadores

per

Objectiu: Analitzar la influència dels criteris d’avaluació en el perfil de publicació dels investigadors de turisme.

Metodologia: Anàlisi dels criteris d’avaluació de la producció científica de l’àrea d’administració, ciències comptables i turisme, dirigida per la CAPES, basant-se en els documents d’àrea i en la llista de revistes classificades, i del perfil de publicació, mitjançant els currículums Lattes dels investigadors dels programes de postgrau de l’àrea de turisme.

Resultats: Els resultats indiquen que els criteris d’avaluació de revistes d’administració, ciències comptables i turisme es van tornar més dependents del factor d’impacte JCR entre els triennis analitzats. La determinació de criteris basats en aquest indicador reforça l’hegemonia de grans editorials comercials, a més de fer que les revistes d’administració predominin en els estrats més alts. El perfil de publicació dels investigadors de turisme va mostrar, en primer lloc, que el 61,2 % de la seva producció té lloc en revistes de la pròpia àrea, prop de 2/3 de la qual, en revistes nacionals; en segon, que es concentra entre els estrats A2 a B3, i, en tercer, que quan publiquen en revistes estrangeres opten per l’idioma espanyol, seguit del portuguès. Comencen a publicar en revistes d’administració i ciències comptables a partir del 2013, amb predomini de l’anglès; la primera publicació en l’estrat A1 té lloc en una revista de l’àrea d’administració, l’any 2014. — Objetivo: Analizar la influencia de los criterios de evaluación en el perfil de publicación de los investigadores de turismo.

Metodología: Análisis de los criterios de evaluación de la producción científica del área de administración, ciencias contables y turismo, dirigida por la CAPES, basándose en los documentos de área y en la lista de revistas clasificadas, y del perfil de publicación, mediante los currículos Lattes los investigadores de los programas de postgrado del área de turismo.

Resultados: Los resultados indican que los criterios de evaluación de revistas de administración, ciencias contables y turismo se volvieron más dependientes del factor de impacto JCR entre los trienios analizados. La determinación de criterios basados ​​en este indicador refuerza la hegemonía de grandes editoriales comerciales, además de hacer que las revistas de administración predominen en los estratos más altos. El perfil de publicación de los investigadores de turismo mostró, en primer lugar, que el 61,2 % de su producción tiene lugar en revistas de la propia área, cerca de 2/3 de ésta en revistas nacionales; en segundo, que se concentra entre los estratos A2 a B3, y, en tercero, que cuando publican en revistas extranjeras optan por el idioma español, seguido del portugués. Empiezan a publicar en revistas de administración y ciencias contables a partir del 2013, con predominio del inglés; la primera publicación en el estrato A1 tiene lugar en una revista del área de administración, en el año 2014. — Objective: To analyze the influence of the evaluation criteria in the publishing profile of the Tourism researchers.

Methodology: Analysis of the journal evaluation criteria of Administration, Accounting and Tourism area, carried out by CAPES, based on the area documents and the list of classified journals; and of the publishing profile, through Lattes curricula of the researchers of the Tourism postgraduate programs.

Results: The results show that the journal evaluation criteria applied by Administration, Accounting and Tourism increases its dependency of JCR Impact Factor between the triennia analyzed. The definition of criteria based in this indicator reinforces the hegemony of major for-profit publishers, besides making journals of Administration predominate in the higher strata. The publishing profile of Tourism researchers showed that: 61.2 % of their production occurs in periodicals of the area itself; being about 2/3 of this in domestic journals; besides being concentrated between strata A2 to B3; and when publishing in foreign journals the Spanish language is prevalent, followed by Portuguese. They begin to publish in Administration and Accounting periodicals from 2013, predominating the English language; a first publication in stratum A1 occurs in a journal of the Administration area, in the year 2014. — Objetivo: Analisar a influência dos critérios de avaliação no perfil de publicação dos pesquisadores de Turismo.

Metodologia: Análise dos critérios de avaliação da produção científica da área de Administração, Ciências Contábeis e Turismo, conduzido pela CAPES, com base nos documentos de área e na lista de periódicos classificados; e do perfil de publicação, por meio dos currículos Lattes dos pesquisadores dos programas de pós-graduação da área de Turismo.

Resultados: Os resultados apontam que os critérios de avaliação de periódicos da Administração, Ciências Contábeis e Turismo aumentaram sua dependência do Fator de Impacto JCR na transição dos triênios analisados. A determinação de critérios com base neste indicador reforça a hegemonia de grandes editoras comerciais, além de fazer com que os periódicos de Administração predominem nos estratos mais altos. O perfil de publicação dos pesquisadores de Turismo mostrou que: 61,2 % de sua produção se dão em periódicos da própria área, sendo cerca de 2/3 desta em periódicos domésticos; além de estar concentrada entre os estratos A2 a B3; e quando publicando em periódicos internacionais preferem o idioma espanhol, seguido do português. Passam a publicar em periódicos de Administração e Contabilidade a partir de 2013, predominando o idioma inglês; a primeira publicação no estrato A1 ocorre em periódico da área de Administração, no ano de 2014.

Criteris d’avaluació en turisme i els seus efectes en el perfil de publicació dels investigadors

per

Objectiu: Analitzar la influència dels criteris d’avaluació en el perfil de publicació dels investigadors de turisme.

Metodologia: Anàlisi dels criteris d’avaluació de la producció científica de l’àrea d’administració, ciències comptables i turisme, dirigida per la CAPES, basant-se en els documents d’àrea i en la llista de revistes classificades, i del perfil de publicació, mitjançant els currículums Lattes dels investigadors dels programes de postgrau de l’àrea de turisme.

Resultats: Els resultats indiquen que els criteris d’avaluació de revistes d’administració, ciències comptables i turisme es van tornar més dependents del factor d’impacte JCR entre els triennis analitzats. La determinació de criteris basats en aquest indicador reforça l’hegemonia de grans editorials comercials, a més de fer que les revistes d’administració predominin en els estrats més alts. El perfil de publicació dels investigadors de turisme va mostrar, en primer lloc, que el 61,2 % de la seva producció té lloc en revistes de la pròpia àrea, prop de 2/3 de la qual, en revistes nacionals; en segon, que es concentra entre els estrats A2 a B3, i, en tercer, que quan publiquen en revistes estrangeres opten per l’idioma espanyol, seguit del portuguès. Comencen a publicar en revistes d’administració i ciències comptables a partir del 2013, amb predomini de l’anglès; la primera publicació en l’estrat A1 té lloc en una revista de l’àrea d’administració, l’any 2014. — Objetivo: Analizar la influencia de los criterios de evaluación en el perfil de publicación de los investigadores de turismo.

Metodología: Análisis de los criterios de evaluación de la producción científica del área de administración, ciencias contables y turismo, dirigida por la CAPES, basándose en los documentos de área y en la lista de revistas clasificadas, y del perfil de publicación, mediante los currículos Lattes los investigadores de los programas de postgrado del área de turismo.

Resultados: Los resultados indican que los criterios de evaluación de revistas de administración, ciencias contables y turismo se volvieron más dependientes del factor de impacto JCR entre los trienios analizados. La determinación de criterios basados ​​en este indicador refuerza la hegemonía de grandes editoriales comerciales, además de hacer que las revistas de administración predominen en los estratos más altos. El perfil de publicación de los investigadores de turismo mostró, en primer lugar, que el 61,2 % de su producción tiene lugar en revistas de la propia área, cerca de 2/3 de ésta en revistas nacionales; en segundo, que se concentra entre los estratos A2 a B3, y, en tercero, que cuando publican en revistas extranjeras optan por el idioma español, seguido del portugués. Empiezan a publicar en revistas de administración y ciencias contables a partir del 2013, con predominio del inglés; la primera publicación en el estrato A1 tiene lugar en una revista del área de administración, en el año 2014. — Objective: To analyze the influence of the evaluation criteria in the publishing profile of the Tourism researchers.

Methodology: Analysis of the journal evaluation criteria of Administration, Accounting and Tourism area, carried out by CAPES, based on the area documents and the list of classified journals; and of the publishing profile, through Lattes curricula of the researchers of the Tourism postgraduate programs.

Results: The results show that the journal evaluation criteria applied by Administration, Accounting and Tourism increases its dependency of JCR Impact Factor between the triennia analyzed. The definition of criteria based in this indicator reinforces the hegemony of major for-profit publishers, besides making journals of Administration predominate in the higher strata. The publishing profile of Tourism researchers showed that: 61.2 % of their production occurs in periodicals of the area itself; being about 2/3 of this in domestic journals; besides being concentrated between strata A2 to B3; and when publishing in foreign journals the Spanish language is prevalent, followed by Portuguese. They begin to publish in Administration and Accounting periodicals from 2013, predominating the English language; a first publication in stratum A1 occurs in a journal of the Administration area, in the year 2014.