Avaluació científica

Les universitats espanyoles i la ciència oberta: un estudi sobre barreres i elements afavoridors

per

La ciència oberta constitueix un nou model de fer ciència basat en el treball col·laboratiu entre acadèmics, en l’obertura i la transparència de totes les fases de la recerca, que agrupa un conjunt d’elements, entre els quals destaquen l’accés obert, les dades obertes, noves mètriques i models d’avaluació.

Objectius: conèixer els factors facilitadors i les barreres que condicionen la implementació de la ciència oberta a les universitats, amb una atenció especial a l’accés obert, les dades de recerca i l’avaluació de la ciència.

Metodologia: es van analitzar les respostes dels vicerectors de recerca de les setanta-sis universitats espanyoles integrades a la CRUE en una enquesta feta entre el setembre i el novembre del 2021. El qüestionari, en línia, el componien cinquanta-tres ítems integrats a tretze preguntes. La CRUE va enviar el qüestionari.

Resultats: amb una taxa de resposta del 36,8 %; majoritàriament les competències de la ciència oberta requeien al vicerectorat de recerca. Destaca la baixa freqüència (18 %) amb què les universitats especifiquen criteris per avaluar el seu compromís amb la ciència oberta, i la disponibilitat en gairebé totes d’un repositori. S’han considerat factors afavoridors la coordinació entre els vicerectorats i els serveis bibliotecaris, la importància que es concedeix a la recerca en l’agenda política i el convenciment institucional amb el canvi, entre altres factors. Pel que fa a l’avaluació, els vicerectors rebutgen l’ús del factor d’impacte de la revista, a favor de fer una valoració qualitativa de l’article, de l’ús de les citacions i de la consideració de l’impacte social.

La Unió Europea com a cap i garant del sistema d’avaluació i difusió de la producció científica

per
Gràfic 1. Nivells del sistema europeu de difusió i avaluació de la ciència

Es presenta i es desenvolupa un sistema potencial d’avaluació i difusió de l’activitat científica generada a partir de recursos de finançament públics. Aquest sistema té una estructura piramidal, el cap de la qual és la Unió Europea (o l’organisme dependent creat a aquest efecte), de la qual ha de dependre l’avaluació i la difusió dels continguts científics dels estats membres i de les diferents divisions territorials que puguin tenir. Fent nostra la Declaració de San Francisco, el mètode proposat és una alternativa al factor d’impacte com a mètode d’avaluació; en aquest mètode es torna a donar la importància a l’avaluació d’experts i s’incorpora la informació generada amb diners públics a un repositori amb diferents nivells de qualitat. — Se presenta y desarrolla un potencial sistema de evaluación y difusión de la actividad científica generada a partir de recursos de financiación públicos. Dicho sistema tiene una estructura piramidal, cuya cabecera es la Unión Europea (u organismo dependiente creado a tal efecto), de la que dependerá la evaluación y difusión de los contenidos científicos de los estados miembros y de las diferentes divisiones territoriales que pudieran tener estos. Haciendo nuestra la Declaración de San Francisco, el método propuesto es una alternativa al factor de impacto como método de evaluación; en este método se vuelve a dar la importancia a la evaluación por pares y se incorpora la información generada con dinero público a un repositorio con diferentes niveles de calidad. — The article introduces and explains a model that could be used to assess and disseminate publicly-financed scientific activity more effectively. The pyramidal model would take as its head the European Union or an EU-dependent body charged with appraising the scientific knowledge produced by the EU’s member states and their different administrative regions, and making this knowledge more visible. Inspired by the San Francisco Declaration, the model provides an alternative to using journal impact factor as a quality measure by reinstating the peer review process and incorporating the information generated by publicly-financed scientific activity into a repository with different quality levels.

L’avaluació bibliomètrica d’institucions de recerca més enllà de la comunicació científica: el cas d’Embrapa

per
Figura 1 – Balanço Social da Embrapa

En les últimes dècades, el sorgiment de les noves tecnologies de la informació i la comunicació ha comportat l’ampliació dels estudis bibliomètrics més enllà dels productes de la comunicació científica (articles, ressenyes, etc.) amb la incorporació de l’anàlisi d’altres continguts (pàgines web, repositoris de publicacions tècniques, apunts en xarxes socials, etc.), per mitjà de l’analítica web i de la bibliometria alternativa. Aquest treball presenta les implicacions d’aquest canvi per a l’Empresa Brasileira de Pesquisa Agropecuária (Embrapa), que els últims anys ha passat a tenir en compte, en el seu sistema d’avaluació del rendiment, el nombre de citacions d’articles científics i el nombre de descàrregues de publicacions tècniques disponibles en el seu portal d’Internet. Com es pot veure en aquest article, els 42 centres de recerca de la institució presenten comportaments diferenciats pel que fa al rendiment en la producció exclusivament científica (nombre d’articles científics i de citacions) i en la producció tècnica (descàrregues de manuals, butlletins i altres publicacions). L’existència d’aquestes diferències està comportant que l’Embrapa consideri, en el seu sistema d’avaluació del rendiment, les particularitats dels seus centres de recerca, ja sigui en l’àmbit del procés de producció de coneixement i tecnologia, ja sigui en les formes de comunicació. A partir d’aquesta experiència, s’arriba a la conclusió que el desenvolupament d’indicadors bibliomètrics adequats per gestionar institucions d’ensenyament i recerca requereix una mirada àmplia, que tingui en compte els acords institucionals, els fluxos d’informació i la influència recíproca entre ciència i societat. — En las últimas décadas, el surgimiento de las nuevas tecnologías de la información y la comunicación ha supuesto la ampliación de los estudios bibliométricos más allá de los productos de la comunicación científica (artículos, reseñas, etc.) con la incorporación del análisis de otros contenidos (páginas web, repositorios de publicaciones técnicas, apuntes en redes sociales, etc.), por medio de la analítica web y de la bibliometría alternativa. Este trabajo presenta las implicaciones de este cambio para la empresa Brasileira de Pesquisa Agropecuária (Embrapa), que en los últimos años ha pasado a tener en cuenta, en su sistema de evaluación del rendimiento, el número de citas de artículos científicos y el número de descargas de publicaciones técnicas disponibles en su portal de Internet. Como se puede ver en este artículo, los 42 centros de investigación de la institución presentan comportamientos diferenciados en cuanto a su rendimiento en la producción exclusivamente científica (número de artículos científicos y de citas) y en la producción técnica (descargas de manuales, boletines y otras publicaciones). La existencia de estas diferencias está comportando que la Embrapa considere, en su sistema de evaluación del rendimiento, las particularidades de sus centros de investigación, ya sea en el ámbito del proceso de producción de conocimiento y tecnología, ya sea en las formas de comunicación. A partir de esta experiencia, se llega a la conclusión que el desarrollo de indicadores bibliométricos adecuados para la gestión de instituciones de enseñanza e investigación requiere una mirada amplia, que contemple los acuerdos institucionales, los flujos de información y la influencia recíproca entre ciencia y sociedad. — In recent decades, the emergence of new information and communication technologies has broadened the remit of bibliometric analysis. Bibliometrics are now used not only to assess products of scholarly communication such as articles or monographs, but to examine technology-related content such as web portals, repositories of technical publications or documents in social networks, which are studied with the help of web analytics and altmetrics. This paper examines the implications of this trend for the Brazilian Agricultural Research Corporation (Embrapa), whose criteria for assessing institutional performance have been extended in recent years to include the number of citations of scientific articles and downloads of the technical publications made available at the corporation’s web portal. As the paper shows, Embrapa’s 42 research centres do not all follow the same pattern in the production of scientific articles and citations, on the one hand, and of technical documents on the other (measured by downloads of manuals, bulletins and other publications). For this reason, Embrapa is beginning to tailor its system of performance assessment to the particularities of each centre, whether these involve the way the centre produces knowledge and technology or how it channels scholarly communication. The paper concludes that the development of suitable bibliometric indicators for managing centres dedicated to research and education requires a broad view of the centres themselves and can take on board such varied factors as institutional agreements, information flows and the ways in which science and society influence each other. — Nas últimas décadas, a emergência das novas tecnologias de comunicação e informação levou à ampliação dos estudos bibliométricos para além dos produtos da Comunicação Científica (artigos, revisões, etc.) com a incorporação da análise de outros conteúdos (páginas da internet, repositórios de publicações técnicas, posts em mídias sociais, etc.), por intermédio da webometria e da altmetria. Este trabalho apresenta as implicações dessa mudança para a Empresa Brasileira de Pesquisa Agropecuária (Embrapa), que passou a contemplar nos últimos anos, em seu sistema de avaliação de desempenho, o número de citações de artigos científicos e o número de downloads de publicações técnicas disponíveis em seu portal da internet. Como poderá ser observado neste artigo, os 42 centros de pesquisa da instituição apresentam comportamentos diferenciados quanto a seu desempenho na produção exclusivamente científica (número de artigos científicos e de citações) e na produção técnica (downloads de manuais, boletins e outras publicações). A existência dessas diferenças está levando a Embrapa a considerar em seu sistema de avaliação de desempenho as particularidades de seus centros de pesquisa, seja no âmbito de seu processo de produção de conhecimentos e tecnologias, seja em suas formas de comunicação. A partir dessa experiência, conclui-se que o desenvolvimento de indicadores bibliométricos adequados à gestão de instituições de ensino e pesquisa necessita de um olhar abrangente, que contemple os arranjos institucionais, os fluxos de informação, e a influência recíproca entre ciência e sociedade.

Multilingüisme equilibrat en ciència

per

  [English version] Gunnar Sivertsen Professor d’investigació Nordic Institute for Studies in Innovation, Research and Education (Oslo) gunnar.sivertsen@nifu.no       1 Introducció: visibilitzar el paper de la llengua L’anglès s’ha convertit —i ja fa temps que ho és— en la llengua internacional en ciència. Altres llengües que anteriorment s’havien usat com a llengües internacionals … Llegiu més

Per què fallen els indicadors bibliomètrics: paràmetres inestables, models incorrectes i propietats irrellevants

per
Figura 1. Relació entre propietat i indicador. Els indicadors són alternatives que serveixen per a mesurar una propietat quan hi ha un model teòric que relaciona la propietat amb les observacions dels indicadors

La generalització dels indicadors bibliomètrics en l’avaluació de la recerca i en el disseny de polítiques ha anat acompanyada d’una percepció cada cop més estesa segons la qual l’ús d’aquestes eines sovint és problemàtic o inapropiat. En aquest article presentem un marc senzill que permet analitzar les condicions en què l’ús d’indicadors com a mètode d’avaluació pot fallar. Els motius d’aquests errors poden ser tres. En primer terme, pot ser que els paràmetres dels models que relacionen les propietats i els indicadors siguin inestables i, per tant, que els indicadors no siguin comparables en el temps o en l’espai. En segon lloc, pot ser que els models emprats siguin incorrectes. Finalment, pot ser que la propietat de l’indicador sigui irrellevant en relació amb l’objecte d’estudi. Aquest marc que proposem pot resultar especialment útil per a comprendre els problemes que representa l’ús d’indicadors convencionals en espais “perifèrics”, és a dir, en àrees geogràfiques, llengües o disciplines que se situen en els marges del sistema científic. — La generalización de los indicadores bibliométricos en la evaluación de la investigación y en el diseño de políticas ha ido acompañada de una percepción cada vez más generalizada según la cual el uso de estas herramientas a menudo es problemático o inapropiado. En este artículo presentamos un marco sencillo que permite analizar las condiciones en las que el uso de indicadores como método de evaluación puede fallar. Los motivos de estos errores pueden ser tres. En primer lugar, puede ocurrir que los parámetros de los modelos que relacionan las propiedades y los indicadores sean inestables y, por lo tanto, que los indicadores no sean comparables en el tiempo o en el espacio. En segundo lugar, puede pasar que los modelos empleados sean incorrectos. Finalmente, puede suceder que la propiedad del indicador sea irrelevante en relación con el objeto de estudio. Este marco que proponemos puede resultar especialmente útil para comprender los problemas que representa el uso de indicadores convencionales en espacios “periféricos”, es decir, en áreas geográficas, lenguas o disciplinas que se sitúan en los márgenes del sistema científico. — The spread of bibliometric indicators in research evaluation and policy has been accompanied by an increasing realisation that indicators’ use is often problematic and/or inappropriate. In this article, we propose a parsimonious framework to analyse the conditions under which the use of indicators become problematic. We propose that indicators’ use in evaluation can breakdown for three reasons. First, because the parameters of the models linking properties and indicators are unstable and, as a consequence, indicators cannot be compared across spaces or time. Second, because the underlying models are incorrect. Third, because the property of the indicator is irrelevant for the issue examined. This framework can be particularly helpful in fostering an understanding of the problems of conventional indicators in

L’avaluació de la recerca en comunitats locals i professionals

per

En aquest monogràfic hem convidat contribucions per a reflexionar sobre els reptes plantejats en la comunicació científica en espais temàtics, geogràfics, socials o idiomàtics que són percebuts com a perifèrics en recerca, com ara el turisme, l’esport o les humanitats, o les llengües minoritàries. Els articles exploren els canvis en l’ús d’indicadors en avaluació, les transformacions vers la ciència oberta i la (re)valorització de la contribució social, la comunicació científica en aquests àmbits locals i professionals, i les inèrcies de marcs culturals i administratius davant aquests canvis. — En este monográfico disponemos de contribuciones que sirven para reflexionar sobre los retos que se plantean en la comunicación científica en espacios temáticos, geográficos, sociales o idiomáticos que son percibidos como periféricos en investigación, como el turismo, el deporte o las humanidades, o las lenguas minoritarias. Los artículos exploran los cambios en el uso de indicadores en evaluación, las transformaciones hacia la ciencia abierta y la (re)valorización de la contribución social, la comunicación científica en estos ámbitos locales y profesionales, y las inercias de marcos culturales y administrativos ante estos cambios. — The articles in this monograph reflect on the challenges facing scientific communication when the subject in general or its particular geographic, social or language focus are perceived as peripheral in research, as is the case with tourism, sport, the humanities or minority languages. The articles explore the changes in the way indicators are being used to evaluate this research, the transition towards an open science system and the (re)valorisation of the social contribution, scientific communication in these local and professional areas and finally the ways that cultural and governmental infrastructures fail to respond to these changes.

Criteris d’avaluació en turisme i els seus efectes en el perfil de publicació dels investigadors

per

Objectiu: Analitzar la influència dels criteris d’avaluació en el perfil de publicació dels investigadors de turisme.

Metodologia: Anàlisi dels criteris d’avaluació de la producció científica de l’àrea d’administració, ciències comptables i turisme, dirigida per la CAPES, basant-se en els documents d’àrea i en la llista de revistes classificades, i del perfil de publicació, mitjançant els currículums Lattes dels investigadors dels programes de postgrau de l’àrea de turisme.

Resultats: Els resultats indiquen que els criteris d’avaluació de revistes d’administració, ciències comptables i turisme es van tornar més dependents del factor d’impacte JCR entre els triennis analitzats. La determinació de criteris basats en aquest indicador reforça l’hegemonia de grans editorials comercials, a més de fer que les revistes d’administració predominin en els estrats més alts. El perfil de publicació dels investigadors de turisme va mostrar, en primer lloc, que el 61,2 % de la seva producció té lloc en revistes de la pròpia àrea, prop de 2/3 de la qual, en revistes nacionals; en segon, que es concentra entre els estrats A2 a B3, i, en tercer, que quan publiquen en revistes estrangeres opten per l’idioma espanyol, seguit del portuguès. Comencen a publicar en revistes d’administració i ciències comptables a partir del 2013, amb predomini de l’anglès; la primera publicació en l’estrat A1 té lloc en una revista de l’àrea d’administració, l’any 2014. — Objetivo: Analizar la influencia de los criterios de evaluación en el perfil de publicación de los investigadores de turismo.

Metodología: Análisis de los criterios de evaluación de la producción científica del área de administración, ciencias contables y turismo, dirigida por la CAPES, basándose en los documentos de área y en la lista de revistas clasificadas, y del perfil de publicación, mediante los currículos Lattes los investigadores de los programas de postgrado del área de turismo.

Resultados: Los resultados indican que los criterios de evaluación de revistas de administración, ciencias contables y turismo se volvieron más dependientes del factor de impacto JCR entre los trienios analizados. La determinación de criterios basados ​​en este indicador refuerza la hegemonía de grandes editoriales comerciales, además de hacer que las revistas de administración predominen en los estratos más altos. El perfil de publicación de los investigadores de turismo mostró, en primer lugar, que el 61,2 % de su producción tiene lugar en revistas de la propia área, cerca de 2/3 de ésta en revistas nacionales; en segundo, que se concentra entre los estratos A2 a B3, y, en tercero, que cuando publican en revistas extranjeras optan por el idioma español, seguido del portugués. Empiezan a publicar en revistas de administración y ciencias contables a partir del 2013, con predominio del inglés; la primera publicación en el estrato A1 tiene lugar en una revista del área de administración, en el año 2014. — Objective: To analyze the influence of the evaluation criteria in the publishing profile of the Tourism researchers.

Methodology: Analysis of the journal evaluation criteria of Administration, Accounting and Tourism area, carried out by CAPES, based on the area documents and the list of classified journals; and of the publishing profile, through Lattes curricula of the researchers of the Tourism postgraduate programs.

Results: The results show that the journal evaluation criteria applied by Administration, Accounting and Tourism increases its dependency of JCR Impact Factor between the triennia analyzed. The definition of criteria based in this indicator reinforces the hegemony of major for-profit publishers, besides making journals of Administration predominate in the higher strata. The publishing profile of Tourism researchers showed that: 61.2 % of their production occurs in periodicals of the area itself; being about 2/3 of this in domestic journals; besides being concentrated between strata A2 to B3; and when publishing in foreign journals the Spanish language is prevalent, followed by Portuguese. They begin to publish in Administration and Accounting periodicals from 2013, predominating the English language; a first publication in stratum A1 occurs in a journal of the Administration area, in the year 2014.

La qualitat de les revistes científiques per al professorat universitari de ciències de l’esport

per

Objectius: saber l’opinió del personal docent i investigador de Ciències de l’Activitat Física i de l’Esport sobre: a) els criteris i productes d’avaluació d’articles científics més ben valorats, i b) les revistes nacionals i internacionals més prestigioses. Han format la mostra cent seixanta-tres professors universitaris que impartien classes en el grau de Ciències de l’Activitat Física i de l’Esport en el curs 2013–2014, dels quals vint-i-quatre són avaluadors d’alguna agència d’avaluació i cent trenta-nou no formen part de cap agència d’avaluació.

Metodologia: l’instrument que s’ha utilitzat ha estat l’apartat d’articles i revistes del — Objetivos: conocer la opinión del personal docente e investigador de Ciencias de la Actividad Física y del Deporte sobre: a) criterios y productos de evaluación de artículos científicos mejor valorados, y b) las revistas nacionales e internacionales más prestigiosas. La muestra estuvo formada por ciento sesenta y tres profesores universitarios que daban clase en el grado de Ciencias de la Actividad Física y del Deporte en el curso 2013–2014, de los cuales, veinticuatro son evaluadores de alguna agencia de evaluación y ciento treinta y nueve profesores no forman parte de ninguna agencia de evaluación.

Metodología: el instrumento utilizado fue el apartado de artículos y revistas del — Objectives: To learn the opinion of university lecturers and researchers of physical activity and sport sciences on the subject of: a) the best criteria and products for evaluating scientific articles; and b) the best national and international scientific journals. The study used a sample of 163 lecturers teaching the Bachelor’s Degree in Physical Activity and Sport Sciences during the academic year 2013–2014. Twenty-four of the lecturers were evaluators working for an evaluation agency and 139 did not work for any agency.

Methodology: The instrument used was the article and journal section of the Cuestionario sobre criterios de calidad del personal docente e investigador universitario en Ciencias de la Actividad Física y el Deporte (Questionnaire on the quality evaluation criteria employed by university lecturers and researchers of the Bachelor’s Degree in Physical Activity and Sport Sciences, CPDI-CAFD).

Results: The criteria and evaluation products offered by Journal Citation Reports and Scopus were considered to be particularly important. The most highly valued Spanish journals were Apunts and Revista de Psicología del Deporte, while the most highly valued international publications were Journal of Sports Science and Sports Medicine. These results can be especially important for evaluating scientific publications. The applications for accreditations can be evaluated taking into account the classifications of specific sport science journals.

L’avaluació de la recerca en humanitats a AQU Catalunya

per

En aquest article es presenta l’experiència pràctica de l’avaluació de la recerca en l’àmbit d’humanitats que fa l’Agència per a la Qualitat del Sistema Universitari de Catalunya de les persones candidates a ser professors universitaris que demanen una acreditació prèvia de la seva trajectòria acadèmica. L’objectiu de l’article és explicar les característiques d’aquests processos d’acreditació, amb un èmfasi especial en el cas concret de les disciplines de caràcter humanístic, en què s’observen elements singulars respecte d’altres àmbits científics que hi afegeixen una complexitat més gran. En aquest sentit, el fet que les avaluacions siguin indirectes, a partir dels indicis de qualitat de les publicacions científiques en què es publica la recerca, condiciona enormement els processos d’avaluació. Així, tenint present les recents aportacions metodològiques sobre l’avaluació de la recerca, com per exemple el Manifest de Leiden o la Declaració de San Francisco, es conclou la necessitat d’evitar aproximacions merament quantitatives, de forma que l’avaluació sigui respectuosa amb la comunitat d’investigadors d’humanitats, que, d’altra banda, debat la millor manera d’abordar l’avaluació de la seva activitat de recerca.

Eugene Garfield: innovador del control bibliogràfic i un emprenedor amb causa*

per

  [English version] Cristóbal Urbano Facultat de Biblioteconomia i Documentació Universitat de Barcelona urbano@ub.edu     * Defensa dels mèrits d’Eugene Garfield en ocasió de l’atorgament del grau acadèmic de Doctor Honoris Causa per la Universitat de Barcelona pronunciat per Cristóbal Urbano, professor de la Facultat de Biblioteconomia i Documentació, en la cerimònia que va … Llegiu més