Criteris d'avaluació en turisme i els seus efectes en el perfil de publicació dels investigadors

 

[English version] [Versão portuguesa]


Elaine Cristina Pinto de Miranda

Doctora en Ciències de la Informació
Universidade de São Paulo

Rogério Mugnaini

Professor dels estudis de Biblioteconomia
i del programa de postgrau de Ciències de la Informació
Universidade de São Paulo

 

Resum

Objectiu: Analitzar la influència dels criteris d'avaluació en el perfil de publicació dels investigadors de turisme.

Metodologia: Anàlisi dels criteris d'avaluació de la producció científica de l’àrea d'administració, ciències comptables i turisme, dirigida per la CAPES, basant-se en els documents d'àrea i en la llista de revistes classificades, i del perfil de publicació, mitjançant els currículums Lattes dels investigadors dels programes de postgrau de l'àrea de turisme.

Resultats: Els resultats indiquen que els criteris d'avaluació de revistes d'administració, ciències comptables i turisme es van tornar més dependents del factor d'impacte JCR entre els triennis analitzats. La determinació de criteris basats en aquest indicador reforça l'hegemonia de grans editorials comercials, a més de fer que les revistes d'administració predominin en els estrats més alts. El perfil de publicació dels investigadors de turisme va mostrar, en primer lloc, que el 61,2 % de la seva producció té lloc en revistes de la pròpia àrea, prop de 2/3 de la qual, en revistes nacionals; en segon, que es concentra entre els estrats A2 a B3, i, en tercer, que quan publiquen en revistes estrangeres opten per l'idioma espanyol, seguit del portuguès. Comencen a publicar en revistes d'administració i ciències comptables a partir del 2013, amb predomini de l'anglès; la primera publicació en l'estrat A1 té lloc en una revista de l'àrea d'administració, l'any 2014.

Resumen

Objetivo: Analizar la influencia de los criterios de evaluación en el perfil de publicación de los investigadores de turismo.

Metodología: Análisis de los criterios de evaluación de la producción científica del área de administración, ciencias contables y turismo, dirigida por la CAPES, basándose en los documentos de área y en la lista de revistas clasificadas, y del perfil de publicación, mediante los currículos Lattes los investigadores de los programas de postgrado del área de turismo.

Resultados: Los resultados indican que los criterios de evaluación de revistas de administración, ciencias contables y turismo se volvieron más dependientes del factor de impacto JCR entre los trienios analizados. La determinación de criterios basados ​​en este indicador refuerza la hegemonía de grandes editoriales comerciales, además de hacer que las revistas de administración predominen en los estratos más altos. El perfil de publicación de los investigadores de turismo mostró, en primer lugar, que el 61,2 % de su producción tiene lugar en revistas de la propia área, cerca de 2/3 de ésta en revistas nacionales; en segundo, que se concentra entre los estratos A2 a B3, y, en tercero, que cuando publican en revistas extranjeras optan por el idioma español, seguido del portugués. Empiezan a publicar en revistas de administración y ciencias contables a partir del 2013, con predominio del inglés; la primera publicación en el estrato A1 tiene lugar en una revista del área de administración, en el año 2014.

Abstract

Objective: To analyze the influence of the evaluation criteria in the publishing profile of the Tourism researchers.

Methodology: Analysis of the journal evaluation criteria of Administration, Accounting and Tourism area, carried out by CAPES, based on the area documents and the list of classified journals; and of the publishing profile, through Lattes curricula of the researchers of the Tourism postgraduate programs.

Results: The results show that the journal evaluation criteria applied by Administration, Accounting and Tourism increases its dependency of JCR Impact Factor between the triennia analyzed. The definition of criteria based in this indicator reinforces the hegemony of major for-profit publishers, besides making journals of Administration predominate in the higher strata. The publishing profile of Tourism researchers showed that: 61.2 % of their production occurs in periodicals of the area itself; being about 2/3 of this in domestic journals; besides being concentrated between strata A2 to B3; and when publishing in foreign journals the Spanish language is prevalent, followed by Portuguese. They begin to publish in Administration and Accounting periodicals from 2013, predominating the English language; a first publication in stratum A1 occurs in a journal of the Administration area, in the year 2014.

 

1 Introducció

El turisme, considerat un camp recent d'estudis i recerca al Brasil, va començar a formar part de l'ensenyament superior en la dècada de 1970 (Rejowski; Aldrigui, 2007). Les primeres recerques sobre l'activitat turística estaven influenciades per les àrees de formació dels investigadors, i van ser dutes a terme des de la perspectiva de les diferents àrees de coneixement, fet que possibilitava diversos enfocaments des del punt de vista econòmic, administratiu i sociològic, relacionats amb la interacció entre els individus.

Com és d'esperar, el procés de comunicació científica s'ha anat desenvolupant al llarg del temps i ha experimentat un creixement en els últims anys, tant pel que fa als articles com a les revistes. No obstant això, sembla que l'aparició de revistes en línia nacionals de turisme, per iniciativa de moltes institucions, va més enllà de l'increment de la comunitat —o dels articles publicats per elles— i de vegades se'n qüestiona la qualitat. A l'altre extrem, podem observar que hi ha 45 revistes internacionals indexades en el Journal Citation Reports (JCR) en la categoria Hospitalitat, lleure, esport i turisme —se'n resten 23, ja que no tenim en compte les que es dediquen específicament a l'esport—, la qual cosa indica que opten per publicacions internacionals.

Cal destacar també l'existència d'un procés d'avaluació dels programes de postgrau, dirigit al Brasil per la CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) (Oliveira; Amaral, 2017), en el qual la subàrea de turisme és avaluada conjuntament amb altres subàrees, en l'anomenada àrea d'administració, ciències comptables i turisme (ADM/COM/TUR). Davant d'això, es qüestiona el fet que el turisme sigui avaluat conjuntament amb aquestes subàrees, atès el risc de donar-li, i també als investigadors, l'òptica d'activitat econòmica, en detriment de mirar els seus aspectes socials, i implicar-hi l'ús de paràmetres inadequats a l'hora d'avaluar aquesta àrea. Per tant, és molt important identificar i mesurar les influències del procés d'avaluació en la producció científica, que acaben fent que les àrees alterin la seva pràctica comunicativa per tal d'obtenir una avaluació millor (Butler, 2007).

El Qualis va ser proposat per la CAPES el 1998, i consisteix en un sistema de classificació de publicacions periòdiques en què participa la comunitat academicocientífica. S'utilitza per avaluar la producció científica dels investigadors acreditats en els programes de postgrau, segons una classificació en estrats amb criteris definits per les comissions d'avaluació de les diferents àrees, com és el cas d'ADM/COM/TUR, i s'actualitza anualment. Per a cada estrat s'estableix una puntuació diferent que defineix la classificació de la revista: A1, A2, B1, B2, B3, B4, B5 i C, on A1 i A2 són les millors revistes i C no puntua.

En aquest sentit, cal considerar els processos de comunicació científica i el coneixement científic en el context en què cada comunitat té característiques diferents i es compon de departaments i laboratoris en universitats i institucions de recerca, inclosos els canals formals de comunicació (revistes científiques, societats i esdeveniments científics) (Kuhn, 2000). Així mateix s'hi afegeix la complexitat creixent del sistema de comunicació científica i els diferents tipus d'interacció dels seus participants (Hurd, 2000). Cal esmentar també l'existència de factors externs com ara els finançadors de la recerca, que imposen normes que poden influir en l'elecció dels canals de publicació (Björk, 2007).

Cada comunitat científica mostra un patró de comportament que influeix directament tant en l'activitat de recerca com en la manera de comunicar-la. Per tant, en el cas de les ciències socials i humanes, Hicks (2004) adverteix que els processos d'avaluació que impliquen indicadors bibliomètrics consideren quatre tipus de literatura: revistes, llibres, literatura nacional (desenvolupada en un context local) i literatura no científica (coneixement en cerca d'aplicació). L'autora també destaca les diferències entre les àrees, com l'economia i la psicologia, en què la literatura és similar a la literatura científica; o la sociologia, que pertany a una literatura de les ciències socials, més paradigmàtica, o la història, que representa les humanitats. I aclareix que els índexs de citació poden afavorir les dues primeres, però com a conseqüència poden portar els investigadors a adaptar la seva recerca als patrons d'avaluació, fet que resultaria en una nova ciència social, amb l'abandonament de les tres literatures en favor de revistes indexades, marginant literatures específiques, sense que fos la seva intenció.

Entre les literatures marginades, cal destacar les revistes nacionals, especialment en països on la majoria dels investigadors no té fluïdesa en anglès, independentment d'haver desenvolupat una infraestructura important de publicació/edició, com és el cas d'alguns països llatinoamericans, que participen en el projecte SciELO (Packer, 2011). Leite et al. (2011), analitzant els currículums d'uns 51.000 doctors brasilers, basant-se en el percentatge de publicacions en llengua estrangera de la producció total dels investigadors, van trobar que en ciències humanes i socials el 80 % dels investigadors tenien un perfil de publicació exclusivament en portuguès (havien publicat menys d'una cinquena part de la seva producció en un altre idioma). Però, quan es compara la variació d'aquest índex entre els quadriennis separats pel canvi del mil·lenni, es van adonar que prop del 3 % dels doctors van començar a publicar entre 1/5 i 2/5 de la seva producció en un altre idioma, gràcies a l'estímul de la política científica brasilera.

Segons Beigel (2014), la pressió per publicar en les revistes principals i la relació amb el sistema d'avaluació, finançament i rendiment —mesurats pels indicadors bibliomètrics— té la greu conseqüència d'excloure de la circulació el coneixement produït en circuits perifèrics, que no formen part de les revistes més importants. Els investigadors colombians, quan van ser entrevistats per Chavarro et al. (2017), van expressar que les revistes nacionals s'utilitzen com un entrenament dels investigadors principiants, amb el propòsit de fer el pas següent, que és la publicació en les revistes principals. D'altra banda, van assenyalar la importància de les revistes nacionals com un pont de coneixement (pel fet de proporcionar l'accés a la comunitat nacional als continguts normalment publicats exclusivament en revistes principals) o per omplir buits (que consisteix en la publicació de continguts absents en les revistes principals).

Amb el que s'ha exposat, és evident que l'avaluació de la producció científica és un repte que ha d'adaptar-se a les diverses especificitats de les subàrees que, quan són avaluades conjuntament, en poden afavorir algunes en detriment d'unes altres i implicar conseqüències negatives per al seu desenvolupament. És important investigar possibles canvis en el perfil de publicació dels investigadors de la subàrea de turisme —que sembla que preval en revistes nacionals—, els quals poden estar publicant en revistes principals específiques de la subàrea d'administració.

 

2 Metodologia

La recerca es va dur a terme en tres etapes, dues de les quals estan directament relacionades amb els criteris d'avaluació de la producció científica de l'àrea d'administració, ciències comptables i turisme, per la CAPES, que són: els documents d'àrea, en què s'estableixen els criteris de classificació de les revistes en estrats, i la llista de revistes classificades utilitzades per a la publicació i els estrats de classificació respectius que van rebre. La tercera etapa de la investigació es va basar en la informació dels currículums de 108 investigadors acreditats en els 9 programes de postgrau (PPG) de la subàrea de turisme.

En la primera etapa, es van analitzar els documents d'àrea dels triennis 2007–2009 (que es va anomenar T4, considerant que el primer va ser 1998–2000) i 2010–2012 (T5) per identificar els criteris de classificació de les revistes utilitzades per a la publicació, per les àrees i la puntuació corresponent per a la publicació de cadascuna.

En la segona etapa, es va treballar una llista única de les 2.187 revistes que componien el Qualis ADM/COM/TUR en els triennis T4 i T5 i es van analitzar les revistes una per una, d'acord amb les variables següents: l'àrea de coneixement (podia estar classificada en més d'una àrea), la nacionalitat, la llengua de publicació, l'editorial i els estrats de classificació.

I, en l'última etapa, es va extreure informació de currículums Lattes pel que fa a la publicació dels investigadors de la subàrea de turisme. Es van identificar els investigadors acreditats en PPG d'aquesta subàrea, des de la plataforma Sucupira —sistema d'informació que dona suport a l'avaluació de la CAPES— i, a partir d'aquesta llista, es va obtenir informació curricular directament de la plataforma Lattes, amb l'ajuda de l'eina Script Lattes (Mena-Chalco; César, 2009). L'anàlisi va examinar la distribució d'articles en les diverses revistes classificades per àrea en el període de 2010 a 2014, un període que extrapola el final en el T5 (2012), cosa que permet l'anàlisi de l'efecte dels criteris (establerts al T5) en la producció científica dels anys següents. Les variables són les mateixes que apareixen en la segona etapa, a excepció de l'estrat Qualis de la revista, que pel fet d'extrapolar el T5, es va decidir que la millor qualificació era la dels anys 2012, 2013 i 2014.

 

3 Resultats

3.1 Avaluació de la producció científica a l'àrea d'ADM/COM/TUR

3.1.1 Criteris d'avaluació – anàlisi dels documents d'àrea

Entre totes les àrees d'avaluació, s'observa que els criteris de classificació de les revistes es poden dividir en tres tipus: indicadors bibliomètrics, principalment el factor d'impacte JCR (FI-JCR); indexació en bases de dades, i característiques de la revista (Mugnaini, 2015; Oliveira; Amaral, 2017). Aquest últim tipus de criteri consisteix en una pauta que determina els models que cal considerar en la constitució de les noves publicacions periòdiques (Bonini, 2004).

Tenint en compte els estrats més alts (A1, A2 i B1), l'àrea d'ADM/COM/TUR ja basava els seus criteris en els indicadors del T4 (determinant els nivells del FI-JCR per a A1 i A2, i la indexació en les bases de dades SciELO, EconLit, PsycInfo i Redalyc o les característiques de la revista per a B1). Al T5, s'intensifica l'ús d'indicadors per als tres estrats, i s'estableix un FI-JCR mínim també per a B1.

Pel que fa a la valoració de la producció intel·lectual, es donen punts per a cada vehicle de publicació (revista, llibre, esdeveniment anual), en relació amb el total d'elements avaluats del programa. Entre els triennis, l'àrea d'ADM/COM/TUR deixa de puntuar en la participació en esdeveniments, a més de reduir la puntuació per a la publicació en revistes i llibres del 22,8 % al 17,5 %.

Un altre aspecte és l'atribució de punts a la publicació en revistes dels diferents estrats. Encara que la majoria de les àrees assignen 100, 85 i 70 punts als estrats A1, A2 i B1, respectivament, l'àrea d'ADM/COM/TUR n'assigna 100, 80 i 60, la qual cosa denota una devaluació dels estrats posteriors a l'A1.

 

3.1.2 Classificació de les revistes – anàlisi de les característiques

En aquesta etapa de la recerca, es van observar les revistes que van rebre la classificació del Qualis a l'àrea d'ADM/COM/TUR. Del total de 2.187 publicacions periòdiques (T4 i T5), 608 són d'ADM, 113 de COM i 50 de TUR. La resta sumen un total de 1.471 revistes d'altres àrees, que van rebre avaluació d'aquest comitè atesa la publicació d'algun investigador de l'àrea d'ADM/COM/TUR —val la pena recordar que les revistes poden haver estat classificades en més d'una àrea. Entre les àrees, destaquen les que tenen al voltant de 100 o més revistes: economia, seguida d'educació i àrea multidisciplinària, i després humanitats i enginyeria en general.

Quan observem les editorials de les revistes (vegeu la taula 1), veiem que, quan es tracta dels estrats A1 i A2, la majoria es concentren en les grans editorials comercials (aquesta concentració és encara més pronunciada per a les revistes d'ADM/COM/TUR que per a la resta d'àrees). Aquest fenomen està influït pel fet que aquests estrats tenien com a criteri de classificació el FI-JCR, i aquestes editorials tenen el monopoli de la majoria d'aquestes revistes, tal com van observar Larivière et al. (2015). Cal assenyalar que a l'estrat B1 i als altres estrats la concentració en les grans editorials es dilueix. Elsevier publica el percentatge més alt de revistes A1, seguida de Taylor i Springer; ja en A2 i B1 s'adverteix que Emerald i Inderscience concentren la majoria de les revistes d'ADM/COM/TUR.

 

Estrat
Àrea
Editorials
ELSEVIER
EMERALD
TAYLOR
SPRINGER
INDER-
SCIENCE
A1
ADM, COM, TUR
38,7%
11,3%
11,3%
9,7%
1,6%
Altres
31,9%
0,8%
14,3%
12,6%
0,0%
A2
ADM, COM, TUR
0,0%
25,0%
6,3%
6,3%
13,8%
Altres
4,9%
3,9%
6,8%
6,8%
3,9%
B1
ADM, COM, TUR
1,1%
9,2%
6,9%
3,4%
12,6%
Altres
4,3%
2,5%
1,2%
1,2%
3,7%
Altres estrats
ADM, COM, TUR
5,1%
14,5%
2,9%
4,4%
3,7%
Altres
5,7%
0,8%
2,4%
3,4%
1,7%
Estrat
Àrea
Editorials
Total de revistes
WILEY
SAGE
Altres
Total
A1
ADM, COM, TUR
6,5%
4,8%
16,1%
100,0%
62
Altres
7,6%
7,6%
25,2%
100,0%
119
A2
ADM, COM, TUR
11,3%
2,5%
35,0%
100,0%
80
Altres
2,9%
2,9%
68,0%
100,0%
103
B1
ADM, COM, TUR
3,4%
0,0%
63,2%
100,0%
87
Altres
1,2%
0,0%
85,7%
100,0%
161
Altres estrats
ADM, COM, TUR
1,5%
3,7%
64,1%
100,0%
489
Altres
2,5%
0,8%
82,6%
100,0%
1086

Taula 1. Distribució de revistes classificades a l'àrea d'ADM/COM/TUR,
segons l'estrat de classificació, l'editorial i l'àrea de la revista

 

Si s'analitza la distribució de les revistes entre els estrats de classificació de cada àrea per separat (vegeu la taula 2), es pot observar que la subàrea d'ADM té un perfil molt diferent del de les altres dues, amb un nombre significativament més gran de revistes estrangeres en els triennis T4 i T5 (61,3 %, i d'aquestes, el 85,3 % són en anglès), i amb el predomini dels estrats superiors. En la subàrea COM, es veu que només en el T5 predominen les revistes estrangeres en els estrats superiors, cosa que també passa a TUR, però amb menor magnitud —cal assenyalar que les quantitats són insignificants en comparació amb ADM. També en els triennis T4 i T5, COM i TUR presenten la majoria de revistes nacionals (65,5 % i 62,0 %, respectivament) i, de les revistes estrangeres, el 76,9 % i el 47,4 %, respectivament, són en anglès. Pel que fa a les altres àrees, crida l'atenció el creixement del nombre de revistes entre els triennis T4 i T5, al mateix temps que hi ha un lleuger augment del percentatge d'aquestes en els estrats superiors, cosa que denota que aquesta àrea ha publicat en més revistes qualificades que les altres àrees.

L'absència de revistes nacionals A1 en les tres subàrees és notable, i en les altres àrees aquesta quantitat també és petita, la qual cosa es deu al fet que les revistes nacionals de ciències socials i humanitats no estan ben representades a la Web of Science (WoS), o bé presenten un índex FI-JCR baix.

 

Àrea
Nacionalitat
Trieni
Estrats
Total
de
revistes
A1
A2
B1
B2
B3
B4
B5
ADM
Estrangeres
T4
23,6%
17,9%
13,8%
2,4%
10,6%
13,8%
17,9%
123
T5
22,1%
22,8%
22,1%
1,1%
10,6%
8,0%
13,3%
263
Nacionals
T4
 
5,2%
6,7%
8,1%
24,4%
16,3%
39,3%
135
T5
 
5,8%
8,7%
12,7%
28,9%
16,2%
27,7%
173
COM
Estrangeres
T4
 
11,1%
11,1%
22,2%
22,2%
22,2%
11,1%
9
T5
20,8%
16,7%
20,8%
0,0%
20,8%
8,3%
12,5%
24
Nacionals
T4
 
7,8%
7,8%
11,8%
23,5%
25,5%
23,5%
51
T5
 
7,0%
14,0%
19,3%
26,3%
14,0%
19,3%
57
TUR
Estrangeres
T4
   
50,0%
16,7%
16,7%
0,0%
16,7%
6
T5
8,3%
16,7%
50,0%
0,0%
16,7%
0,0%
8,3%
12
Nacionals
T4
   
10,5%
21,1%
26,3%
15,8%
26,3%
19
T5
   
9,5%
23,8%
33,3%
9,5%
23,8%
21
Altres
Estrangeres
T4
25,6%
16,3%
14,0%
2,3%
8,1%
14,5%
19,2%
172
T5
29,7%
19,0%
20,6%
1,6%
7,3%
6,8%
15,1%
384
Nacionals
T4
0,6%
4,5%
9,7%
6,6%
18,4%
17,8%
42,3%
331
T5
0,9%
5,2%
14,2%
4,9%
23,6%
16,1%
35,1%
572

Taula 2. Distribució de revistes classificades a l'àrea d'ADM/COM/TUR,
segons el trienni, l'àrea i la nacionalitat de la revista

 

L'escenari esbossat afavoreix clarament la subàrea d'ADM, que va ocupar el 100 % de les revistes A1 en el T4 (29 revistes estrangeres) i el 90,6 % en el T5 (58 revistes estrangeres); en l'estrat A2 no és diferent, amb el 85,3 % en el T4 (22 publicacions estrangeres i 7 de nacionals) i el 87,5 % en T5 (60 revistes estrangeres i 10 de nacionals). És molt tímida la inserció de publicacions periòdiques de les altres subàrees, que en el T5 tenien algunes revistes en aquests estrats (9 de COM, i només 3 de TUR). El requisit per a l'estrat A1 era FI-JCR > 0,5 o índex h > 5 a la base de dades Scopus en el T4, amb un augment a 1,0 i 20, respectivament, en el T5. Per a l'estrat A2, els requisits van ser 0 < FI-JCR ≤ 0,5 o h > 5 en el T4 i van arribar a ser 0,2 < FI-JCR ≤ 1,0 o 4 < h ≤ 20 en el T5. Aquestes imposicions han impedit la classificació de les revistes nacionals de les tres subàrees en l'estrat A1, i en el cas de TUR també en l'A2, pel fet de no estar indexades en el WoS o l'Scopus.

Per aquest motiu, es va proposar l'anàlisi de la distribució de la producció científica de la subàrea de turisme, amb l'objectiu d'identificar els efectes de la classificació de les revistes de l'àrea d'ADM/COM/TUR.

 

3.2 Perfil de publicació dels investigadors de turisme

A partir de la taula 3 es pot veure que 538 articles (o el 61,2 %) són publicats en revistes de la mateixa subàrea, el 15,6 % d'ADM/COM i el 23,2 % d'altres àrees. D'altra banda, l'augment del nombre d'articles a les revistes de TUR és continu durant tot el període corresponent al T5 (2010–2012), i presenta un nombre lleugerament inferior en els anys posteriors.

Quan es consideren els percentatges de publicació en revistes estrangeres, s'observa una lleugera oscil·lació en les revistes de TUR durant tot el període, que representen aproximadament un terç de la producció en revistes internacionals. Destaquen els anys 2011 i 2014, que mostren el percentatge més alt observat en el període. En publicacions periòdiques d'altres àrees, la tendència és disminuir el percentatge al llarg del període, però cal tenir en compte l'inici de la publicació en revistes estrangeres d'ADM/COM en els dos anys següents al T5 (6 articles el 2013 i 5 el 2014).

 

Revistes
TUR
ADM i COM
Altres àrees
Any
Total d'articles
% arts. en revistes estrangeres
Total d'articles
% arts. en revistes estrangeres
Total d'articles
% arts. en revistes estrangeres
2010
70
32,9%
17
-
33
24,2%
2011
90
40,0%
34
-
47
40,4%
2012
130
34,6%
29
-
57
15,8%
2013
123
29,3%
30
20,0%
41
14,6%
2014
125
39,2%
27
18,5%
26
15,4%
Total
538
35,1%
137
8,0%
204
22,5%

Taula 3. Distribució d'articles d'investigadors de turisme segons l'any i l'àrea de la revista

 

En la taula 4 crida l'atenció l'única publicació en l'A1 el 2014, en una revista d'ADM (Journal of Cleaner Production, editada per Elsevier des de 1993, amb un FI-JCR 2014 de 3,844). En l'A2, les publicacions es concentren en les revistes de TUR i augmenten en volum a mesura que els estrats baixen, fins a B3. Només hi ha dues revistes de l'A2 de TUR, una de turca (Anatolia turizm ve çevre kulturu dergisi), utilitzada només una vegada, i una altra d'argentina (Estudios y Perspectivas del Turismo) amb els 58 articles restants.

El percentatge de publicacions en revistes estrangeres de TUR també domina en els estrats B1 i B3, tot indicant que s'està duent a terme l'esforç d'internacionalització, independentment dels estrats (situació similar a quan es consideren revistes d'altres àrees), però són predominantment en espanyol. Tanmateix, quan es publiquen en revistes d'ADM/COM, se'n busquen d'estrangeres dels estrats més elevats, en anglès.

 

Revistes
TUR
ADM i COM
Altres àrees
Estrat
Total d'articles
% arts. en revistes estrangeres
Total d'articles
% arts. en revistes estrangeres
Total d'articles
% arts. en revistes estrangeres
A1
-
-
1
100,0%
0
-
A2
59
100,0%
11
-
10
80,0%
B1
127
33,1%
23
26,1%
31
16,1%
B2
102
3,9%
33
-
10
0,0%
B3
212
35,8%
50
4,0%
74
21,6%
B4
18
0,0%
11
9,1%
35
40,0%
B5
9
0,0%
8
12,5%
28
10,7%
C
11
72,7%
-
-
16
-
Total
538
35,1%
137
8,0%
204
22,5%

Taula 4. Distribució d'articles d'investigadors de turisme segons l'estrat i l'àrea de la revista

 

El perfil de publicació dels investigadors de turisme va mostrar una alta concentració en revistes B3 (39,4 %), i cal destacar que només hi ha 2 revistes estrangeres (una d'espanyola i una de portuguesa) i 7 revistes nacionals.

A partir d'això, es pot afirmar que la producció científica de turisme es publica majoritàriament en portuguès, i en el cas de revistes estrangeres, quan no es publica en una revista de Portugal, es fa gairebé exclusivament en espanyol. De les 23 revistes d'Hospitalitat, lleure, esport i turisme que hi ha al JCR 2016, totes exigeixen manuscrits en anglès, i la majoria (19) estarien classificades com A1 (i les altres 4 com A2) si s'haguessin utilitzat per publicar. A curt termini, la subàrea haurà de fer esforços per publicar en revistes indexades al JCR (en anglès) si vol tenir revistes a l'estrat A1, i a llarg termini, obtenir indexació de revistes nacionals.

Com assenyalen Hurd (2000) i Beigel (2014), la publicació d'articles a les revistes principals és l'exigència que normalment fixen els sistemes d'avaluació a tot el món, i al Brasil no ha estat diferent. En l'avaluació feta per la CAPES, aquests criteris s'utilitzen per determinar les puntuacions de PPG, fet que ocasiona el que Butler (2007) anomena desplaçament d'objectiu. Com a resultat, els investigadors de turisme van optar per adaptar la seva recerca als problemes tractats en revistes estrangeres de l'àrea d'administració, per elevar els nivells d'excel·lència que estableix l'àrea.

Hug et al. (2013) també destaquen la importància que els criteris i indicadors de qualitat en les humanitats adoptin un enfocament de dins cap a fora, basats en les especificitats de les àrees, la qual cosa significaria, en el cas d'ADM/COM/TUR, complementar els seus criteris de manera que prevegin les especificitats de la subàrea de turisme. En aquest sentit, Larivière et al. (2015) assenyalen que aquesta capil·laritat observada entre les àrees d'humanitats i socials prové de la manca d'una societat científica més gran que reuneixi els investigadors/editors de les diferents disciplines, fet que els fa més vulnerables, i porta les revistes de molts països a utilitzar les grans editorials comercials. En el cas del Brasil, com en diversos països llatinoamericans, el projecte SciELO va oferir un camí diferent a una gran part de les revistes nacionals, induint aspectes de qualitat similars als que ofereixen les grans editorials i bases de dades internacionals, però cal considerar la gran quantitat de revistes d'humanitats que encara no estan indexades.

La subàrea de turisme pateix criteris que afavoreixen l'administració, ja que els estrats del FI-JCR estan determinats per les revistes que els investigadors d'aquesta subàrea utilitzen per publicar. No obstant això, tot i que les revistes nacionals no gaudeixen de l'estatus de principals, la revista publicada des de l'any 2007 per l'Associação Nacional de Pesquisa e Pós-Graduação em Turismo —Revista brasileira de pesquisa em turismo, bilingüe— va ser la primera que es va indexar a l'SciELO el 2016. Això indica la maduresa de la subàrea en l'àmbit nacional, que podria servir d'estímul a una avaluació més adequada de les revistes nacionals.

 

4 Conclusions

En analitzar l'avaluació conjunta establerta en una àrea com la d'administració, ciències comptables i turisme, es va observar el predomini de criteris que afavoreixen l'administració. S'estima que petits canvis en els criteris podrien afavorir la subàrea de turisme, com ara requerir només indexació en bases de dades específiques, en comptes de valors mínims del FI-JCR o l'índex h a l'Scopus. Tanmateix, aquests ajustaments no eximirien els investigadors de la necessitat de discutir els seus resultats en un context internacional, que està succeint; però per assolir nivells més alts, necessitaran inevitablement publicar en anglès, que serà un esforç important, atesa la concentració de publicacions en revistes nacionals dels estrats B1 a B3 i el fet que les publicacions en revistes internacionals són principalment en espanyol.

La situació en què es troba la subàrea de turisme no és diferent de la d'altres àrees, fins i tot les avaluades individualment. L'adopció del factor d'impacte JCR ignora aspectes de les revistes que poden ser importants per a l'àrea, com s'ha pogut observar en aquest estudi. D'altra banda, l'índex h, l'adopció del qual està augmentant (també calculat en altres bases de dades, com ara el Google Scholar o l'SciELO), a més de no equilibrar el problema, és totalment desaconsellat per classificar revistes, ja que no es basa en una mitjana, la qual cosa fa que el rendiment depengui del volum d'articles publicats per la revista (Waltman; Van Eck, 2012).

Finalment, es recomana que els indicadors bibliomètrics no siguin utilitzats exclusivament, sobretot quan es tracti de la menor quantitat de revistes que ocupen els estrats superiors (A1 i A2), per garantir una avaluació més adequada a les especificitats de les àrees. A més, els representants de la mateixa CAPES adverteixen la comunitat científica que compon les comissions d'avaluació: "as métricas não devem ser usadas de forma indiscriminada ou meramente contábil, sem se atentar para suas limitações. Além disso, elas não devem ser indicadores únicos para avaliação, sobrepondo a análise de especialistas" (Oliveira; Amaral, 2017, p. 163).

 

Agraïments

Donem les gràcies a la Fundação de Amparo à Pesquisa do Estado de São Paulo pel finançament de la recerca (procés FAPESP núm. 2012/00255-6) i al professor Jesús P. Mena-Chalco, que amablement va extreure les dades dels currículums Lattes dels investigadors de turisme.

 

Bibliografia

Beigel, F. (2014). "Publishing from the periphery: Structural heterogeneity and segmented circuits. The evaluation of scientific publications for tenure in Argentina's CONICET". Current sociology, v. 62, n. 5, p. 743-765. <https://doi.org/10.1177/0011392114533977>. [Consulta: 06/11/2017].

Björk, B-C. (2007). "A model of scientific communication as a global distributed information system". Information Research, v. 12, n. 2, 2007. <http://InformationR.net/ir/12-2/paper307.html>. [Consulta: 29/01/2018].

Bonini, A. (2004). "Qualis de Letras/Lingüística: uma análise de seus fundamentos". Revista brasileira de pós-graduação, vol. 1, no. 2, p. 141–159. <http://dx.doi.org/10.21713/2358-2332.2004.v1.45>. [Consulta: 06/11/2017].

Butler, L. (2007). "Assessing university research: a plea for a balanced approach". Science and public policy, vol. 34, n. 8, p. 565-574. <https://doi.org/10.3152/030234207X254404>. [Consulta: 06/11/2017].

Chavarro, D. A.; Tang, P.; Ràfols, I. (2017). "Why researchers publish in non-mainstream journals: training, knowledge bridging, and gap filling". Research policy, v. 46, n. 9, p. 1666-1680. <https://doi.org/10.1016/j.respol.2017.08.002>. [Consulta: 06/11/2017].

Hicks, D. (2004). "The four literatures of Social Science". En: Moed H. F., Glänzel W., Schmoch U. (eds.). Handbook of Quantitative Science and Technology Research. Springer, Dordrecht, p. 473-496. <https://doi.org/10.1007/1-4020-2755-9_22>. [Consulta: 06/11/2017].

Hug, S.; Ochsner, M.; Daniel, H.-D. (2013). "Criteria for assessing research quality in the humanities: a Delphi study among scholars of English literature, German literature and art history". Research evaluation, vol. 22, p. 369–383. <https://doi.org/10.1093/reseval/rvt008>. [Consulta: 06/11/2017].

Hurd, J. M. (2000). "The Transformation of Scientific Communication: A Model for 2020". Journal of the american society for information science, vol. 51, no. 14, p. 1279–1283. <http://dx.doi.org/10.1002/1097-4571(2000)9999:9999<::AID-ASI1044>3.0.CO;2-1>. [Consulta: 06/11/2017].

Kuhn, T. S. (2000). A estrutura das revoluções cientificas. São Paulo: Editora Perspectiva.

Larivière, V.; Haustein, S.; Mongeon, P. (2015). "The Oligopoly of Academic Publishers in the Digital Era". PLoS ONE, 10 (June). <https://doi.org/10.1371/journal.pone.0127502>. [Consulta: 06/11/2017]

Leite, P.; Mugnaini, R.; Leta, J. (2011). "A new indicator for international visibility: exploring Brazilian scientific community". Scientometrics, vol. 88, p. 311–319. <https://doi.org/10.1007/s11192-011-0379-9>. [Consulta: 06/11/2017].

Mena-Chalco, J. P.; Cesar Jr., R. M. (2009). "ScriptLattes: an open-source knowledge extraction system from the Lattes platform". Journal of the Brazilian Computer Society, vol. 15, no. 4, p. 31–39. <http://dx.doi.org/10.1007/BF03194511>. [Consulta: 06/11/2017].

Mugnaini, R. (2015). "Ciclo avaliativo de periódicos no Brasil: caminho virtuoso ou colcha de retalhos?". En: XVI ENANCIB-Encontro Nacional de Pesquisa em Ciência da Informação. João Pessoa: UFPB. <http://www.ufpb.br/evento/lti/ocs/index.php/enancib2015/enancib2015/paper/view/2984/1157>. [Consulta: 06/11/2017].

Oliveira, T. M. de; Amaral, L. (2017). "Public Policies in Science and Technology in Brazil: challenges and proposals for the use of indicators in evaluation". En: Mugnaini, R.; Fujino, A.; Kobashi, N. Y. (orgs.). Bibliometrics and scientometrics in Brazil: scientific research assessment infrastructure in the era of Big Data. São Paulo: ECA/USP, p.189-217. <https://doi.org/10.11606/9788572051705>. [Consulta: 06/11/2017].

Packer, A. L. (2011). "Os periódicos brasileiros e a comunicação da pesquisa nacional". Revista USP, n. 89, p. 26-61. <http://dx.doi.org/10.11606/issn.2316-9036.v0i89p26-61>. [Consulta: 06/11/2017].

Rejowski, M.; Aldrigui, M. (2007). "Periódicos científicos em Turismo no Brasil: dos boletins técnico-informativos às revistas científicas eletrônicas". Revista Turismo em Análise, v. 18, n. 2, p. 245-268. <http://dx.doi.org/10.11606/issn.1984-4867.v18i2p245-268>. [Consulta: 29/01/2018].

Waltman, L.; Van Eck, N. J. (2012). "The inconsistency of the h-index". Journal of the American Society for Information Science and Technology, v. 63, n. 2, p. 406-415. <http://dx.doi.org/10.1002/asi.21678>. [Consulta: 29/01/2018].

Citació recomanada

Miranda, Elaine Cristina Pinto de; Mugnaini, Rogério (2018). "Criteris d'avaluació en turisme i els seus efectes en el perfil de publicació dels investigadors". BiD: textos universitaris de biblioteconomia i documentació, núm. 40 (juny) . <http://bid.ub.edu/40/mugnaini.htm>. DOI: http://dx.doi.org/10.1344/BiD2018.40.18 [Consulta: 22-06-2018].