Criteris d’avaluació en turisme i els seus efectes en el perfil de publicació dels investigadors

1 Introducció

El turisme, considerat un camp recent d'estudis i recerca al Brasil, va començar a formar part de l'ensenyament superior en la dècada de 1970 (Rejowski; Aldrigui, 2007). Les primeres recerques sobre l'activitat turística estaven influenciades per les àrees de formació dels investigadors, i van ser dutes a terme des de la perspectiva de les diferents àrees de coneixement, fet que possibilitava diversos enfocaments des del punt de vista econòmic, administratiu i sociològic, relacionats amb la interacció entre els individus.

Com és d'esperar, el procés de comunicació científica s'ha anat desenvolupant al llarg del temps i ha experimentat un creixement en els últims anys, tant pel que fa als articles com a les revistes. No obstant això, sembla que l'aparició de revistes en línia nacionals de turisme, per iniciativa de moltes institucions, va més enllà de l'increment de la comunitat —o dels articles publicats per elles— i de vegades se'n qüestiona la qualitat. A l'altre extrem, podem observar que hi ha 45 revistes internacionals indexades en el Journal Citation Reports (JCR) en la categoria Hospitalitat, lleure, esport i turisme —se'n resten 23, ja que no tenim en compte les que es dediquen específicament a l'esport—, la qual cosa indica que opten per publicacions internacionals.

Cal destacar també l'existència d'un procés d'avaluació dels programes de postgrau, dirigit al Brasil per la CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) (Oliveira; Amaral, 2017), en el qual la subàrea de turisme és avaluada conjuntament amb altres subàrees, en l'anomenada àrea d'administració, ciències comptables i turisme (ADM/COM/TUR). Davant d'això, es qüestiona el fet que el turisme sigui avaluat conjuntament amb aquestes subàrees, atès el risc de donar-li, i també als investigadors, l'òptica d'activitat econòmica, en detriment de mirar els seus aspectes socials, i implicar-hi l'ús de paràmetres inadequats a l'hora d'avaluar aquesta àrea. Per tant, és molt important identificar i mesurar les influències del procés d'avaluació en la producció científica, que acaben fent que les àrees alterin la seva pràctica comunicativa per tal d'obtenir una avaluació millor (Butler, 2007).

El Qualis va ser proposat per la CAPES el 1998, i consisteix en un sistema de classificació de publicacions periòdiques en què participa la comunitat academicocientífica. S'utilitza per avaluar la producció científica dels investigadors acreditats en els programes de postgrau, segons una classificació en estrats amb criteris definits per les comissions d'avaluació de les diferents àrees, com és el cas d'ADM/COM/TUR, i s'actualitza anualment. Per a cada estrat s'estableix una puntuació diferent que defineix la classificació de la revista: A1, A2, B1, B2, B3, B4, B5 i C, on A1 i A2 són les millors revistes i C no puntua.

En aquest sentit, cal considerar els processos de comunicació científica i el coneixement científic en el context en què cada comunitat té característiques diferents i es compon de departaments i laboratoris en universitats i institucions de recerca, inclosos els canals formals de comunicació (revistes científiques, societats i esdeveniments científics) (Kuhn, 2000). Així mateix s'hi afegeix la complexitat creixent del sistema de comunicació científica i els diferents tipus d'interacció dels seus participants (Hurd, 2000). Cal esmentar també l'existència de factors externs com ara els finançadors de la recerca, que imposen normes que poden influir en l'elecció dels canals de publicació (Björk, 2007).

Cada comunitat científica mostra un patró de comportament que influeix directament tant en l'activitat de recerca com en la manera de comunicar-la. Per tant, en el cas de les ciències socials i humanes, Hicks (2004) adverteix que els processos d'avaluació que impliquen indicadors bibliomètrics consideren quatre tipus de literatura: revistes, llibres, literatura nacional (desenvolupada en un context local) i literatura no científica (coneixement en cerca d'aplicació). L'autora també destaca les diferències entre les àrees, com l'economia i la psicologia, en què la literatura és similar a la literatura científica; o la sociologia, que pertany a una literatura de les ciències socials, més paradigmàtica, o la història, que representa les humanitats. I aclareix que els índexs de citació poden afavorir les dues primeres, però com a conseqüència poden portar els investigadors a adaptar la seva recerca als patrons d'avaluació, fet que resultaria en una nova ciència social, amb l'abandonament de les tres literatures en favor de revistes indexades, marginant literatures específiques, sense que fos la seva intenció.

Entre les literatures marginades, cal destacar les revistes nacionals, especialment en països on la majoria dels investigadors no té fluïdesa en anglès, independentment d'haver desenvolupat una infraestructura important de publicació/edició, com és el cas d'alguns països llatinoamericans, que participen en el projecte SciELO (Packer, 2011). Leite et al. (2011), analitzant els currículums d'uns 51.000 doctors brasilers, basant-se en el percentatge de publicacions en llengua estrangera de la producció total dels investigadors, van trobar que en ciències humanes i socials el 80 % dels investigadors tenien un perfil de publicació exclusivament en portuguès (havien publicat menys d'una cinquena part de la seva producció en un altre idioma). Però, quan es compara la variació d'aquest índex entre els quadriennis separats pel canvi del mil·lenni, es van adonar que prop del 3 % dels doctors van començar a publicar entre 1/5 i 2/5 de la seva producció en un altre idioma, gràcies a l'estímul de la política científica brasilera.

Segons Beigel (2014), la pressió per publicar en les revistes principals i la relació amb el sistema d'avaluació, finançament i rendiment —mesurats pels indicadors bibliomètrics— té la greu conseqüència d'excloure de la circulació el coneixement produït en circuits perifèrics, que no formen part de les revistes més importants. Els investigadors colombians, quan van ser entrevistats per Chavarro et al. (2017), van expressar que les revistes nacionals s'utilitzen com un entrenament dels investigadors principiants, amb el propòsit de fer el pas següent, que és la publicació en les revistes principals. D'altra banda, van assenyalar la importància de les revistes nacionals com un pont de coneixement (pel fet de proporcionar l'accés a la comunitat nacional als continguts normalment publicats exclusivament en revistes principals) o per omplir buits (que consisteix en la publicació de continguts absents en les revistes principals).

Amb el que s'ha exposat, és evident que l'avaluació de la producció científica és un repte que ha d'adaptar-se a les diverses especificitats de les subàrees que, quan són avaluades conjuntament, en poden afavorir algunes en detriment d'unes altres i implicar conseqüències negatives per al seu desenvolupament. És important investigar possibles canvis en el perfil de publicació dels investigadors de la subàrea de turisme —que sembla que preval en revistes nacionals—, els quals poden estar publicant en revistes principals específiques de la subàrea d'administració.

2 Metodologia

La recerca es va dur a terme en tres etapes, dues de les quals estan directament relacionades amb els criteris d'avaluació de la producció científica de l'àrea d'administració, ciències comptables i turisme, per la CAPES, que són: els documents d'àrea, en què s'estableixen els criteris de classificació de les revistes en estrats, i la llista de revistes classificades utilitzades per a la publicació i els estrats de classificació respectius que van rebre. La tercera etapa de la investigació es va basar en la informació dels currículums de 108 investigadors acreditats en els 9 programes de postgrau (PPG) de la subàrea de turisme.

En la primera etapa, es van analitzar els documents d'àrea dels triennis 2007–2009 (que es va anomenar T4, considerant que el primer va ser 1998–2000) i 2010–2012 (T5) per identificar els criteris de classificació de les revistes utilitzades per a la publicació, per les àrees i la puntuació corresponent per a la publicació de cadascuna.

En la segona etapa, es va treballar una llista única de les 2.187 revistes que componien el Qualis ADM/COM/TUR en els triennis T4 i T5 i es van analitzar les revistes una per una, d'acord amb les variables següents: l'àrea de coneixement (podia estar classificada en més d'una àrea), la nacionalitat, la llengua de publicació, l'editorial i els estrats de classificació.

I, en l'última etapa, es va extreure informació de currículums Lattes pel que fa a la publicació dels investigadors de la subàrea de turisme. Es van identificar els investigadors acreditats en PPG d'aquesta subàrea, des de la plataforma Sucupira —sistema d'informació que dona suport a l'avaluació de la CAPES— i, a partir d'aquesta llista, es va obtenir informació curricular directament de la plataforma Lattes, amb l'ajuda de l'eina Script Lattes (Mena-Chalco; César, 2009). L'anàlisi va examinar la distribució d'articles en les diverses revistes classificades per àrea en el període de 2010 a 2014, un període que extrapola el final en el T5 (2012), cosa que permet l'anàlisi de l'efecte dels criteris (establerts al T5) en la producció científica dels anys següents. Les variables són les mateixes que apareixen en la segona etapa, a excepció de l'estrat Qualis de la revista, que pel fet d'extrapolar el T5, es va decidir que la millor qualificació era la dels anys 2012, 2013 i 2014.

3 Resultats

3.1 Avaluació de la producció científica a l'àrea d'ADM/COM/TUR

3.1.1 Criteris d'avaluació – anàlisi dels documents d'àrea

Entre totes les àrees d'avaluació, s'observa que els criteris de classificació de les revistes es poden dividir en tres tipus: indicadors bibliomètrics, principalment el factor d'impacte JCR (FI-JCR); indexació en bases de dades, i característiques de la revista (Mugnaini, 2015; Oliveira; Amaral, 2017). Aquest últim tipus de criteri consisteix en una pauta que determina els models que cal considerar en la constitució de les noves publicacions periòdiques (Bonini, 2004).

Tenint en compte els estrats més alts (A1, A2 i B1), l'àrea d'ADM/COM/TUR ja basava els seus criteris en els indicadors del T4 (determinant els nivells del FI-JCR per a A1 i A2, i la indexació en les bases de dades SciELO, EconLit, PsycInfo i Redalyc o les característiques de la revista per a B1). Al T5, s'intensifica l'ús d'indicadors per als tres estrats, i s'estableix un FI-JCR mínim també per a B1.

Pel que fa a la valoració de la producció intel·lectual, es donen punts per a cada vehicle de publicació (revista, llibre, esdeveniment anual), en relació amb el total d'elements avaluats del programa. Entre els triennis, l'àrea d'ADM/COM/TUR deixa de puntuar en la participació en esdeveniments, a més de reduir la puntuació per a la publicació en revistes i llibres del 22,8 % al 17,5 %.

Un altre aspecte és l'atribució de punts a la publicació en revistes dels diferents estrats. Encara que la majoria de les àrees assignen 100, 85 i 70 punts als estrats A1, A2 i B1, respectivament, l'àrea d'ADM/COM/TUR n'assigna 100, 80 i 60, la qual cosa denota una devaluació dels estrats posteriors a l'A1.

3.1.2 Classificació de les revistes – anàlisi de les característiques

En aquesta etapa de la recerca, es van observar les revistes que van rebre la classificació del Qualis a l'àrea d'ADM/COM/TUR. Del total de 2.187 publicacions periòdiques (T4 i T5), 608 són d'ADM, 113 de COM i 50 de TUR. La resta sumen un total de 1.471 revistes d'altres àrees, que van rebre avaluació d'aquest comitè atesa la publicació d'algun investigador de l'àrea d'ADM/COM/TUR —val la pena recordar que les revistes poden haver estat classificades en més d'una àrea. Entre les àrees, destaquen les que tenen al voltant de 100 o més revistes: economia, seguida d'educació i àrea multidisciplinària, i després humanitats i enginyeria en general.

Quan observem les editorials de les revistes (vegeu la taula 1), veiem que, quan es tracta dels estrats A1 i A2, la majoria es concentren en les grans editorials comercials (aquesta concentració és encara més pronunciada per a les revistes d'ADM/COM/TUR que per a la resta d'àrees). Aquest fenomen està influït pel fet que aquests estrats tenien com a criteri de classificació el FI-JCR, i aquestes editorials tenen el monopoli de la majoria d'aquestes revistes, tal com van observar Larivière et al. (2015). Cal assenyalar que a l'estrat B1 i als altres estrats la concentració en les grans editorials es dilueix. Elsevier publica el percentatge més alt de revistes A1, seguida de Taylor i Springer; ja en A2 i B1 s'adverteix que Emerald i Inderscience concentren la majoria de les revistes d'ADM/COM/TUR.

Taula 1. Distribució de revistes classificades a l'àrea d'ADM/COM/TUR,
segons l'estrat de classificació, l'editorial i l'àrea de la revista

Si s'analitza la distribució de les revistes entre els estrats de classificació de cada àrea per separat (vegeu la taula 2), es pot observar que la subàrea d'ADM té un perfil molt diferent del de les altres dues, amb un nombre significativament més gran de revistes estrangeres en els triennis T4 i T5 (61,3 %, i d'aquestes, el 85,3 % són en anglès), i amb el predomini dels estrats superiors. En la subàrea COM, es veu que només en el T5 predominen les revistes estrangeres en els estrats superiors, cosa que també passa a TUR, però amb menor magnitud —cal assenyalar que les quantitats són insignificants en comparació amb ADM. També en els triennis T4 i T5, COM i TUR presenten la majoria de revistes nacionals (65,5 % i 62,0 %, respectivament) i, de les revistes estrangeres, el 76,9 % i el 47,4 %, respectivament, són en anglès. Pel que fa a les altres àrees, crida l'atenció el creixement del nombre de revistes entre els triennis T4 i T5, al mateix temps que hi ha un lleuger augment del percentatge d'aquestes en els estrats superiors, cosa que denota que aquesta àrea ha publicat en més revistes qualificades que les altres àrees.

L'absència de revistes nacionals A1 en les tres subàrees és notable, i en les altres àrees aquesta quantitat també és petita, la qual cosa es deu al fet que les revistes nacionals de ciències socials i humanitats no estan ben representades a la Web of Science (WoS), o bé presenten un índex FI-JCR baix.

Taula 2. Distribució de revistes classificades a l'àrea d'ADM/COM/TUR,
segons el trienni, l'àrea i la nacionalitat de la revista

L'escenari esbossat afavoreix clarament la subàrea d'ADM, que va ocupar el 100 % de les revistes A1 en el T4 (29 revistes estrangeres) i el 90,6 % en el T5 (58 revistes estrangeres); en l'estrat A2 no és diferent, amb el 85,3 % en el T4 (22 publicacions estrangeres i 7 de nacionals) i el 87,5 % en T5 (60 revistes estrangeres i 10 de nacionals). És molt tímida la inserció de publicacions periòdiques de les altres subàrees, que en el T5 tenien algunes revistes en aquests estrats (9 de COM, i només 3 de TUR). El requisit per a l'estrat A1 era FI-JCR > 0,5 o índex h > 5 a la base de dades Scopus en el T4, amb un augment a 1,0 i 20, respectivament, en el T5. Per a l'estrat A2, els requisits van ser 0 < FI-JCR ≤ 0,5 o h > 5 en el T4 i van arribar a ser 0,2 < FI-JCR ≤ 1,0 o 4 < h ≤ 20 en el T5. Aquestes imposicions han impedit la classificació de les revistes nacionals de les tres subàrees en l'estrat A1, i en el cas de TUR també en l'A2, pel fet de no estar indexades en el WoS o l'Scopus.

Per aquest motiu, es va proposar l'anàlisi de la distribució de la producció científica de la subàrea de turisme, amb l'objectiu d'identificar els efectes de la classificació de les revistes de l'àrea d'ADM/COM/TUR.

3.2 Perfil de publicació dels investigadors de turisme

A partir de la taula 3 es pot veure que 538 articles (o el 61,2 %) són publicats en revistes de la mateixa subàrea, el 15,6 % d'ADM/COM i el 23,2 % d'altres àrees. D'altra banda, l'augment del nombre d'articles a les revistes de TUR és continu durant tot el període corresponent al T5 (2010–2012), i presenta un nombre lleugerament inferior en els anys posteriors.

Quan es consideren els percentatges de publicació en revistes estrangeres, s'observa una lleugera oscil·lació en les revistes de TUR durant tot el període, que representen aproximadament un terç de la producció en revistes internacionals. Destaquen els anys 2011 i 2014, que mostren el percentatge més alt observat en el període. En publicacions periòdiques d'altres àrees, la tendència és disminuir el percentatge al llarg del període, però cal tenir en compte l'inici de la publicació en revistes estrangeres d'ADM/COM en els dos anys següents al T5 (6 articles el 2013 i 5 el 2014).

Taula 3. Distribució d'articles d'investigadors de turisme segons l'any i l'àrea de la revista

En la taula 4 crida l'atenció l'única publicació en l'A1 el 2014, en una revista d'ADM (Journal of Cleaner Production, editada per Elsevier des de 1993, amb un FI-JCR 2014 de 3,844). En l'A2, les publicacions es concentren en les revistes de TUR i augmenten en volum a mesura que els estrats baixen, fins a B3. Només hi ha dues revistes de l'A2 de TUR, una de turca (Anatolia turizm ve çevre kulturu dergisi), utilitzada només una vegada, i una altra d'argentina (Estudios y Perspectivas del Turismo) amb els 58 articles restants.

El percentatge de publicacions en revistes estrangeres de TUR també domina en els estrats B1 i B3, tot indicant que s'està duent a terme l'esforç d'internacionalització, independentment dels estrats (situació similar a quan es consideren revistes d'altres àrees), però són predominantment en espanyol. Tanmateix, quan es publiquen en revistes d'ADM/COM, se'n busquen d'estrangeres dels estrats més elevats, en anglès.

Taula 4. Distribució d'articles d'investigadors de turisme segons l'estrat i l'àrea de la revista

El perfil de publicació dels investigadors de turisme va mostrar una alta concentració en revistes B3 (39,4 %), i cal destacar que només hi ha 2 revistes estrangeres (una d'espanyola i una de portuguesa) i 7 revistes nacionals.

A partir d'això, es pot afirmar que la producció científica de turisme es publica majoritàriament en portuguès, i en el cas de revistes estrangeres, quan no es publica en una revista de Portugal, es fa gairebé exclusivament en espanyol. De les 23 revistes d'Hospitalitat, lleure, esport i turisme que hi ha al JCR 2016, totes exigeixen manuscrits en anglès, i la majoria (19) estarien classificades com A1 (i les altres 4 com A2) si s'haguessin utilitzat per publicar. A curt termini, la subàrea haurà de fer esforços per publicar en revistes indexades al JCR (en anglès) si vol tenir revistes a l'estrat A1, i a llarg termini, obtenir indexació de revistes nacionals.

Com assenyalen Hurd (2000) i Beigel (2014), la publicació d'articles a les revistes principals és l'exigència que normalment fixen els sistemes d'avaluació a tot el món, i al Brasil no ha estat diferent. En l'avaluació feta per la CAPES, aquests criteris s'utilitzen per determinar les puntuacions de PPG, fet que ocasiona el que Butler (2007) anomena desplaçament d'objectiu. Com a resultat, els investigadors de turisme van optar per adaptar la seva recerca als problemes tractats en revistes estrangeres de l'àrea d'administració, per elevar els nivells d'excel·lència que estableix l'àrea.

Hug et al. (2013) també destaquen la importància que els criteris i indicadors de qualitat en les humanitats adoptin un enfocament de dins cap a fora, basats en les especificitats de les àrees, la qual cosa significaria, en el cas d'ADM/COM/TUR, complementar els seus criteris de manera que prevegin les especificitats de la subàrea de turisme. En aquest sentit, Larivière et al. (2015) assenyalen que aquesta capil·laritat observada entre les àrees d'humanitats i socials prové de la manca d'una societat científica més gran que reuneixi els investigadors/editors de les diferents disciplines, fet que els fa més vulnerables, i porta les revistes de molts països a utilitzar les grans editorials comercials. En el cas del Brasil, com en diversos països llatinoamericans, el projecte SciELO va oferir un camí diferent a una gran part de les revistes nacionals, induint aspectes de qualitat similars als que ofereixen les grans editorials i bases de dades internacionals, però cal considerar la gran quantitat de revistes d'humanitats que encara no estan indexades.

La subàrea de turisme pateix criteris que afavoreixen l'administració, ja que els estrats del FI-JCR estan determinats per les revistes que els investigadors d'aquesta subàrea utilitzen per publicar. No obstant això, tot i que les revistes nacionals no gaudeixen de l'estatus de principals, la revista publicada des de l'any 2007 per l'Associação Nacional de Pesquisa e Pós-Graduação em Turismo —Revista brasileira de pesquisa em turismo, bilingüe— va ser la primera que es va indexar a l'SciELO el 2016. Això indica la maduresa de la subàrea en l'àmbit nacional, que podria servir d'estímul a una avaluació més adequada de les revistes nacionals.

4 Conclusions

En analitzar l'avaluació conjunta establerta en una àrea com la d'administració, ciències comptables i turisme, es va observar el predomini de criteris que afavoreixen l'administració. S'estima que petits canvis en els criteris podrien afavorir la subàrea de turisme, com ara requerir només indexació en bases de dades específiques, en comptes de valors mínims del FI-JCR o l'índex h a l'Scopus. Tanmateix, aquests ajustaments no eximirien els investigadors de la necessitat de discutir els seus resultats en un context internacional, que està succeint; però per assolir nivells més alts, necessitaran inevitablement publicar en anglès, que serà un esforç important, atesa la concentració de publicacions en revistes nacionals dels estrats B1 a B3 i el fet que les publicacions en revistes internacionals són principalment en espanyol.

La situació en què es troba la subàrea de turisme no és diferent de la d'altres àrees, fins i tot les avaluades individualment. L'adopció del factor d'impacte JCR ignora aspectes de les revistes que poden ser importants per a l'àrea, com s'ha pogut observar en aquest estudi. D'altra banda, l'índex h, l'adopció del qual està augmentant (també calculat en altres bases de dades, com ara el Google Scholar o l'SciELO), a més de no equilibrar el problema, és totalment desaconsellat per classificar revistes, ja que no es basa en una mitjana, la qual cosa fa que el rendiment depengui del volum d'articles publicats per la revista (Waltman; Van Eck, 2012).

Finalment, es recomana que els indicadors bibliomètrics no siguin utilitzats exclusivament, sobretot quan es tracti de la menor quantitat de revistes que ocupen els estrats superiors (A1 i A2), per garantir una avaluació més adequada a les especificitats de les àrees. A més, els representants de la mateixa CAPES adverteixen la comunitat científica que compon les comissions d'avaluació: "as métricas não devem ser usadas de forma indiscriminada ou meramente contábil, sem se atentar para suas limitações. Além disso, elas não devem ser indicadores únicos para avaliação, sobrepondo a análise de especialistas" (Oliveira; Amaral, 2017, p. 163).

Agraïments

Donem les gràcies a la Fundação de Amparo à Pesquisa do Estado de São Paulo pel finançament de la recerca (procés FAPESP núm. 2012/00255-6) i al professor Jesús P. Mena-Chalco, que amablement va extreure les dades dels currículums Lattes dels investigadors de turisme.

Bibliografia

Beigel, F. (2014). "Publishing from the periphery: Structural heterogeneity and segmented circuits. The evaluation of scientific publications for tenure in Argentina's CONICET". Current sociology, v. 62, n. 5, p. 743-765. <https://doi.org/10.1177/0011392114533977>. [Consulta: 06/11/2017].

Björk, B-C. (2007). "A model of scientific communication as a global distributed information system". Information Research, v. 12, n. 2, 2007. <http://InformationR.net/ir/12-2/paper307.html>. [Consulta: 29/01/2018].

Bonini, A. (2004). "Qualis de Letras/Lingüística: uma análise de seus fundamentos". Revista brasileira de pós-graduação, vol. 1, no. 2, p. 141–159. <http://dx.doi.org/10.21713/2358-2332.2004.v1.45>. [Consulta: 06/11/2017].

Butler, L. (2007). "Assessing university research: a plea for a balanced approach". Science and public policy, vol. 34, n. 8, p. 565-574. <https://doi.org/10.3152/030234207X254404>. [Consulta: 06/11/2017].

Chavarro, D. A.; Tang, P.; Ràfols, I. (2017). "Why researchers publish in non-mainstream journals: training, knowledge bridging, and gap filling". Research policy, v. 46, n. 9, p. 1666-1680. <https://doi.org/10.1016/j.respol.2017.08.002>. [Consulta: 06/11/2017].

Hicks, D. (2004). "The four literatures of Social Science". En: Moed H. F., Glänzel W., Schmoch U. (eds.). Handbook of Quantitative Science and Technology Research. Springer, Dordrecht, p. 473-496. <https://doi.org/10.1007/1-4020-2755-9_22>. [Consulta: 06/11/2017].

Hug, S.; Ochsner, M.; Daniel, H.-D. (2013). "Criteria for assessing research quality in the humanities: a Delphi study among scholars of English literature, German literature and art history". Research evaluation, vol. 22, p. 369–383. <https://doi.org/10.1093/reseval/rvt008>. [Consulta: 06/11/2017].

Hurd, J. M. (2000). "The Transformation of Scientific Communication: A Model for 2020". Journal of the american society for information science, vol. 51, no. 14, p. 1279–1283. <http://dx.doi.org/10.1002/1097-4571(2000)9999:9999<::AID-ASI1044>3.0.CO;2-1>. [Consulta: 06/11/2017].

Kuhn, T. S. (2000). A estrutura das revoluções cientificas. São Paulo: Editora Perspectiva.

Larivière, V.; Haustein, S.; Mongeon, P. (2015). "The Oligopoly of Academic Publishers in the Digital Era". PLoS ONE, 10 (June). <https://doi.org/10.1371/journal.pone.0127502>. [Consulta: 06/11/2017]

Leite, P.; Mugnaini, R.; Leta, J. (2011). "A new indicator for international visibility: exploring Brazilian scientific community". Scientometrics, vol. 88, p. 311–319. <https://doi.org/10.1007/s11192-011-0379-9>. [Consulta: 06/11/2017].

Mena-Chalco, J. P.; Cesar Jr., R. M. (2009). "ScriptLattes: an open-source knowledge extraction system from the Lattes platform". Journal of the Brazilian Computer Society, vol. 15, no. 4, p. 31–39. <http://dx.doi.org/10.1007/BF03194511>. [Consulta: 06/11/2017].

Mugnaini, R. (2015). "Ciclo avaliativo de periódicos no Brasil: caminho virtuoso ou colcha de retalhos?". En: XVI ENANCIB-Encontro Nacional de Pesquisa em Ciência da Informação. João Pessoa: UFPB. <http://www.ufpb.br/evento/lti/ocs/index.php/enancib2015/enancib2015/paper/view/2984/1157>. [Consulta: 06/11/2017].

Oliveira, T. M. de; Amaral, L. (2017). "Public Policies in Science and Technology in Brazil: challenges and proposals for the use of indicators in evaluation". En: Mugnaini, R.; Fujino, A.; Kobashi, N. Y. (orgs.). Bibliometrics and scientometrics in Brazil: scientific research assessment infrastructure in the era of Big Data. São Paulo: ECA/USP, p.189-217. <https://doi.org/10.11606/9788572051705>. [Consulta: 06/11/2017].

Packer, A. L. (2011). "Os periódicos brasileiros e a comunicação da pesquisa nacional". Revista USP, n. 89, p. 26-61. <http://dx.doi.org/10.11606/issn.2316-9036.v0i89p26-61>. [Consulta: 06/11/2017].

Rejowski, M.; Aldrigui, M. (2007). "Periódicos científicos em Turismo no Brasil: dos boletins técnico-informativos às revistas científicas eletrônicas". Revista Turismo em Análise, v. 18, n. 2, p. 245-268. <http://dx.doi.org/10.11606/issn.1984-4867.v18i2p245-268>. [Consulta: 29/01/2018].

Waltman, L.; Van Eck, N. J. (2012). "The inconsistency of the h-index". Journal of the American Society for Information Science and Technology, v. 63, n. 2, p. 406-415. <http://dx.doi.org/10.1002/asi.21678>. [Consulta: 29/01/2018].