Critérios de avaliação em Turismo e seus efeitos no perfil de publicação dos pesquisadores

1 Introdução

O Turismo, considerado um campo recente de estudos e pesquisas no Brasil, teve seu início com o ensino superior de graduação nos anos de 1970 (Rejowski; Aldrigui, 2007). As primeiras pesquisas sobre a atividade turística foram influenciadas pelas áreas de formação dos pesquisadores, sendo realizadas na perspectiva das diferentes áreas do conhecimento, fato esse que possibilita diversas abordagens que envolvem desde aspectos econômicos e administrativos, até os aspectos sociológicos relacionados à interação entre os indivíduos.

Como é de se esperar, o processo de comunicação científica vem se desenvolvendo ao longo do tempo, e apresentando crescimento nos últimos anos, no que diz respeito tanto a artigos quanto a periódicos. No entanto, parece que a criação de periódicos online domésticos em Turismo, por iniciativa de muitas instituições, vai além do aumento da comunidade – ou dos artigos por eles publicados – não faltando questionamentos sobre sua qualidade. No outro extremo, podemos obsevar que existem 45 periódicos internacionais indexados no Journal Citation Reports (JCR) sob a categoria Hospitalidade, lazer, esporte e turismo – restando 23, ao se desconsiderar aqueles voltados especificamente para o Esporte –, o que indica que existem opções para publicações internacionais.

Destaca-se ainda a existência de um processo de avaliação dos programas de pós-graduação conduzido no Brasil, pela CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) (Oliveira; Amaral, 2017), no qual a subárea de Turismo é avaliada em conjunto com outras subáreas, na denominada área de Administração, Ciências Contábeis e Turismo (ADM/CON/TUR). Diante disso, questiona-se o fato de Turismo ser avaliada em conjunto com estas subáreas, dado o risco de imprimir na mesma, e em seus pesquisadores, a ótica de atividade econômica, em detrimento do olhar para seus aspectos sociais, implicando no uso de parâmetros inadequados para sua avaliação. É, portanto, de suma importância, identificar e mensurar as influências do processo de avaliação na produção científica, que acabam fazendo com que as áreas tenham sua prática comunicacional alterada em busca de uma melhor avaliação (Butler, 2007).

O Qualis foi proposto pela CAPES em 1998, e consiste de um sistema de classificação de periódicos que conta com a participação da comunidade acadêmico-científica. É utilizado para avaliação da produção científica dos pesquisadores credenciados nos programas de pós-graduação, segundo classificação em estratos conforme critérios definidos pelas comissões de avaliação das diversas áreas – como é o caso da ADM/CON/TUR –, sendo sua atualização anual. Para cada estrato é determinada uma pontuação baseada na classificação do periódico: A1, A2, B1, B2, B3, B4, B5 e C – onde A1 e A2 são os melhores periódicos, e C não pontua.

Nesse sentido deve-se considerar que os processos de comunicação científica e o conhecimento científico são produzidos dentro do contexto em que cada comunidade possui características diferentes, sendo composta de departamentos e laboratórios em universidades e instituições de pesquisa, incluindo canais formais de comunicação (periódicos científicos, sociedades e eventos científicos) (Kuhn, 2000). Soma-se ainda a crescente complexidade do sistema de comunicação científica, e os diversos tipos de interações de seus participantes (Hurd, 2000). Não deixando de mencionar a existência de fatores externos, por exemplo, dos financiadores da pesquisa, que impõem regras capazes de influenciar a escolha dos canais de publicação (Björk, 2007).

Cada comunidade científica apresenta um padrão de comportamento que influencia diretamente tanto a atividade de pesquisa quanto a forma de comunicá-la. Portanto, tratando-se das Ciências Sociais e Humanas, Hicks (2004) alerta para que processos avaliativos, que envolvam indicadores bibliométricos, considerem quatro tipos de literatura: revistas, livros, literatura nacional (desenvolvida num contexto local) e literatura não científica (conhecimento em busca de aplicação). A autora destaca ainda as diferenças entre as áreas, como economia e psicologia cuja literatura é similar à literatura científica, ou a sociologia que pertence a uma literatura das Ciências Sociais, mais paradigmática, ou a história que representa as Humanidades. E esclarece que os índices de citação podem favorecer as duas primeiras, mas como consequência podem levar pesquisadores a adaptar sua pesquisa aos moldes de avaliação, o que resultaria numa nova ciência social, que abandona as três literaturas em favor de periódicos indexados, marginalizando literaturas específicas, independente de seus propósitos.

Dentre as literaturas marginalizadas, os periódicos domésticos (ou nacionais) merecem atenção, principalmente em países em que a maioria dos pesquisadores não tem fluência em inglês, independente de ter desenvolvido significativa infraestrutura de publicação/editoração, como é o caso de alguns países latino-americanos, que contam com o projeto SciELO (Packer, 2011). Leite et al. (2011), analisando currículos de cerca de 51 mil doutores brasileiros, com base no percentual de publicações em idioma estrangeiro da produção total dos pesquisadores, constataram que nas Ciências Humanas e Sociais 80 % dos pesquisadores apresentavam perfil de publicação exclusivamente em português (publicando menos que 1/5 de sua produção em outro idioma). Contudo, ao comparar a variação deste índice entre os quadriênios separados pela virada do milênio, notaram que cerca de 3 % dos doutores passaram a publicar entre 1/5 e 2/5 de sua produção em outro idioma, em conformidade com o estímulo da política científica brasileira.

Segundo Beigel (2014), a pressão por publicação em periódicos mainstream, e sua relação com o sistema de avaliação, financiamento, e desempenho – medidos por indicadores bibliométricos – tem a grave implicação de excluir de circulação o conhecimento produzido nos circuitos periféricos, não integrantes do mainstream. Pesquisadores colombianos, quando entrevistados por Chavarro et al. (2017), expressaram que periódicos domésticos são utilizados para treinamento de pesquisadores iniciantes, visando o próximo passo, que é a publicação no mainstream; por outro lado, apontaram a importância dos mesmos como ponte de conhecimento (pelo fato de prover acesso à comunidade nacional a conteúdos normalmente publicados exclusivamente em periódicos mainstream, mediante publicação em periódicos domésticos) ou para preenchimento de lacunas de conhecimento (que consiste da publicação de conteúdos ausentes nos periódicos mainstream).

Mediante o apresentado, depreende-se que a avaliação da produção científica é um desafio que deve se adequar às diversas especificidades das subáreas que, quando avaliadas em conjunto, podem favorecer algumas em detrimento de outras, implicando em consequências drásticas para seu desenvolvimento. Torna-se importante investigar possíveis mudanças ocorridas no perfil de publicação dos pesquisadores da subárea de Turismo – que aparenta ser predominante em periódicos domésticos –, que podem estar sendo levados a publicar em periódicos do mainstream específicos da subárea de Administração.

2 Metodologia

A pesquisa se deu em três etapas, sendo que duas estão diretamente relacionadas aos critérios de avaliação da produção científica da área de Administração, Ciências Contábeis e Turismo, pela CAPES, que são: os documentos de área, no qual se estabelecem os critérios de classificação dos periódicos segundo estratos, e; a lista de periódicos classificados utilizados para publicação e respectivos estratos de classificação que receberam. E a terceira etapa da pesquisa se baseou nas informações dos currículos de 108 pesquisadores credenciados em todos os 9 programas de pós-graduação (PPGs) da subárea de Turismo.

Na primeira etapa foram analisados os documentos de área dos triênios 2007-2009 (por se tratar do quarto triênio, considerando que o primeiro foi 1998-2000, denominou-se T4) e 2010-2012 (T5), para identificação dos critérios de classificação dos periódicos utilizados para publicação, pelas áreas, e a respectiva pontuação para publicação em cada um.

Na segunda etapa, uma lista única dos 2187 periódicos que compuseram o Qualis ADM/CON/TUR nos triênios T4 e T5 foi analisada, sendo os periódicos foram analisados um a um, de acordo com as seguintes variáveis: área do conhecimento (podendo ocorrer classificação em mais de uma área), nacionalidade, idioma de publicação, editora, bem como os estratos de classificação dos mesmos.

E na última etapa foram extraídas informações dos currículos Lattes a respeito da publicação dos pesquisadores da subárea de Turismo. Foram identificados os pesquisadores credenciados nos PPGs da subárea de Turismo, a partir da Plataforma Sucupira – sistema de informação que subsidia a avaliação realizada pela CAPES –, e de posse da lista de pesquisadores, as informações curriculares foram obtidas diretamente da Plataforma Lattes, com auxílio da ferramenta Script Lattes (Mena-Chalco; Cesar Jr., 2009). A análise considerou a distribuição dos artigos nos diversos periódicos classificados pela área no período de 2010 a 2014 – período este que extrapola o final no T5 (2012), permitindo a análise do efeito dos critérios (estabelecidos no T5) na produção científica dos anos subsequentes. As variáveis são as mesmas enumeradas na segunda etapa, com exceção do estrato Qualis do periódico, que por extrapolar o T5, optou-se por tomar a melhor classificação entre os anos 2012, 2013 e 2014.

3 Resultados

3.1 Avaliação da produção científica na área de ADM/CON/TUR

3.1.1 Critérios de avaliação - análise dos documentos de área

Entre todas as áreas de avaliação, observa-se que os critérios para classificação de periódicos podem ser divididos em três tipos, ao exigir: indicadores bibliométricos, principalmente Fator de Impacto do JCR (FI-JCR); indexação em bases de dados, ou; características do periódico (Mugnaini, 2015; Oliveira; Amaral, 2017). O último tipo de critério consiste de uma diretriz que determina modelos para serem considerados na constituição dos novos periódicos (BONINI, 2004).

Considerando-se os estratos mais altos (A1, A2 e B1), a área de ADM/CON/TUR já baseava seus critérios em indicadores no T4 (determinando níveis do FI-JCR para A1 e A2, e indexação em bases SciELO, EconLit, PsycInfo e Redalyc ou características de periódicos para B1). No T5 intensificam o uso de indicadores para os três estratos, passando a estipular FI-JCR mínimo também para B1.

No que diz respeito à valorização da produção intelectual, são atribuídos pesos para cada veículo de publicação (periódico, livro, anais evento), em relação ao total de quesitos avaliados sobre o programa. Entre os triênios, a área de ADM/CON/TUR deixa de pontuar a participação em eventos, além de diminuir a pontuação para publicação em periódicos e livros de 22,8 % para 17,5 %.

Outro aspecto é a atribuição de pontos à publicação em periódicos dos diferentes estratos. Enquanto a maioria das áreas atribui 100, 85 e 70 pontos para os estratos A1, A2 e B1, respectivamente, a área de ADM/CON/TUR atribui 100, 80 e 60, denotando maior desvalorização dos estratos subsequentes a A1.

3.1.2 Classificação dos periódicos – análise de suas características

Nesta etapa da pesquisa foram observados os periódicos que receberam classificação Qualis na área ADM/CON/TUR. Do total de 2.187 periódicos (T4 e T5), 608 são de ADM, 113 de CON e 50 de TUR; os demais totalizam 1.471 periódicos de outras áreas, que receberam avaliação deste comitê devido a publicação de algum pesquisador da área ADM/CON/TUR – vale lembrar que os periódicos podem ter sido classificados segundo mais de uma área. Entre as áreas destacam-se aquelas com cerca de 100 ou mais periódicos: Economia, seguida de Educação e Multidisciplinar, e ainda, periódicos de Humanidades e Engenharias em geral.

Quando observamos as editoras dos periódicos (Tabela 1) percebemos que, quando se trata dos estratos A1 e A2, a maioria se concentra entre as grandes editoras comerciais (sendo essa concentração ainda mais acentuada para os periódicos de ADM/CON/TUR que para os das demais áreas). Tal fenômeno é influenciado pelo fato destes estratos terem como critério de classificação o FI-JCR, tendo estas editoras o monopólio de grande parte desses periódicos, conforme observam Larivière et al. (2015). Vale observar que no estrato B1 e demais estratos a concentração nas grandes editoras se dissipa. A Elsevier edita o maior percentual de periódicos A1, seguido de TAYLOR e Springer; já em A2 e B1 percebe-se que Emerald e INDERSCIENCE concentram a maior parte dos periódicos de ADM/CON/TUR.

Tabela 1 – Distribuição de periódicos classificados na área de ADM/CON/TUR,
segundo estrato de classificação, editora e área do periódico

Analisando-se a distribuição dos periódicos entre os estratos de classificação de cada uma das áreas separadamente (Tabela 2), observamos que a subárea de ADM tem um perfil bem diferente das outras duas, apresentando um número significativamente maior de periódicos estrangeiros nos triênios T4 e T5 (61,3 %, e destes, 85,3 % são em inglês) assim como a predominância dos altos estratos. Em CON, nota-se que somente no T5 os periódicos estrangeiros predominam nos altos estratos, o que acontece também em TUR, porém com menor magnitude – devendo-se destacar que os as quantidades são irrisórias em comparação com ADM. Também nos triênios T4 e T5, CON e TUR apresentam a maioria dos periódicos domésticos (65,5 % e 62,0 %, respectivamente), e dos periódicos estrangeiros 76,9 % e 47,4 %, respectivamente, são em inglês. Quanto às outras áreas, chama a atenção o aumento do número de periódicos entre os triênios T4 e T5, e ao mesmo tempo há leve aumento do percentual destes nos altos estratos, denotando que a área tem publicado em mais periódicos qualificados de outras áreas.

Percebe-se a ausência de periódicos domésticos A1 nas 3 subáreas, sendo que nas outras áreas essa quantidade é também pequena, o que o que se deve ao fato dos periódicos domésticos de ciências sociais e humanidades não estarem bem representados na Web of Science (WoS), ou apresentarem baixo FI-JCR.

Tabela 2 – Distribuição de periódicos classificados na área de ADM/CON/TUR,
segundo triênio, e área e nacionalidade do periódico

O cenário delineado mostra-se claramente favorável à subárea de ADM que detinha 100 % dos periódicos A1 no T4 (29 periódicos estrangeiros) e 90,6 % no T5 (58 periódicos estrangeiros); no estrato A2 não se mostra diferente, com 85,3 % no T4 (22 periódicos estrangeiros e 7 domésticos) e 87,5 % no T5 (60 periódicos estrangeiros e 10 domésticos).  É muito tímida a inserção de periódicos das demais subáreas, que no T5 tiveram alguns periódicos nesses estratos (9 de CON, e apenas 3 de TUR). A exigência para o estrato A1 era FI-JCR>0,5 ou índice-h>5 na base Scopus no T4, passando para 1,0 e 20, respectivamente, no T5; e para o estrato A2 as exigências eram 0< FI-JCR ≤0,5 ou 0<índice-h≤5 no T4 e passaram a ser 0,2< FI-JCR ≤1,0 ou 4<índice-h≤20. Tais imposições tem impedido a classificação de periódicos domésticos das três subáreas no estrato A1, e no caso de TUR também no A2, pelo fato de não estarem indexados na WoS ou Scopus.

Por essa razão propôs-se a análise da distribuição da produção científica da subárea de Turismo, visando identificar os efeitos da classificação dos periódicos da área de ADM/CON/TUR.

3.2 Perfil de publicação dos pesquisadores de Turismo

A partir da Tabela 3 nota-se que 538 (ou 61,2 %) dos artigos são publicados em periódicos da própria subárea, 15,6 % de ADM/CON e 23,2 % de outras áreas. Por outro lado, o aumento do número de artigos em periódicos de TUR é contínuo ao longo de todo o período correspondente ao T5 (2010-2012), apresentando número levemente inferior nos anos subsequentes.

Ao considerar os percentuais de publicação em periódicos estrangeiros observa-se pequena oscilação em periódicos de TUR ao longo do período, totalizando cerca de 1/3 da produção em periódicos internacionais. Merecem destaque os anos de 2011 e 2014, que apresentam o maior percentual observado no período. Já em periódicos de outras áreas, a tendência é de diminuição do percentual ao longo do período, contudo nota-se o início da publicação em periódicos estrangeiros de ADM/CON nos dois anos subsequentes ao T5 (6 artigos em 2013 e 5 em 2014).

Tabela 3 – Distribuição de artigos de pesquisadores de Turismo segundo ano e área do periódico

Na Tabela 4, chama a atenção a única publicação em A1 em 2014, num periódico de ADM –Journal of cleaner production, editado pela Elsevier desde 1993, com FI-JCR 2014 de 3,844. Já as publicações em A2 se concentram em periódicos de TUR, e aumentam em volume à medida que se baixam os estratos, até B3. Tratam-se de apenas dois periódicos A2 de TUR, sendo um turco (Anatolia turizm ve çevre kulturu dergisi), utilizado apenas uma vez, e outro argentino (Estúdios y Perspectivas del Turismo) com os 58 artigos restantes.

O percentual de publicações em periódicos estrangeiros de TUR destaca-se também nos estratos B1 e B3, denotando que o esforço de internacionalização está ocorrendo, independente dos estratos (situação similar quando se consideram periódicos de outras áreas), porém sendo predominantemente em espanhol. Contudo ao se publicar em periódicos de ADM/CON, buscam-se os estrangeiros de mais altos estratos, em inglês.

Tabela 4 – Distribuição de artigos de pesquisadores de Turismo segundo estrato e área do periódico

O perfil de publicação dos pesquisadores de Turismo sinalizou alta concentração em periódicos B3 (39,4 %), devendo-se salientar que se dá em apenas 2 periódicos estrangeiros (um espanhol e outro português) e 7 domésticos.

Do exposto, pode-se afirmar que a produção científica em Turismo é publicada majoritariamente em português, e em se tratando de periódicos estrangeiros, quando não publicada em periódico de Portugal, se dá quase que exclusivamente em espanhol. Dos 23 periódicos de hospitalidade, lazer e turismo presentes no JCR 2016, todos exigem manuscritos em inglês, e em sua maioria (19) estariam classificados como A1 (e os outros 4 como A2), se houvessem sido utilizados para publicação por esta comunidade. No curto prazo a subárea precisará fazer esforços para publicar em periódicos indexados no JCR (em inglês) se quiser ter periódicos no estrato A1; e num prazo mais longo, conseguir indexação de periódicos domésticos.

Conforme apontam Hurd (2000) e Beigel (2014), a publicação de artigos em periódicos mainstream é a exigência que normalmente marca os sistemas de avaliação ao redor do mundo, e no Brasil não tem sido diferente. Na avaliação realizada pela CAPES tais critérios são usados para determinar as notas dos PPGs, ocasionando o que Butler (2007) denomina “deslocamento de meta”. Como se observou, os pesquisadores de Turismo optaram por adaptar suas pesquisas aos problemas tratados em periódicos estrangeiros da área de Administração, a fim de alçar patamares de excelência estipulados pela área.

Hug, Ochsner e Daniel (2013) alertam ainda sobre a importância de critérios e indicadores de qualidade nas humanidades adotarem uma abordagem de dentro para fora – baseando-se nas especificidades das diferentes subáreas, para então propor critérios abrangentes de humanidades em geral –, o que significaria, no caso da área de ADM/CON/TUR, complementar seus critérios de modo a contemplar especificidades da subárea de Turismo. Nesse sentido Larivière et al. (2015) esclarecem que essa capilaridade observada entre as áreas de humanas e sociais resulta da não existência de uma sociedade científica maior que congregue os pesquisadores/editores das diversas disciplinas, tornando-as mais vulneráveis, levando periódicos de muitos países a recorrerem às grandes editoras comerciais. No caso do Brasil – além de diversos países da América Latina – o projeto SciELO ofereceu um caminho diferente para grande parte dos periódicos domésticos, induzindo aspectos de qualidade similares àqueles oferecidos pelas grandes editoras e bases internacionais, no entanto deve-se considerar a expressiva quantidade de periódicos de humanidades que ainda não são indexados.

A subárea de Turismo sofre com critérios que favorecem a Administração, já que os níveis do FI-JCR são determinados pelos periódicos que pesquisadores desta subárea utilizaram para publicação. Contudo, apesar de seus periódicos domésticos não gozarem do status mainstream, o periódico editado desde 2007 pela Associação Nacional de Pesquisa e Pós-Graduação em Turismo – Revista brasileira de pesquisa em turismo, bilíngue –, foi o primeiro a ser indexado no SciELO em 2016. Este é um indicador de amadurecimento da subárea em âmbito doméstico, que poderia servir de estímulo a uma avaliação mais apropriada dos periódicos nacionais.

4 Conclusões

Ao analisar a avaliação conjunta estabelecida em uma área de avaliação como Administração, Contabilidade e Turismo, observou-se a predominância de critérios que favorecem a Administração. Estima-se que pequenas alterações dos critérios poderiam favorecer a subárea de Turismo, como por exemplo, exigir apenas indexação em bases específicas, ao invés de valores mínimos do Fator de Impacto JCR CR ou índice h na Scopus. Contudo, tais ajustes não eximiriam os pesquisadores da necessidade de discutir seus resultados num contexto internacional, o que vem acontecendo, mas para atingir patamares mais altos, exigirá inevitavelmente publicar em inglês – o que significará um esforço significativo, haja vista a concentração de publicações em periódicos domésticos dos estratos B1 a B3 e o fato das publicações em periódicos internacionais se darem principalmente em espanhol.

A situação em que se encontra a subárea de Turismo não é diferente de outras áreas, mesmo aquelas avaliadas individualmente. A adoção do Fator de Impacto JCR ignora aspectos dos periódicos que podem atestar sua importância para a área, como se pôde observar neste estudo. Já o índice h, cuja adoção é crescente (inclusive calculado em outras bases, como Google Acadêmico ou SciELO), além de não trazer equilíbrio à questão, é totalmente desaconselhado para classificação de periódicos pelo fato do indicador não ser baseado em uma média, o que faz com que sua performance dependa do volume de artigos que o periódico publica (Waltman; Van Eck, 2012).

Por fim, aconselha-se que os indicadores bibliométricos não sejam utilizados exclusivamente, principalmente quando se tratam da menor porção de periódicos que ocupam os altos estratos (A1 e A2), com vistas a garantir uma avaliação mais condizente com as especificidades das áreas. Aliás, representantes da própria CAPES alertam a comunidade científica que compõem as comissões de avaliação: “as métricas não devem ser usadas de forma indiscriminada ou meramente contábil, sem se atentar para suas limitações. Além disso, elas não devem ser indicadores únicos para avaliação, sobrepondo a análise de especialistas” (Oliveira; Amaral, 2017, p. 163).

Agradecimentos

Agradecemos à Fundação de Amparo à Pesquisa do Estado de São Paulo, pelo financiamento da pesquisa (FAPESP, processo n. 2012/00255-6). E ao professor Jesús P. Mena-Chalco, que gentilmente extraiu os dados dos currículos Lattes dos pesquisadores de Turismo.

Referências

Beigel, F. (2014) "Publishing from the periphery: Structural heterogeneity and segmented circuits. The evaluation of scientific publications for tenure in Argentina’s CONICET". Current sociology, v. 62, n. 5, p. 743-765. <https://doi.org/10.1177/0011392114533977>. [Consulta: 06/11/2017].

Björk, B-C. A model of scientific communication as a global distributed information system. Information Research, v. 12, n. 2, 2007. <http://InformationR.net/ir/12-2/paper307.html>. [Consulta: 29/01/2018].

Bonini, A. (2004). "Qualis de Letras/Lingüística: uma análise de seus fundamentos". Revista brasileira de pós-graduação, vol. 1, no. 2, p. 141–159. <http://dx.doi.org/10.21713/2358-2332.2004.v1.45>. [Consulta: 06/11/2017].

Butler, L. (2007) "Assessing university research: a plea for a balanced approach". Science and public policy, vol. 34, no.8, p. 565-574. <https://doi.org/10.3152/030234207X254404>. [Consulta: 06/11/2017].

Chavarro, D. A., Tang, P., Ràfols, I. (2017). "Why researchers publish in non-mainstream journals: training, knowledge bridging, and gap filling". Research policy, v. 46, n. 9, p. 1666-1680. <https://doi.org/10.1016/j.respol.2017.08.002>. [Consulta: 06/11/2017].

Hicks, D. (2004). "The four literatures of Social Science". En: Moed H. F., Glänzel W., Schmoch U. (eds.). "Handbook of Quantitative Science and Technology Research". Springer, Dordrecht, p. 473-496. <https://doi.org/10.1007/1-4020-2755-9_22>. [Consulta: 06/11/2017].

Hug, S.; Ochsner, M.; Daniel, H-D. (2013). "Criteria for assessing research quality in the humanities: a Delphi study among scholars of English literature, German literature and art history". Research evaluation, vol. 22, p. 369–383. <https://doi.org/10.1093/reseval/rvt008>. [Consulta: 06/11/2017].

Hurd, J. M. (2000). "The Transformation of Scientific Communication: A Model for 2020". Journal of the american society for information science, vol. 51, no. 14, p. 1279–1283. <http://dx.doi.org/10.1002/1097-4571(2000)9999:9999<::AID-ASI1044>3.0.CO;2-1>. [Consulta: 06/11/2017].

Kuhn, T. S. (2000). "A estrutura das revoluções cientificas". São Paulo: Editora Perspectiva.

Larivière, V.; Haustein, S.; Mongeon, P. (2015). "The Oligopoly of Academic Publishers in the Digital Era". PLoS ONE, 10 (June). <https://doi.org/10.1371/journal.pone.0127502>. [Consulta: 06/11/2017]

Leite, P.; Mugnaini, R.; Leta, J. (2011). "A new indicator for international visibility: exploring Brazilian scientific community". Scientometrics, vol. 88, p. 311–319. <https://doi.org/10.1007/s11192-011-0379-9>. [Consulta: 06/11/2017].

Mena-chalco, J. P.; Cesar Jr., R. M. (2009). "ScriptLattes: an open-source knowledge extraction system from the Lattes platform". Journal of the Brazilian Computer Society, vol. 15, no. 4, p. 31–39. <http://dx.doi.org/10.1007/BF03194511>. [Consulta: 06/11/2017].

Mugnaini, R. (2015) "Ciclo avaliativo de periódicos no Brasil: caminho virtuoso ou colcha de retalhos?". En: XVI ENANCIB-Encontro Nacional de Pesquisa em Ciência da Informação. João Pessoa: UFPB. <http://www.ufpb.br/evento/lti/ocs/index.php/enancib2015/enancib2015/paper/view/2984/1157>.  [Consulta: 06/11/2017].

Oliveira, T. M. de; Amaral, L. (2017) "Public Policies in Science and Technology in Brazil: challenges and proposals for the use of indicators in evaluation". En: Mugnaini, R.; Fujino, A.; Kobashi, N. Y. (orgs.). "Bibliometrics and scientometrics in Brazil: scientific research assessment infrastructure in the era of Big Data". São Paulo: ECA/USP, p.189-217. <https://doi.org/10.11606/9788572051705>. [Consulta: 06/11/2017].

Packer, A. L. (2011) "Os periódicos brasileiros e a comunicação da pesquisa nacional". Revista USP, n. 89, p. 26-61. <http://dx.doi.org/10.11606/issn.2316-9036.v0i89p26-61>. [Consulta: 06/11/2017].

Rejowski, M.; Aldrigui, M. (2007) "Periódicos científicos em Turismo no Brasil: dos boletins técnico-informativos àss revistas científicas eletrônicas". Revista Turismo em Análise, v. 18, n. 2, p. 245-268. <http://dx.doi.org/10.11606/issn.1984-4867.v18i2p245-268>. [Consulta: 29/01/2018].

Waltman, L.; Van Eck, N. J. (2012) "The inconsistency of the h-index". Journal of the American Society for Information Science and Technology, v. 63, n. 2, p. 406-415. <http://dx.doi.org/10.1002/asi.21678>. [Consulta: 29/01/2018].