La qualitat de les revistes científiques per al professorat universitari de ciències de l’esport

1 Introducció

Des de la creació de l'Espai Europeu d'Ensenyament Superior (EEES), la qualitat de l'ensenyament superior ha adquirit molta importància i és un dels principis fonamentals en què es va fer èmfasi en la Declaració de Bolonya (1999), juntament amb altres com la mobilitat, la diversitat i la competitivitat. Aquest interès a buscar la millora de la qualitat de l'ensenyament superior va conduir a la creació de la European Association for Quality Assurance in Higher Education (ENQA). Aquesta associació té com a objectius mantenir en un nivell elevat la qualitat de l'ensenyament superior europeu, millorar-la i actuar com una força impulsora important per al desenvolupament de la garantia de qualitat per mitjà de tots els països signataris de la Declaració de Bolonya.

Pertanyen a aquesta associació quaranta-cinc agències de vint-i-set països, entre les quals hi ha l'Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), que és l'agència espanyola encarregada de contribuir a la millora de la qualitat del sistema d'ensenyament superior mitjançant l'avaluació, la certificació i l'acreditació d'ensenyaments, professorat i institucions. Això es porta a terme per mitjà dels diferents programes que té, que s'engloben en dos grans grups: els programes d'avaluació d'ensenyaments i institucions (Verifica, Monitor, Acredita, Acredita Plus, Audit i Mención de Calidad a programas de doctorado) i els programes d'avaluació del professorat per a l'acreditació (PEP, Academia), per a l'avaluació de la qualitat de la docència (Docentia) i per a l'avaluació i el reconeixement d'un complement de productivitat investigadora (Programa CNEAI).

Aquests programes d'avaluació del professorat fan èmfasi en tres aspectes del professorat universitari: l'aspecte docent, l'investigador i el gestor; i també tenen en compte, però en un grau més baix, la formació i la transferència. En aquest sentit, Buela-Casal i Sierra (2007) van fer una enquesta a professors titulars d'universitat i a catedràtics d'universitat sobre els criteris, els indicadors i els estàndards de cada cos de professors, en la qual van centrar les preguntes en cinc grans grups: formació, experiència, producció academicocientífica, mobilitat i gestió universitària i altres mèrits. L'enquesta es va fer a 1.294 professors universitaris. Els resultats que es van obtenir posen de manifest diferències de criteri segons els camps de coneixement, i els més importants van ser la docència i la recerca com a pilars bàsics per a l'accés a les diferents acreditacions.

Pel que fa a l'avaluació de la recerca, l'aspecte més valorat en l'estudi de Buela-Casal i Sierra (2007) va ser la publicació d'articles, sobretot en revistes indexades en el Journal citation reports (JCR). En aquest sentit, en la Resolució de 24 de novembre de 2016, de la Comisión Nacional Evaluadora de la Actividad Investigadora, per la qual es publiquen els criteris específics aprovats per a cadascun dels camps d'avaluació, es fan servir com a criteri principal en l'àrea de les ciències socials, polítiques, del comportament i de l'ensenyament els articles publicats en revistes amb una vàlua reconeguda, i s'accepten com a tals les que s'inclouen a les llistes per àmbits científics del Journal citation reports (social sciences edition) i del Journal citation reports (science edition) del Web of Science.

Respecte a l'ús del factor d'impacte (JCR), hi ha moltes crítiques en la bibliografia internacional (Alberts, 2013; Callaway, 2016; Stephan et al., 2017). En aquest sentit, Stephan i col·laboradors (2017) exposen que les dades bibliomètriques són mesures imperfectes, tot i que poden servir per avaluar un gran nombre d'articles. La seva crítica es basa en el fet que, durant els tres primers anys després d'haver-se publicat, la probabilitat que un article estigui entre l'1 % superior dels articles més citats és inferior a la probabilitat dels articles que no són nous. Més enllà de tres anys, molts d'aquests articles se situen al davant, per la qual cosa conclouen que els sistemes actuals d'avaluació per mitjà de dades bibliomètriques subestimen els treballs que poden tenir una gran repercussió a llarg termini. D'altra banda, Callaway (2016) centra la seva crítica del factor d'impacte en el fet que aquest factor es va crear per avaluar la qualitat de les revistes i en canvi es fa servir per a l'avaluació individual dels articles i dels seus autors. Així, un article sense cap citació tindria un índex d'impacte elevat si al seu costat se'n publiqués un altre amb moltíssimes citacions. A més, altres autors (per exemple Franco-Paredes et al., 2016) assenyalen que els articles que exposen teories contradictòries poden ser molt citats, però no per raons d'interès acadèmic, sinó per contrarestar-ne els plantejaments contradictoris. En aquest mateix sentit, l'idioma, la regionalitat de la temàtica, les autocitacions, etc., són molts altres aspectes que determinen i contaminen el factor d'impacte (Gómez-Hernández, 2015).

En aquest mateix sentit, Giménez-Toledo (2015) fa una revisió històrica del procés d'avaluació de la producció científica i obté com a conclusió del seu treball que el Web of Science (base de dades bibliogràfica i índex de citacions) i els seus JCR (classificació de revistes a partir del factor d'impacte calculat segons les citacions en el Web of Science) persistiran com a fonts de referència en l'avaluació de la producció científica. Malgrat això, també assenyala que en alguns països combinen la utilització d'aquests indicadors bibliomètrics amb el judici qualitatiu d'un panel d'experts en la matèria que avaluï aquesta producció. Aquest darrer tipus d'avaluació podria tenir més bona acceptació que la valoració quantitativa única portada a terme només amb indicadors bibliomètrics. D'una manera semblant, Buela-Casal (2010) destaca que els índexs d'impacte no haurien de ser l'únic objectiu que cal aconseguir, perquè es corre el risc que l'objectiu dels investigadors sigui només assolir un índex d'impacte elevat, en lloc d'investigar temes que siguin útils i rellevants.

Per tots aquests motius, s'han creat propostes alternatives a l'ús del factor d'impacte per fer l'avaluació de la recerca. Per exemple, Hicks i col·laboradors (2015) presenten el manifest de Leiden, en el qual expliquen deu principis per a l'avaluació de la recerca. Aquests deu principis són:

1. L'avaluació quantitativa ha de donar suport a l'avaluació qualitativa per experts.

2. L'exercici ha de ser mesurat d'acord amb les missions de recerca de la institució, grup o investigador.

3. L'excel·lència en recerca de rellevància local ha de ser protegida.

4. Els processos de recopilació i anàlisi de dades han de ser oberts, transparents i simples.

5. Les dades i les anàlisis han d'estar obertes a la verificació per part dels avaluats.

6. Les diferències en les pràctiques de publicació i citació entre camps científics s'han de tenir en compte.

7. L'avaluació individual dels investigadors s'ha de basar en la valoració qualitativa del seu dossier de recerca.

8. S'ha d'evitar la concreció improcedent i la falsa precisió.

9. Cal reconèixer els efectes sistèmics de l'avaluació i els indicadors.

10. Els indicadors s'han d'examinar i actualitzar periòdicament.

Una altra família d'indicadors alternatius al factor d'impacte, la presentació de la qual va tenir lloc l'any 2010, l'assenyalen Bong i Ale Ebrahim (2017) i l'anomenen altmetrics. Aquest nou índex recull molts aspectes de la repercussió d'una obra (com visualitzacions d'articles, baixades, esments en mitjans socials i els recomptes de citacions tradicionals). Els altmetrics es poden aplicar no solament a articles, sinó també a persones, revistes, llibres, conjunts de dades, pàgines webs, etc.

Pel que fa a l'ús d'indicadors de producció científica en ciències de l'activitat física i de l'esport, Reverter Masià i col·laboradors (2013) fan servir l'índex de Hirsch, atès que el consideren un dels indicadors bibliomètrics més importants com a mesura de la productivitat i la qualitat científica en l'àrea de l'educació física i l'esport i de la didàctica de l'expressió corporal.

En ciències de l'activitat física i de l'esport hi ha un gran nombre de treballs que analitzen la qualitat de les publicacions científiques, en general, i de les revistes científiques, en particular. Dins d'aquesta línia de recerca, Valenciano Valcárcel, Devís-Devís y Villamón Herrera (2008) van establir vint-i-tres indicadors de qualitat, agrupats en criteris de qualitat formal, qualitat de contingut científic i difusió, per establir una classificació de revistes espanyoles de ciències de l'activitat física i de l'esport. Posteriorment, Devís-Devís, Villamón y Valenciano Valcárcel (2014), en l'anàlisi de les revistes iberoamericanes de ciències de l'esport presents en el Web of Science, estableixen quatre grups d'indicadors de qualitat: a) transparència: informació sobre la revisió editorial prèvia dels manuscrits, informació sobre la resolució d'informes divergents, informació sobre guies d'orientació per a revisors, publicació anual dels revisors, publicació de les estadístiques; b) gestió editorial: gestió electrònica de manuscrits, existència d'editors adjunts o de secció, existència de DOI (digital object identifier) en els articles, sistema de referència bibliogràfica, temps mitjans de recepció-acceptació i recepció-publicació; c) internacionalització: articles en els idiomes de publicació, autors estrangers, articles amb participació d'algun autor estranger, articles signats exclusivament per autors estrangers, articles amb participació d'algun autor de l'entitat editora o de l'equip editorial; i d) visibilitat: factor d'impacte, categoria, índexs en els quals s'inclou, posició relativa dins de la categoria, quartil en què se situen les revistes. Finalment, Reverter Masià i col·laboradors (2012) revisen disset revistes d'educació física d'Espanya i conclouen que l'autor ha de considerar, a l'hora de triar la revista en la qual vol publicar, a més del seu índex d'impacte en l'Institute for Scientific Information (ISI) —si és que en té—, la difusió, la visibilitat i el prestigi de la publicació.

Finalment, i dins de l'anàlisi de la producció científica sobre ciències de l'esport, Hernández-González i col·laboradors (2013) van fer un estudi descriptiu dels hàbits de publicació dels professors dels departaments de didàctica de l'expressió corporal i l'educació física de les universitats públiques espanyoles. La mostra que es va emprar van ser quaranta-un professors i com a resultat destacable es va obtenir que les revistes en què es publiquen més articles d'aquesta àrea són Journal of sport science and medicine, Revista de psicología del deporte, Revista de educación, Journal of applied physiology i Journal of strength and conditioning research.

Per tot això, l'avaluació de la qualitat dels articles per mitjà del factor d'impacte i la valoració que se'n fa segons la indexació en bases de dades internacionals, fa que sigui necessari conèixer, en l'àmbit de les ciències de l'activitat física i de l'esport, la importància dels diversos criteris i productes d'avaluació d'articles científics i el valor que haurien de tenir els articles a l'hora de sol·licitar les acreditacions, per la qual cosa els objectius d'aquest treball són:

• Conèixer els valors que el personal docent i investigador (PDI) de Ciències de l'Activitat Física i de l'Esport atorguen als diferents criteris i productes d'avaluació d'articles científics.

• Fer una classificació de revistes nacionals segons l'opinió del PDI de Ciències de l'Activitat Física i de l'Esport.

• Fer una classificació de revistes internacionals segons l'opinió del PDI de Ciències de l'Activitat Física i de l'Esport.

2 Material i mètode

2.1 Participants

Mitjançant les pàgines web de tots els graus de Ciències de l'Activitat Física i de l'Esport del curs 2013–2014 de les universitats públiques, es van registrar els correus electrònics del personal docent i investigador. Es va enviar un qüestionari en línia al total del personal docent i investigador (n = 710). Del total de la població, van respondre cent seixanta-tres professors i investigadors (23,1 %), dels quals, vint-i-quatre són avaluadors d'alguna agència d'avaluació i cent trenta-nou professors no formen part de cap agència d'avaluació, amb una experiència docent mitjana de 12,46 ± 8,36 anys.

2.2 Instrument

Amb la finalitat de registrar les dades, es va fer servir el "Cuestionario sobre criterios de calidad del personal docente e investigador universitario en Ciencias de la Actividad Física y el Deporte" (CPDI-CAFD). Per al disseny i la validació de l'instrument, es van seguir els mateixos passos que en estudis semblants (Ortega et al., 2008). En primer lloc, després de fer una anàlisi de la bibliografia, es van trobar els instruments d'avaluació del personal docent i investigador que eren semblants a l'objecte d'estudi (Buela-Casal; Sierra, 2007; Larrán-Jorge; Escobar-Pérez; García-Meca, 2013). Posteriorment, el grup de recerca va adaptar aquests instruments a les característiques pròpies de les ciències de l'activitat física i de l'esport, afegint-hi i eliminant-ne alguns ítems. Després de la primera proposta, i mitjançant una metodologia Delphi (Astigarraga, 2003; Cabero Almenara; Infante Moro, 2014; Gil-Gómez de Liaño; Pascual-Ezama, 2012), es va generar un panel de sis experts. Es va definir expert com a doctor en Ciències de l'Activitat Física i de l'Esport i personal docent i investigador amb almenys deu anys d'experiència universitària. Després de tres grups de discussió, es va plantejar una proposta definitiva. Finalment, per tal de fer el procés de validesa de contingut adequat, es va enviar la proposta del CPDI-CAFD (Salado, 2017) per correu electrònic a onze experts (doctors en Ciències de l'Activitat Física i de l'Esport, amb una experiència mínima de vuit anys en docència universitària de ciències de l'esport). Per al càlcul de la validesa de contingut es va utilitzar la v d'Aiken i es van obtenir valors mínims de 0,81, per la qual cosa no hi va caldre fer cap altra modificació. Per al control de la fiabilitat, es va fer servir la tècnica test-retest, aplicant l'instrument en un estudi pilot a onze subjectes de característiques semblants a les de la mostra. Es van obtenir uns valors mínims en el coeficient de correlació intraclasse o coeficient kappa de 0,93 (Baumgartner, 2000).

Dels vuit blocs que componen el CPDI-CAFD (Salado, 2017), per a aquest estudi es va utilitzar l'apartat "articles i revistes". En aquest apartat se'ls demanava que valoressin de 0 a 5 la importància de vuit criteris i productes d'avaluació d'articles científics, i també que indiquessin quin era el més important. Després se'ls va sol·licitar el nom de les cinc revistes nacionals i internacionals més importants. Per valorar les revistes, es van atorgar cinc punts a les revistes que el personal docent i investigador havia triat en primer lloc, quatre punts per a les que havia triat en segon lloc, tres punts per a les revistes triades en tercer lloc, dos punts per a les triades en quart lloc i un punt per a les triades en cinquè lloc.

2.3 Anàlisi estadística

En primer lloc, es va fer una anàlisi descriptiva de l'opinió del personal docent i investigador calculant la mitjana i la desviació típica, i també la freqüència absoluta i relativa, de cadascun dels ítems. Després, per analitzar les possibles diferències entre els grups que eren objecte d'estudi, es va fer una comparació de les mitjanes amb la prova t per a mostres independents. En tots els casos es va utilitzar un nivell de significació de p < 0,05. Els resultats es van analitzar amb el paquet estadístic SPSS 17.0.

3 Resultats

A la taula 1 es pot observar la valoració que fa el personal docent i investigador de Ciències de l'Activitat Física i de l'Esport dels diferents criteris i productes d'avaluació d'articles científics. D'una banda, els professors que participen en comissions d'avaluació d'alguna de les agències espanyoles consideren com a criteris i productes d'avaluació més importants, en primer lloc, el Journal citation reports (JCR), seguit de l'índex de l'SCImago Journal Rank (SJR). D'altra banda, els professors que no són avaluadors també valoren com a criteri o producte d'avaluació d'articles científics més important el JCR seguit de l'SJR, encara que amb valoracions més baixes, i hi ha diferències estadísticament significatives en tots dos casos. Els dos criteris i productes d'avaluació d'articles científics menys valorats són, en tots dos grups, Dialnet i el Catàleg Latindex. En tots els casos, les valoracions dels criteris i productes d'avaluació són més altes en els avaluadors d'alguna agència nacional que en el personal docent i investigador que no és avaluador. Quan es va preguntar al personal docent i investigador quin és el criteri o producte d'avaluació d'articles científics més rellevant, en el 91,6 % dels casos va respondre que el criteri o producte més valorat és el JCR; en el 4,9 %, l'SJR, i en la resta de casos, uns altres.

Taula 1. Valoració de diferents criteris i productes d'avaluació (0: gens important; 5: molt important)
Llegenda: 1 = Índex de citacions; 2 = Criteris de qualitat; 3 = Directoris d'avaluació de revistes; 4 = Repositori de revistes

Pel que fa a la tria de revistes en el camp de les ciències de l'activitat física i de l'esport, a la taula 2 es poden observar les tries de les revistes més importants segons el criteri dels professors. Es van triar trenta-una revistes espanyoles diferents, i les tres més escollides van ser Apunts, Revista de psicología del deporte i RICYDE. Revista internacional de ciencias del deporte.

Taula 2. Revistes espanyoles

D'altra banda, també es van triar les revistes internacionals sobre ciències de l'activitat física i de l'esport que els professors consideren més importants. Com s'observa a la taula 3, es van triar quaranta-cinc revistes diferents, entre les quals destaquen Journal of sport science, Sport medicine i Medicine and science in sports and exercise, que van ser les tres revistes més escollides.

Taula 3. Revistes internacionals

4 Discussió i conclusions

En aquest treball es presenta l'opinió dels professors de Ciències de l'Activitat Física i de l'Esport en relació amb diversos aspectes de la seva avaluació de l'activitat investigadora.

Els resultats d'aquest estudi destaquen la importància que el personal docent i investigador de Ciències de l'Activitat Física i de l'Esport dona als índexs de citacions del Web of Science (JCR) i de Scopus, que són els dos criteris més valorats, la qual cosa coincideix amb les valoracions que es duen a terme en les agències d'avaluació. Aquestes dades, a més, coincideixen amb Waltman (2016), que, en el seu treball de revisió de la literatura sobre els indicadors d'impacte, analitza el Web of Science, Scopus i Google Scholar com els criteris o productes d'avaluació més importants per poder fer l'anàlisi de les citacions. En aquesta mateixa línia, la immensa majoria dels articles que fan estudis de metaanàlisi, estudis bibliomètrics o revisions sistemàtiques, en les anàlisis fan servir les publicacions de les revistes indexades en el JCR i l'SJR (per exemple Duart et al., 2017; Majid et al., 2015; Solomon; Laakso; Björk, 2013).

Malgrat això, en la bibliografia hi ha un nombre molt alt de crítiques envers aquest índex (Alberts, 2013; Callaway, 2016; Giménez-Toledo, 2016), orientades sobretot al fet que el factor d'impacte és un índex de la qualitat de la revista, no dels articles ni dels investigadors, per la qual cosa seria important buscar índexs més orientats a la qualitat dels articles independentment de la revista en què s'hagin publicat. En aquest sentit, Hicks i col·laboradors (2015) proposen que per valorar la qualitat de la recerca es facin servir proves tant quantitatives com qualitatives. En aquesta mateixa línia, Stephan i col·laboradors (2017), en el treball que van fer de presentació del manifest de Leiden, fan recomanacions als diferents actors de la comunitat científica, i recomanen als avaluadors que es resisteixin a buscar i confiar únicament en les dades bibliomètriques, especialment quan es calculen al cap de menys de tres anys. Des d'un altre punt de vista, Bornmann i Pudovkin (2017) fan un article d'opinió en el qual destaquen que el factor d'impacte no s'ha de demonitzar, ja que es pot continuar utilitzant per a l'avaluació de la recerca tenint en compte el context i l'ambient acadèmic. A més, també pensen que es pot emprar com a valoració de l'habilitat que té un investigador o una institució per publicar les seves recerques, malgrat que reconeixen que el factor d'impacte no s'hauria de fer servir per avaluar la repercussió d'un article. D'altra banda, hi ha algunes propostes alternatives a l'ús del factor d'impacte (per exemple altmetrics, PlumX Metrics, Impactstory). 

Així mateix, un altre dels objectius d'aquest estudi és fer una classificació de les revistes nacionals i internacionals, per saber quines revistes sobre ciències de l'activitat física i de l'esport són les que els professors consideren més importants. Respecte a això, cal destacar la gran quantitat de revistes triades pels professors (trenta-una revistes espanyoles i quaranta-cinc revistes internacionals), la qual cosa pot ser resultat de la multidisciplinarietat de les ciències de l'esport. També destaca el fet que hi ha un petit grup de revistes que tenen una gran concentració de vots, i un gran nombre de revistes amb una concentració de vots petita. En concret, en l'àmbit nacional destaquen les revistes Apunts, educación física y deportes, Revista de psicología del deporte, RICYDE, Revista internacional de medicina y ciencias de la actividad física y el deporte i Motricidad. Les revistes Revista de psicología del deporte i Revista internacional de medicina y ciencias de la actividad física y el deporte són les dues úniques indexades en el JCR, per la qual cosa és molt probable que aquest aspecte sigui un dels que n'hagi determinat l'elecció. Rep una atenció especial la revista Apunts, educación física y deportes, que, malgrat que encara no està indexada en el JCR (sí que ho està en l'SJR), ocupa la primera posició. És molt probable que aquesta valoració tan alta sigui pel seu caràcter generalista i el gran arrelament que té en la tradició acadèmica de les ciències de l'esport al nostre país (la revista s'edita des del 1985, i té l'origen en una revista prèvia editada des del 1964). Així mateix, destaca la revista RICYDE, que, si bé ha aparegut recentment (2005), ha estat una de les primeres revistes de ciències de l'esport editades en línia i està molt vinculada a la Facultad de Ciencias de la Actividad Física y del Deporte (INEF) de Madrid (epicentre de la recerca espanyola en ciències de l'esport). Finalment, destaca la revista Motricidad, la qual, malgrat que no està indexada ni en el JCR ni en l'SJR, se situa entre les cinc primeres revistes, possiblement perquè durant molts anys va ser una de les poques revistes científiques de ciències de l'esport editades a Espanya (editada el 1995), i perquè està vinculada a l'Asociación Española de Ciencias del Deporte.

En comparar aquests resultats amb els que s'han obtingut en la classificació RESH (Revistas Españolas de Ciencias Sociales y Humanidades) (2009), en la qual les revistes estan ordenades segons l'opinió dels experts, s'observa que aquests coincideixen a triar la revista Apunts com la més important. A més, les revistes Motricidad i Revista de psicología del deporte en totes dues classificacions se situen entre les cinc primeres. Contràriament, la revista Tándem, que en la classificació RESH és la segona més important que han escollit els experts, en els resultats d'aquest estudi consta en la novena posició.

En aquest mateix sentit, en comparar les dades d'aquest estudi amb els resultats obtinguts per Valenciano Valcárcel, Devís-Devís i Villamón Herrera (2008) en la classificació que fan de les revistes de ciències de l'activitat física i de l'esport segons tres grups d'indicadors (la qualitat formal, la qualitat del contingut científic i la difusió), s'aprecia una gran coincidència. Així, cinc de les set primeres revistes que consten en aquest estudi són dins la categoria de qualitat alta indicada per Valenciano Valcárcel, Devís-Devís y Villamón (2008).

Finalment, en comparar les dades d'aquest estudi amb les que s'han obtingut en la classificació de l'Índex H de Google Scholar Metrics 2012–2016 (Delgado; Martin-Martin; Orduña-Malea, 2017), en les cinc primeres revistes només s'observa coincidència en la Revista de psicología del deporte (segona en aquest estudi i primera en l'Índex H). Contràriament, a l'Índex H entre les cinc primeres revistes hi ha Retos, Journal of human sport and exercise, Cuadernos de psicología del deporte i Revista iberoamericana de psicología del ejercicio y del deporte, que, si bé no estan situades entre les cinc primeres d'aquest estudi, sí que ho estan entre les deu primeres (a excepció de Revista iberoamericana de psicología del ejercicio y del deporte, que ocupa la posició vint-i-sis).

En tot cas, les cinc primeres revistes nacionals valorades pels experts en aquest estudi tenen valoracions destacades en altres classificacions nacionals com CIRC (Clasificación Integrada de Revistas Científicas), DICE (Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas) i MIAR (Matriz de Información para el Análisis de Revistas).

D'altra banda, en analitzar les cinc primeres revistes internacionals de ciències de l'activitat física i de l'esport, s'observa que totes es troben dins la base de dades del Web of Science (JCR). Dues són revistes de ciències de la salut i dues són revistes generalistes. La revista Medicine and science in sports and exercise, tot i que bàsicament és una revista de ciències de la salut, també publica, però en menys quantitat, estudis de ciències socials. En tot cas, en contra del factor d'impacte, la revista més valorada no és la que té un índex més alt en el JCR, sinó que és Journal of sport science. Possiblement aquest aspecte es deu al fet que es tracta d'una revista situada en el primer quartil (gran índex JCR) i, a més, és una revista de caràcter generalista, per la qual cosa tant els investigadors de ciències socials com els de ciències de la salut l'han valorat entre les millors revistes.

En darrer lloc, les dades d'aquest estudi permeten concloure que el personal docent i investigador de Ciències de l'Activitat Física i de l'Esport destaca les bases de dades del JCR i de Scopus com les dues més importants, a molta distància de la resta dels criteris o productes d'avaluació de revistes científiques. Pel que fa a les revistes de més prestigi en l'àrea de les ciències de l'esport, el personal docent i investigador de Ciències de l'Activitat Física i de l'Esport destaca les revistes Apunts, educación física y deportes i Revista de psicología del deporte com a revistes espanyoles més importants, i Journal of sport science i Sport medicine com les revistes internacionals més importants. Aquests resultats podrien tenir una gran utilitat en l'avaluació de les publicacions científiques en l'àrea de les ciències de l'esport.

Bibliografia

Alberts, Bruce (2013). "Impact factor distortions". Science, vol. 340, no. 6.134, p. 787–787.

Astigarraga, Eneko (2003). El método Delphi. San Sebastián: Universidad de Deusto.

Baumgartner, Ted A. (2000). "Estimating the stability reliability of a score". Measurement in physical education and exercise science, vol. 4, no. 3, p. 175–178.

Bong, Yiibonn; Ale Ebrahim, Nader (2017). "The Rise of Alternative Metrics (Altmetrics) for Research Impact Measurement". Asia research news. DOI: https:doi.org/10.6084/m9.figshare.4814215.v1.

Bornmann, Lutz; Pudovkin, Alexander I. (2017). "The Journal Impact Factor Should Not Be Discarded". Journal of Korean medical science, vol. 32, no. 2, p. 180–182.

Buela-Casal, Gualberto (2010). "Scientific journal impact indexes and indicators for measuring researchers' performance". Revista de psicodidáctica, vol. 15, n.º 1, p. 3–19. <http://www.ugr.es/~aepc/articulo/scientific.pdf>. [Consulta: 19/03/2018].

Buela-Casal, Gualberto et al. (2017). "Ranking de investigación de las universidades públicas españolas". Revista iberoamericana de psicología y salud, vol. 8, n.º 1, p. 21–35. <http://www.rips.cop.es/pdf/art32017e3.pdf>. [Consulta: 19/03/2018].

Buela-Casal, Gualberto; Sierra, Juan C. (2007). "Criterios, indicadores y estándares para la acreditación de profesores titulares y catedráticos de Universidad". Psicothema, vol. 19, n.º 4, p. 537–551. <http://www.psicothema.com/psicothema.asp?id=3395>. [Consulta: 19/03/2018].

Cabero Almenara, Julio; Infante Moro, Alfonso (2014). "Empleo del método Delphi y su empleo en la investigación en comunicación y educación". Edutec, n.º 48, p. 1–16. <http://www.edutec.es/revista/index.php/edutec-e/article/view/187>. [Consulta: 19/03/2018].

Callaway, Ewen (2016). "Publishing elite turns against impact factor". Nature, no. 535, p. 210–211.

Declaració de Bolonya (1999). Declaració conjunta dels ministres europeus d'Educació reunits a Bolonya el 19 de juny de 1999. <http://www.udl.cat/export/sites/universitat-lleida/ca/.galleries/docs/galeria_down/
Declaracio_de_Bolonya__Catala.pdf>. [Consulta: 19/03/2018].

Delgado, Emilio; Martin-Martin, Alberto; Orduña-Malea, Enrique (2017). "Índice H de las revistas científicas españolas según Google Scholar Metrics (2012–2016)". Technical Report. DOI: 10.13140/RG.2.2.29279.56484.

Devís-Devís, José; Villamón, Miguel; Valenciano Valcárcel, Javier (2014). "Revistas iberoamericanas de Educación Física/Ciencias del Deporte presentes en Web of Science: evaluación y desafíos". Revista brasileira de ciências do esporte, vol. 36, núm. 4, p. 723–732. <https://www.sciencedirect.com/science/article/pii/S0101328914000055>. [Consulta: 19/03/2018].

Duart, Josep M. et al. (2017). "The pedagogical quality of MOOCs based on a systematic review of JCR and Scopus publications (2013–2015)". Revista española de pedagogía, vol. 75, n.º 266, p. 29–46. <https://revistadepedagogia.org/en/lxxv-en/no-266/the-pedagogical-quality-of-moocs-based-on-a-systematic-review-of-jcr-and-scopus-publications-2013-2015/101400005991/>. [Consulta: 19/03/2018].

España (2015). "Real Decreto 415/2015, de 29 de mayo, por el que se modifica el Real Decreto 1312/2007, de 5 de octubre, por el que se establece la acreditación nacional para el acceso a los cuerpos docentes universitarios". BOE, n.o 144 (17.06.2015), p. 50.319–50.337. <https://boe.es/diario_boe/txt.php?id=BOE-A-2015-6705>. [Consulta: 19/03/2018].

España (2016). "Resolución de 24 de noviembre de 2016, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación". BOE, n.o 286 (26.11.2016), p. 82.964-82.983. <https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11189>. [Consulta: 19/03/2018].

Franco-Paredes, Karina et al. (2016). "Bibliometric analysis of scientific production of Mexican Journal of Eating Disorders, 2010–2014". Revista mexicana de trastornos alimentarios, vol. 7, n.º 1, p. 9–16. <http://www.elsevier.es/es-revista-revista-mexicana-trastornos-alimentarios--110-articulo-bibliometric-analysis-scientific-production-mexican-S2007152316000021>. [Consulta: 19/03/2018].

Gil-Gómez de Liaño, Beatriz; Pascual-Ezama, David (2012). "The Delphi Method as a technique to study Validity of Content". Anales de psicología / Annals of psychology, vol. 28, n.º 3, p. 1.011–1.020. <http://revistas.um.es/analesps/article/view/analesps.28.3.156211>. [Consulta: 19/03/2018].

Giménez-Toledo, Elea (2015). "La evaluación de la producción científica: breve análisis crítico". Relieve, vol. 21, n.º 1, p. 1–9. <https://www.uv.es/RELIEVE/v21n1/RELIEVEv21n1_M2.htm>. [Consulta: 19/03/2018].

— (2016). Malestar. Los investigadores ante su evaluación. Madrid: Iberoamericana.

Gómez-Hernández, José Antonio (2015). "Efectos negativos de los criterios de evaluación de la actividad investigadora para el sistema de comunicación científica en español". Anuario ThinkEPI, n.º 9, p. 200–206 .

Grupo de investigación EC3 (2015). Co-Author Index. <http:www.coauthorindex.info/layout.php?id=inicio>.

Hernández-González, Vincenç et al. (2013). "Hábitos de publicación de profesores de los departamentos de didáctica de la expresión corporal y educación física de las universidades públicas españolas". European journal of human movement, no. 30, p. 1–12. <https://dialnet.unirioja.es/servlet/articulo?codigo=4775476>. [Consulta: 19/03/2018].

Hicks, Diana et al. (2015). "The Leiden Manifesto for research metrics". Nature, vol. 520, no. 7.548, p. 429–431.

Jornet, José Manuel (2016). Análisis de validez consecuencial sobre el sistema de evaluación para acceso a titulares y catedráticos de Universidad presentados por la ANECA. Valencia: Área de Educación.

Larrán-Jorge, Manuel; Escobar-Pérez, Bernabé; García-Meca, Emma (2013). "El sistema de acreditación nacional: la opinión de los profesores universitarios de Contabilidad". Revista española de documentación científica, vol. 36, n.o 3. <http://redc.revistas.csic.es/index.php/redc/article/view/806/997>. [Consulta: 19/03/2018].

Majid, Shaheen et al. (2015). "Analyzing publishing trends in information literacy literature: A bibliometric study". Malaysian journal of library and information science, vol. 20, no. 2, p. 51–66. <http://ejum.fsktm.um.edu.my/ArticleInformation.aspx?ArticleID=1549>. [Consulta: 19/03/2018].

Mattsson, Pauline; Sundberg, Carl Johan; Laget, Patrice (2010). "Is correspondence reflected in the author position? A bibliometric study of the relation between corresponding author and byline position". Scientometrics, vol. 87, no. 1, p. 99–105.

Ortega, Enrique et al. (2008). "Design and validation of a questionnaire to value the preferences and satisfaction for young players of basketball". Cuadernos de psicología del deporte, vol. 8, n.o 2, p. 39–58. <http://revistas.um.es/cpd/article/view/54281>. [Consulta: 19/03/2018].

Ortega, Enrique; Olmedilla, Aurelio; Pérez-Picazo, Miguel (2015). "Valores de referencia en el número de autores en las mejores publicaciones de revistas científicas en el área de las ciencias de la actividad física y del deporte". SPORT TK-Revista euroamericana de ciencias del deporte, vol. 4, n.o 1, p. 69–72. <http://revistas.um.es/sportk/article/view/239851>. [Consulta: 19/03/2018].

RESH (Revistas Españolas de Ciencias Sociales y Humanidades) (2009). "Ranking de revistas en Actividad Física y Deportiva". <http://epuc.cchs.csic.es/resh/indicadores >.

Reverter Masià, Joaquim et al. (2012). "Las revistas españolas de Ciencias de la Actividad Física y el Deporte: cómo elegir la revista donde publicar". Educatio siglo xxi, vol. 30, n.o 1, p. 217–232. <http://revistas.um.es/educatio/article/view/149211>. [Consulta: 19/03/2018].

Reverter Masià, Joaquim et al. (2013). "La productividad científica en WoS y el índice h de Hirsch del área de Educación Física en España y Brasil: productividad y comparación entre países". Movimento, vol. 19, n.o 3, p. 125–147. <http://seer.ufrgs.br/index.php/Movimento/article/view/36582/26021>. [Consulta: 19/03/2018].

Salado, Jesús (2017). Criterios para la evaluación de la calidad del personal docente e investigador universitario en ciencias de la actividad física y el deporte. Tesis doctoral. Murcia: Universidad de Murcia.

Sierra, Juan Carlos et al. (2009). "Diferencias por sexo en los criterios y estándares de productividad científica y docente en profesores funcionarios en España". Psicothema, vol. 21, n.o 1, p. 124–132. <http://www.psicothema.com/psicothema.asp?id=3605>. [Consulta: 19/03/2018].

Solomon, David J.; Laakso, Mikael; Björk, Bo Christer (2013). "A longitudinal comparison of citation rates and growth among open access journals". Journal of informetrics, vol. 7, no. 3, p. 642–650.

Stephan, Paula et al. (2017). "Reviewers are blinkered by bibliometrics". Nature, vol. 544, no. 7.651, p. 411–412.

Valenciano Valcárcel, Javier; Devís-Devís, José; Villamón Herrera, Miguel (2008). "Evaluación y clasificación de las revistas científico-técnicas españolas de Ciencias de la Actividad Física y el Deporte". Revista española de documentación científica, vol. 31, n.o 3, p. 396–412. <http://redc.revistas.csic.es/index.php/redc/article/view/435>. [Consulta: 19/03/2018].

Waltman, Ludo (2016). "A review of the literature on citation impact indicators". Journal of informetrics, vol. 10, no. 2, p. 365–391.