La calidad de las revistas científicas para el profesorado universitario de ciencias del deporte

 

[Versió catalana]


Enrique Ortega

Profesor
Facultad de Ciencias del Deporte
Campus Regional Internacional de Excelencia Mare Nostrum, Universidad de Murcia
Grupo de investigación: Human Movement and Sport Science (HUMSE)

Jesús Salado

Investigador colaborador
Facultad de Ciencias del Deporte
Campus Regional Internacional de Excelencia Mare Nostrum, Universidad de Murcia
Grupo de investigación: Human Movement and Sport Science (HUMSE)

 

Resumen

Objetivos: conocer la opinión del personal docente e investigador de Ciencias de la Actividad Física y del Deporte sobre: a) criterios y productos de evaluación de artículos científicos mejor valorados, y b) las revistas nacionales e internacionales más prestigiosas. La muestra estuvo formada por ciento sesenta y tres profesores universitarios que daban clase en el grado de Ciencias de la Actividad Física y del Deporte en el curso 2013–2014, de los cuales, veinticuatro son evaluadores de alguna agencia de evaluación y ciento treinta y nueve profesores no forman parte de ninguna agencia de evaluación.

Metodología: el instrumento utilizado fue el apartado de artículos y revistas del "Cuestionario sobre criterios de calidad del personal docente e investigador universitario en Ciencias de la Actividad Física y el Deporte" (CPDI-CAFD).

Resultados: destaca la importancia de los criterios y productos de evaluación de artículos científicos del Journal citation reports y Scopus como los dos más importantes, y de las revistas Apunts y Revista de psicología del deporte como revistas españolas más importantes. Por otro lado, como revistas internacionales más importantes, las más elegidas fueron Journal of sport science y Sport medicine. Estos resultados pueden ser de gran importancia en la valoración de las publicaciones científicas. Se podrán evaluar las solicitudes para las distintas acreditaciones teniendo en cuenta las clasificaciones de las revistas específicas de ciencias del deporte.

Resum

Objectius: saber l'opinió del personal docent i investigador de Ciències de l'Activitat Física i de l'Esport sobre: a) els criteris i productes d'avaluació d'articles científics més ben valorats, i b) les revistes nacionals i internacionals més prestigioses. Han format la mostra cent seixanta-tres professors universitaris que impartien classes en el grau de Ciències de l'Activitat Física i de l'Esport en el curs 2013–2014, dels quals vint-i-quatre són avaluadors d'alguna agència d'avaluació i cent trenta-nou no formen part de cap agència d'avaluació.

Metodologia: l'instrument que s'ha utilitzat ha estat l'apartat d'articles i revistes del "Cuestionario sobre criterios de calidad del personal docente e investigador universitario en Ciencias de la Actividad Física y el Deporte" (CPDI-CAFD).

Resultats: destaca la importància que tenen els criteris i productes d'avaluació d'articles científics del Journal citation reports i de Scopus com els dos més importants, i de les revistes Apunts i Revista de psicología del deporte com a revistes espanyoles més importants. D'altra banda, com a revistes internacionals més importants, les més triades han estat Journal of sport science i Sport medicine. Aquests resultats poden tenir una gran importància en la valoració de les publicacions científiques. Es podran avaluar les sol·licituds per a les acreditacions tenint en compte les classificacions de les revistes específiques de ciències de l'esport.

Abstract

Objectives: To learn the opinion of university lecturers and researchers of physical activity and sport sciences on the subject of: a) the best criteria and products for evaluating scientific articles; and b) the best national and international scientific journals. The study used a sample of 163 lecturers teaching the Bachelor’s Degree in Physical Activity and Sport Sciences during the academic year 2013–2014. Twenty-four of the lecturers were evaluators working for an evaluation agency and 139 did not work for any agency.

Methodology: The instrument used was the article and journal section of the Cuestionario sobre criterios de calidad del personal docente e investigador universitario en Ciencias de la Actividad Física y el Deporte (Questionnaire on the quality evaluation criteria employed by university lecturers and researchers of the Bachelor’s Degree in Physical Activity and Sport Sciences, CPDI-CAFD).

Results: The criteria and evaluation products offered by Journal Citation Reports and Scopus were considered to be particularly important. The most highly valued Spanish journals were Apunts and Revista de Psicología del Deporte, while the most highly valued international publications were Journal of Sports Science and Sports Medicine. These results can be especially important for evaluating scientific publications. The applications for accreditations can be evaluated taking into account the classifications of specific sport science journals.

 

1 Introducción

Desde la creación del Espacio Europeo de Educación Superior (EEES), la calidad de la educación superior ha tomado gran importancia y es uno de los principios fundamentales en los que se hizo hincapié en la Declaración de Bolonia (1999), junto con otros como la movilidad, la diversidad y la competitividad. Este interés en buscar la mejora de la calidad de la educación superior llevó a la creación de la European Association for Quality Assurance in Higher Education (ENQA). Esta asociación tiene como objetivos mantener en un nivel alto la calidad de la educación superior europea, mejorarla y actuar como una fuerza impulsora importante para el desarrollo de la garantía de calidad por medio de todos los países signatarios de la Declaración de Bolonia.

A esta asociación pertenecen cuarenta y cinco agencias de veintisiete países, entre las que se encuentra la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), que es la agencia española encargada de contribuir a la mejora de la calidad del sistema de educación superior mediante la evaluación, certificación y acreditación de enseñanzas, profesorado e instituciones. Esto se lleva a cabo mediante los distintos programas que tiene, que se engloban en dos grandes grupos: los programas de evaluación de enseñanzas e instituciones (Verifica, Monitor, Acredita, Acredita Plus, Audit y la Mención de Calidad a programas de doctorado) y los programas de evaluación del profesorado para la acreditación (PEP, Academia), para la evaluación de la calidad de la docencia (Docentia) y para la evaluación y el reconocimiento de un complemento de productividad investigadora (Programa CNEAI).

Estos programas de evaluación del profesorado hacen hincapié en tres aspectos del profesorado universitario: el aspecto docente, el investigador y el gestor; y tienen en cuenta también, pero en menor medida, la formación y la transferencia. En este sentido, Buela-Casal y Sierra (2007) realizaron una encuesta a profesores titulares de universidad y a catedráticos de universidad sobre los criterios, indicadores y estándares de cada cuerpo de profesores, centrando sus preguntas en cinco grandes grupos: formación, experiencia, producción académico-científica, movilidad y gestión universitaria y otros méritos. La encuesta fue realizada a 1.294 profesores universitarios. Los resultados que se obtuvieron ponen de manifiesto diferencias de criterios en función de los campos de conocimiento, y los más importantes fueron la docencia y la investigación como los pilares básicos para el acceso a las diferentes acreditaciones.

Con respecto a la evaluación de la investigación, el aspecto más valorado en el estudio de Buela-Casal y Sierra (2007) fue el de la publicación de artículos, sobre todo en revistas indexadas en el Journal citation reports (JCR). En este sentido, en la Resolución de 24 de noviembre de 2016, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación, se usan como criterio principal en el área de las ciencias sociales, políticas, del comportamiento y de la educación los artículos publicados en revistas de reconocida valía, y se aceptan como tales las incluidas en los listados por ámbitos científicos del Journal citation reports (social sciences edition) y del Journal citation reports (science edition) de la Web of Science.

Con respecto al uso del factor de impacto (JCR), hay multitud de críticas en la bibliografía internacional (Alberts, 2013; Callaway, 2016; Stephan et al., 2017). En este sentido, Stephan y colaboradores (2017) exponen que los datos bibliométricos son medidas imperfectas, aunque pueden servir para evaluar un gran número de artículos. Su crítica se basa en que, durante los tres primeros años tras su publicación, la probabilidad de que un artículo esté entre el 1 % superior de los artículos más citados es inferior a la probabilidad de los artículos que no son nuevos. Más allá de tres años, muchos de estos artículos estaban por delante, por lo que concluyen que los sistemas actuales de evaluación mediante datos bibliométricos subestiman los trabajos que pueden tener gran repercusión a largo plazo. Por otro lado, Callaway (2016) centra su crítica sobre el factor de impacto en que este fue creado para evaluar la calidad de las revistas y se usa para la evaluación individual de artículos y de sus autores. Un artículo sin ninguna cita tendría un índice de impacto elevado, si junto a ese artículo se publicó otro con muchísimas citas. Además, otros autores (por ejemplo Franco-Paredes et al., 2016) señalan que aquellos artículos que exponen teorías contradictorias pueden ser muy citados, pero no por razones de interés académico, sino para contrarrestar sus planteamientos contradictorios. En este mismo sentido, el idioma, la regionalidad de la temática, las autocitas, etc., son otros múltiples aspectos que determinan y contaminan el factor de impacto (Gómez-Hernández, 2015).

En este mismo sentido, Giménez-Toledo (2015) realiza una revisión histórica del proceso de evaluación de la producción científica y obtiene como conclusión de su trabajo que la Web of Science (base de datos bibliográfica e índice de citas) y sus JCR (clasificación de revistas a partir del factor de impacto calculado según citaciones en la Web of Science) van a persistir como fuentes de referencia en la evaluación de la producción científica. Sin embargo, también señala que en algunos países combinan la utilización de estos indicadores bibliométricos con el juicio cualitativo de un panel de expertos en la materia que evalúe esa producción. Este último tipo de evaluación podría tener mejor aceptación que la sola valoración cuantitativa mediante los indicadores bibliométricos. De forma semejante, Buela-Casal (2010) destaca que los índices de impacto no deberían ser el único objetivo que conseguir, ya que ponen en riesgo que el objetivo de los investigadores sea conseguir un alto índice de impacto elevado en vez de investigar temas útiles y relevantes.

Por todo ello, se han creado propuestas alternativas al uso del factor de impacto para la evaluación de la investigación. Por ejemplo, Hicks y colaboradores (2015) presentan el manifiesto de Leiden, donde explican diez principios para la evaluación de la investigación. Estos diez principios son:

  1. La evaluación cuantitativa tiene que apoyar a la evaluación cualitativa por expertos.
  1. El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador.
  1. La excelencia en investigación de relevancia local tiene que ser protegida.
  1. Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples.
  1. Los datos y análisis deben estar abiertos a la verificación por los evaluados.
  1. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta.
  1. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación.
  1. Debe evitarse la concreción improcedente y la falsa precisión.
  1. Deben reconocerse los efectos sistémicos de la evaluación y los indicadores.
  1. Los indicadores deben ser examinados y actualizados periódicamente.

Otra familia de indicadores alternativos al factor de impacto, cuya presentación data del año 2010, la señalan Bong y Ale Ebrahim (2017) y la denominan altmetrics. Este nuevo índice recoge muchos aspectos de la repercusión de una obra (como visualizaciones de artículos, descargas, menciones en medios sociales y los recuentos de citas tradicionales). Los altmetrics pueden aplicarse no solo a artículos, sino también a personas, revistas, libros, conjuntos de datos, páginas webs, etc.

Con respecto al uso de indicadores de producción científica en ciencias de la actividad física y del deporte, Reverter Masià y colaboradores (2013) utilizan el índice de Hirsch, pues lo consideran uno de los indicadores bibliométricos más importantes como medida de productividad y calidad científica en el área de la educación física y el deporte y de la didáctica de la expresión corporal.

En ciencias de la actividad física y del deporte se aprecian multitud de trabajos que analizan la calidad de las publicaciones científicas en general y de las revistas científicas en particular. Dentro de esta línea de investigación, Valenciano Valcárcel, Devís-Devís y Villamón Herrera (2008) establecieron veintitrés indicadores de calidad, agrupados en criterios de calidad formal, calidad de contenido científico y la difusión, para establecer una clasificación de revistas españolas de ciencias de la actividad física y del deporte. Posteriormente, Devís-Devís, Villamón y Valenciano Valcárcel (2014), en el análisis de las revistas iberoamericanas de ciencias del deporte presentes en la Web of Science, establecen cuatro grupos de indicadores de calidad: a) transparencia: información sobre revisión editorial previa de los manuscritos, información sobre la resolución de informes divergentes, información sobre guías de orientación a revisores, publicación anual de los revisores, publicación de las estadísticas; b) gestión editorial: gestión electrónica de manuscritos, existencia de editores adjuntos o de sección, existencia de DOI (digital object identifier) en los artículos, sistema de referencia bibliográfica, tiempos medios de recepción-aceptación y recepción-publicación; c) internacionalización: artículos en los idiomas de publicación, autores extranjeros, artículos con participación de algún autor extranjero, artículos firmados exclusivamente por autores extranjeros, artículos con participación de algún autor de la entidad editora o del equipo editorial; y d) visibilidad: factor de impacto, categoría, índices en los que se incluye, posición relativa dentro de la categoría, cuartil en el que se encuentran situadas las revistas. Finalmente, Reverter Masià y colaboradores (2012) revisan diecisiete revistas de educación física de España, y concluyen que el autor debe considerar, a la hora de escoger la revista en la que publicar, aparte de su índice de impacto en el Institute for Scientific Information (ISI) —si es que lo tiene—, la difusión, la visibilidad y el prestigio de la revista.

Por último, y dentro del análisis de la producción científica sobre ciencias del deporte, Hernández-González y colaboradores (2013) realizaron un estudio descriptivo de los hábitos de publicación de los profesores de los departamentos de didáctica de la expresión corporal y educación física de las universidades públicas españolas. La muestra utilizada fueron cuarenta y un profesores, de los que obtuvieron como resultado destacable que las revistas en las que más se publica sobre esta área son Journal of sport science and medicine, Revista de psicología del deporte, Revista de educación, Journal of applied physiology y Journal of strength and conditioning research.

Por todo ello, la evaluación de la calidad de los artículos mediante el factor de impacto, y su valoración según su indexación en bases de datos internacionales, hace necesario conocer, en el ámbito de las ciencias de la actividad física y del deporte, la importancia de los distintos criterios y productos de evaluación de artículos científicos y el valor que deberían tener los artículos a la hora de solicitar las distintas acreditaciones, por lo que los objetivos de este trabajo son:

  • Conocer los valores que el personal docente e investigador (PDI) de Ciencias de la Actividad Física y del Deporte otorgan a los diferentes criterios y productos de evaluación de artículos científicos.
  • Realizar una clasificación de revistas nacionales según la opinión del PDI de Ciencias de la Actividad Física y del Deporte.
  • Realizar una clasificación de revistas internacionales según la opinión del PDI de Ciencias de la Actividad Física y del Deporte.

 

2 Material y método

2.1 Participantes

Mediante las páginas webs de todos los grados de Ciencias de la Actividad Física y del Deporte del curso 2013–2014 de las universidades públicas, se registraron los correos electrónicos del personal docente e investigador. Se envió un cuestionario en línea al total del personal docente e investigador (n = 710). Del total de la población, respondió un total de ciento sesenta y tres profesores e investigadores (23,1 %), de los cuales, veinticuatro son evaluadores de alguna agencia de evaluación y ciento treinta y nueve profesores no forman parte de ninguna agencia de evaluación, con una experiencia docente media de 12,46 ± 8,36 años.

 

2.2 Instrumento

Con el fin de registrar los datos se usó el "Cuestionario sobre criterios de calidad del personal docente e investigador universitario en Ciencias de la Actividad Física y el Deporte" (CPDI-CAFD). Para el diseño y validación del instrumento se siguieron los mismos pasos que en estudios semejantes (Ortega et al., 2008). En primer lugar, tras un análisis de la bibliografía, se encontraron aquellos instrumentos de evaluación del personal docente e investigador semejantes al objeto de estudio (Buela-Casal; Sierra, 2007; Larrán-Jorge; Escobar-Pérez; García-Meca, 2013). Posteriormente, el grupo de investigación adaptó dichos instrumentos a las características propias de las ciencias de la actividad física y del deporte, añadiendo y eliminando algunos ítems. Tras la primera propuesta, y mediante una metodología Delphi (Astigarraga, 2003; Cabero Almenara; Infante Moro, 2014; Gil-Gómez de Liaño; Pascual-Ezama, 2012), se generó un panel de seis expertos. Se definió experto como doctor en Ciencias de la Actividad Física y del Deporte y personal docente e investigador con al menos diez años de experiencia universitaria. Tras un total de tres grupos de discusión, se planteó una propuesta definitiva. Finalmente, para el adecuado proceso de validez de contenido, se envió la propuesta del CPDI-CAFD (Salado, 2017) por correo electrónico a un total de once expertos (doctores en Ciencias de la Actividad Física y del Deporte, con una experiencia mínima de ocho años en docencia universitaria de ciencias del deporte). Para el cálculo de la validez de contenido se utilizó la v de Aiken, y se obtuvieron valores mínimos de 0,81, por lo que no hubo que realizar ninguna otra modificación. Para el control de la fiabilidad, se utilizó la técnica test-retest, aplicando el instrumento en un estudio piloto a once sujetos de características semejantes a la muestra. Se obtuvieron unos valores mínimos en el coeficiente de correlación intraclase o coeficiente kappa de 0,93 (Baumgartner, 2000).

Del total de ocho bloques que componen el CPDI-CAFD (Salado, 2017), para el presente estudio se utilizó el apartado de "artículos y revistas". En este apartado se les solicitaba que valorasen de 0 a 5 la importancia de ocho criterios y productos de evaluación de artículos científicos, así como que señalasen el más importante. Posteriormente se les solicitó el nombre de las cinco revistas nacionales e internacionales más importantes. Para valorar las revistas, se otorgó cinco puntos a las revistas elegidas por el personal docente e investigador en primer lugar, cuatro puntos a las escogidas en segundo lugar, tres puntos a las escogidas en tercer lugar, dos puntos a las seleccionadas en cuarto lugar y un punto a las escogidas en quinto lugar.

 

2.3 Análisis estadístico

En primer lugar, se realizó un análisis descriptivo de la opinión del personal docente e investigador calculando la media y la desviación típica, así como la frecuencia absoluta y relativa de cada uno de los ítems. Posteriormente, para analizar las posibles diferencias entre los diferentes grupos objeto de estudio, se realizó una comparación de medias mediante la prueba t para muestras independientes. En todos los casos se utilizó un nivel de significación de p < 0,05. Los resultados se analizaron mediante el paquete estadístico SPSS 17.0.

 

3 Resultados

En la tabla 1 se puede observar la valoración que hace el personal docente e investigador de Ciencias de la Actividad Física y del Deporte sobre los distintos criterios y productos de evaluación de artículos científicos. Por un lado, los profesores que participan en comisiones de evaluación de alguna de las agencias españolas dan como criterios y productos de evaluación más importantes en primer lugar el Journal citation reports (JCR), seguido del índice del SCImago Journal Rank (SJR). Por otro lado, los profesores que no son evaluadores también valoran como criterio o producto de evaluación de artículos científicos más importante el JCR seguido del SJR, aunque con valoraciones más bajas, y hay diferencias estadísticamente significativas en ambos casos. Los dos criterios y productos de evaluación de artículos científicos menos valorados son, en ambos grupos, Dialnet y el Catálogo Latindex. En todos los casos, las valoraciones de los criterios y productos de evaluación son mayores en los evaluadores de alguna agencia nacional que en el personal docente e investigador que no es evaluador. Al preguntarle al personal docente e investigador sobre cuál es el criterio o producto de evaluación de artículos científicos más relevante, en el 91,6 % de los casos respondieron que el criterio o producto más valorado es el JCR, en el 4,9 %, que el SJR, y el resto, que otros.

 

 
Evaluadores
de agencias
(n = 24)
No evaluadores
(n = 139)
Total PDI
(n = 163)
Valor p
Journal citation reports (JCR) (1)
4,92 ± 0,28
4,66 ± 1,03
4,71 ± 0,94
0,015
Scopus (1)
4,21 ± 0,78
3,60 ± 1,30
3,72 ± 1,23
0,048
IN-RECS (1)
3,22 ± 1,00
2,89 ± 1,26
2,96 ± 1,21
0,22
Scielo Citation Index (1)
3,29 ± 1,06
2,78 ± 1,24
2,87 ± 1,22
0,49
Criterios CNEAI (2)
3,35 ± 1,23
2,72 ± 1,29
2,84 ± 1,30
0,578
DICE (3)
3,10 ± 1,10
2,74 ± 1,20
2,80 ± 1,18
0,315
Catálogo Latindex (3)
2,83 ± 1,15
2,47 ± 1,22
2,54 ± 1,21
0,664
Dialnet (4)
2,73 ± 1,16
2,27 ± 1,26
2,35 ± 1,25
0,455

Tabla 1. Valoración de distintos criterios y productos de evaluación (0: nada importante; 5: muy importante)
Leyenda: 1 = Índice de citas; 2 = Criterios de calidad; 3 = Directorios de evaluación de revistas; 4 = Repositorio de revistas

 

Con respecto a la elección de revistas en el campo de las ciencias de la actividad física y del deporte se puede observar en la tabla 2 las elecciones de las revistas más importantes a criterio de los profesores. Se seleccionaron treinta y una revistas españolas diferentes, las tres más elegidas fueron Apunts, Revista de psicología del deporte y RICYDE. Revista internacional de ciencias del deporte.

 

 
Total
Primera
posición
Segunda
posición
Tercera
posición
Cuarta
posición
Quinta
posición
Apunts, educación física y deportes
379
160
76
99
34
10
Revista de psicología del deporte
329
155
96
39
32
7
RICYDE
262
110
88
30
24
10
Revista internacional de medicina y ciencias de la actividad física y del deporte
231
90
80
42
14
5
Motricidad
117
40
32
21
16
8
Cultura, ciencia y deporte
116
20
32
36
20
8
Archivos de medicina del deporte
62
25
16
15
6
0
Cuadernos de psicología del deporte
49
0
16
18
8
7
Tándem
47
10
8
9
16
4
Retos
45
10
24
3
4
4
Red. Revista de entrenamiento deportivo
36
10
4
9
10
3
Journal of human sport and exercise
34
15
0
3
12
4
Revista española de educación física y deportes
31
0
12
6
10
3
Ágora
28
0
8
9
10
1
Kronos
22
0
8
3
8
3
Revista andaluza de medicina del deporte
21
0
8
0
10
3
Revista internacional de ciencias del deporte
13
10
0
3
0
0
Habilidad motriz
11
5
0
3
2
1
Medicina clínica
7
5
0
0
2
0
Atención primaria
5
5
0
0
0
0
Revista de educación
5
5
0
0
0
0
Revista de cardiología
4
0
4
0
0
0
Psicodidáctica
4
0
4
0
0
0
Revista internacional de deportes colectivos
4
0
4
0
0
0
E-balonmano
4
0
0
3
0
1
Revista iberoamericana de psicología
4
0
0
0
4
0
Nutrición hospitalaria
3
0
0
3
0
0
Gaceta sanitaria
3
0
0
3
0
0
Psicothema
2
0
0
0
2
0
Salud pública
1
0
0
0
0
1
Revista de entrenamiento deportivo
1
0
0
0
0
1

Tabla 2. Revistas españolas

 

Por otro lado, también se seleccionaron las revistas internacionales sobre ciencias de la actividad física y del deporte que los profesores consideran más importantes. Como se observa en la tabla 3, se seleccionaron cuarenta y cinco revistas diferentes, entre las que destacan Journal of sport science, Sport medicine y Medicine and science in sports and exercise, que fueron las tres revistas más elegidas.

 

 
Total
Primera
posición
Segunda
posición
Tercera
posición
Cuarta
posición
Quinta
posición
Journal of sport sciences
177
85
32
36
18
6
Sport medicine
171
115
28
15
8
5
Medicine and science in sports exercise
139
80
28
21
8
2
British journal of sport medicine
110
20
48
33
6
3
European journal of sport sciences
98
20
40
18
12
8
International journal of sport medicine
86
25
24
18
14
5
Journal of applied physiology
77
20
32
18
6
1
Journal of strength and conditioning research
71
30
16
6
12
7
Journal of teaching in physical education
66
25
20
9
10
2
American journal of sports medicine
61
15
16
12
14
4
Sport education and society
58
25
24
6
2
1
Research quarterly exercise sport
53
15
16
9
10
3
International journal of sports psychology
39
5
12
18
4
0
Scandinavian journal of medicine and sports science
34
10
4
9
8
3
Perceptual and motor skills
33
10
4
9
8
2
European journal of applied physiology
32
0
12
12
6
2
Exercise and sport science reviews
30
10
12
3
4
1
Journal of sport and health science
27
10
8
6
2
1
Journal of sport science and medicine
27
10
0
9
4
4
European physical education review
27
0
8
6
10
3
Physical education and sport pedagogy
26
10
8
6
0
2
International journal of sports science
21
10
8
0
2
1
Journal of sport and exercise psychology
21
5
12
3
0
1
Psychology of sport and exercise
19
5
8
3
2
1
Human movement science
18
5
8
3
0
2
International journal of sports science & coaching
18
0
16
0
2
0
Sociology of sport journal
16
5
0
3
4
4
European sport management
15
5
8
0
2
0
Exercise and science sports reviews
14
5
4
3
0
2
Gait and posture
11
5
4
0
2
0
International journal performance analysis in sport
11
5
0
6
0
0
Journal of sport and social issues
10
10
0
0
0
0
Quest
10
5
0
3
0
2
Journal of electromyography and kinesiology
9
0
4
3
2
0
Journal of aging physical activity
7
5
0
0
2
0
Quality research in sport exercise and health
7
5
0
0
2
0
Journal of athletic training
7
0
4
3
0
0
Journal of sport management
7
0
0
6
0
1
International review of sport and exercise psychology
6
5
0
0
0
1
International journal of sports nutrition and exercise metabolism
5
0
0
3
2
0
Sport science
3
0
0
3
0
0
Pediatric exercise science
3
0
0
3
0
0
Strength and conditioning research
3
0
0
0
2
1
Exercise immunology review
1
0
0
0
0
1
Journal of physiology
1
0
0
0
0
1

Tabla 3. Revistas internacionales

 

4 Discusión y conclusiones

En este trabajo se presenta la opinión de los profesores de Ciencias de la Actividad Física y del Deporte en relación con varios aspectos de su evaluación de la actividad investigadora.

Los resultados del presente estudio destacan la importancia que da el personal docente e investigador de Ciencias de la Actividad Física y del Deporte a los índices de citas de la Web of Science (JCR) y Scopus, que son los dos criterios más valorados, lo cual coincide con las valoraciones que se realizan en las distintas agencias de evaluación. Estos datos, además, coinciden con Waltman (2016), que, en su trabajo de revisión de la literatura sobre los indicadores de impacto, analiza la Web of Science, Scopus y Google Scholar como los criterios o productos de evaluación más importantes para poder realizar el análisis de citas. En esta misma línea, la inmensa mayoría de los artículos que realizan estudios de metaanálisis, estudios bibliométricos o revisiones sistemáticas usan en sus análisis las publicaciones de las revistas indexadas en el JCR y el SJR (por ejemplo Duart et al., 2017; Majid et al., 2015; Solomon; Laakso; Björk, 2013).

Sin embargo, en la bibliografía hay multitud de críticas a este índice (Alberts, 2013; Callaway, 2016; Giménez-Toledo, 2016), orientadas sobre todo a que el factor de impacto es un índice de la calidad de la revista, no de los artículos ni de los investigadores, por lo que sería importante buscar índices más orientados a la calidad de los artículos independientemente de la revista en la que hayan sido publicados. En este sentido, Hicks y colaboradores (2015) proponen utilizar pruebas tanto cuantitativas como cualitativas para valorar la calidad de la investigación. En esta misma línea, Stephan y colaboradores (2017), en su trabajo de presentación del manifiesto de Leiden, hacen recomendaciones a los distintos actores de la comunidad científica, y recomiendan a los evaluadores que se resistan a buscar y confiar únicamente en los datos bibliométricos, especialmente cuando se calculan en menos de tres años. Desde otro punto de vista, Bornmann y Pudovkin (2017) hacen un artículo de opinión en el que destacan que el factor de impacto no debe ser demonizado, ya que se puede seguir utilizando para la evaluación de la investigación teniendo en cuenta el contexto y el ambiente académico. Además, también creen que puede usarse como valoración de la habilidad que tiene un investigador o una institución para publicar sus investigaciones. Aunque reconocen que el factor de impacto no debería usarse para evaluar la repercusión de un artículo. Por otro lado, hay algunas propuestas alternativas al uso del factor de impacto (por ejemplo altmetrics, PlumX Metrics, Impactstory).

Asimismo, otro de los objetivos del presente estudio es hacer una clasificación de las revistas nacionales e internacionales, para saber qué revistas sobre ciencias de la actividad física y del deporte son las que los profesores consideran más importantes. En este sentido, hay que destacar la gran cantidad de revistas elegidas por los profesores (treinta y una revistas españolas y cuarenta y cinco revistas internacionales), lo que puede deberse a la multidisciplinariedad de las ciencias del deporte. También destaca que hay un pequeño grupo de revistas que reciben una gran concentración de votos y muchas revistas con una concentración pequeña. En concreto, en el ámbito nacional destacan las revistas Apunts, educación física y deportes, Revista de psicología del deporte, RICYDE, Revista internacional de medicina y ciencias de la actividad física y el deporte y Motricidad. Las revistas Revista de psicología del deporte y Revista internacional de medicina y ciencias de la actividad física y el deporte son las dos únicas revistas indexadas en el JCR, por lo que es muy probable que ese aspecto sea uno de los que haya determinado su elección. Especial atención tiene la revista Apunts, educación física y deportes, que, a pesar de no estar indexada aún en el JCR (sí lo está en el SJR), ocupa la primera posición. Es muy probable que su elevada valoración se deba a su carácter generalista y a su gran arraigo en la tradición académica de las ciencias del deporte en nuestro país (la revista se edita desde 1985, y tiene su origen en una revista previa editada desde 1964). Asimismo, destaca la revista RICYDE, que, si bien es de reciente creación (2005), ha sido una de las primeras revistas de ciencias del deporte editadas en línea y está muy vinculada a la Facultad de Ciencias de la Actividad Física y del Deporte (INEF) de Madrid (epicentro de la investigación española en ciencias del deporte). Finalmente destaca la revista Motricidad, la cual, a pesar de no estar indexada ni en el JCR ni en el SJR, se sitúa entre las cinco primeras revistas, debido, posiblemente, a que durante muchos años fue de las pocas revistas científicas de ciencias del deporte editadas en España (editada en 1995), y a que está vinculada a la Asociación Española de Ciencias del Deporte.

Al comparar estos resultados con los obtenidos en la clasificación RESH (Revistas Españolas de Ciencias Sociales y Humanidades) (2009), en la que las revistas están ordenadas según la opinión de expertos, se aprecia que coinciden en seleccionar la revista Apunts como la más importante. Además, las revistas Motricidad y Revista de psicología del deporte en ambas clasificaciones se encuentran entre las cinco primeras. Por el contrario, la revista Tándem, que en RESH es la segunda más importante elegida por los expertos, en los resultados del presente estudio está en la novena posición.

En este mismo sentido, al comparar los datos del presente estudio con los resultados obtenidos por Valenciano Valcárcel, Devís-Devís y Villamón Herrera (2008) en la clasificación que realizan de las revistas de ciencias de la actividad física y del deporte en función de tres grupos de indicadores (la calidad formal, la calidad de contenido científico y la difusión), se aprecia una alta coincidencia. Así, cinco de las siete primeras revistas obtenidas en este estudio se encuentran en la categoría de calidad alta señalada por Valenciano y colaboradores (2008).

Finalmente, al comparar los datos del presente estudio con los obtenidos en la clasificación del Índice H de Google Scholar Metrics 2012–2016 (Delgado; Martin-Martin; Orduña-Malea, 2017), únicamente se aprecia concordancia en las cinco primeras revistas en la Revista de psicología del deporte (segunda en el presente estudio y primera en el Índice H). Por el contrario, en el Índice H entre las cinco primeras se encuentran las revistas Retos, Journal of human sport and exercise, Cuadernos de psicología del deporte y Revista iberoamericana de psicología del ejercicio y del deporte, revistas que, si bien no están situadas entre las cinco primeras del presente estudio, sí que lo están entre las diez primeras (a excepción de Revista iberoamericana de psicología del ejercicio y del deporte, que se encuentra en la posición veintiséis).

En cualquier caso, las cinco primeras revistas nacionales valoradas por los expertos en el presente estudio disponen de valoraciones destacadas en otras clasificaciones nacionales como CIRC (Clasificación Integrada de Revistas Científicas), DICE (Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas) y MIAR (Matriz de Información para el Análisis de Revistas).

Por otro lado, al analizar las cinco primeras revistas internacionales de ciencias de la actividad física y del deporte, se aprecia que todas ellas se encuentran dentro de la base de datos de la Web of Science (JCR). Dos de ellas son revistas de ciencias de la salud y dos son revistas generalistas. La revista Medicine and science in sports and exercise, a pesar de ser principalmente una revista de ciencias de la salud, también publica, pero en menor medida, estudios de ciencias sociales. En cualquier caso, en contra del factor de impacto, la revista más valorada no es la que tiene un mayor índice en el JCR, sino que es Journal of sport science. Posiblemente este aspecto se deba a que se trata de una revista situada en el primer cuartil (gran índice JCR) y, además, es una revista de carácter generalista, por lo que tanto los investigadores de ciencias sociales como los de ciencias de la salud la han valorado entre las mejores revistas.

Finalmente, los datos del presente estudio permiten concluir que el personal docente e investigador de Ciencias de la Actividad Física y del Deporte destaca la importancia de las bases de datos del JCR y Scopus como las dos más importantes, a mucha distancia del resto de los criterios o productos de evaluación de revistas científicas. Con respecto a las revistas de mayor prestigio en el área de las ciencias del deporte, el personal docente e investigador de Ciencias de la Actividad Física y del Deporte destaca las revistas Apunts, educación física y deportes y Revista de psicología del deporte como revistas españolas más importantes, y Journal of sport science y Sport medicine como las revistas internacionales más importantes. Estos resultados podrían ser de gran utilidad en la evaluación de las publicaciones científicas en el área de las ciencias del deporte.

 

Bibliografía

Alberts, Bruce (2013). "Impact factor distortions". Science, vol. 340, no. 6.134, p. 787–787.

Astigarraga, Eneko (2003). El método Delphi. San Sebastián: Universidad de Deusto.

Baumgartner, Ted A. (2000). "Estimating the stability reliability of a score". Measurement in physical education and exercise science, vol. 4, no. 3, p. 175–178.

Bong, Yiibonn; Ale Ebrahim, Nader (2017). "The Rise of Alternative Metrics (Altmetrics) for Research Impact Measurement". Asia research news. DOI: https:doi.org/10.6084/m9.figshare.4814215.v1.

Bornmann, Lutz; Pudovkin, Alexander I. (2017). "The Journal Impact Factor Should Not Be Discarded". Journal of Korean medical science, vol. 32, no. 2, p. 180–182.

Buela-Casal, Gualberto (2010). "Scientific journal impact indexes and indicators for measuring researchers' performance". Revista de psicodidáctica, vol. 15, n.º 1, p. 3–19. <http://www.ugr.es/~aepc/articulo/scientific.pdf>. [Consulta: 19/03/2018].

Buela-Casal, Gualberto et al. (2017). "Ranking de investigación de las universidades públicas españolas". Revista iberoamericana de psicología y salud, vol. 8, n.º 1, p. 21–35. <http://www.rips.cop.es/pdf/art32017e3.pdf>. [Consulta: 19/03/2018].

Buela-Casal, Gualberto; Sierra, Juan C. (2007). "Criterios, indicadores y estándares para la acreditación de profesores titulares y catedráticos de Universidad". Psicothema, vol. 19, n.º 4, p. 537–551. <http://www.psicothema.com/psicothema.asp?id=3395>. [Consulta: 19/03/2018].

Cabero Almenara, Julio; Infante Moro, Alfonso (2014). "Empleo del método Delphi y su empleo en la investigación en comunicación y educación". Edutec, n.º 48, p. 1–16. <http://www.edutec.es/revista/index.php/edutec-e/article/view/187>. [Consulta: 19/03/2018].

Callaway, Ewen (2016). "Publishing elite turns against impact factor". Nature, no. 535, p. 210–211.

Declaración de Bolonia (1999). Declaración conjunta de los ministros europeos de Educación reunidos en Bolonia el 19 de junio de 1999. <http://www.eees.es/pdf/Bolonia_ES.pdf>. [Consulta: 19/03/2018].

Delgado, Emilio; Martin-Martin, Alberto; Orduña-Malea, Enrique (2017). "Índice H de las revistas científicas españolas según Google Scholar Metrics (2012–2016)". Technical Report. DOI: 10.13140/RG.2.2.29279.56484.

Devís-Devís, José; Villamón, Miguel; Valenciano Valcárcel, Javier (2014). "Revistas iberoamericanas de Educación Física/Ciencias del Deporte presentes en Web of Science: evaluación y desafíos". Revista brasileira de ciências do esporte, vol. 36, núm. 4, p. 723–732. <https://www.sciencedirect.com/science/article/pii/S0101328914000055>. [Consulta: 19/03/2018].

Duart, Josep M. et al. (2017). "The pedagogical quality of MOOCs based on a systematic review of JCR and Scopus publications (2013–2015)". Revista española de pedagogía, vol. 75, n.º 266, p. 29–46. <https://revistadepedagogia.org/en/lxxv-en/no-266/the-pedagogical-quality-of-moocs-based-on-a-systematic-review-of-jcr-and-scopus-publications-2013-2015/101400005991/>. [Consulta: 19/03/2018].

España (2015). "Real Decreto 415/2015, de 29 de mayo, por el que se modifica el Real Decreto 1312/2007, de 5 de octubre, por el que se establece la acreditación nacional para el acceso a los cuerpos docentes universitarios". BOE, n.o 144 (17.06.2015), p. 50.319–50.337. <https://boe.es/diario_boe/txt.php?id=BOE-A-2015-6705>. [Consulta: 19/03/2018].

España (2016). "Resolución de 24 de noviembre de 2016, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación". BOE, n.o 286 (26.11.2016), p. 82.964-82.983. <https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11189>. [Consulta: 19/03/2018].

Franco-Paredes, Karina et al. (2016). "Bibliometric analysis of scientific production of Mexican Journal of Eating Disorders, 2010–2014". Revista mexicana de trastornos alimentarios, vol. 7, n.º 1, p. 9–16. <http://www.elsevier.es/es-revista-revista-mexicana-trastornos-alimentarios--110-articulo-bibliometric-analysis-scientific-production-mexican-S2007152316000021>. [Consulta: 19/03/2018].

Gil-Gómez de Liaño, Beatriz; Pascual-Ezama, David (2012). "The Delphi Method as a technique to study Validity of Content". Anales de psicología / Annals of psychology, vol. 28, n.º 3, p. 1.011–1.020. <http://revistas.um.es/analesps/article/view/analesps.28.3.156211>. [Consulta: 19/03/2018].

Giménez-Toledo, Elea (2015). "La evaluación de la producción científica: breve análisis crítico". Relieve, vol. 21, n.º 1, p. 1–9. <https://www.uv.es/RELIEVE/v21n1/RELIEVEv21n1_M2.htm>. [Consulta: 19/03/2018].

— (2016). Malestar. Los investigadores ante su evaluación. Madrid: Iberoamericana.

Gómez-Hernández, José Antonio (2015). "Efectos negativos de los criterios de evaluación de la actividad investigadora para el sistema de comunicación científica en español". Anuario ThinkEPI, n.º 9, p. 200–206 .

Grupo de investigación EC3 (2015). Co-Author Index. <http:www.coauthorindex.info/layout.php?id=inicio>.

Hernández-González, Vincenç et al. (2013). "Hábitos de publicación de profesores de los departamentos de didáctica de la expresión corporal y educación física de las universidades públicas españolas". European journal of human movement, no. 30, p. 1–12. <https://dialnet.unirioja.es/servlet/articulo?codigo=4775476>. [Consulta: 19/03/2018].

Hicks, Diana et al. (2015). "The Leiden Manifesto for research metrics". Nature, vol. 520, no. 7.548, p. 429–431.

Jornet, José Manuel (2016). Análisis de validez consecuencial sobre el sistema de evaluación para acceso a titulares y catedráticos de Universidad presentados por la ANECA. Valencia: Área de Educación.

Larrán-Jorge, Manuel; Escobar-Pérez, Bernabé; García-Meca, Emma (2013). "El sistema de acreditación nacional: la opinión de los profesores universitarios de Contabilidad". Revista española de documentación científica, vol. 36, n.o 3. <http://redc.revistas.csic.es/index.php/redc/article/view/806/997>. [Consulta: 19/03/2018].

Majid, Shaheen et al. (2015). "Analyzing publishing trends in information literacy literature: A bibliometric study". Malaysian journal of library and information science, vol. 20, no. 2, p. 51–66. <http://ejum.fsktm.um.edu.my/ArticleInformation.aspx?ArticleID=1549>. [Consulta: 19/03/2018].

Mattsson, Pauline; Sundberg, Carl Johan; Laget, Patrice (2010). "Is correspondence reflected in the author position? A bibliometric study of the relation between corresponding author and byline position". Scientometrics, vol. 87, no. 1, p. 99–105.

Ortega, Enrique et al. (2008). "Design and validation of a questionnaire to value the preferences and satisfaction for young players of basketball". Cuadernos de psicología del deporte, vol. 8, n.o 2, p. 39–58. <http://revistas.um.es/cpd/article/view/54281>. [Consulta: 19/03/2018].

Ortega, Enrique; Olmedilla, Aurelio; Pérez-Picazo, Miguel (2015). "Valores de referencia en el número de autores en las mejores publicaciones de revistas científicas en el área de las ciencias de la actividad física y del deporte". SPORT TK-Revista euroamericana de ciencias del deporte, vol. 4, n.o 1, p. 69–72. <http://revistas.um.es/sportk/article/view/239851>. [Consulta: 19/03/2018].

RESH (Revistas Españolas de Ciencias Sociales y Humanidades) (2009). "Ranking de revistas en Actividad Física y Deportiva". <http://epuc.cchs.csic.es/resh/indicadores >.

Reverter Masià, Joaquim et al. (2012). "Las revistas españolas de Ciencias de la Actividad Física y el Deporte: cómo elegir la revista donde publicar". Educatio siglo xxi, vol. 30, n.o 1, p. 217–232. <http://revistas.um.es/educatio/article/view/149211>. [Consulta: 19/03/2018].

Reverter Masià, Joaquim et al. (2013). "La productividad científica en WoS y el índice h de Hirsch del área de Educación Física en España y Brasil: productividad y comparación entre países". Movimento, vol. 19, n.o 3, p. 125–147. <http://seer.ufrgs.br/index.php/Movimento/article/view/36582/26021>. [Consulta: 19/03/2018].

Salado, Jesús (2017). Criterios para la evaluación de la calidad del personal docente e investigador universitario en ciencias de la actividad física y el deporte. Tesis doctoral. Murcia: Universidad de Murcia.

Sierra, Juan Carlos et al. (2009). "Diferencias por sexo en los criterios y estándares de productividad científica y docente en profesores funcionarios en España". Psicothema, vol. 21, n.o 1, p. 124–132. <http://www.psicothema.com/psicothema.asp?id=3605>. [Consulta: 19/03/2018].

Solomon, David J.; Laakso, Mikael; Björk, Bo Christer (2013). "A longitudinal comparison of citation rates and growth among open access journals". Journal of informetrics, vol. 7, no. 3, p. 642–650.

Stephan, Paula et al. (2017). "Reviewers are blinkered by bibliometrics". Nature, vol. 544, no. 7.651, p. 411–412.

Valenciano Valcárcel, Javier; Devís-Devís, José; Villamón Herrera, Miguel (2008). "Evaluación y clasificación de las revistas científico-técnicas españolas de Ciencias de la Actividad Física y el Deporte". Revista española de documentación científica, vol. 31, n.o 3, p. 396–412. <http://redc.revistas.csic.es/index.php/redc/article/view/435>. [Consulta: 19/03/2018].

Waltman, Ludo (2016). "A review of the literature on citation impact indicators". Journal of informetrics, vol. 10, no. 2, p. 365–391.

 

 

Cita recomendada

Ortega Toro, Enrique; Salado, Jesús (2018). "La calidad de las revistas científicas para el profesorado universitario de ciencias del deporte". BiD: textos universitaris de biblioteconomia i documentació, núm. 40 (juny) . <http://bid.ub.edu/es/40/ortega.htm>. DOI: http://dx.doi.org/10.1344/BiD2018.40.9 [Consulta: 19-09-2018].