La calidad de las revistas científicas para el profesorado universitario de ciencias del deporte

1 Introducción

Desde la creación del Espacio Europeo de Educación Superior (EEES), la calidad de la educación superior ha tomado gran importancia y es uno de los principios fundamentales en los que se hizo hincapié en la Declaración de Bolonia (1999), junto con otros como la movilidad, la diversidad y la competitividad. Este interés en buscar la mejora de la calidad de la educación superior llevó a la creación de la European Association for Quality Assurance in Higher Education (ENQA). Esta asociación tiene como objetivos mantener en un nivel alto la calidad de la educación superior europea, mejorarla y actuar como una fuerza impulsora importante para el desarrollo de la garantía de calidad por medio de todos los países signatarios de la Declaración de Bolonia.

A esta asociación pertenecen cuarenta y cinco agencias de veintisiete países, entre las que se encuentra la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), que es la agencia española encargada de contribuir a la mejora de la calidad del sistema de educación superior mediante la evaluación, certificación y acreditación de enseñanzas, profesorado e instituciones. Esto se lleva a cabo mediante los distintos programas que tiene, que se engloban en dos grandes grupos: los programas de evaluación de enseñanzas e instituciones (Verifica, Monitor, Acredita, Acredita Plus, Audit y la Mención de Calidad a programas de doctorado) y los programas de evaluación del profesorado para la acreditación (PEP, Academia), para la evaluación de la calidad de la docencia (Docentia) y para la evaluación y el reconocimiento de un complemento de productividad investigadora (Programa CNEAI).

Estos programas de evaluación del profesorado hacen hincapié en tres aspectos del profesorado universitario: el aspecto docente, el investigador y el gestor; y tienen en cuenta también, pero en menor medida, la formación y la transferencia. En este sentido, Buela-Casal y Sierra (2007) realizaron una encuesta a profesores titulares de universidad y a catedráticos de universidad sobre los criterios, indicadores y estándares de cada cuerpo de profesores, centrando sus preguntas en cinco grandes grupos: formación, experiencia, producción académico-científica, movilidad y gestión universitaria y otros méritos. La encuesta fue realizada a 1.294 profesores universitarios. Los resultados que se obtuvieron ponen de manifiesto diferencias de criterios en función de los campos de conocimiento, y los más importantes fueron la docencia y la investigación como los pilares básicos para el acceso a las diferentes acreditaciones.

Con respecto a la evaluación de la investigación, el aspecto más valorado en el estudio de Buela-Casal y Sierra (2007) fue el de la publicación de artículos, sobre todo en revistas indexadas en el Journal citation reports (JCR). En este sentido, en la Resolución de 24 de noviembre de 2016, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación, se usan como criterio principal en el área de las ciencias sociales, políticas, del comportamiento y de la educación los artículos publicados en revistas de reconocida valía, y se aceptan como tales las incluidas en los listados por ámbitos científicos del Journal citation reports (social sciences edition) y del Journal citation reports (science edition) de la Web of Science.

Con respecto al uso del factor de impacto (JCR), hay multitud de críticas en la bibliografía internacional (Alberts, 2013; Callaway, 2016; Stephan et al., 2017). En este sentido, Stephan y colaboradores (2017) exponen que los datos bibliométricos son medidas imperfectas, aunque pueden servir para evaluar un gran número de artículos. Su crítica se basa en que, durante los tres primeros años tras su publicación, la probabilidad de que un artículo esté entre el 1 % superior de los artículos más citados es inferior a la probabilidad de los artículos que no son nuevos. Más allá de tres años, muchos de estos artículos estaban por delante, por lo que concluyen que los sistemas actuales de evaluación mediante datos bibliométricos subestiman los trabajos que pueden tener gran repercusión a largo plazo. Por otro lado, Callaway (2016) centra su crítica sobre el factor de impacto en que este fue creado para evaluar la calidad de las revistas y se usa para la evaluación individual de artículos y de sus autores. Un artículo sin ninguna cita tendría un índice de impacto elevado, si junto a ese artículo se publicó otro con muchísimas citas. Además, otros autores (por ejemplo Franco-Paredes et al., 2016) señalan que aquellos artículos que exponen teorías contradictorias pueden ser muy citados, pero no por razones de interés académico, sino para contrarrestar sus planteamientos contradictorios. En este mismo sentido, el idioma, la regionalidad de la temática, las autocitas, etc., son otros múltiples aspectos que determinan y contaminan el factor de impacto (Gómez-Hernández, 2015).

En este mismo sentido, Giménez-Toledo (2015) realiza una revisión histórica del proceso de evaluación de la producción científica y obtiene como conclusión de su trabajo que la Web of Science (base de datos bibliográfica e índice de citas) y sus JCR (clasificación de revistas a partir del factor de impacto calculado según citaciones en la Web of Science) van a persistir como fuentes de referencia en la evaluación de la producción científica. Sin embargo, también señala que en algunos países combinan la utilización de estos indicadores bibliométricos con el juicio cualitativo de un panel de expertos en la materia que evalúe esa producción. Este último tipo de evaluación podría tener mejor aceptación que la sola valoración cuantitativa mediante los indicadores bibliométricos. De forma semejante, Buela-Casal (2010) destaca que los índices de impacto no deberían ser el único objetivo que conseguir, ya que ponen en riesgo que el objetivo de los investigadores sea conseguir un alto índice de impacto elevado en vez de investigar temas útiles y relevantes.

Por todo ello, se han creado propuestas alternativas al uso del factor de impacto para la evaluación de la investigación. Por ejemplo, Hicks y colaboradores (2015) presentan el manifiesto de Leiden, donde explican diez principios para la evaluación de la investigación. Estos diez principios son:

1. La evaluación cuantitativa tiene que apoyar a la evaluación cualitativa por expertos.

2. El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador.

3. La excelencia en investigación de relevancia local tiene que ser protegida.

4. Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples.

5. Los datos y análisis deben estar abiertos a la verificación por los evaluados.

6. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta.

7. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación.

8. Debe evitarse la concreción improcedente y la falsa precisión.

9. Deben reconocerse los efectos sistémicos de la evaluación y los indicadores.

10. Los indicadores deben ser examinados y actualizados periódicamente.

Otra familia de indicadores alternativos al factor de impacto, cuya presentación data del año 2010, la señalan Bong y Ale Ebrahim (2017) y la denominan altmetrics. Este nuevo índice recoge muchos aspectos de la repercusión de una obra (como visualizaciones de artículos, descargas, menciones en medios sociales y los recuentos de citas tradicionales). Los altmetrics pueden aplicarse no solo a artículos, sino también a personas, revistas, libros, conjuntos de datos, páginas webs, etc.

Con respecto al uso de indicadores de producción científica en ciencias de la actividad física y del deporte, Reverter Masià y colaboradores (2013) utilizan el índice de Hirsch, pues lo consideran uno de los indicadores bibliométricos más importantes como medida de productividad y calidad científica en el área de la educación física y el deporte y de la didáctica de la expresión corporal.

En ciencias de la actividad física y del deporte se aprecian multitud de trabajos que analizan la calidad de las publicaciones científicas en general y de las revistas científicas en particular. Dentro de esta línea de investigación, Valenciano Valcárcel, Devís-Devís y Villamón Herrera (2008) establecieron veintitrés indicadores de calidad, agrupados en criterios de calidad formal, calidad de contenido científico y la difusión, para establecer una clasificación de revistas españolas de ciencias de la actividad física y del deporte. Posteriormente, Devís-Devís, Villamón y Valenciano Valcárcel (2014), en el análisis de las revistas iberoamericanas de ciencias del deporte presentes en la Web of Science, establecen cuatro grupos de indicadores de calidad: a) transparencia: información sobre revisión editorial previa de los manuscritos, información sobre la resolución de informes divergentes, información sobre guías de orientación a revisores, publicación anual de los revisores, publicación de las estadísticas; b) gestión editorial: gestión electrónica de manuscritos, existencia de editores adjuntos o de sección, existencia de DOI (digital object identifier) en los artículos, sistema de referencia bibliográfica, tiempos medios de recepción-aceptación y recepción-publicación; c) internacionalización: artículos en los idiomas de publicación, autores extranjeros, artículos con participación de algún autor extranjero, artículos firmados exclusivamente por autores extranjeros, artículos con participación de algún autor de la entidad editora o del equipo editorial; y d) visibilidad: factor de impacto, categoría, índices en los que se incluye, posición relativa dentro de la categoría, cuartil en el que se encuentran situadas las revistas. Finalmente, Reverter Masià y colaboradores (2012) revisan diecisiete revistas de educación física de España, y concluyen que el autor debe considerar, a la hora de escoger la revista en la que publicar, aparte de su índice de impacto en el Institute for Scientific Information (ISI) —si es que lo tiene—, la difusión, la visibilidad y el prestigio de la revista.

Por último, y dentro del análisis de la producción científica sobre ciencias del deporte, Hernández-González y colaboradores (2013) realizaron un estudio descriptivo de los hábitos de publicación de los profesores de los departamentos de didáctica de la expresión corporal y educación física de las universidades públicas españolas. La muestra utilizada fueron cuarenta y un profesores, de los que obtuvieron como resultado destacable que las revistas en las que más se publica sobre esta área son Journal of sport science and medicine, Revista de psicología del deporte, Revista de educación, Journal of applied physiology y Journal of strength and conditioning research.

Por todo ello, la evaluación de la calidad de los artículos mediante el factor de impacto, y su valoración según su indexación en bases de datos internacionales, hace necesario conocer, en el ámbito de las ciencias de la actividad física y del deporte, la importancia de los distintos criterios y productos de evaluación de artículos científicos y el valor que deberían tener los artículos a la hora de solicitar las distintas acreditaciones, por lo que los objetivos de este trabajo son:

• Conocer los valores que el personal docente e investigador (PDI) de Ciencias de la Actividad Física y del Deporte otorgan a los diferentes criterios y productos de evaluación de artículos científicos.

• Realizar una clasificación de revistas nacionales según la opinión del PDI de Ciencias de la Actividad Física y del Deporte.

• Realizar una clasificación de revistas internacionales según la opinión del PDI de Ciencias de la Actividad Física y del Deporte.

2 Material y método

2.1 Participantes

Mediante las páginas webs de todos los grados de Ciencias de la Actividad Física y del Deporte del curso 2013–2014 de las universidades públicas, se registraron los correos electrónicos del personal docente e investigador. Se envió un cuestionario en línea al total del personal docente e investigador (n = 710). Del total de la población, respondió un total de ciento sesenta y tres profesores e investigadores (23,1 %), de los cuales, veinticuatro son evaluadores de alguna agencia de evaluación y ciento treinta y nueve profesores no forman parte de ninguna agencia de evaluación, con una experiencia docente media de 12,46 ± 8,36 años.

2.2 Instrumento

Con el fin de registrar los datos se usó el "Cuestionario sobre criterios de calidad del personal docente e investigador universitario en Ciencias de la Actividad Física y el Deporte" (CPDI-CAFD). Para el diseño y validación del instrumento se siguieron los mismos pasos que en estudios semejantes (Ortega et al., 2008). En primer lugar, tras un análisis de la bibliografía, se encontraron aquellos instrumentos de evaluación del personal docente e investigador semejantes al objeto de estudio (Buela-Casal; Sierra, 2007; Larrán-Jorge; Escobar-Pérez; García-Meca, 2013). Posteriormente, el grupo de investigación adaptó dichos instrumentos a las características propias de las ciencias de la actividad física y del deporte, añadiendo y eliminando algunos ítems. Tras la primera propuesta, y mediante una metodología Delphi (Astigarraga, 2003; Cabero Almenara; Infante Moro, 2014; Gil-Gómez de Liaño; Pascual-Ezama, 2012), se generó un panel de seis expertos. Se definió experto como doctor en Ciencias de la Actividad Física y del Deporte y personal docente e investigador con al menos diez años de experiencia universitaria. Tras un total de tres grupos de discusión, se planteó una propuesta definitiva. Finalmente, para el adecuado proceso de validez de contenido, se envió la propuesta del CPDI-CAFD (Salado, 2017) por correo electrónico a un total de once expertos (doctores en Ciencias de la Actividad Física y del Deporte, con una experiencia mínima de ocho años en docencia universitaria de ciencias del deporte). Para el cálculo de la validez de contenido se utilizó la v de Aiken, y se obtuvieron valores mínimos de 0,81, por lo que no hubo que realizar ninguna otra modificación. Para el control de la fiabilidad, se utilizó la técnica test-retest, aplicando el instrumento en un estudio piloto a once sujetos de características semejantes a la muestra. Se obtuvieron unos valores mínimos en el coeficiente de correlación intraclase o coeficiente kappa de 0,93 (Baumgartner, 2000).

Del total de ocho bloques que componen el CPDI-CAFD (Salado, 2017), para el presente estudio se utilizó el apartado de "artículos y revistas". En este apartado se les solicitaba que valorasen de 0 a 5 la importancia de ocho criterios y productos de evaluación de artículos científicos, así como que señalasen el más importante. Posteriormente se les solicitó el nombre de las cinco revistas nacionales e internacionales más importantes. Para valorar las revistas, se otorgó cinco puntos a las revistas elegidas por el personal docente e investigador en primer lugar, cuatro puntos a las escogidas en segundo lugar, tres puntos a las escogidas en tercer lugar, dos puntos a las seleccionadas en cuarto lugar y un punto a las escogidas en quinto lugar.

2.3 Análisis estadístico

En primer lugar, se realizó un análisis descriptivo de la opinión del personal docente e investigador calculando la media y la desviación típica, así como la frecuencia absoluta y relativa de cada uno de los ítems. Posteriormente, para analizar las posibles diferencias entre los diferentes grupos objeto de estudio, se realizó una comparación de medias mediante la prueba t para muestras independientes. En todos los casos se utilizó un nivel de significación de p < 0,05. Los resultados se analizaron mediante el paquete estadístico SPSS 17.0.

3 Resultados

En la tabla 1 se puede observar la valoración que hace el personal docente e investigador de Ciencias de la Actividad Física y del Deporte sobre los distintos criterios y productos de evaluación de artículos científicos. Por un lado, los profesores que participan en comisiones de evaluación de alguna de las agencias españolas dan como criterios y productos de evaluación más importantes en primer lugar el Journal citation reports (JCR), seguido del índice del SCImago Journal Rank (SJR). Por otro lado, los profesores que no son evaluadores también valoran como criterio o producto de evaluación de artículos científicos más importante el JCR seguido del SJR, aunque con valoraciones más bajas, y hay diferencias estadísticamente significativas en ambos casos. Los dos criterios y productos de evaluación de artículos científicos menos valorados son, en ambos grupos, Dialnet y el Catálogo Latindex. En todos los casos, las valoraciones de los criterios y productos de evaluación son mayores en los evaluadores de alguna agencia nacional que en el personal docente e investigador que no es evaluador. Al preguntarle al personal docente e investigador sobre cuál es el criterio o producto de evaluación de artículos científicos más relevante, en el 91,6 % de los casos respondieron que el criterio o producto más valorado es el JCR, en el 4,9 %, que el SJR, y el resto, que otros.

Tabla 1. Valoración de distintos criterios y productos de evaluación (0: nada importante; 5: muy importante)
Leyenda: 1 = Índice de citas; 2 = Criterios de calidad; 3 = Directorios de evaluación de revistas; 4 = Repositorio de revistas

Con respecto a la elección de revistas en el campo de las ciencias de la actividad física y del deporte se puede observar en la tabla 2 las elecciones de las revistas más importantes a criterio de los profesores. Se seleccionaron treinta y una revistas españolas diferentes, las tres más elegidas fueron Apunts, Revista de psicología del deporte y RICYDE. Revista internacional de ciencias del deporte.

Tabla 2. Revistas españolas

Por otro lado, también se seleccionaron las revistas internacionales sobre ciencias de la actividad física y del deporte que los profesores consideran más importantes. Como se observa en la tabla 3, se seleccionaron cuarenta y cinco revistas diferentes, entre las que destacan Journal of sport science, Sport medicine y Medicine and science in sports and exercise, que fueron las tres revistas más elegidas.

Tabla 3. Revistas internacionales

4 Discusión y conclusiones

En este trabajo se presenta la opinión de los profesores de Ciencias de la Actividad Física y del Deporte en relación con varios aspectos de su evaluación de la actividad investigadora.

Los resultados del presente estudio destacan la importancia que da el personal docente e investigador de Ciencias de la Actividad Física y del Deporte a los índices de citas de la Web of Science (JCR) y Scopus, que son los dos criterios más valorados, lo cual coincide con las valoraciones que se realizan en las distintas agencias de evaluación. Estos datos, además, coinciden con Waltman (2016), que, en su trabajo de revisión de la literatura sobre los indicadores de impacto, analiza la Web of Science, Scopus y Google Scholar como los criterios o productos de evaluación más importantes para poder realizar el análisis de citas. En esta misma línea, la inmensa mayoría de los artículos que realizan estudios de metaanálisis, estudios bibliométricos o revisiones sistemáticas usan en sus análisis las publicaciones de las revistas indexadas en el JCR y el SJR (por ejemplo Duart et al., 2017; Majid et al., 2015; Solomon; Laakso; Björk, 2013).

Sin embargo, en la bibliografía hay multitud de críticas a este índice (Alberts, 2013; Callaway, 2016; Giménez-Toledo, 2016), orientadas sobre todo a que el factor de impacto es un índice de la calidad de la revista, no de los artículos ni de los investigadores, por lo que sería importante buscar índices más orientados a la calidad de los artículos independientemente de la revista en la que hayan sido publicados. En este sentido, Hicks y colaboradores (2015) proponen utilizar pruebas tanto cuantitativas como cualitativas para valorar la calidad de la investigación. En esta misma línea, Stephan y colaboradores (2017), en su trabajo de presentación del manifiesto de Leiden, hacen recomendaciones a los distintos actores de la comunidad científica, y recomiendan a los evaluadores que se resistan a buscar y confiar únicamente en los datos bibliométricos, especialmente cuando se calculan en menos de tres años. Desde otro punto de vista, Bornmann y Pudovkin (2017) hacen un artículo de opinión en el que destacan que el factor de impacto no debe ser demonizado, ya que se puede seguir utilizando para la evaluación de la investigación teniendo en cuenta el contexto y el ambiente académico. Además, también creen que puede usarse como valoración de la habilidad que tiene un investigador o una institución para publicar sus investigaciones. Aunque reconocen que el factor de impacto no debería usarse para evaluar la repercusión de un artículo. Por otro lado, hay algunas propuestas alternativas al uso del factor de impacto (por ejemplo altmetrics, PlumX Metrics, Impactstory).

Asimismo, otro de los objetivos del presente estudio es hacer una clasificación de las revistas nacionales e internacionales, para saber qué revistas sobre ciencias de la actividad física y del deporte son las que los profesores consideran más importantes. En este sentido, hay que destacar la gran cantidad de revistas elegidas por los profesores (treinta y una revistas españolas y cuarenta y cinco revistas internacionales), lo que puede deberse a la multidisciplinariedad de las ciencias del deporte. También destaca que hay un pequeño grupo de revistas que reciben una gran concentración de votos y muchas revistas con una concentración pequeña. En concreto, en el ámbito nacional destacan las revistas Apunts, educación física y deportes, Revista de psicología del deporte, RICYDE, Revista internacional de medicina y ciencias de la actividad física y el deporte y Motricidad. Las revistas Revista de psicología del deporte y Revista internacional de medicina y ciencias de la actividad física y el deporte son las dos únicas revistas indexadas en el JCR, por lo que es muy probable que ese aspecto sea uno de los que haya determinado su elección. Especial atención tiene la revista Apunts, educación física y deportes, que, a pesar de no estar indexada aún en el JCR (sí lo está en el SJR), ocupa la primera posición. Es muy probable que su elevada valoración se deba a su carácter generalista y a su gran arraigo en la tradición académica de las ciencias del deporte en nuestro país (la revista se edita desde 1985, y tiene su origen en una revista previa editada desde 1964). Asimismo, destaca la revista RICYDE, que, si bien es de reciente creación (2005), ha sido una de las primeras revistas de ciencias del deporte editadas en línea y está muy vinculada a la Facultad de Ciencias de la Actividad Física y del Deporte (INEF) de Madrid (epicentro de la investigación española en ciencias del deporte). Finalmente destaca la revista Motricidad, la cual, a pesar de no estar indexada ni en el JCR ni en el SJR, se sitúa entre las cinco primeras revistas, debido, posiblemente, a que durante muchos años fue de las pocas revistas científicas de ciencias del deporte editadas en España (editada en 1995), y a que está vinculada a la Asociación Española de Ciencias del Deporte.

Al comparar estos resultados con los obtenidos en la clasificación RESH (Revistas Españolas de Ciencias Sociales y Humanidades) (2009), en la que las revistas están ordenadas según la opinión de expertos, se aprecia que coinciden en seleccionar la revista Apunts como la más importante. Además, las revistas Motricidad y Revista de psicología del deporte en ambas clasificaciones se encuentran entre las cinco primeras. Por el contrario, la revista Tándem, que en RESH es la segunda más importante elegida por los expertos, en los resultados del presente estudio está en la novena posición.

En este mismo sentido, al comparar los datos del presente estudio con los resultados obtenidos por Valenciano Valcárcel, Devís-Devís y Villamón Herrera (2008) en la clasificación que realizan de las revistas de ciencias de la actividad física y del deporte en función de tres grupos de indicadores (la calidad formal, la calidad de contenido científico y la difusión), se aprecia una alta coincidencia. Así, cinco de las siete primeras revistas obtenidas en este estudio se encuentran en la categoría de calidad alta señalada por Valenciano y colaboradores (2008).

Finalmente, al comparar los datos del presente estudio con los obtenidos en la clasificación del Índice H de Google Scholar Metrics 2012–2016 (Delgado; Martin-Martin; Orduña-Malea, 2017), únicamente se aprecia concordancia en las cinco primeras revistas en la Revista de psicología del deporte (segunda en el presente estudio y primera en el Índice H). Por el contrario, en el Índice H entre las cinco primeras se encuentran las revistas Retos, Journal of human sport and exercise, Cuadernos de psicología del deporte y Revista iberoamericana de psicología del ejercicio y del deporte, revistas que, si bien no están situadas entre las cinco primeras del presente estudio, sí que lo están entre las diez primeras (a excepción de Revista iberoamericana de psicología del ejercicio y del deporte, que se encuentra en la posición veintiséis).

En cualquier caso, las cinco primeras revistas nacionales valoradas por los expertos en el presente estudio disponen de valoraciones destacadas en otras clasificaciones nacionales como CIRC (Clasificación Integrada de Revistas Científicas), DICE (Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas) y MIAR (Matriz de Información para el Análisis de Revistas).

Por otro lado, al analizar las cinco primeras revistas internacionales de ciencias de la actividad física y del deporte, se aprecia que todas ellas se encuentran dentro de la base de datos de la Web of Science (JCR). Dos de ellas son revistas de ciencias de la salud y dos son revistas generalistas. La revista Medicine and science in sports and exercise, a pesar de ser principalmente una revista de ciencias de la salud, también publica, pero en menor medida, estudios de ciencias sociales. En cualquier caso, en contra del factor de impacto, la revista más valorada no es la que tiene un mayor índice en el JCR, sino que es Journal of sport science. Posiblemente este aspecto se deba a que se trata de una revista situada en el primer cuartil (gran índice JCR) y, además, es una revista de carácter generalista, por lo que tanto los investigadores de ciencias sociales como los de ciencias de la salud la han valorado entre las mejores revistas.

Finalmente, los datos del presente estudio permiten concluir que el personal docente e investigador de Ciencias de la Actividad Física y del Deporte destaca la importancia de las bases de datos del JCR y Scopus como las dos más importantes, a mucha distancia del resto de los criterios o productos de evaluación de revistas científicas. Con respecto a las revistas de mayor prestigio en el área de las ciencias del deporte, el personal docente e investigador de Ciencias de la Actividad Física y del Deporte destaca las revistas Apunts, educación física y deportes y Revista de psicología del deporte como revistas españolas más importantes, y Journal of sport science y Sport medicine como las revistas internacionales más importantes. Estos resultados podrían ser de gran utilidad en la evaluación de las publicaciones científicas en el área de las ciencias del deporte.

Bibliografía

Alberts, Bruce (2013). "Impact factor distortions". Science, vol. 340, no. 6.134, p. 787–787.

Astigarraga, Eneko (2003). El método Delphi. San Sebastián: Universidad de Deusto.

Baumgartner, Ted A. (2000). "Estimating the stability reliability of a score". Measurement in physical education and exercise science, vol. 4, no. 3, p. 175–178.

Bong, Yiibonn; Ale Ebrahim, Nader (2017). "The Rise of Alternative Metrics (Altmetrics) for Research Impact Measurement". Asia research news. DOI: https:doi.org/10.6084/m9.figshare.4814215.v1.

Bornmann, Lutz; Pudovkin, Alexander I. (2017). "The Journal Impact Factor Should Not Be Discarded". Journal of Korean medical science, vol. 32, no. 2, p. 180–182.

Buela-Casal, Gualberto (2010). "Scientific journal impact indexes and indicators for measuring researchers' performance". Revista de psicodidáctica, vol. 15, n.º 1, p. 3–19. <http://www.ugr.es/~aepc/articulo/scientific.pdf>. [Consulta: 19/03/2018].

Buela-Casal, Gualberto et al. (2017). "Ranking de investigación de las universidades públicas españolas". Revista iberoamericana de psicología y salud, vol. 8, n.º 1, p. 21–35. <http://www.rips.cop.es/pdf/art32017e3.pdf>. [Consulta: 19/03/2018].

Buela-Casal, Gualberto; Sierra, Juan C. (2007). "Criterios, indicadores y estándares para la acreditación de profesores titulares y catedráticos de Universidad". Psicothema, vol. 19, n.º 4, p. 537–551. <http://www.psicothema.com/psicothema.asp?id=3395>. [Consulta: 19/03/2018].

Cabero Almenara, Julio; Infante Moro, Alfonso (2014). "Empleo del método Delphi y su empleo en la investigación en comunicación y educación". Edutec, n.º 48, p. 1–16. <http://www.edutec.es/revista/index.php/edutec-e/article/view/187>. [Consulta: 19/03/2018].

Callaway, Ewen (2016). "Publishing elite turns against impact factor". Nature, no. 535, p. 210–211.

Declaración de Bolonia (1999). Declaración conjunta de los ministros europeos de Educación reunidos en Bolonia el 19 de junio de 1999. <http://www.eees.es/pdf/Bolonia_ES.pdf>. [Consulta: 19/03/2018].

Delgado, Emilio; Martin-Martin, Alberto; Orduña-Malea, Enrique (2017). "Índice H de las revistas científicas españolas según Google Scholar Metrics (2012–2016)". Technical Report. DOI: 10.13140/RG.2.2.29279.56484.

Devís-Devís, José; Villamón, Miguel; Valenciano Valcárcel, Javier (2014). "Revistas iberoamericanas de Educación Física/Ciencias del Deporte presentes en Web of Science: evaluación y desafíos". Revista brasileira de ciências do esporte, vol. 36, núm. 4, p. 723–732. <https://www.sciencedirect.com/science/article/pii/S0101328914000055>. [Consulta: 19/03/2018].

Duart, Josep M. et al. (2017). "The pedagogical quality of MOOCs based on a systematic review of JCR and Scopus publications (2013–2015)". Revista española de pedagogía, vol. 75, n.º 266, p. 29–46. <https://revistadepedagogia.org/en/lxxv-en/no-266/the-pedagogical-quality-of-moocs-based-on-a-systematic-review-of-jcr-and-scopus-publications-2013-2015/101400005991/>. [Consulta: 19/03/2018].

España (2015). "Real Decreto 415/2015, de 29 de mayo, por el que se modifica el Real Decreto 1312/2007, de 5 de octubre, por el que se establece la acreditación nacional para el acceso a los cuerpos docentes universitarios". BOE, n.o 144 (17.06.2015), p. 50.319–50.337. <https://boe.es/diario_boe/txt.php?id=BOE-A-2015-6705>. [Consulta: 19/03/2018].

España (2016). "Resolución de 24 de noviembre de 2016, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación". BOE, n.o 286 (26.11.2016), p. 82.964-82.983. <https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11189>. [Consulta: 19/03/2018].

Franco-Paredes, Karina et al. (2016). "Bibliometric analysis of scientific production of Mexican Journal of Eating Disorders, 2010–2014". Revista mexicana de trastornos alimentarios, vol. 7, n.º 1, p. 9–16. <http://www.elsevier.es/es-revista-revista-mexicana-trastornos-alimentarios--110-articulo-bibliometric-analysis-scientific-production-mexican-S2007152316000021>. [Consulta: 19/03/2018].

Gil-Gómez de Liaño, Beatriz; Pascual-Ezama, David (2012). "The Delphi Method as a technique to study Validity of Content". Anales de psicología / Annals of psychology, vol. 28, n.º 3, p. 1.011–1.020. <http://revistas.um.es/analesps/article/view/analesps.28.3.156211>. [Consulta: 19/03/2018].

Giménez-Toledo, Elea (2015). "La evaluación de la producción científica: breve análisis crítico". Relieve, vol. 21, n.º 1, p. 1–9. <https://www.uv.es/RELIEVE/v21n1/RELIEVEv21n1_M2.htm>. [Consulta: 19/03/2018].

— (2016). Malestar. Los investigadores ante su evaluación. Madrid: Iberoamericana.

Gómez-Hernández, José Antonio (2015). "Efectos negativos de los criterios de evaluación de la actividad investigadora para el sistema de comunicación científica en español". Anuario ThinkEPI, n.º 9, p. 200–206 .

Grupo de investigación EC3 (2015). Co-Author Index. <http:www.coauthorindex.info/layout.php?id=inicio>.

Hernández-González, Vincenç et al. (2013). "Hábitos de publicación de profesores de los departamentos de didáctica de la expresión corporal y educación física de las universidades públicas españolas". European journal of human movement, no. 30, p. 1–12. <https://dialnet.unirioja.es/servlet/articulo?codigo=4775476>. [Consulta: 19/03/2018].

Hicks, Diana et al. (2015). "The Leiden Manifesto for research metrics". Nature, vol. 520, no. 7.548, p. 429–431.

Jornet, José Manuel (2016). Análisis de validez consecuencial sobre el sistema de evaluación para acceso a titulares y catedráticos de Universidad presentados por la ANECA. Valencia: Área de Educación.

Larrán-Jorge, Manuel; Escobar-Pérez, Bernabé; García-Meca, Emma (2013). "El sistema de acreditación nacional: la opinión de los profesores universitarios de Contabilidad". Revista española de documentación científica, vol. 36, n.o 3. <http://redc.revistas.csic.es/index.php/redc/article/view/806/997>. [Consulta: 19/03/2018].

Majid, Shaheen et al. (2015). "Analyzing publishing trends in information literacy literature: A bibliometric study". Malaysian journal of library and information science, vol. 20, no. 2, p. 51–66. <http://ejum.fsktm.um.edu.my/ArticleInformation.aspx?ArticleID=1549>. [Consulta: 19/03/2018].

Mattsson, Pauline; Sundberg, Carl Johan; Laget, Patrice (2010). "Is correspondence reflected in the author position? A bibliometric study of the relation between corresponding author and byline position". Scientometrics, vol. 87, no. 1, p. 99–105.

Ortega, Enrique et al. (2008). "Design and validation of a questionnaire to value the preferences and satisfaction for young players of basketball". Cuadernos de psicología del deporte, vol. 8, n.o 2, p. 39–58. <http://revistas.um.es/cpd/article/view/54281>. [Consulta: 19/03/2018].

Ortega, Enrique; Olmedilla, Aurelio; Pérez-Picazo, Miguel (2015). "Valores de referencia en el número de autores en las mejores publicaciones de revistas científicas en el área de las ciencias de la actividad física y del deporte". SPORT TK-Revista euroamericana de ciencias del deporte, vol. 4, n.o 1, p. 69–72. <http://revistas.um.es/sportk/article/view/239851>. [Consulta: 19/03/2018].

RESH (Revistas Españolas de Ciencias Sociales y Humanidades) (2009). "Ranking de revistas en Actividad Física y Deportiva". <http://epuc.cchs.csic.es/resh/indicadores >.

Reverter Masià, Joaquim et al. (2012). "Las revistas españolas de Ciencias de la Actividad Física y el Deporte: cómo elegir la revista donde publicar". Educatio siglo xxi, vol. 30, n.o 1, p. 217–232. <http://revistas.um.es/educatio/article/view/149211>. [Consulta: 19/03/2018].

Reverter Masià, Joaquim et al. (2013). "La productividad científica en WoS y el índice h de Hirsch del área de Educación Física en España y Brasil: productividad y comparación entre países". Movimento, vol. 19, n.o 3, p. 125–147. <http://seer.ufrgs.br/index.php/Movimento/article/view/36582/26021>. [Consulta: 19/03/2018].

Salado, Jesús (2017). Criterios para la evaluación de la calidad del personal docente e investigador universitario en ciencias de la actividad física y el deporte. Tesis doctoral. Murcia: Universidad de Murcia.

Sierra, Juan Carlos et al. (2009). "Diferencias por sexo en los criterios y estándares de productividad científica y docente en profesores funcionarios en España". Psicothema, vol. 21, n.o 1, p. 124–132. <http://www.psicothema.com/psicothema.asp?id=3605>. [Consulta: 19/03/2018].

Solomon, David J.; Laakso, Mikael; Björk, Bo Christer (2013). "A longitudinal comparison of citation rates and growth among open access journals". Journal of informetrics, vol. 7, no. 3, p. 642–650.

Stephan, Paula et al. (2017). "Reviewers are blinkered by bibliometrics". Nature, vol. 544, no. 7.651, p. 411–412.

Valenciano Valcárcel, Javier; Devís-Devís, José; Villamón Herrera, Miguel (2008). "Evaluación y clasificación de las revistas científico-técnicas españolas de Ciencias de la Actividad Física y el Deporte". Revista española de documentación científica, vol. 31, n.o 3, p. 396–412. <http://redc.revistas.csic.es/index.php/redc/article/view/435>. [Consulta: 19/03/2018].

Waltman, Ludo (2016). "A review of the literature on citation impact indicators". Journal of informetrics, vol. 10, no. 2, p. 365–391.