Análisis bibliométrico con Wikidata: el caso Comunicar

1 Introducción

1.1 Bibliometría y ciencia abierta

Según Forrester et al. (2017), en una revista los investigadores buscan generar impacto, prestigio, un servicio de calidad y unas políticas y costos admisibles. Es importante conocer la demora en la publicación, la ratio de rechazo, la calidad en el proceso de evaluación, publicación y pospublicación.

Tanto para la concesión de sexenios de investigación como para obtener la acreditación para ser profesor universitario, se exige a los demandantes la publicación de artículos en revistas de impacto. Dependiendo del campo de conocimiento, los requisitos pueden variar, pero en general se requiere que la revista esté indexada en Web of Science o Scopus, y en diferente medida en Dialnet, o que forme parte del ranquin de revistas científicas españolas con sello de calidad FECYT (Delgado López-Cózar, 2019).

Las revistas que tienen un factor de impacto alto se interesan en conocer aquellas características que puedan permitirles una mejora en su posición en las principales bases de datos de publicaciones científicas (Gómez-García et al., 2012). Estas características pueden obtenerse realizando análisis bibliométricos, muy importantes para conocer, por ejemplo, la procedencia de las colaboraciones y su diversidad, lo que permite orientar las líneas de investigación en la búsqueda de mejoras.

Gracias a los estudios bibliométricos se puede analizar cuantitativamente la producción científica, y obtener así resultados que permitan conocer la estructura, las tendencias y las relaciones de la práctica científica (Michán y Muñoz-Velasco, 2013). Estos estudios han generado un interés creciente en los últimos años, hasta el punto de surgir varias revistas especializadas en la bibliometría, y secciones específicas en otro tipo de publicaciones más generalistas (Aleixandre-Benavent et al., 2017).

Los estudios bibliométricos ofrecen una gran heterogeneidad, ya que en ocasiones son aplicados a temáticas concretas (Calderón y Gustems, 2018; Peirats et al., 2019), el estudio de la producción científica de países (Maz-Machado et al., 2016) o universidades (Gumpenberger et al., 2016), realizando comparativas entre diferentes revistas (López-Gómez et al., 2012), o analizando una sola (Rodríguez-Miranda y Bolaños, 2018), como es el caso de esta investigación.

En este tipo de estudios, habitualmente se realiza una selección en bases de datos como Scopus, Web of Science o Google Académico, se descargan los datos en formatos abiertos como .csv y se insertan en diferentes tipos de programas, en algunos casos propietarios, pero principalmente libres, como SciMAT o Publish or Perish (Fernández y Murillo, 2018; López-Robles et al., 2019).

Sin embargo, las bases de datos de donde se obtiene la información son privadas y no se puede modificar su contenido, lo que limita incluso el acceso libre a los datos que contienen. Por este motivo, en los últimos años no han proliferado cambios en lo que se hace, sino en cómo se hace, lo que se ha denominado como ciencia abierta (Anglada y Abadal, 2018). Algunas de estas bases de datos, como YAGO, DBpedia o Wikidata cubren todos los campos del conocimiento, poniéndose a disposición de los usuarios e instituciones, que las emplean en sus propias páginas web, ahorrándose tiempo y dinero (Candela, 2019).

Existen numerosas publicaciones que comparan los análisis bibliométricos que se pueden realizar con las principales bases de datos de citas, pero generalmente la comparación se limita a Scopus, Web of Science (Echchakoui, 2020; Macchi et al., 2019), Google Académico (Bar-Ilan, 2010; Martín-Martín et al., 2018) y, en limitadas ocasiones, a otras bases de datos temáticas (AlRyalat et al., 2019).

1.2 El objeto de estudio

La revista Comunicar (Revista Científica Iberoamericana de Comunicación y Educación) es una publicación científica española que comenzó su actividad en 1993, editada por el Grupo Comunicar. Es una publicación bilingüe (inglés y español), con una periodicidad semestral desde 1994 hasta 2016, año en el que se convirtió en trimestral. Los artículos están disponibles de manera gratuita en su página web, a texto completo y en varios formatos para ser descargados. Tiene vocación internacional y latinoamericana en los 28 volúmenes y 62 números editados de la revista hasta mediados de 2020.

Tal y como puede observarse en la tabla 1, desde 2015 Comunicar está situada en el primer cuartil de Scimago Journal Rank y JCR Science & Social Science, dos de los principales medidores de impacto de las revistas científicas. Las categorías en las que se ha especializado la revista son la comunicación, la educación y los estudios culturales. Sus trabajos se dividen entre una sección monográfica, donde se encuentran los estudios de una temática específica indicada por la propia revista, y una sección miscelánea, en la que son publicados artículos de las temáticas afines a la educomunicación en general.

Tabla 1. Evolución de la clasificación de la revista Comunicar en las principales bases de datos bibliográficas. Fuente: Factor de impacto (2020)

Comunicar ya ha sido analizada en artículos anteriores, en ocasiones junto a otras revistas, comparando la producción entre estas (Rodríguez-Sabiote y Úbeda-Sánchez, 2019), o de manera individual (Pérez-Rodríguez et al., 2018; González-Fernández-Villavicencio y Moya-Orozco, 2018), aunque todavía no se había realizado un análisis exhaustivo como el realizado en esta investigación.

2 Material y métodos

Debido a que se realiza un estudio de toda la trayectoria de la revista Comunicar, se trata de un diseño de investigación descriptivo-longitudinal, de tipo historiográfico y bibliométrico ex post facto retrospectivo (Arias y Ceballos, 2016).

2.1 Muestra y análisis de datos

Existen numerosos artículos que comparan las principales bases de datos bibliográficas y que indican ciertas limitaciones en estas, como ausencias de contenido o errores en la introducción de datos (Osca-Lluch et al., 2013). Por esta razón se optó por recoger la información directamente desde la base de datos y la página web de la propia revista. Se obtuvieron todos los números emitidos por Comunicar, desde el número 1, publicado en 1993 (volumen I), hasta el 62, que se anunció a comienzos de 2020 (volumen XVIII). Se analizaron un total de 1.230 artículos, 2.016 firmantes y 22.624 referencias.

Tras observar cómo están clasificados los artículos en la revista, y debido a que su base de datos no considera artículos algunos apartados de esta, únicamente se seleccionaron aquellos que pertenecían a las categorías Dossier y Caleidoscopio, sin incluir otras posibles divulgaciones que aparecían en Preliminares, Historias gráficas o Bitácora, secciones que aparecieron en los primeros años de la revista.

Para el tratamiento de la información se buscó una base de datos bajo una licencia de dominio público, que pudiera ser consultada por cualquier usuario, lo que favorecería la investigación científica y la ciencia abierta. Finalmente se escogió Wikidata, una base de datos pública y colaborativa (es posible editarla incluso sin cuenta de usuario), considerada como la plataforma central de gestión de datos enlazados de la Fundación Wikimedia (Erxleben et al., 2014). Se trata de una base de datos documental que se sustenta en el software Wikibase. Permite la introducción de información estructurada de muy diversos temas, incluidos los artículos científicos que se utilizarán en este artículo.

Wikidata está enfocada en elementos, que se identifican por un número único precedido del carácter Q. Este identificador lo diferencia del resto de datos, junto con la etiqueta, la descripción, el alias y las propiedades que se introduzcan. Estas últimas también están identificadas por un número único, precedido del carácter P. Por ejemplo, el elemento Q84411728 corresponde al artículo de la revista Comunicar titulado "Consuma matemáticas", que entre otras propiedades contiene la P31 (instancia de) con el valor Q13442814 (artículo científico).

Admite la introducción de varios elementos para una misma propiedad, lo que permite al editor escoger cuál tiene preferencia, y ordenar la pluralidad existente. Los datos introducidos no están ligados a una lengua, sino que se pueden traducir a todos los idiomas que se consideren. Los datos son accesibles fácilmente por personas o máquinas desde Wikipedia y otras aplicaciones externas, a las que se permite su reutilización (Martinelli, 2016). Los datos están altamente interconectados y los servicios web exportan los datos estructurados a formatos como JSON (Vrandečić y Krötzsch, 2014).

Una vez obtenidos los datos brutos, se limpiaron y cotejaron con ayuda de OpenRefine, una herramienta de código abierto que permite realizar arreglos de datos (data wrangling) y cotejarlos con Wikidata. Si la información que se va a insertar en la propiedad no requiere la creación de un nuevo elemento (por ejemplo, la fecha de publicación, tomo o páginas), se insertan directamente las cadenas de texto. Si requieren la introducción de un elemento, se buscó primero si existían, con el objetivo de no duplicar información, en el caso de que alguno ya estuviese almacenado en Wikidata (por ejemplo, el nombre de la revista, el tema principal de la obra o el tipo de información que se está introduciendo en Wikidata). A este proceso de revisar si existe la información que vamos a introducir en Wikidata se le denomina cotejar.

A continuación, se procedió a crear un esquema en OpenRefine, lo que permitió crear una plantilla que sirviese para la introducción masiva de todos los artículos con la misma estructura, utilizando un formato similar al de Wikidata. Posteriormente, OpenRefine permite insertar todos los artículos en Wikidata, una vez introducido nuestro nombre de usuario. De esta forma, cada edición queda registrada en nuestro historial, lo que podrán controlar otros usuarios de la comunidad.

Para cada artículo se creó un elemento en Wikidata, y se introdujeron el título en español e inglés, descripciones en ambos idiomas, el tipo de elemento que se introducía (P31), el título (P1476), la revista donde había sido publicado (P1433), los descriptores (P921), el identificador de objeto digital (P356), las páginas (P304), el tomo (P478), el número de publicación (P433), la fecha de publicación (P577), los autores de cada uno de los artículos (P2093), su orden (P1545) y la referencia de donde se podía obtener esta información (P248, P854 y P813). A continuación, se realizaron consultas a la base de datos empleando el servicio de consultas Sparql de la Fundación Wikimedia, Wikidata Query Service (https://query.wikidata.org/), para adquirir información de los indicadores bibliométricos.

No se introdujeron en Wikidata nuevos elementos para cada autor (P50), ya que no se disponía de datos personales de todos los autores, únicamente su nombre y universidad de procedencia. En estos casos, la comunidad recomienda utilizar una cadena de texto (P2093) para introducir los autores, lo que evita la creación masiva de personas en muchos casos difícilmente identificables. Por el mismo motivo no se incluyeron en Wikidata las referencias de cada artículo, además de que el formato de estas no era el mismo en todos los artículos. Por ello, y para poder analizar esta información, se programó un script en PHP para adquirir de la página web de la revista Comunicar los datos de procedencia de los autores (región y país) y todas las referencias de cada uno de los artículos publicados, de lo que se obtuvo un total de 22.624, que fueron analizadas con LibreOffice Calc. También desde la página web se obtuvieron los datos sobre los tiempos de respuesta de la revista, ya que es un dato que no se acepta en Wikidata.

Con la ayuda de esta aplicación se elaboraron diversos gráficos para mostrar los resultados de los restantes indicadores bibliométricos. Por último, se obtuvieron datos estructurados para introducirlos en VOSviewer, uno de los programas más recomendados para construir y visualizar redes bibliométricas (Peng et al., 2020; van Eck y Waltman, 2017). Con esta herramienta se realizaron gráficos de coautoría entre autores, organizaciones y países.

2.2 Variables

Para determinar los indicadores bibliométricos se han seguido las indicaciones de varios autores (Suárez y Pérez-Anaya, 2018; Tomás-Górriz y Tomás-Casterá, 2018), seleccionando aquellos que se han considerado más pertinentes entre los indicadores de productividad científica, colaboración, consumo, repercusión e impacto.

En relación con la productividad de la revista, se buscó el índice de publicaciones por año, revista y volumen, además de la tasa de referencias por artículo. Respecto al índice de producción de los autores, los indicadores bibliométricos obtenidos fueron el número de artículos por autor, obteniendo los más prolíficos (también se obtuvo su índice de productividad fraccionada y el de colaboración), la diferencia entre sexos, países y regiones de procedencia, su índice de productividad de Lotka (logaritmo del número de publicaciones) y el de transitoriedad (proporción de autores que publican un artículo con respecto al total de autores), extrayendo también los pequeños productores (autores con una sola publicación), los medianos productores (investigadores con más de una publicación y menos de diez) y los grandes productores (aquellos con más de diez artículos publicados).

Se obtuvieron también la producción temática (extraída de las palabras clave de cada artículo) y los intervalos de tiempo entre la aceptación del artículo y su publicación, la recepción y aceptación, y de la recepción a su publicación (publicados por la revista desde 2014). Por último, se calculó el índice de coautoría, dividiendo el número de autores entre el número de artículos publicados, el índice de Price (porcentaje de referencias con antigüedad menor a cinco años) y los índices de autocitación de los autores y de la propia revista.

3 Análisis y resultados

En primer lugar, se muestran los resultados de los indicadores de productividad científica a partir del número de revistas y artículos, clasificados por el año de publicación en la revista, así como el porcentaje de artículos con respecto al total (pueden verse todos los artículos en esta consulta: https://w.wiki/47aw). Además, se indica el número total de referencias, la media de referencias por artículo y la mediana de estas.

Tabla 2. Indicadores de productividad científica de la revista Comunicar. Fuente: elaboración propia (2021)

Como se puede observar en la tabla 2, el crecimiento en el número de artículos ha sido constante hasta 2006, momento en el cual la revista comenzó a disminuir el número de artículos publicados y aumentar la calidad de estos, lo que puede constatarse por el número de referencias en cada artículo, que fue en aumento. En los primeros años, el número de artículos por revista era variable, limitándose a 10 desde el 1 de enero de 2016 (https://w.wiki/4PgR).

La media de referencias por artículo estaba entre 9 y 12 a mediados de los años 2000, para pasar de las 40 en los últimos años. Desde 2010 se ha mantenido un número fijo de artículos anuales, 40. A partir de esta fecha se constata un acrecentamiento en la media de referencias y su presencia en los primeros puestos de las principales bases de datos bibliográficas.

3.1 Investigadores

Se pueden ver todos los artículos con sus autores en la consulta https://w.wiki/4PpL. A lo largo de la historia de la revista, un total de 710 artículos fueron firmados por una única persona (57,72 %, índice de transitoriedad), 290 por dos personas (23,58 %), 202 por tres personas (16,42 %), 20 por cuatro personas (1,63 %) y 8 por cinco personas (0,65 %). Sin embargo, el número de firmantes ha variado a lo largo del tiempo; por esa razón, estos datos se presentan a continuación en una gráfica histórica.

En la figura 1 se puede constatar cómo a medida que ha pasado el tiempo han decrecido los artículos presentados por un solo autor. Así, hasta 2009 eran casi exclusivamente artículos individuales, y es a partir de entonces cuando se diversificó, hasta no encontrar apenas presencia de estos en los años más recientes y pasar a ser habitual la firma de dos y sobre todo tres autores, siendo muy poco habitual que sean cuatro o cinco firmantes.

Figura 1. Número de autores en cada artículo publicado en la revista Comunicar. Fuente: elaboración propia (2021)

Al respecto de la productividad científica de los investigadores, un total de 1.238 (61,41 %) han sido autores ocasionales, ya que tienen un índice de productividad igual a cero (publicaron un único artículo); 280 (36,51 %) publicaron entre dos y nueve artículos, estos son los denominados productores medianos. Los 3 restantes autores (2,08 %) son los grandes productores, al firmar más de nueve artículos. Si se realiza este cálculo desde 2010, se observa que el índice de transitoriedad se eleva desde el 0,61 hasta el 0,77.

Los tres autores más prolíficos, y los únicos grandes productores fueron Enrique Martínez Salanova, con 20 artículos publicados (todos ellos como primer firmante y con un índice de colaboración de 1,25), Ignacio Aguaded (8 artículos como primer firmante, 1 como segundo firmante y 2 como tercero, IC = 1,82) y Julio Cabero (en 10 fue el primer firmante y en 1 el segundo, IC = 1,64), ambos con un total de 11 artículos publicados. Por detrás de estos autores se encuentran Sindo Froufe, que publicó 8 artículos (IC = 1), y Juan Manuel Méndez y Manuel Fandos, que publicaron 7 (IC = 2 y IC = 1,86, respectivamente).

Detrás de estos, se encuentran siete autores con 6 publicaciones y quince autores con 5, donde se encuentran un total de nueve autoras. Si se analizan los últimos diez años se puede observar que la persona con más artículos publicados, cuatro, ha sido Ana Aierbe-Barandiaran. Respecto al desglose en la producción de artículos por sexos, aparecen más hombres como firmantes, 1072 (53,17 %), en comparación a 929 mujeres (46,08 %). Las 15 firmas restantes (0,74 %), hasta las 2.016 totales, se deben a firmantes que pertenecían a asociaciones, que publicaron mayoritariamente en los primeros años de la revista.

En cuanto a los primeros firmantes en los artículos, 691 fueron hombres (56,2 %), 525 mujeres (42,7 %) y 14 asociaciones (1,1 %). Sin embargo, al comprobar los datos de los últimos años se puede constatar un acrecentamiento en el número de mujeres desde 2010, lo que ha provocado que la tendencia se invierta y sean estas las que publiquen más que los hombres como primeras firmantes.

En relación con los primeros firmantes, también se ha analizado la procedencia de estos. De los 1.230 artículos, solo cinco países superan un 2 % del total: 893 proceden de España (72,66 %), 36 de México y Argentina (2,93 %), 32 de Chile (2,60 %) y 26 de Portugal (2,12 %). Si se observan estos datos desde 2010, momento en el cual la revista comienza a adquirir una posición destacada en las principales bases de datos internacionales, se puede comprobar que los artículos procedentes de España descendieron hasta un 65,85 % del total. Además, cinco fueron los países que superaron el 2 %, además de España. Estos fueron México, Chile, Estados Unidos, Colombia y Portugal.

En total, los artículos de la revista proceden de 50 países diferentes. Desde 2010, han sido publicados artículos de trece países que nunca lo habían hecho, destacando negativamente países como Argentina, que en los últimos años solo publicó dos artículos, Venezuela, que pasó de 12 artículos publicados, desde 1993 hasta 2009, a tan solo 1 entre 2010 y 2020, y Francia con 11 en la primera época y 1 en los últimos años. Respecto a las comunidades autónomas que más publican, Andalucía ha publicado muchos más artículos que el resto de las comunidades, 373 (30,35 %), y junto con Madrid y Cataluña suman casi la mitad de las publicaciones totales de la revista, con 606 (49,31 %).

Figura 2. Análisis de la coautoría entre los países de los autores. Fuente: datos de la revista mostrados con VOSviewer (2020)

El índice de coautoría en los 27 años de historia de la revista es de 1,63, ya que se han analizado 1.230 artículos y existen 2.016 firmas de los investigadores. Este valor es muy bajo, teniendo en cuenta que hasta el número 33 de la revista no se pasó de un índice de 1,55, justo en el último número de 2009. A partir de 2010 el índice de colaboración siempre ha sido más alto de 1,75, hasta llegar a 3,30 en el número 56 de la revista.

3.2 Tiempos de respuesta y temáticas

Respecto a los intervalos de tiempo entre la recepción de un artículo, la aceptación de este y su publicación, se analizaron todos los artículos desde 2014 hasta la actualidad. La media de días entre la recepción y la aceptación de los artículos fue de 95 días (con un mínimo de 29 y un máximo de 431), entre la aceptación y publicación 209 días (con un mínimo de 108 y un máximo de 209) y entre la recepción y la publicación 240 días (con un mínimo de 160 y un máximo de 600).

Sin embargo, estas cifras no muestran la evolución de los tiempos de respuesta de la revista Comunicar, por lo que a continuación se presenta la gráfica de los últimos siete años, donde puede observarse una disminución en los tiempos de los tres índices representados.

Figura 3. Tiempos de respuesta en los artículos de la revista Comunicar en los últimos siete años. Fuente: elaboración propia (2021)

Una de las propiedades que se introdujo en Wikidata fue el tema principal de la obra (P921), datos recogidos de cada uno de los descriptores de los artículos, disponibles desde octubre de 2001. Las temáticas de la revista han sido principalmente de aspectos relacionados con la educomunicación, nuevas tecnologías, medios de comunicación y periodismo. Concretamente, los términos más utilizados fueron: educación (85 apariciones), televisión (82), internet (82), medio de comunicación de masas (72), educación mediática (62), red social (50), comunicación (49), educación superior (46), tecnologías de la información y la comunicación (44) y publicidad (40). La consulta que obtiene dicha información es la siguiente: https://w.wiki/47b7.

Pero la aparición de estos términos en los descriptores no ha sido constante a lo largo del tiempo, por lo que se ha realizado un gráfico para mostrar la evolución temporal de los términos más frecuentes (esta es la consulta para el término educación: https://w.wiki/47bJ). En la figura 4 se puede observar como este término se ha ido utilizando con menos frecuencia con el paso del tiempo, pero que en su lugar otros se han empleado otros más específicos, como educación superior o educación mediática. El término red social muestra la modernidad de su utilización, ya que únicamente se utiliza desde 2010, caso contrario al de televisión, que apenas se utiliza en los últimos años.

Figura 4 Evolución temporal de los temas principales de los artículos científicos de la revista Comunicar (P921). Fuente: elaboración propia (2021)

3.3 Referencias

Al analizar las 22.624 referencias encontradas en los 1.230 artículos publicados en la revista Comunicar, 127 de estos no emplearon referencias (10,3 %), 983 contenían entre 1 y 40 (79,9 %) y 120 contenían más de 40 (9,8 %). El máximo de referencias encontradas fue de 89, en el artículo "Prosumidores y emirecs: Análisis de dos teorías enfrentadas", publicado en 2018. Se debe reseñar que todos los artículos sin referencias se publicaron antes de 2010.

A continuación, en la figura puede observarse 5 el número de referencias por año, donde se observa que existe un aumento considerable a partir de 2010. En el transcurso de los 27 años de historia de la revista, la media de referencias por artículo fue de 17,85, con una mediana de 14. Estos datos se refieren a todas las publicaciones de la revista, pero se observan cantidades superiores en los últimos años, como pudo ya observarse en la tabla 2.

Figura 5. Número de referencias en los artículos de la revista. Fuente: elaboración propia (2021)

Para obtener el índice de Price, se recogieron todas las referencias de cada año, y se buscaron todas aquellas que tuvieran una fecha de publicación menor a cinco años, en relación con la fecha de publicación del artículo que la contenía. Calculado desde 1993, se obtuvo un valor promedio de 0,48, con un valor superior al 40 % en prácticamente todos los años, excepto en 2004, 2005 y 2009.

Los autores más citados en las referencias de los artículos fueron: Ignacio Aguaded con 228, Joan Ferrés con 147, Julio Cabero con 127, David Dennis con 100, Sonia Livingstone con 93, Manuel Castells con 92, José Manuel Pérez con 73 y Henry Jenkins con 70. Entre los 55 autores que superan las 20 referenciaciones en los artículos de la revista suman 2327, lo que se traduce en un 10,29 % del total.

También se quiso conocer el número de autocitas de los autores. Se encontraron un total de 1505 autocitas entre todos los artículos, lo que indica que hay 1,22 por artículo y un 6,65 % del total de referencias. Asimismo, se obtuvo el número total de autocitas en cada año y se mostró el porcentaje sobre el total de referencias ese año. Como puede verse en la figura 6, la tendencia es que decrezca el número de autocitas de los autores con el paso del tiempo, que viene siendo de entre un 4 y un 12 % del total de citas anuales.

Por último, se calculó el índice de autocitas de la revista, teniendo en cuenta el número de autocitas que se hacían a la propia revista y las citas totales del año. Se encontraron 1.018, y se obtuvo un índice del 4,5 %. Esta cantidad ha ido aumentando con el tiempo, observándose un crecimiento sustancial desde 2010.

Figura 6. Número de autocitas y porcentaje de estas entre los artículos publicados cada año en la revista. Fuente: elaboración propia (2021)

4 Discusión

Este artículo presenta un análisis bibliométrico sobre la revista Comunicar desde su primer número, publicado en 1993, hasta la actualidad, lo que permite mostrar la evolución que han experimentado sus volúmenes a lo largo de este tiempo. Durante estos años, la revista ha tomado ciertas decisiones editoriales que han aumentado su calidad, como la reducción del número de artículos por publicación, la obligatoriedad de referenciar los artículos o la eliminación de limitar el número de firmantes. Probablemente, estas medidas han ocasionado un aumento en su factor de impacto en las principales bases de datos de revistas científicas. Sin embargo, estas no suelen permitir el acceso abierto a su información, un tema que provoca numerosas discusiones entre académicos, editores, bibliotecarios y políticos. El acceso libre debería ser la base de la comunicación académica, pero todavía existen muchas limitaciones, a pesar de que la propia revista sea de acceso abierto (Nazim y Devi, 2008).

Con los datos proporcionados por la propia revista se ha podido observar cómo desde su fundación ha ido incrementando el número de artículos publicados anualmente hasta 2006. Desde entonces se redujo su número, y se mantuvo en 40, desde 2010 hasta la actualidad. Precisamente, a partir de 2010 se constata, por una parte, una mejora en la posición de la revista en las principales bases de datos internacionales, y, por otra, una estabilidad en el número de artículos y un incremento de las referencias de estos. Ese año se superaron las 20 referencias de media por artículo, cantidad que ha ido aumentando progresivamente hasta 2020.

Actualmente, la revista permite la presentación de artículos en español e inglés, así como también resúmenes en chino y portugués, lo que muestra un interés por aumentar la difusión internacional de la revista, ya que anteriormente tenía preferencia por la presentación de artículos en español (Moreno-Pulido et al., 2013). Esta mayor apertura a investigaciones internacionales también puede observarse en el hecho de que hayan publicado en esta autores de hasta 50 países diferentes, cantidad superior a los datos encontrados por Vázquez-Cano et al. (2016) en otras publicaciones españolas, y coincidiendo habitualmente en los países más representados. En la última década, se ha observado una disminución de los artículos procedentes de España, Argentina, Venezuela y Francia, creciendo notablemente los de Estados Unidos y publicando desde trece nuevos países. Esta variedad de países puede corroborarse también en el propio análisis JCR realizado en 2019 sobre la revista (Clarivate Analytics, 2019).

En relación con el número de autores, más del 57 % de los artículos fueron firmados por una única persona, cantidad similar a la encontrada en otros estudios bibliométricos (Baladrón-Pazos et al., 2017). Desde 2010 se ha observado un decrecimiento de los artículos publicados por autorías individuales, apareciendo con más frecuencia la colaboración entre dos, y sobre todo tres personas, los mismos resultados que los apreciados en otras investigaciones similares (Rodríguez-Miranda y Bolaños, 2018). Se debe tener en cuenta que la revista Comunicar imponía una limitación de un máximo de tres firmantes hasta 2016 (Pérez-Rodríguez et al., 2018), hecho que ha penalizado la presencia de mayores grupos de investigación, que han comenzado a observarse desde entonces.

Un 30,35 % de los artículos han sido firmados por investigadores de instituciones procedentes de la Comunidad Autónoma de Andalucía, que además cuenta con los autores más prolíficos. Si se añaden las comunidades de Cataluña y Madrid, el porcentaje asciende hasta casi la mitad, lo que también constataron Rodríguez-Fuentes y Gallego (2019) en su estudio al respecto de la educación especial.

El índice de transitoriedad fue de 0,61 (61,41 %), ligeramente superior al 60 % propuesto por Lotka, lo que indicaría poca especialización de los autores (Torres-Pascual, 2018), aunque este valor suele aplicarse a estudios bibliométricos sobre temáticas concretas y no a revistas, por lo que en este caso podría indicarnos la dificultad para publicar en la revista, ya que además su valor desde 2010 aumentó un 0,77.

Se encontraron únicamente tres grandes productores, aquellos que cuentan con más de nueve artículos firmados. A fecha de este estudio, no aparece ninguna mujer entre los trece autores con más artículos, aunque la persona con más artículos publicados desde 2010 es Ana Aierbe-Barandiaran. Respecto a los primeros firmantes, el porcentaje de firmas masculinas ha aumentado, desde el 52,8 % obtenido por Escribà y Cortiñas (2013) hasta el 56,2 % encontrado en esta investigación, aunque en los últimos años las mujeres han aumentado su presencia y revertido la tendencia, superando en porcentaje a los hombres.

El índice de coautoría es muy bajo, 1,63, pero en los últimos años se observa un aumento considerable, hasta llegar a valores por encima del 2,50 en los últimos cuatro volúmenes, cantidad similar a la encontrada en otras publicaciones de impacto (Torres-Salinas y Cabezas-Clavijo, 2013).

Hasta 2009 se podían encontrar artículos publicados sin referencias. Sin embargo, desde entonces no ha aparecido ningún otro artículo en esta situación, aumentando considerablemente hasta las 42,3 referencias de media en 2020, cifra cercana a la recomendada por Murillo et al. (2017). El índice de Price fue de 0,48, superior al encontrado en otras investigaciones que trataban temas sobre nuevas tecnologías (Cabrera, 2020), lo que indica la actualidad de los artículos de la revista.

La propia revista se describe en su nombre como "Comunicar. Revista Científica de Comunicación y Educación", por lo que los temas de sus artículos giran en torno a la educomunicación. Se han mostrado los términos más utilizados en los descriptores de los artículos, así como la evolución de las principales temáticas, constatando que ciertos temas están dejando de utilizarse, como la televisión, y que otros crecen, como internet, tal y como observaron Montero-Díaz et al. (2018) para los artículos de comunicación.

Los tiempos entre la recepción de un artículo y su publicación en la revista tienden a disminuir en los últimos años, sobre todo desde la recepción hasta la aceptación, lo que se indica en los criterios de calidad de la revista, donde se establece que esta fase dura un máximo de 100 días (Criterios de Calidad, 2020). En 2020 el tiempo medio fue de 71 días, tiempo sensiblemente inferior a los encontrados en otras investigaciones que analizaban el tiempo de demora en la respuesta de publicaciones en varias ramas de conocimiento (Björk y Solomon, 2013).

Se encontraron 1,22 autocitas de los autores por artículo, decreciendo el porcentaje de estas entre el total de referencias en los últimos años, hasta rondar el 4-5 % en la actualidad, unas cantidades inferiores a las encontradas en otros campos del conocimiento y entre los principales países investigadores del mundo (Ladle et al., 2013; Pandita y Singh, 2017). Por otro lado, las autocitas a la revista han aumentado considerablemente desde 2010, lo que se ha mantenido estable en los últimos años, entre un 4 y 6 %, crecimiento habitual en las revistas científicas, recurso que utilizan como estrategia editorial para conseguir un mayor impacto (Haba-Osca et al., 2019). Esta cantidad es superior a la obtenida por Castillo y Carretón (2010) en la propia revista, pero fue a partir del año de esta investigación cuando la cantidad de autocitas se incrementó considerablemente.

5 Conclusiones

Con los datos recogidos, se puede observar que desde 2010 varios hechos han podido contribuir a que la revista Comunicar alcance, y posteriormente se mantenga, en los primeros puestos de los principales indicadores de calidad. Por ejemplo, su decisión de reducir y fijar la cantidad de artículos por publicación y por año, que, unido al alto grado de rechazos, podría generar una mayor exclusividad. A su vez, podría repercutir en una mayor calidad de los artículos publicados, que junto con su carácter internacional (De-Filippo en 2013 la denominó como la "más internacional" entre las revistas de comunicación españolas) y la rapidez de respuesta a sus artículos propuestos podrían otorgar mayor interés a los investigadores.

También se debe tener en cuenta que en los últimos años la publicación ha elevado sustancialmente su índice de coautoría, lo que podría indicar que se trata de artículos desarrollados por equipos de investigación, haciendo que los artículos sean revisados por más personas, por lo que aumenta la calidad. También se observa un crecimiento en el número de referencias, lo que provoca un aumento en la verificabilidad de los artículos, y una disminución en el porcentaje de autocitas, ya que un número alto podría afectar a los índices de calidad.

Con todos estos datos, y si se analizan exclusivamente los años que han transcurrido desde 2010, un artículo tipo publicado en la revista tendría las siguientes características: trataría sobre temas relacionados con la educación, comunicación y medios digitales, contendría más de 35 referencias y estaría firmado por dos o tres personas, que se autorreferenciarían en una ocasión, añadiendo un artículo publicado en la propia revista Comunicar, y con la mitad de sus referencias obtenidas de artículos publicados en los últimos cinco años.

Para que se produzca una buena comunicación académica, sería deseable que las bases de datos fuesen de acceso abierto, para que cualquier usuario pueda consultar la información de los artículos libremente. En este artículo, tras realizar todo el análisis y mostrar los resultados de la investigación, se puede afirmar que es posible realizar un análisis bibliométrico con la ayuda de una base de datos libre como Wikidata. Este trabajo no solo ha servido para analizar el objeto de estudio, sino que además permite que la información utilizada pueda ser consultada por cualquier usuario que tenga interés en la revista. Este hecho es importante, ya que Wikidata es una base de datos con una licencia de dominio público, que puede ser consultada y editada por cualquier persona, lo que favorece la ciencia abierta.

Actualmente, Comunicar es la única revista científica en español con todos los datos estructurados de sus artículos introducidos en esta y a disposición de los usuarios. Estos pueden consultar esta información mediante consultas realizadas con Wikidata Query Service o de herramientas para manejar información bibliográfica científica, tales como Scholia (Nielsen et al., 2017). El resto de las revistas científicas podrían plantearse también la introducción de sus datos en Wikidata, lo que haría crecer esta base de conocimiento con la idea de realizar análisis bibliométricos más complejos en el futuro.

Para que un análisis de este tipo sea completo se depende de los datos disponibles. Para que el análisis pueda ser complejo sería necesario introducir en Wikidata todos aquellos artículos que han citado a las publicaciones de la revista Comunicar, para conocer cuáles son los autores, revistas o artículos más citados de otras fuentes, lo que permitiría conocer la imbricación de la revista en el campo científico y no mostrar únicamente las referencias que han citado desde la propia revista. Actualmente, la introducción de artículos científicos de revistas científicas en Wikidata es muy limitada, por lo que queda mucho trabajo por realizar al respecto.

Futuras investigaciones deberían analizar las citas que recibe la revista Comunicar, relacionando estas con las temáticas de los artículos y las descargas que se han realizado en la página de la revista. De esta manera se podrían observar cuáles son los temas que más se citan y si existe relación entre los artículos más descargados y los más citados. Tras observarse una mejora sustancial en los índices de calidad de la revista desde 2010, sería interesante obtener información cualitativa de los editores de la revista, para conocer los motivos de los cambios que han sufrido sus publicaciones a lo largo de los años.

Bibliografía

Aleixandre-Benavent, R.; González de Dios, J.; Castelló, L.; Navarro, C.; Alonso-Arroyo, A.; Vidal-Infer, A.; Lucas-Domínguez, R. (2017). "Bibliometría e indicadores de actividad científica (1). La evaluación de la investigación y de la actividad científica en pediatría a través de la bibliometría". Acta Pediátrica Española, vol. 75, núm. 1, p. 18–25. <https://bit.ly/2SHscde>. [Consulta: 23/10/2020].

AlRyalat, Saif Aldeen S.; Malkawi, Lna W.; Momani, Shaher M. (2019). "Comparing Bibliometric Analysis Using PubMed, Scopus, and Web of Science Databases". J. Vis. Exp, vol. 152, e58494. <https://doi.org/10.3791/58494>. [Consulta: 18/09/2021].

Anglada, Lluís; Abadal, Ernest (2018). "¿Qué es la ciencia abierta?". Anuario ThinkEPI, vol. 12, p. 292–298. <https://doi.org/10.3145/thinkepi.2018.43>. [Consulta: 02/02/2021].

Arias, Walter L.; Ceballos, Karla D. (2016). "Estudio bibliométrico de la Revista de Psicología de la Pontificia Universidad Católica del Perú (1994–2014)". Tesis Psicológica, vol. 11, núm. 2, p. 136–156. <https://bit.ly/3fqWtqn>. [Consulta: 27/09/2020].

Baladrón-Pazos, Antonio J.; Manchado-Pérez, Benjamín; Correyero-Ruiz, Beatriz (2017). "Estudio bibliométrico sobre la investigación en publicidad en España: temáticas, investigadores, redes y centros de producción (1980–2015)". Revista Española de Documentación Científica, vol. 40, núm. 2, e170. <http://dx.doi.org/10.3989/redc.2017.2.1411>. [Consulta: 26/09/2021].

Bar-Ilan, Judit (2010). "Citations to the "Introduction to informetrics" indexed by WOS, Scopus and Google Scholar". Scientometrics, vol. 82, p. 495–506. <https://doi.org/10.1007/s11192-010-0185-9>. [Consulta: 17/09/2021].

Björk, Bo-Christer; Solomon, David (2013). "The publishing delay in scholarly peer-reviewed journals". Journal of Informetrics, vol. 7, núm. 4, p. 914–923. <https://doi.org/10.1016/j.joi.2013.09.001>. [Consulta: 27/11/2020].

Cabrera, Juan Francisco (2020). "Producción científica sobre integración de TIC a la Educación Física". Retos: nuevas tendencias en educación física, deporte y recreación, vol. 37, p. 748–754. <https://bit.ly/2Wx2ZDn>. [Consulta: 27/09/2020].

Calderón, Diego; Gustems, Josep (2018). "Análisis bibliométrico de la producción científica sobre educación musical en el periodo 2007–2016 en revistas incluidas en JCR". BiD: textos universitaris de biblioteconomia i documentació, vol. 41. <http://dx.doi.org/10.1344/BiD2018.41.10>. [Consulta: 05/07/2020].

Candela, Gustavo (2019). "Publicación y enriquecimiento semántico de datos abiertos en bibliotecas digitales" [Tesis doctoral, Universidad de Alicante]. Repositorio Institucional RUA. <http://rua.ua.es/dspace/handle/10045/97353>. [Consulta: 10/02/2021].

Castillo, Antonio; Carretón, Carmen (2010). "Investigación en comunicación: estudio bibliométrico de las revistas de comunicación en España". Comunicación y Sociedad, vol. 23, núm. 2, p. 289–327. <http://hdl.handle.net/10045/22678>. [Consulta: 10/09/2021].

Clarivate Analytics (2019). "InCites Journal Citation Reports. 2018 Journal Performance Data for: Comunicar". <https://bit.ly/31PbHDb>. [Consulta: 17/09/2021].

Criterios de Calidad (2021). "Comunicar". <https://bit.ly/3wmrR24>. [Consulta: 12/11/2021].

Delgado López-Cózar, Emilio (2019). "Sexenios 2019: la transferencia se independiza, los rankings de revistas arriban al Derecho y siguen penetrando en las Humanidades y Ciencias Sociales". Granada. <https://doi.org/10.13140/RG.2.2.24000.48648>. [Consulta: 27/09/2020].

Echchakoui, Saïd (2020). "Why and how to merge Scopus and Web of Science during bibliometric analysis: the case of sales force literature from 1912 to 2019". J Market Anal, vol. 8, p. 165–184. [Consulta: 26/09/2021]. DOI: https://doi.org/10.1057/s41270-020-00081-9.

Escribà-Sales, Eudald; Cortiñas, Sergi (2013). "La internacionalización y las coautorías en las principales revistas científicas de Comunicación en España". Comunicar, vol. 41, p. 35–44. [Consulta: 05/07/2020]. DOI: https://doi.org/10.3916/C41-2013-03.

Erxleben, Fredo; Günther, Michael; Krötzsch, Markus; Mendez Julián; Vrandečić, Denny (2014). "Introducing Wikidata to the Linked Data Web". En: Proceedings of the 13th International Semantic Web Conference, p. 50–65. Springer 2014. <http://doi.org/10.1007/978-3-319-11964-9_4>. [Consulta: 15/11/2021].

Factor de impacto (2020). "Comunicar". <https://bit.ly/2L6OPn7>. [Consulta: 05/07/2020].

Fernández, Madelaine; Murillo, Danny (2018). "Análisis bibliométrico de las revistas de acceso abierto de Centroamérica, el Caribe y México basado en DOAJ e indexadores Latinoamericanos". AmITIC 2018. <https://revistas.utp.ac.pa/index.php/memoutp/article/view/1852/2697>. [Consulta: 24/08/2020].

Filippo, Daniela de (2013). "La producción científica española en Comunicación en WOS. Las revistas indexadas en SSCI (2007–12)". Comunicar, vol. 41, p. 25–34. <http://dx.doi.org/10.3916/C41-2013-02>. [Consulta: 05/07/2020].

Forrester, Amy; Björk, Bo-Christer; Tenopir, Carol (2017). "New web services that help authors choose journals". Learned Publishing, vol. 30, p. 281–287. <https://doi.org/10.1002/leap.1112>. [Consulta: 20/12/2020].

López-Gómez, Ernesto; Fuentes, Juan Luis; Luque, David (2012). "Análisis bibliométrico de las revistas españolas de educación incluidas en el Journal Citation Report. Producción científica y elementos controvertidos". Teoría de la educación, vol. 24, núm. 1, p. 183–217. <https://bit.ly/2L85GpO>. <https://doi.org/10.14201/10337>. [Consulta: 05/07/2020].

Gómez-García, Almudena; Ramiro, María Teresan; Ariza, Tania; Reina, María (2012). "Estudio bibliométrico de Educación XX1". Educación XX1, vol. 15, núm. 1, p. 17–41. <https://doi.org/10.5944/educxx1.15.1.148>. [Consulta: 27/08/2020].

Gumpenberger, Christian; Sorz, Johannes; Wieland, Martin; Gorraiz, Juan (2016). "Humanities and social sciences in the bibliometric spotlight – Research output analysis at the University of Vienna and considerations for increasing visibility". Research Evaluation, vol. 25, núm. 3, p. 271–278. <https://doi.org/10.1093/reseval/rvw013>. [Consulta: 27/09/2020].

González-Fernández-Villavicencio, Nieves; Moya-Orozco, Víctor M. (2018). "¿Las correlaciones altmétricas/métricas tradicionales se ven afectadas por los planes de marketing en medios sociales de las revistas? El caso de la revista Comunicar". Anales de Documentación, vol. 21, núm. 1. <https://doi.org/10.6018/analesdoc.21.1.303221>. [Consulta: 05/07/2020].

Haba-Osca, Julia; González-Sala, Francisco; Osca-Lluch, Julia (2019). "Las revistas de educación a nivel mundial: un análisis de las publicaciones incluidas en el Journal Citation Reports (JCR) del 2016". Revista de Educación, vol. 383, núm. 5, p. 113–131. <https://doi.org/10.4438/1988-592X-RE-2019-383-403>. [Consulta: 05/07/2020].

Ladle, Richard J.; Todd, Peter A.; Malhado, Ana C. M. (2012). "Assessing insularity in global science". Scientometrics, vol. 93, p. 745–750. <https://doi.org/10.1007/s11192-012-0703-z>. [Consulta: 07/11/2020].

López-Robles, José Ricardo; Guallar, Javier; Otegi-Olaso, José Ramón; Gamboa-Rosales, Nadia Karina (2019). "El profesional de la información (EPI): Análisis bibliométrico y temático (2006–2017)". El profesional de la información, vol. 28, núm. 4. <https://doi.org/10.3145/epi.2019.jul.17>. [Consulta: 27/09/2020].

Macchi, Vitor Vasata; Duarte, José Luis; Álvarez, Gonzalo Rubén; Caregnato, Sonia Elisa (2019). "Competence-Based Management Research in the Web of Science and Scopus Databases: Scientific Production, Collaboration, and Impact". Publications, vol. 7, núm. 60. <https://doi.org/10.3390/publications7040060>. [Consulta: 22/09/2021].

Martín-Martín, Alberto; Orduna-Malea, Enrique; Delgado López-Cózar, Emilio (2018). "Coverage of highly-cited documents in Google Scholar, Web of Science, and Scopus: a multidisciplinary comparison". Scientometrics, vol. 116, p. 2175–2188. <https://doi.org/10.1007/s11192-018-2820-9>. [Consulta: 20/09/2021].

Martinelli, Luca (2016). "Wikidata: la solución wikimediana para datos abiertos vinculados". AIB Studi, vol. 56, núm. 1. <https://doi.org/10.2426/aibstudi-11434>. [Consulta: 15/11/2021].

Maz-Machado, Alexander; Jiménez-Fanjul, Noelia Noemí; Villarraga-Rico, Miguel Ernesto (2016). "Colombian Scientific Production Indexed in SciELO: A Bibliometric Analysis". Revista Interamericana de Bibliotecología, vol. 39, núm. 2, p. 111–119. <http://dx.doi.org/10.17533/udea.rib.v39n2a03>. [Consulta: 05/12/2020].

Michán Layla; Muñoz-Velasco Israel (2013). "Cienciometría para ciencias médicas: definiciones, aplicaciones y perspectivas". Investigación en Educación Médica, vol. 2, núm. 6, p. 100–106. <https://doi.org/10.1016/S2007-5057(13)72694-2>. [Consulta: 27/09/2020].

Montero-Díaz, Julio; Cobo, Manuel Jesús; Gutiérrez-Salcedo, María; Segado-Boj, Francisco; Herrera-Viedma, Enrique (2018). "Mapeo científico de la Categoría «Comunicación» en WoS (1980-2013)". Comunicar, vol. 55, p. 81–91. <https://doi.org/10.3916/C55-2018-08>. [Consulta: 22/09/2021].

Moreno-Pulido, Alexis; López-González, M. Ángeles; Rubio-Garay, Fernando; Saúl, Luis Ángel; Sánchez-Elvira-Paniagua, Ángeles (2013). "Evolución de las revistas españolas de Ciencias Sociales en el Journal Citation Reports (2006–2010) y su valoración como indicio de calidad en la normativa evaluadora española". Revista Española de Documentación Científica, vol. 36, núm. 3, e014. <http://dx.doi.org/10.3989/redc.2013.3.987>. [Consulta: 27/09/2020].

Murillo, F. Javier; Martínez-Garrido, Cynthia; Belavi, Guillermina (2017). "Sugerencias para Escribir un Buen Artículo Científico en Educación. Reice". Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, vol. 15, núm. 3, p. 5–34. <https://doi.org/10.15366/reice2017.15.3.001>. [Consulta: 03/12/2020].

Nazim, Mohammad; Devi, Maya (2008). "Open access journals and institutional repositories: practical need and present trends in India". Annals of Library and Information Studies, vol. 55, núm. 1, p. 27–34. <https://bit.ly/3CYGHOT>. [Consulta: 23/09/2021].

Nielsen Finn Årup; Mietchen Daniel; Willighagen Egon (2017). "Scholia, Scientometrics and Wikidata". En: Blomqvist, E.; Hose, K.; Paulheim, H.; Ławrynowicz, A.; Ciravegna, F.; Hartig, O. (eds), The Semantic Web: ESWC 2017 Satellite Events. Lecture Notes in Computer Science, 10577. Cham: Springer. <https://doi.org/10.1007/978-3-319-70407-4_36>. [Consulta: 27/09/2020].

Osca-Lluch, Julia; Miguel, Sandra; González, Claudia; Peñaranda-Ortega, María; Quiñones-Vidal, Elena (2013). "Cobertura y solapamiento de Web of Science y Scopus en el análisis de la actividad científica española en psicología". Anales de Psicología, vol. 29, núm. 3, p. 1025–1031. <https://doi.org/10.6018/analesps.29.3.154911>. [Consulta: 22/09/2021].

Peirats, Jose; Marín, Diana; Vidal, María Isabel (2019). "Bibliometría aplicada a la gamificación como estrategia digital de aprendizaje. RED". Revista de Educación a Distancia, vol. 19, núm. 60. <http://dx.doi.org/10.6018/red/60/05>. [Consulta: 27/09/2020].

Peng, Cheng; He, Miao; Cutrona, Sarah L.; Kiefe, Catarina I.; Liu, Feifan; Wang, Zhongqing (2020). "Theme Trends and Knowledge Structure on Mobile Health Apps: Bibliometric Analysis". JMIR Mhealth Uhealth, vol. 8, núm. 7, e18212. <https://doi.org/10.2196/18212>. [Consulta: 23/09/2021].

Pérez-Rodríguez, M. Amor; García-Ruíz, Rosa; Aguaded, Ignacio (2018). "Comunicar: calidad, visibilización e impacto". Revista española de pedagogía, vol. 76, núm. 271, p. 481–498. <https://doi.org/10.22550/REP-3-2018-05>. [Consulta: 05/07/2020].

Pandita, Ramesh; Singh, Shivendra (2017). "Self-citations, a trend prevalent across subject disciplines at the global level: an overview". Collection building, vol. 36, núm. 3, p. 115–126. <https://doi.org/10.1108/CB-03-2017-0008>. [Consulta: 07/11/2020].

Rodríguez-Fuentes, Antonio; Gallego, José Luis (2019). "Análisis bibliométrico sobre Educación Especial". Profesorado, vol. 23, núm. 1. <https://doi.org/10.30827/profesorado.v23i1.9156>. [Consulta: 01/02/2021].

Rodríguez-Miranda, Francisco de Paula; Bolaños, Leticia (2018). "Dieciséis años de RELATEC. Estudio bibliométrico de la Revista Latinoamericana de Tecnología Educativa". Relatec, vol. 17, núm. 2. < https://doi.org/10.17398/1695-288X.17.2.57>. [Consulta: 03/11/2020].

Rodríguez-Sabiote, Clemente; Úbeda-Sánchez, Álvaro Manuel (2019). "Análisis bibliométrico a través de indicadores de calidad metodológica de las revistas españolas de educación indizadas en JCR durante el trienio 2014-2016". Relieve: Revista ELectrónica de Investigación y EValuación Educativa, vol. 25, núm. 1. <https://doi.org/10.7203/relieve.25.1.12771>. [Consulta: 12/06/2020].

Suárez, Yuly; Pérez-Anaya, Oskarly (2018). "Métodos, enfoques y aplicaciones en el estudio de las Ciencias Sociales". En: Ávila, J. H. (coord.), Cienciometría y bibliometría. El estudio de la producción científica, p. 96–118. <https://bit.ly/2SDyri8>. [Consulta: 27/09/2020].

Tomás-Górriz, Vicente; Tomás-Casterá, Vicente (2018). "La Bibliometría en la evaluación de la actividad científica". Hosp Domic, vol. 2, núm. 4, p. 145–63. <http://doi.org/10.22585/hospdomic.v2i4.51>. [Consulta: 15/08/2020].

Torres-Pascual, Cristina (2018). "Análisis bibliométrico de la literatura científica sobre terapia del masaje indexada en PubMed (2007-2016)". Medicina Naturista, vol. 12, núm. 2, p. 40–44. <https://bit.ly/3fpe6qA>. [Consulta: 08/01/2021].

Torres-Salinas, Daniel; Cabezas-Clavijo, Álvaro (2013). "Cómo publicar en revistas científicas de impacto: consejos y reglas sobre publicación científica". EC3 Working Papers, vol. 13. <https://bit.ly/2Wa5Bbx>. [Consulta: 11/10/2020].

van Eck, Nees Jan; Waltman, Ludo (2017). "Citation-based clustering of publications using CitNetExplorer and VOSviewer". Scientometrics, vol. 111, p. 1053-1070. <https://doi.org/10.1007/s11192-017-2300-7>. [Consulta: 08/01/2021].

Vázquez-Cano, Esteban; Belando, María Remedios; Bernal, César (2016). "Estudio bibliométrico y de impacto de la Revista Complutense de Educación (2005–2015)". Revista Complutense de Educación, vol. 28, núm. 4, p. 1227–1250. <http://dx.doi.org/10.5209/RCED.51672>. [Consulta: 17/10/2020].

Vrandečić, Denny; Krötzsch, Markus (2014). "Wikidata: A Free Collaborative Knowledgebase". Communications of the ACM, vol. 57, no.10, p. 78–85. <http://dx.doi.org/10.1145/2629489>. [Consulta: 15/11/2021].