La evaluación de la investigación en humanidades en AQU Catalunya

Introducción

La Agencia para la Calidad del Sistema Universitario de Cataluña (en adelante, AQU Cataluña) es el organismo de la Generalitat de Catalunya que vela por la calidad del sistema universitario catalán, tanto en relación a la oferta formativa como a la evaluación de profesorado. Si bien la Agencia se creó el año 1996, no fue hasta el año 2003, con la aprobación de la Ley 1/2003, de 19 de febrero, de universidades de Cataluña (LUC), que AQU Cataluña asumió la evaluación del profesorado universitario, en las acreditaciones de investigación y en las evaluaciones de la actividad investigadora (sexenios).

En la Ley orgánica 6/2001, de 21 de diciembre, de universidades, en concreto en el título ix, se regula la dimensión del profesorado estableciendo las diferentes tipologías y requisitos de acceso. En este sentido, hay que tener presente que en el Estado español hay dos grandes vías de acceso a la función académica: por una parte, la vía funcionarial –con más tradición en el Estado– y de la otra, la vía contractual, que representaba, el año 2001, una novedad en el contexto estatal. En ambas opciones es necesario disponer de una acreditación previa emitida por una agencia externa. En el caso de la vía funcionarial, la acreditación la emite la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA); en cambio, con respecto a la vía contractual, la acreditación puede ser emitida tanto por ANECA como por las agencias autonómicas. En el caso de Cataluña, las acreditaciones las emite AQU Cataluña.

El objetivo de este artículo es explicar las características de estos procesos de acreditación, con un énfasis especial en el caso concreto de las disciplinas de carácter humanístico, en que se observan elementos singulares, respecto de otros ámbitos científicos, que añaden una mayor complejidad. Así, se analiza el proceso de evaluación de profesorado que hace la Comisión de Evaluación de la Investigación mediante sus comisiones específicas.

Así, hay una comisión específica de humanidades cuyos miembros y asesores emiten los informes de profesorado lector, las acreditaciones de investigación (correspondientes al profesorado agregado) y las acreditaciones de investigación avanzada (correspondientes al profesorado catedrático). Los ámbitos de conocimiento que se cubren son la filosofía, la historia y el arte, y la filología. Hay que hacer notar que esta clasificación es una clasificación propia establecida por la Comisión de Evaluación de la Investigación  el año en que se puso en marcha el programa de evaluación de profesorado, tomando como punto de partida la estructura de los estudios universitarios ofrecidos por el sistema universitario catalán. Como se verá a lo largo del artículo, la dinámica de evaluación en humanidades tiene unos rasgos específicos que la hacen bastante diferente del resto de comisiones (por ejemplo, la de ciencias o la de ingeniería).

Antes de analizar estas especificidades, hay que tener presente que uno de los aspectos más relevantes es que AQU Cataluña evalúa la investigación, tanto en humanidades como en el resto de ámbitos de conocimiento, de manera indirecta, es decir, a partir de la calidad de las revistas y las editoriales en que los investigadores publican sus trabajos. Se parte, pues, del principio que la calidad de la investigación que hacen los científicos se mide en función del valor de sus publicaciones (Merton, 1977). Esto ya representa una limitación inicial porque la evaluación es indirecta. Por lo tanto, los evaluadores que participan en las evaluaciones no leen los trabajos originales, salvo casos muy singulares, sino que hacen suyo el proceso previo de evaluación de expertos (peer review) de las publicaciones antes de ser publicadas por una editorial científica, principalmente con respecto a los artículos, las monografías o los capítulos de libro, aunque también hay otras tipologías documentales referenciadas en los curriculum vitae (CV) que se evalúan. Asimismo, también son evaluados otros elementos propios de la dimensión de investigación, como los proyectos de investigación, las tesis doctorales dirigidas, las estancias de investigación, etc.

Esta metodología de evaluación presenta restricciones evidentes y puede ser legítimamente cuestionada por parte de los investigadores. Sin embargo, hay que tener presente que las agencias de evaluación cumplen un mandato. En el caso de AQU Cataluña, este mandato consiste en hacer evaluaciones de profesorado para determinar si la calidad de sus CV alcanza un umbral mínimo establecido, que se considera previo de cara a un proceso posterior de selección para convertirse en profesor universitario. En definitiva, la evaluación permite determinar si las personas candidatas alcanzan unos estándares mínimos de calidad, pero no la excelencia. Tampoco permite establecer una ordenación de candidatos ni es garantía de obtener un contrato de trabajo.

Por lo tanto, es importante disponer de estrategias de evaluación que permitan llevar a cabo este encargo social que tienen los organismos de evaluación a un coste asumible. Así, desde la puesta en marcha del programa de evaluaciones y acreditaciones de profesorado, en el ámbito de humanidades se han hecho en AQU Cataluña, hasta el año 2016, más de tres mil evaluaciones, tanto de sexenios de investigación como evaluaciones de profesorado lector, agregado y catedrático. Este volumen de expedientes pide, lógicamente, la adopción de aproximaciones de evaluación indirectas, ya que no es posible hacer la lectura directa de las publicaciones presentes en los CV de las personas evaluadas, que posiblemente sería la mejor manera de poder determinar la valía de las mismas. Efectivamente, AQU Cataluña no está dimensionada para hacer la evaluación directa de los trabajos. Haría falta un considerable incremento de expertos especialistas y de presupuesto para poder afrontar esta tarea.

Resultados

En el caso concreto de la evaluación en humanidades que hace AQU Cataluña, el principal mecanismo de evaluación es la combinación de dos elementos: por una parte, la valía del proceso previo de evaluación de expertos (peer review) de las aportaciones que los investigadores recogen en sus CV (monografías, capítulos de libro, artículos, etc.) y de la otra el conocimiento experto del conjunto de evaluadores que participan en los procesos de evaluación, ya sea como a asesores ya sea como miembros de las comisiones de evaluación que toman las decisiones de manera colegiada.

Si se revisan los criterios de evaluación en el ámbito de humanidades vigentes actualmente (AQU Cataluña, 2017), que se pueden consultar a la página web de la Agencia, en el caso concreto de las acreditaciones de investigación, en la sección de publicaciones de investigación, que es la dimensión con una ponderación más alta en la evaluación, se puede leer:

"En referencia a la publicación de libros, se valorarán los libros de carácter original (donde el solicitante es el autor o coautor y/o el editor de un libro multiautor) publicados por editoriales especializadas. Se definen dos niveles de valoración para los libros: 1. Libros publicados en editoriales internacionales de prestigio reconocido. 2. Libros publicados en editoriales de prestigio de alcance nacional con criterios de selección rigurosos."

Por otra parte, con respecto a los artículos, los mismos criterios establecen:

"Con respecto a los artículos, se valorarán básicamente las publicaciones en revistas que hayan pasado un proceso de evaluación peer review y que estén presentes en índices de citaciones ―como los de Clarivate Analytics (en particular el Social Sciences Citation Index y el Arts and Humanities Citation Index) o Scopus―, o bien en otras bases de datos bibliográficas especializadas de prestigio internacional. Para precisar la repercusión efectiva de la investigación llevada a cabo por el solicitante, y cuando sea posible, se considerará la posición de la revista en repertorios de evaluación de revistas (que ofrezcan rankings por índice de impacto o por otros criterios de evaluación), así como el número de citas recibidas por cada artículo. También se valorará el grado de creatividad, de diversidad temática y de innovación en la investigación del solicitante."

En la sección dedicada a las revistas, AQU Cataluña hace una distinción entre revistas de tipo A, tipo B y tipo C. Así, las revistas de tipo A se enmarcan en esta definición:

"Revista de ámbito internacional, del máximo nivel de calidad dentro de su disciplina, presente en índices de citas selectivos y situada en repertorios de evaluación y clasificación de revistas en las posiciones más elevadas."

Las revistas de tipo B se definen de la manera siguiente:

"Revista de ámbito internacional, presente en índices de citas selectivos y situada en repertorios de evaluación y clasificación de revistas en las posiciones inferiores a las del grupo A."

O bien así:

"Revista no presente en índices de citas selectivos, pero reconocida como del máximo nivel de calidad dentro de su ámbito, de alcance internacional, con un sistema de evaluación de originales riguroso y con un comité científico internacional."

Y las revistas de tipo C tienen esta definición:

"Revista de buen nivel de calidad dentro de su ámbito, con un sistema de evaluación riguroso."

Si bien las definiciones son claras en su formulación, se pone de manifiesto la dificultad que puede tener un potencial investigador para poder concretar con exactitud las diferencias entre cada una de las tipologías descritas cuando quiera pedir una acreditación. En cambio, en otros ámbitos de conocimiento, como por ejemplo las ciencias, en que el sistema de indexación y clasificación por cuartiles de las revistas está mucho más consolidado, los investigadores tienen unas referencias más claras.

Así, dentro de la comunidad investigadora de humanidades hay opiniones en el sentido que esta categorización no es exhaustiva, uniforme ni con bastante nivel de consenso y que es necesario avanzar en una mejor formulación y concreción.

Finalmente, los criterios incorporan una referencia al hecho de que la calidad de la investigación prevalece por encima de la mera cantidad:

"Las carencias relativas a la cantidad podrán ser compensadas con aportaciones de calidad muy alta o excepcional en que el solicitante sea el autor principal y responsable. La calidad tiene que estar debidamente justificada y acreditada por indicadores y evidencias de repercusión contrastadas aportadas por el solicitante."

Esta consideración es especialmente relevante, dado que se quiere rehuir el mensaje que las acreditaciones se alcanzan por la mera agregación de trabajos de investigación, con independencia de su calidad. Se quiere recoger la idea que el valor real de los trabajos tiene que pesar más que el número de trabajos o la mera calidad del medio en que se publican. Por lo tanto, se pone de relieve que prevalece la calidad de la investigación, a la vez que se plantea a los investigadores el reto de tratar de publicar su investigación en los mejores medios de publicación.

Por otra parte, hace falta que no se pierda de vista que en ningún caso se pueden automatizar los procesos de evaluación de las personas como un mero recuento de publicaciones, tesis dirigidas o proyectos de investigación en que el candidato haya podido participar. Tal como se expone en el primer principio del Manifiesto de Leiden (Hicks, et al. 2015), "quantitative evaluation should support qualitative, expert assessment". Es decir, las decisiones de evaluación no pueden gravitar exclusivamente sobre elementos cuantitativos o en indicadores bibliométricos aislados y descontextualizados.

No obstante, claro está que los indicadores bibliométricos bien elaborados y consensuados por toda la comunidad científica tienen que formar parte de los procesos de evaluación, que, por definición, presentan un considerable nivel de complejidad y piden una aproximación combinada de elementos cualitativos y cuantitativos. Si no se actuara de esta manera, se vulneraría la ética de la evaluación. Este es, pues, un principio ampliamente asumido por las comisiones de evaluación de AQU Cataluña.

Por todo lo que hemos expuesto hasta ahora, uno de los elementos centrales es poder identificar cuáles son las revistas y las editoriales científicas que pueden garantizar un proceso de revisión externa de alta calidad. Aquí empezamos uno de los puntos centrales de este artículo: ¿cuáles son las características de la investigación en humanidades?

En primer lugar, hay que tener presente la lengua. En general, en los ámbitos de las ciencias naturales, la lengua nunca representa ninguna dificultad, dado que el inglés es la lengua franca. En cambio, en el contexto de las humanidades y algunas disciplinas de las ciencias sociales, la investigación tiene una clara orientación regional o nacional (Hammarfelt, 2015). Muy a menudo las principales bases de datos de citas (por ejemplo, Web of Science) no cubren adecuadamente estos campos o bien tienen un claro sesgo anglosajón. En este sentido, estudios recientes demuestran que el sesgo anglosajón de las bases de datos científicas mencionadas hace que no se puedan considerar de manera aislada para hacer comparaciones sobre la productividad científica de los diferentes países en el ámbito de humanidades (Archambault, et al. 2006).

En segundo lugar, otro aspecto importante es el vehículo de comunicación utilizado por los investigadores. Así, en el contexto de humanidades hay disciplinas basadas principalmente en las monografías (por ejemplo, la literatura) y disciplinas más basadas en los artículos (por ejemplo, la lingüística). En el caso concreto de las disciplinas relacionadas con la creación artística, la restauración, las bellas artes, etc., en las que, aparte de las publicaciones, predomina la obra artística o las exposiciones, se pone de manifiesto la dificultad para hacer una evaluación basada exclusivamente en los indicios de calidad de las publicaciones, y hay que adoptar otras perspectivas.

En tercer lugar, también hay que considerar la relativa fragmentación de las disciplinas humanísticas. A menudo hay una atomización disciplinaria que incrementa las dificultades para una proyección social significativa, y, de rebote, en estos contextos de investigación no hay una configuración estable y la coordinación puede ser débil. No obstante, tal como reconoce el Manifiesto de Leiden antes mencionado, hay que proteger la excelencia de relevancia local. La buena investigación en contextos locales tiene que poder ser publicada en sedes editoriales de calidad. A menudo, en AQU Cataluña hay CV con una escasa diversidad de editoriales y un cierto régimen de "monocultivo", con lo cual se pone de manifiesto la necesidad de ampliar el abanico de editoriales en que se publica, en especial las de más nivel de reconocimiento. Sin embargo, el hecho de que la temática de investigación sea minoritaria o local no es incompatible con el hecho de que la investigación sea de alta calidad. Así, a menudo las comisiones de evaluación encuentran CV de solicitantes que contienen aportaciones de investigación de calidad que no han acertado el mejor medio para publicarlas. Este puede ser un elemento sobre el cual hay que hacer más énfasis y pedagogía, en el sentido que las personas que hacen investigación en estos espacios temáticos minoritarios tendrían que considerar la posibilidad de buscar sedes editoriales de más reconocimiento.

Y, en cuarto lugar, otro aspecto que hay que tener presente es el rango de tiempo de las citas (de Solla Price, 1970). Los estudios de citas en humanidades muestran que las aportaciones más citadas son las monografías, más que los artículos. Las citas abrazan periodos más largos que la ventana de dos años que, de manera estándar, se ha establecido para calcular el journal impact factor de las revistas indexadas en el Journal Citation Reports. Eso explica, por ejemplo, por qué el Journal Citation Reports no incorpora el Arts and Humanities Citation Index: el volumen de citas de las revistas que indexa es tan bajo que ligeras modificaciones en el número de citas modificarían los valores obtenidos. Así, hay muchos estudiosos que defienden la necesidad de considerar otros indicadores cualitativos como forma de equilibrar las distorsiones estadísticas (Urbano, 2004). En este sentido, hay que tener muy presentes las ventajas y las limitaciones de los indicadores bibliométricos a la hora de hacer evaluaciones de personas. No son lo mismo las disciplinas experimentales, con un alto consenso cognitivo y una alta uniformidad en las prácticas de investigación y de publicación, que las humanísticas, con más pluralidad cognitiva y metodológica, y más diversidad de prácticas de investigación y de publicación. Tampoco son lo mismo las disciplinas básicas que las disciplinas aplicadas (Delgado López-Cózar, 2017). Por esta razón, en función del tipo de investigación que hagan los investigadores, sus indicadores bibliométricos tendrán comportamientos completamente diferentes. Sería un grave error considerar acríticamente esta aproximación en la evaluación de la investigación que hacen los investigadores en humanidades. Así, la comunidad de investigadores de bibliometría (van den Akker, 2016) desaconseja el uso de métodos convencionales a la hora de hacer evaluaciones de los investigadores de humanidades.

Todo este conjunto de elementos que acabamos de identificar están presentes, hace años, en la dinámica de evaluación de la investigación en humanidades que se lleva a cabo en AQU Cataluña. Así, el año 2010, la Agencia impulsó el taller La evaluación de la investigación en humanidades y ciencias sociales (AQU Cataluña, 2010). Al revisar las conclusiones publicadas, aparecen gran parte de los elementos que hemos mencionado en este artículo. Entre otras, hay que destacar las siguientes ideas:

• La necesidad de establecer un sistema de evaluación mixto que combine la evaluación indirecta con la evaluación directa de alguno de los trabajos de investigación más significativos.


• La valoración de la calidad de la investigación sin perjuicio de la lengua en que está escrita ni de su carácter territorial.


• La recuperación del papel del libro, la monografía y el capítulo de libro como instrumentos muy significativos sobre los cuales se vehicula la investigación en estas áreas disciplinarias.


• La necesidad de fijar criterios de calidad de las editoriales universitarias o privadas de orientación académica, y también de establecer referentes claros para la evaluación de las revistas científicas.

Al revisar estas conclusiones, siete años después, se constata que se han dado pasos para la concreción de los referentes de calidad de revistas y editoriales científicas, como puede ser el Scholarly Publishers Indicators (SPI). También se ha avanzado en el aspecto de poner mecanismos para evitar sesgos lingüísticos en las evaluaciones o en el de reforzar el papel de las monografías y de los capítulos de libro en las evaluaciones. Pero todavía hay aspectos, como la evaluación mixta de los trabajos, que quedan pendientes de abordar por parte de las agencias de evaluación.

También se pone de manifiesto la necesidad de diferenciar el impacto científico del impacto social de la investigación. En este sentido, hay que tener presente la Declaración de San Francisco (ASCB, 2012), que pide mejorar la manera como los resultados de la investigación científica son evaluados por parte de las agencias financiadoras, las instituciones y otros agentes y no depender tanto de elementos cuantitativos, como el journal impact factor, que pueden dar una falsa sensación de objetividad. Así, se recomienda basar la evaluación de la investigación en la calidad intrínseca más que en la calidad del medio en que ha sido publicada. En el caso de las instituciones, como puede ser AQU Cataluña, plantea que en los procesos de evaluación de la investigación se consideren otras medidas de repercusión, incluyendo el impacto social.

Gradualmente asistimos al desarrollo de nuevas aproximaciones en la medida de la investigación más allá del mero impacto científico, como pueden ser las métricas alternativas o altmetrics, todavía en claro desarrollo (Ollé; López-Borrull, 2017). Estas aportaciones contribuirán a mejorar la valoración de la investigación en humanidades y también a medir su contribución general al progreso de las sociedades. Sin duda, este es uno de los principales retos que los diferentes agentes que hacen evaluación de la investigación tendrán que abordar en los próximos años.

Discusión y conclusiones

La evaluación de la investigación en humanidades que se lleva a cabo en AQU Cataluña es una tarea compleja que se hace de manera indirecta o secundaria. Por lo tanto, la calidad del medio en que se publica la investigación (tipo de editorial o de revista) es determinante. Con todo, el punto de vista experto de los asesores y miembros de las comisiones evaluadoras es un elemento clave para evitar caer en el riesgo de aplicar aproximaciones meramente cuantitativas. Los expertos tienen que matizar, ponderar, equilibrar los indicadores bibliométricos y no hacer una aplicación mecánica. De lo contrario, se pueden cometer graves errores en la evaluación y reacciones contrarias por parte de los investigadores (Krull; Tepperwien, 2016)

Es fundamental para los investigadores saber cuáles son las editoriales y las revistas con más prestigio y relevancia en las que pueden publicar su investigación, máxime cuando, en buena medida, el resultado de la evaluación en los procesos de acreditación descansa en el prestigio de las publicaciones. Investigar en espacios temáticos, geográficos, sociales o idiomáticos que son percibidos como periféricos no tiene que ser incompatible con la divulgación en medios de alta calidad.

Un elemento crucial es cómo responderá la comunidad investigadora en el ámbito de humanidades ante los nuevos mecanismos de medida y de evaluación que se van configurando. Cada vez es más necesario poder avanzar en elementos consensuados para conseguir establecer mecanismos de repercusión científica que ayuden los procesos de evaluación. Este nuevo debate que se ha empezado incorpora aspectos como el impacto social de la investigación en humanidades o el papel, todavía no lo bastante consolidado, de las altmetrics. Desde de AQU Cataluña se sigue con mucho interés este debate y queremos poder participar desde nuestra esfera de responsabilidad.

Bibliografía

Agencia para la Calidad del Sistema Universitario de Cataluña (2018). Comisión de Evaluación de la Investigación. <http://www.aqu.cat/aqu/estructura/organs_avaluacio_acreditacio_certificacio/avaluacio_recerca/car.html> [Consulta: 27/01/2018].

Agencia para la Calidad del Sistema Universitario de Cataluña (2017). Criterios en la emisión de las acreditaciones de investigación. <http://www.aqu.cat/professorat/agregat/proces_agregat.html#.Wf2Q-eEzXoo> [Consulta: 15/11/2017].

Agencia para la Calidad del Sistema Universitario de Cataluña (2010). La evaluación de la investigación en humanidades y ciencias sociales: XI taller de reflexión y debate de AQU Cataluña con las universidades catalanas. <http://www.aqu.cat/doc/doc_16407351_1.pdf> [Consulta: 15/11/2017].

Akker, W. van den (2016). "Yes we should; research assessment in the humanities". En: Ochsner, M.; Hug, S.; Daniel, HD. (eds.). Research assessment in the humanities towards criteria and procedures. Heidelberg: Springer, p. 23-29.

American Society for Cell Biology (ASCB) (2012). The San Francisco declaration on research assessment. <http://www.ascb.org/wp-content/uploads/2017/07/sfdora.pdf>. [Consulta: 15/11/2017].

Archambault, É.; Vignola-Gagné, É.; Côté, G.; Larivière, V.; Gingrasb, Y. (2006). "Benchmarking scientific output in the social sciences and humanities: The limits of existing databases". Scientometrics, vol. 68, no. 3, p. 329-342. <https://doi.org/10.1007/s11192-006-0115-z>. [Consulta: 15/11/2017].

Delgado López-Cózar, E. (2017). "Evaluar revistas científicas: un afán cono mucho presente y pasado e incierto futuro". En: Abadal, E. (ed.). Revistas científicas. Situación actual y retos de futuro. Barcelona: Ediciones de la Universidad de Barcelona, p. 73-103. <http://eprints.rclis.org/32132/>. [Consulta: 15/11/2017].

Hammarfelt, B. (2015). "Beyond coverage: toward a bibliometrics for the humanities". En: Ochsner, M.; Hug, S. E.; Daniel, HD. (eds.). Research assessment in the humanities towards criteria and procedures. Heidelberg: Springer, p. 115-131.

Hicks, D.; Wouters, P.; Waltman, L.; De Rijcke, S.; Ràfols, I. (2015) "The Leiden Manifesto for research metrics". En: Nature, vol. 520, no. 7548, p. 429-431. <https://dx.doi.org/10.1038/520429a>. [Consulta: 15/11/2017].

Krull, W.; Tepperwien, A. (2016). "The four "I"s: quality indicators for the humanities". En: Ochsner, M.; Hug, S. E.; Daniel, HD. (eds.). Research assessment in the humanities towards criteria and procedures. Heidelberg: Springer, p. 115-131.

Merton, R. K. (1977). La sociología de la ciencia. Madrid: Alianza Editorial.

Ollé, C.; López-Borrull, A. (2017) "Redes sociales y altmetrics. Nuevos retos para las revistas científicas". En: Abadal, E. (ed.). Revistas científicas. Situación actual y retos de futuro. Barcelona: Ediciones de la Universidad de Barcelona, p. 197-219. <http://eprints.rclis.org/32138/>. [Consulta: 15/11/2017].

Solla Price, D. J. (1970). "Citation measures of hard science, soft science, technology, and non-science". En: Nelson, C. E.; Pollock, D. K. (eds.). Communication among scientists and engineers. Lexington, MI: Heath, p. 3-22.

Urbano, C. (dir.) (2004). "La evaluación de revistas en procesos de evaluación de la investigación española en humanidades y ciencias sociales: desarrollo de un modelo y experimentación en el área de Filología Hispánica". Ministerio de Educación y Ciencia. <http://diposit.ub.edu/dspace/handle/2445/33405>. [Consulta: 15/11/2017].