Principals editors científics als canals de Telegram: una aproximació a la detecció de canals falsos amb ChatGPT i DeepSeek

Resum:

Objectius: identificar l’existència de canals falsos a Telegram que suplanten les principals editorials acadèmiques, avaluar l’eficàcia dels models grans del llenguatge (LLM), ChatGPT i DeepSeek, per a la seva detecció, analitzar les fonts web utilitzades per aquests models i determinar la possible existència de biaixos geogràfics en aquestes fonts. Metodologia: Selecció de 13 grans editorials acadèmiques a partir del portal SCImago: Elsevier, Springer, Wiley-Blackwell, Routledge, OUP, de Gruyter, Brill, CUP, IEEE, Hindawi, World Scientific, Nature i Thieme. Identificació de 37 canals de Telegram associables i aplicació d’un prompt estandarditzat a ChatGPT i DeepSeek per avaluar l’autenticitat de cada canal, activant la funció de cerca web. Anàlisi comparativa de les respostes dels models i verificació mitjançant classificació manual. Resultats: Es va identificar que el 78,38% dels canals analitzats eren fraudulents. Ambdós models van mostrar alta efectivitat en la detecció de canals falsos, però limitacions significatives en la validació de canals reals. Es van observar diferències metodològiques: DeepSeek va adoptar un criteri contextual, mentre que ChatGPT va requerir verificació explícita. L’anàlisi de fonts web va revelar que DeepSeek va prioritzar continguts de ciberseguretat, mentre que ChatGPT va utilitzar predominantment fonts institucionals i xarxes socials, amb clar predomini de fonts occidentals en ambdós casos.

Abstract:

Objectives: To identify the existence of fake channels on Telegram that impersonate major academic publishers, evaluate the effectiveness of Large Language Models (LLMs), specifically ChatGPT and DeepSeek, for their detection, analyze the web sources used by these models, and determine the potential existence of geographical biases in these sources. -- Methodology: Selection of 13 major academic publishers from the SCImago portal: Elsevier, Springer, Wiley-Blackwell, Routledge, OUP, de Gruyter, Brill, CUP, IEEE, Hindawi, World Scientific, Nature, and Thieme. Identification of 37 associated Telegram channels, and application of a standardized prompt to ChatGPT and DeepSeek to evaluate the authenticity of each channel, with the web search function enabled. Comparative analysis of the models’ responses and verification through manual classification. -- Results: It was identified that 78.38% of the analyzed channels were fraudulent. Both models showed high effectiveness in detecting fake channels but significant limitations in validating legitimate channels. Methodological differences were observed: DeepSeek adopted a contextual approach, while ChatGPT required explicit verification. The analysis of web sources revealed that DeepSeek prioritized cybersecurity content, whereas ChatGPT predominantly used institutional sources and social media, with a clear predominance of Western sources in both cases.

Resumen:

Objetivos: identificar la existencia de canales falsos en Telegram que suplantan a grandes editoriales académicas, evaluar la efectividad de los Modelos de Lenguaje a Gran Escala (LLMs), específicamente ChatGPT y DeepSeek, para su detección, analizar las fuentes web utilizadas por estos modelos y determinar la posible existencia de sesgos geográficos en dichas fuentes. -- Metodología: selección de 13 grandes editoriales académicas del portal SCImago: Elsevier, Springer, Wiley-Blackwell, Routledge, OUP, de Gruyter, Brill, CUP, IEEE, Hindawi, World Scientific, Nature y Thieme. Identificación de 37 canales de Telegram asociados y aplicación de un prompt estandarizado a ChatGPT y DeepSeek para evaluar la autenticidad de cada canal, con la función de búsqueda web activada. Análisis comparativo de las respuestas de los modelos y verificación mediante clasificación manual. -- Resultados: se identificó que el 78,38% de los canales analizados eran fraudulentos. Ambos modelos mostraron una alta efectividad en la detección de canales falsos, pero limitaciones significativas para validar canales legítimos. Se observaron diferencias metodológicas: DeepSeek adoptó un enfoque contextual, mientras que ChatGPT requirió una verificación explícita. El análisis de las fuentes web reveló que Deep- Seek priorizó contenido de ciberseguridad, mientras que ChatGPT utilizó predominantemente fuentes institucionales y redes sociales, con un claro predominio de fuentes occidentales en ambos casos.