Desxifrar sigles mèdiques en català amb ChatGPT, Gemini i Copilot: una anàlisi comparativa

Resum:

Objectius. Aquest estudi té com a objectiu avaluar la capacitat de tres xatbots d’intel·ligència artificial (IA) — ChatGPT, Gemini i Copilot— per desxifrar sigles mèdiques polisèmiques en català, tot analitzant la seva eficàcia en funció del context. L’objectiu és determinar fins a quin punt aquestes eines poden ajudar a desambiguar les sigles per millorar la comprensió de textos mèdics per a professionals sanitaris, de comunicació i pacients. Metodologia. Es van seleccionar 60 sigles mèdiques amb alta polisèmia. A cada sigla se li van assignar quatre contextos diferents: sense context, context mèdic genèric, una frase real i un paràgraf breu. Es va mesurar la proporció d’encerts de cada IA en cada context, mitjançant un càlcul de potència estadística. Els resultats es van analitzar utilitzant proves no paramètriques, amb l’objectiu de comparar la precisió entre les tres IA. Resultats. Els resultats obtinguts mostren una gran variabilitat en la capacitat dels xatbots per reconèixer i interpretar les sigles mèdiques en català en funció del context. Els sistemes presenten millor eficiència a mesura que augmenta la informació contextual, especialment quan les sigles apareixen en frases o paràgrafs reals. ChatGPT obté els millors resultats, amb una desambiguació més precisa en contextos naturals. Aquest estudi demostra el potencial de les eines d›intel·ligència artificial per millorar la comprensió de les sigles mèdiques per a pacients i professionals, una necessitat clau en un llenguatge mèdic català encara poc desenvolupat.

Abstract:

Goals: This study aims to assess the ability of three artificial intelligence (AI) chatbots—ChatGPT, Gemini, and Copilot—to decode polysemous medical acronyms in Catalan, analysing their effectiveness depending on the level of contextual information. The objective is to determine the extent to which these tools can assist in disambiguating acronyms to improve the comprehension of medical texts by healthcare professionals, communicators, and patients. -- Methodology. A total of 60 highly polysemous medical acronyms were selected. Each acronym was presented within four different levels of context: no context, general medical context, a real sentence, and a brief paragraph. The accuracy rate of each AI system was measured across all contexts using statistical power analysis. The results were analysed using non-parametric tests to compare the precision of the three AI tools. -- Results. The findings reveal significant variability in the chatbots’ ability to recognize and interpret medical acronyms in Catalan depending on the context. Performance improved as more contextual information was provided, especially when acronyms appeared within real sentences or paragraphs. ChatGPT achieved the highest overall accuracy, offering more precise disambiguation in natural contexts. The study highlights the potential of AI tools to enhance the understanding of medical acronyms among both patients and professionals—an increasingly important need in the context of Catalan medical language, which remains underdeveloped