Evaluación de ChatGPT para la corrección de referencias bibliográficas en estilo Vancouver

Resumen:

Objetivos: Evaluar la utilidad y precisión de ChatGPT-4 Turbo para corregir referencias de artículos de revista según el estilo de citación Vancouver, identificando su comportamiento y limitaciones. Metodología: Estudio descriptivo con 140 referencias de artículos de revista extraídas de 20 Trabajos de Fin de Grado de Enfermería de la Universidad Complutense de Madrid (2019-2020). Se elaboró una lista de referencias patrón mediante revisión por pares. Se solicitó a ChatGPT-4 Turbo la corrección y formateo de las referencias originales usando un prompt básico. Su respuesta se comparó con el patrón mediante un sistema categorizado por seis códigos y el recuento de acciones por elemento bibliográfico (n = 521). Resultados: El 49,3 % de las referencias recibieron ≥1 intervención, mientras que el 50,7 % permanecieron sin cambios; entre estas últimas, 12 ya eran correctas y 59 seguían conteniendo errores. De las 521 acciones, 130 (25,0 %) fueron adecuadas y 391 (75,0 %) inadecuadas (sin intervención 79,3 %, corrección errónea 13,0 %, error de formato 7,2 % y alucinación 0,5 %). Conclusiones: Con un prompt elemental, ChatGPT-4 Turbo genera mejoras limitadas y predomina la ausencia de intervención. Su uso podría ser útil dentro de un protocolo (prompts específicos, verificación de metadatos mediante DOI/PMID y supervisión humana), especialmente en fases iniciales o como apoyo previo a la revisión experta.

Resum:

Objectius: avaluar la utilitat i la precisió de ChatGPT-4 Turbo en la correcció de referències d’articles de revista segons l’estil Vancouver, així com caracteritzar-ne el comportament i les limitacions. -- Metodologia: estudi descriptiu que inclou 140 referències d’articles de revista extretes de 20 treballs de fi de grau d’Infermeria de la Universitat Complutense de Madrid (2019-2020). Es va elaborar una llista de referències de referència (gold standard) mitjançant revisió per parells. Es va demanar a ChatGPT-4 Turbo que corregís i formatés les referències originals utilitzant una instrucció (prompt) bàsica. Les seves respostes es van comparar amb la llista de referència mitjançant un sistema de codificació de sis categories i el recompte d’accions per element bibliogràfic (n = 521). -- Resultats: en conjunt, el 49,3 % de les referències van rebre almenys una intervenció, mentre que el 50,7 % van romandre sense canvis; entre aquestes darreres, 12 ja eren correctes i 59 continuaven contenint errors. De les 521 accions registrades, 130 (25,0 %) van ser adequades i 391 (75,0 %) inadequades (no intervenció: 79,3 %; correcció errònia: 13,0 %; error de format: 7,2 %; al·lucinació: 0,5 %). Conclusions: Amb una instrucció (prompt) bàsica, ChatGPT-4 Turbo proporciona millores limitades i predomina la no intervenció. La seva aplicació podria ser útil dins d’un protocol de treball (instruccions específiques per a la tasca, verificació de metadades basada en DOI o PMID i supervisió humana), especialment en les fases inicials o com a suport previ a la revisió experta.

Abstract:

Objectives: to assess the usefulness and accuracy of ChatGPT-4 Turbo in correcting journal article references according to the Vancouver style, and to characterize its behavior and limitations. -- Methodology: descriptive study including 140 journal article references extracted from 20 undergraduate nursing theses at the Complutense University of Madrid (2019-2020). A gold-standard reference list was created via peer review. ChatGPT-4 Turbo was asked to correct and format the original references using a basic prompt. Its output was compared with the gold-standard using a six-category coding system and by counting actions per bibliographic element (n = 521). -- Results: overall, 49.3 % of references received ≥1 intervention, whereas 50.7 % remained unchanged; among the latter, 12 were already correct and 59 still contained errors. Of 521 actions, 130 (25.0 %) were adequate and 391 (75.0 %) inadequate (non-intervention 79.3 %, erroneous correction 13.0 %, formatting error 7.2 %, hallucination 0.5 %). Conclusions: With a basic prompt, ChatGPT-4 Turbo yields limited improvements and non-intervention predominates. Its application could be useful within a protocol (task-specific prompts, DOI/ PMID-based metadata verification, human oversight), particularly at early stages or as support prior to expert review.