Performance of the ChatGPT tool in solving residency exams
DOI:
https://doi.org/10.56294/mw202456Keywords:
Science, Technology and Society, Medical Education, Professional education, Artificial intelligence, TechnologyAbstract
Introducción: la inteligencia artificial se cataloga como una herramienta de interés en los momentos actuales. Mediante su aplicación se transforman los procesos organizativos y toma de decisiones; a la par que fomenta el desarrollo innovador.
Objetivo: describir el desempeño de la herramienta ChatGPT en la resolución de exámenes de residencia.
Método: se realizó un estudio observacional, descriptivo, retrospectivo. Como universo del estudio se analizaron todas las preguntas de tipo test (selección única). Las variables analizadas fueron cada una de las preguntas pertenecientes a cada examen (respuestas correctas o incorrectas). Se aplicó la estadística descriptiva.
Resultados: Sobresalió el temario B dentro del grupo 1 con el mayor número de acierto (209 para un 69,66 %). Por su parte, dentro del grupo 2 resulto predominante el temario D con 141 aciertos (70,5 %). Destacaron los exámenes referentes a enfermería.
Conclusiones: la utilización de las herramientas de inteligencia artificial como ChatGPT es variable en el ámbito de las ciencias médicas. Su desempeño en la resolución de interrogantes científicas es heterogéneo. Puede variar con respecto al formato de la interrogante y la temática abordada
References
1. Castillo-González W. The importance of human supervision in the use of ChatGPT as a support tool in scientific writing. Metaverse Basic and Applied Research 2023;2:29-29. https://doi.org/10.56294/mr202329.
2. Castillo-Gonzalez W. ChatGPT and the future of scientific communication. Metaverse Basic and Applied Research 2022;1:8-8. https://doi.org/10.56294/mr20228.
3. González LN. EL IMPACTO DE LA INTELIGENCIA ARTIFICIAL EN LOS NEGOCIOS. Difusiones 2023;25:153-61.
4. López KMG. Inteligencia artificial generativa: Irrupción y desafíos. Enfoques 2023;4:57-82.
5. Espinosa RDC, Caicedo-Erazo JC, Londoño MA, Pitre IJ. Inclusive Innovation through Arduino Embedded Systems and ChatGPT. Metaverse Basic and Applied Research 2023;2:52-52. https://doi.org/10.56294/mr202352.
6. Ferrer-Benítez M. Online dispute resolution: can we leave the initial decision to Large Language Models (LLM)? Metaverse Basic and Applied Research 2022;1:23-23. https://doi.org/10.56294/mr202223.
7. Toro-Espinoza MF, Montalván-Espinoza JA, Masabanda-Vaca MA. Aplicación de la inteligencia artificial en el aprendizaje universitario. Reicomunicar 2023;6:153-72. https://doi.org/10.46296/rc.v6i12edespoct.0168.
8. Ruibal-Tavares E, Calleja-López JR, Rivera-Rosas CN, Aguilera-Duarte LJ. Inteligencia artificial en medicina: panorama actual. REMUS 2023. https://doi.org/10.59420/remus.10.2023.178.
9. T S, Arumugam T, Pandurangan H, Panjaiyan K. Adopción de la Inteligencia Artificial en la Atención Sanitaria: Una perspectiva enfermera. Salud, Ciencia y Tecnología 2023;3:510. https://doi.org/10.56294/saludcyt2023510.
10. Cano CAG, Castillo VS, Gallego TAC. Unveiling the Thematic Landscape of Generative Pre-trained Transformer (GPT) Through Bibliometric Analysis. Metaverse Basic and Applied Research 2023;2:33-33. https://doi.org/10.56294/mr202333.
11. Luna GJJ. Study on the impact of artificial intelligence tools in the development of university classes at the school of communication of the Universidad Nacional José Faustino Sánchez Carrión. Metaverse Basic and Applied Research 2023;2:51-51. https://doi.org/10.56294/mr202351.
12. Castillo-González W, Lepez CO, Bonardi MC. Chat GPT: a promising tool for academic editing. Data and Metadata 2022;1:23. https://doi.org/10.56294/dm202223.
13. Jiménez JV, Leyva LLL, Leon AM. ChatGPT e inteligencia artificial, señal de alerta para el proceso editorial de revistas médicas. Revista Cubana de Información en Ciencias de la Salud 2023;34.
14. Ledo MJV, Olite FMD, Vera IA, Suárez I del RM, Domínguez AMA, Pedro JYP. Chat en la educación médica. Educación Médica Superior 2023;37.
15. Carrasco JP, García E, Sánchez DA, Porter E, De La Puente L, Navarro J, et al. ¿Es capaz “ChatGPT” de aprobar el examen MIR de 2022? Implicaciones de la inteligencia artificial en la educación médica en España. Rev Esp Edu Med 2023;4. https://doi.org/10.6018/edumed.556511.
16. Alfertshofer M, Hoch CC, Funk PF, Hollmann K, Wollenberg B, Knoedler S, et al. Sailing the Seven Seas: A Multinational Comparison of ChatGPT’s Performance on Medical Licensing Examinations. Ann Biomed Eng 2023. https://doi.org/10.1007/s10439-023-03338-3.
17. Jiménez JV, Gomez EEB, Álvarez PJR. ChatGPT e inteligencia artificial: ¿obstáculo o ventaja para la educación médica superior? Educación Médica Superior 2023;37.
18. Colectivo de autores. Medicina general integral. Tomo I. Salud y medicina. vol. Vol 1. 4ta ed. La Habana: Editorial Ciencias Medicas; 2022.
19. Gutiérrez-Cirlos C, Carrillo-Pérez DL, Bermúdez-González JL, Hidrogo-Montemayor I, Carrillo-Esper R, Sánchez-Mendiola M. ChatGPT: oportunidades y riesgos en la asistencia, docencia e investigación médica. GMM 2023;159:11757. https://doi.org/10.24875/GMM.230001671.
Published
Issue
Section
License
Copyright (c) 2024 Javier Gonzalez-Argote, William Castillo-González (Author)
This work is licensed under a Creative Commons Attribution 4.0 International License.
The article is distributed under the Creative Commons Attribution 4.0 License. Unless otherwise stated, associated published material is distributed under the same licence.
