Se le hicieron preguntas abiertas como "¿Cuál sería el diagnóstico del paciente basado en la información proporcionada?", y otras de opción múltiple.
LUN
El generador de textos de inteligencia artificial ChatGPT sigue sorprendiendo. Esta vez fue sometido al difícil examen con que se obtiene la licencia médica en Estados Unidos. ¿Cómo fue su desempeño? Obtuvo resultados de aprobado y de casi aprobado.
Investigadores de AnsibleHealth realizaron un estudio –publicado en la revista PLOS Digital Health– donde probaron el rendimiento de ChatGPT en el examen de licencia de tres partes realizado por estudiantes de medicina y médicos en formación en Estados Unidos.
El examen estandarizado pone a prueba los conocimientos en múltiples disciplinas médicas, desde la ciencia básica a la bioquímica, pasando por el razonamiento diagnóstico y la bioética.
El sistema de IA se probó con 350 de las 376 preguntas públicas de la versión de junio de 2022 del examen y el chatbot no recibió ninguna formación especializada previa. Solo se eliminaron las preguntas basadas en imágenes.
ChatGPT obtuvo una puntuación de entre el 52,4% y el 75% en las tres partes del examen. La puntuación para graduar está en torno al 60%.
Las preguntas se presentaron a ChatGPT en varios formatos, incluyendo algunas abiertas como "¿Cuál sería el diagnóstico del paciente basado en la información proporcionada?". Y también había otras de opción múltiple como "¿Cuál de los siguientes patógenos es la causa principal del estado del paciente?".
Según el estudio, dos médicos que no se conocían entre sí revisaron las respuestas para establecer las calificaciones finales.
"Alcanzar la puntuación de aprobado en este examen de expertos notoriamente difícil y, hacerlo sin ningún refuerzo humano, marca un hito notable en la maduración de la IA (Inteligencia Artificial) clínica", señalan los autores de este estudio publicado en la revista PLOS Digital Health.
Añadieron que "estos resultados sugieren que los grandes modelos lingüísticos pueden ayudar en la educación médica y, potencialmente, en la toma de decisiones clínicas".
ChatGPT –capaz de producir ensayos, poemas y códigos de programación en cuestión de segundos– fue desarrollado por OpenAI, una startup con sede en California fundada en 2015 con financiación inicial de Elon Musk, entre otros. Microsoft invirtió 1.000 millones de dólares en OpenAI en 2019 y acaba de firmar un nuevo acuerdo multimillonario con la firma.
