Investigadores de la Facultad de Medicina de Harvard han identificado una vulnerabilidad clara en la inteligencia artificial generativa: su incapacidad para interpretar de forma coherente datos y gráficos científicos. En un estudio publicado este mes en PLOS One, el equipo puso a prueba a ChatGPT frente a estudiantes de doctorado en un curso de biología molecular, descubriendo que la IA tenía dificultades con tareas que requerían un análisis de datos de alto nivel.
Aunque los autores plantearon inicialmente la hipótesis de que la IA tendría un buen desempeño en tareas basadas en la memorización y fallaría en el pensamiento crítico complejo, los resultados fueron más matizados. Los estudiantes de doctorado superaron a la IA en todos los aspectos, pero la brecha se debió principalmente al bajo rendimiento de la IA en tareas básicas que implicaban la aplicación y recuperación de datos.
El análisis de datos, un obstáculo para la IA
El equipo de investigación evaluó el desempeño de ChatGPT en tareas diseñadas para estudiantes de posgrado. Incluso utilizando versiones del software optimizadas específicamente para la interpretación de imágenes, la IA no logró leer ni sintetizar con precisión datos científicos en bruto. Este hallazgo sugiere que los modelos de lenguaje actuales carecen del razonamiento especializado necesario para navegar por información visual compleja en biología experimental.
"Encontramos un déficit sorprendente en la capacidad de ChatGPT para interpretar gráficos científicos y datos sin procesar, tanto en preguntas de respuesta corta como de opción múltiple", señalaron los autores. Asimismo, destacaron que, si bien una mejor ingeniería de instrucciones (prompt engineering) mejoró algunas puntuaciones, no logró cerrar la brecha en cuanto a competencia analítica.
El estudio, dirigido por investigadores como A.C. Kwong y J.J. Peters, sugiere que los docentes pueden diseñar evaluaciones fuera del aula que sean más resistentes al uso indebido de la IA centrándose en la interpretación de datos visuales. Al alejarse de las preguntas puramente descriptivas, los profesores pueden asegurarse de que los estudiantes realmente se involucren con el material en lugar de depender de atajos automatizados.
Los investigadores sostienen que estos hallazgos ofrecen una hoja de ruta para actualizar los planes de estudio académicos. Al priorizar tareas que requieran la síntesis de datos brutos, los departamentos pueden mantener el rigor académico a medida que las herramientas generativas se vuelven más accesibles. Su trabajo contó con el apoyo de una subvención de los Premios a la Innovación del Decano de la Facultad de Medicina de Harvard, centrada en la integración de la IA en la educación y la investigación.