Las alucinaciones de una herramienta de inteligencia artificial (IA) son los errores en las respuestas que, aparentemente, parecen reales, pero son datos incorrectos, falsos o inventados. Sigue siendo uno de los principales problemas de la IA y OpenAI asegura que lo ha corregido considerablemente con GPT-5. Según aclararon en su transmisión en vivo, solo fallan en el 9,6% de las veces en comparación al 12,9% de GPT-4o o que el alarmante 33% de o3.

Aunque la cantidad de alucinaciones sea menor, usarlo como reemplazo al médico podría ser catastrófico. El número que han dado indica que, aproximadamente, una de cada diez respuestas de GPT-5 podría tener fallos. OpenAI lo ha promocionado como un modelo capaz de usarse en la atención médica, pero siempre deberá estar controlado por un especialista que, en caso de que la IA dé una respuesta incorrecta, pueda corregirlo inmediatamente y no dar consejos erróneos (e incluso peligrosos) a los usuarios.

Un hombre sufre psicosis tras seguir un consejo de salud de ChatGPT

Un hombre de 60 años, con formación en nutrición, terminó hospitalizado por psicosis tras seguir durante meses un consejo de salud de ChatGPT. Él quería eliminar la sal de mesa (cloruro de sodio) de sus comidas y la IA le recomendó bromuro de sodio. Tres meses después, acudió a urgencias porque, supuestamente, su vecino quería envenenarlo. Presentaba síntomas de psicosis y un grave cuadro de bromismo.

Durante su hospitalización, los médicos detectaron deficiencias nutricionales y niveles de bromo en sangre muy alarmantes. En un principio, el paciente no comunicó a los profesionales que había estado sustituyendo la sal por bromuro por recomendación de ChatGPT. Sin embargo, cuando su estado mental mejoró, confesó que unas búsquedas en la IA lo habían llevado a tomar dicha decisión.

No se pudo acceder a las conversaciones exactas, pero todo indica que el hombre usó una versión anterior del modelo (posiblemente GPT-3,5 o 4.0). Aun así, los expertos advierten que incluso los LLM más modernos pueden generar alucinaciones inexactas que dañen la salud de los usuarios. Por lo general, ChatGPT-5 y otros modelos más recientes manejan mejor este tipo de consultas y piden aclaraciones antes de dar consejos de salud. No obstante, una mala interpretación o una respuesta errónea podría afectar gravemente a la salud.

La cibercondría o hipocondría digital es un concepto que se utiliza para hacer referencia a la preocupación excesiva por la salud tras buscar síntomas médicos en Internet. Con el auge de la IA, los usuarios han sustituido las búsquedas en Google por ChatGPT o Gemini. Estos modelos dan consejos de cómo resolver ciertos problemas de salud, pero es recomendable siempre ir al médico y seguir las indicaciones de un profesional.

Pese a que OpenAI presuma que GPT-5 solamente alucina el 9,6% de las veces, su uso para preguntar por enfermedades o dolencias no está aconsejado. Cuando la empresa habla de usarlo en la atención médica, posiblemente se refiera a que los expertos en salud pueden emplearlo para agilizar las citas con pacientes. A pesar de ello, el profesional tendrá que revisar la información dada por la IA para sacar una conclusión formada y sin equivocaciones. Por lo tanto, un usuario nunca debería usar ChatGPT como remplazo del médico. 

 

Fuente: adslzone