Los chatbots de inteligencia artificial de empresas tecnológicas líderes como OpenAI y Google han estado recibiendo mejoras en su capacidad de razonamiento en los últimos meses para aumentar la fiabilidad de sus respuestas. Sin embargo, pruebas recientes revelan que algunos de los modelos más nuevos funcionan peor que versiones anteriores, exhibiendo un fenómeno llamado "alucinaciones"— errores en los que los chatbots generan información falsa o proporcionan respuestas que, aunque sean factualmente correctas, son irrelevantes o no cumplen con las instrucciones. Este problema ha persistido desde el inicio de los grandes modelos de lenguaje (LLMs), como ChatGPT de OpenAI y Gemini de Google, y parece poco probable que se resuelva por completo. Un informe técnico de OpenAI mostró que sus modelos o3 y o4-mini lanzados en abril tenían tasas de alucinaciones significativamente mayores que el antiguo modelo o1 de finales de 2024: o3 tenía una tasa del 33%, o4-mini del 48%, en comparación con el 16% de o1, al resumir hechos disponibles públicamente. De manera similar, la lista de clasificación de Vectara que monitorea las tasas de alucinaciones encontró que algunos modelos de razonamiento, incluido DeepSeek-R1, experimentaron aumentos notables en las alucinaciones en comparación con sus predecesores, a pesar de su enfoque de razonamiento en múltiples pasos antes de responder. OpenAI sostiene que los procesos de razonamiento no son inherentemente responsables del aumento de las alucinaciones y está investigando activamente formas de reducir estas en todos los modelos. La persistencia de las alucinaciones amenaza varias aplicaciones: modelos que frecuentemente generan falsedades dificultan la asistencia en investigación; los bots paralegales que citan casos inexistentes pueden cometer errores legales; los bots de servicio al cliente con información desactualizada generan problemas operativos. Al principio, las empresas de IA esperaban que las alucinaciones disminuyeran con el tiempo, ya que las primeras actualizaciones de modelos mostraron mejoras. Sin embargo, los niveles más altos recientes desafían esa perspectiva, independientemente de la participación del razonamiento. La lista de clasificación de Vectara indica que las tasas de alucinaciones son aproximadamente iguales en modelos de razonamiento y sin razonamiento de OpenAI y Google, aunque los números exactos importan menos que los rankings relativos.

Google se negó a comentar. No obstante, estos rankings tienen sus limitaciones. Mezclan diferentes tipos de alucinaciones; por ejemplo, la tasa del 14. 3% en DeepSeek-R1 se compone principalmente de casos “benignos”: respuestas lógicamente sólidas y respaldadas por conocimientos, pero ausentes en el texto fuente. Además, las pruebas basadas únicamente en resumen de textos pueden no reflejar las frecuencias de alucinaciones en otras tareas, ya que los LLMs no están diseñados específicamente para resumir. Emily Bender, de la Universidad de Washington, destaca que estos modelos predicen las palabras siguientes más probables, en lugar de procesar la información para entender verdaderamente el texto, lo que hace que el término "alucinación" sea engañoso y anthropomórfico. Bender critica que el concepto de "alucinación" sea problemático porque implica que los errores son aberraciones en sistemas generalmente confiables y atribuye percepción humana a la IA, que no "percibe" en ningún sentido. Arvind Narayanan, de Princeton, añade que los modelos también fallan al confiar en datos poco confiables o desactualizados, y simplemente agregar más datos de entrenamiento o potencia de cálculo no ha resuelto estos problemas. En consecuencia, que la IA cometa errores podría ser una realidad duradera. Narayanan sugiere utilizar estos modelos solo cuando la verificación de hechos sea más rápida que realizar una investigación original, mientras que Bender recomienda evitar confiar en chatbots de IA para información factual en general.