Chatbots de IA de empresas de tecnologia líderes como OpenAI e Google têm recebido melhorias de raciocínio nos últimos meses para aumentar a confiabilidade das respostas. No entanto, testes recentes revelam que alguns modelos mais novos apresentam desempenho pior que versões anteriores, exibindo um fenômeno chamado "alucinações" — erros onde os chatbots geram informações falsas ou fornecem respostas que, embora factualmente corretas, são irrelevantes ou não seguem as instruções. Esse problema persiste desde o surgimento de grandes modelos de linguagem (LLMs), como o ChatGPT da OpenAI e o Gemini do Google, e parece improvável que seja totalmente resolvido. Um relatório técnico da OpenAI mostrou que seus modelos o3 e o4-mini, lançados em abril, apresentaram taxas de alucinação significativamente maiores que o modelo mais antigo o1, do final de 2024: o3 tinha uma taxa de 33%, o4-mini de 48%, contra 16% do o1, ao resumir fatos publicamente disponíveis. De forma semelhante, o leaderboard da Vectara que acompanha as taxas de alucinação constatou que alguns modelos de raciocínio — incluindo o DeepSeek-R1 — tiveram aumentos notáveis nas alucinações em relação aos seus predecessores, apesar de usarem raciocínio em múltiplas etapas antes de responderem. A OpenAI mantém que processos de raciocínio não são, por si só, responsáveis pelo aumento das alucinações e está pesquisando ativamente maneiras de reduzir esses erros em todos os modelos. A persistência das alucinações ameaça várias aplicações: modelos que frequentemente produzem informações falsas dificultam a assistência em pesquisas; bots paralegais citando casos inexistentes arriscam erros jurídicos; bots de atendimento ao cliente com informações desatualizadas causam problemas operacionais. Inicialmente, as empresas de IA esperavam que as alucinações diminuíssem com o tempo, pois atualizações iniciais de modelos mostraram melhorias. Entretanto, os níveis mais altos de alucinação recentes desafiam essa expectativa, independentemente do envolvimento do raciocínio. O leaderboard da Vectara indica que as taxas de alucinação são aproximadamente iguais em modelos de raciocínio versus não raciocínio, da OpenAI e do Google, embora os números exatos tenham menos importância que as posições relativas na classificação.

O Google optou por não comentar. No entanto, tais classificações têm limitações. Elas mesclam diferentes tipos de alucinação; por exemplo, a taxa de 14, 3% do DeepSeek-R1 compõe principalmente casos “benignos”—respostas logicamente consistentes e sustentadas pelo conhecimento, mas ausentes do texto fonte. Além disso, testes baseados apenas em sumarização de textos podem não refletir as frequências de alucinação em outras tarefas, já que os LLMs não são projetados especificamente para resumir. Emily Bender, da Universidade de Washington, destaca que esses modelos predizem palavras próximas às que vêm a seguir, em vez de processar informação para compreender de fato o texto, tornando o termo “alucinação” tanto enganoso quanto antropomórfico. Bender critica o uso de “alucinação” por ser problemático, pois sugere que erros são aberrações em sistemas geralmente confiáveis e atribui percepção semelhante à humana à IA, a qual não “percebe” de nenhuma maneira. Arvind Narayanan, de Princeton, acrescenta que os modelos também erram ao depender de dados não confiáveis ou desatualizados, e simplesmente aumentar os dados de treinamento ou o poder de cálculo não resolveu esses problemas. Portanto, uma IA propensa a erros pode ser uma realidade duradoura. Narayanan sugere usar esses modelos apenas quando a verificação de fatos for mais rápida que realizar pesquisas adicionais, enquanto Bender recomenda evitar a dependência de chatbots de IA para informações factuais.