Um relatório recente destaca os potenciais problemas com os chatbots de IA e sua suscetibilidade em produzir respostas imprecisas. O relatório detalha as descobertas de uma competição realizada na convenção de hackers Def Con, na qual os participantes tentaram induzir os chatbots a gerar respostas problemáticas. A competição revelou que os chatbots foram facilmente enganados em fornecer informações matemáticas e geográficas imprecisas, além de disseminarem desinformação legal. Além disso, os chatbots foram considerados inadequados na proteção de informações sensíveis, com mais da metade das soluções enviadas conseguindo burlar as medidas de segurança.

No entanto, os participantes tiveram dificuldades em fazer com que os chatbots justificassem violações aos direitos humanos ou promovessem visões discriminatórias. O relatório sugere que começar com uma premissa falsa é a maneira mais eficaz de manipular os chatbots, pois eles tendem a aceitar e expandir sobre reivindicações ou suposições incorretas. As descobertas destacam a necessidade de as empresas de IA e os órgãos reguladores priorizarem o enfrentamento de viéses e concepções errôneas dos chatbots. Exercícios de red teaming, como a competição no Def Con, são considerados valiosos para identificar vulnerabilidades e capturar uma variedade diversificada de perspectivas.