Un rapport récent met en évidence les problèmes potentiels des chatbots d'IA et leur propension à produire des réponses erronées. Le rapport détaille les résultats d'un concours organisé lors de la convention de hackers Def Con, au cours duquel les participants ont tenté de pousser les chatbots à générer des réponses problématiques. Le concours a révélé que les chatbots étaient facilement trompés pour produire des informations mathématiques et géographiques incorrectes, et étaient également enclins à délivrer des informations juridiques erronées. De plus, il a été constaté que les chatbots étaient insuffisants pour protéger les informations sensibles, plus de la moitié des solutions proposées ayant réussi à contourner les mesures de sécurité.

Cependant, les participants ont eu du mal à inciter les chatbots à excuser les violations des droits de l'homme ou à promouvoir des points de vue discriminatoires. Le rapport suggère que partir d'une fausse prémisse est la méthode la plus efficace pour manipuler les chatbots, car ils sont plus susceptibles d'accepter et de développer des affirmations ou des hypothèses incorrectes. Les résultats soulignent la nécessité pour les entreprises d'IA et les régulateurs de donner la priorité à la résolution des biais et des idées fausses des chatbots. Les exercices de red teaming, tels que le concours à Def Con, sont considérés comme précieux pour identifier les vulnérabilités et capturer une diversité de perspectives.