Un rapport récent met en évidence les différentes manières dont les chatbots d'IA peuvent dysfonctionner. Le rapport se concentre sur les résultats d'un concours organisé lors de la convention des pirates informatiques Def Con, où les participants ont tenté de provoquer huit des principaux chatbots d'IA pour obtenir des réponses problématiques. Les résultats révèlent qu'il est difficile de tromper les chatbots d'IA afin de les faire violer leurs règles, mais qu'il est facile de les amener à produire des inexactitudes. Les chatbots ont affiché un taux élevé de réussite pour générer des informations mathématiques erronées et des désinformations géographiques. De plus, ils étaient souvent enclins à fournir des désinformations juridiques et n'étaient pas compétents pour protéger les informations sensibles. En revanche, les participants ont eu du mal à inciter les chatbots à excuser des violations des droits de l'homme ou à porter des jugements sur la valeur de certains groupes.

Le rapport suggère qu'il est plus judicieux de manipuler les chatbots en partant d'une fausse prémisse que d'utiliser des techniques traditionnelles de piratage. Les auteurs affirment que les entreprises spécialisées dans l'IA devraient se concentrer sur la lutte contre les biais et les idées fausses plutôt que sur des manipulations de prompts élaborées. Le rapport intervient à un moment où les entreprises d'IA et les régulateurs utilisent de plus en plus des exercices de "red teaming" pour évaluer les risques des systèmes d'IA. Ces exercices font appel à l'aide du public et recueillent des perspectives diverses. Bien que les modèles d'IA aient fait des progrès pour contrer les formes plus simples de piratage de prompts, des vulnérabilités liées aux conversations plus longues subsistent encore. Le rapport conclut que l'industrie doit continuer à éprouver les techniques pour se préparer à d'éventuels préjudices futurs.