En nyligen publicerad rapport belyser de potentiella problemen med AI-chattrånare och deras mottaglighet för att ge felaktiga svar. Rapporten redogör för resultaten från en tävling som hölls vid hackerkonventionen Def Con, där deltagarna försökte lura chattrånarna till att generera problematiska svar. Tävlingen visade att chattrånarna lätt kunde luras till att ge felaktiga matematiska och geografiska uppgifter, samt att de också hade en tendens att sprida juridiskt felaktig information. Dessutom visade det sig att chattrånarna var otillräckliga när det kom till att skydda känslig information, då över hälften av de inlämnade lösningarna lyckades kringgå säkerhetsåtgärderna.

Däremot hade tävlingsdeltagarna svårt att få chattrånarna att försvara brott mot mänskliga rättigheter eller främja diskriminerande åsikter. Rapporten föreslår att utgå från en felaktig premiss är det mest effektiva sättet att manipulera chattrånarna, eftersom de är mer benägna att acceptera och utveckla felaktiga påståenden eller antaganden. Resultaten belyser behovet av att AI-företag och regleringsorgan prioriterar att hantera partiskhet och missuppfattningar hos chattrånarna. Så kallade "red-teaming"-övningar, liknande tävlingen vid Def Con, anses vara värdefulla för att identifiera sårbarheter och fånga upp en mångfald av perspektiv.