En nyligen publicerad rapport belyser de olika sätten på vilka AI-chatbottar kan gå fel. Rapporten fokuserar på resultaten av en tävling som hölls vid Def Con hackerkonventionen, där deltagarna försökte förmå åtta ledande AI-chatbottar att generera problematiska svar. Resultaten visar att det är utmanande att lura AI-chatbottar att bryta mot sina regler, men att få dem att producera felaktigheter är enkelt. Chattbottarna visade en hög framgångsgrad i att generera felaktig matematik och geografisk desinformation. Dessutom var de benägna att ge juridisk desinformation och var inte skickliga på att skydda känslig information. Å andra sidan kämpade tävlande för att få chatbottar att ursäkta människorättsbrott eller göra bedömningar om vissa gruppers värde.

Rapporten föreslår att börja med en falsk premiss är ett mer framgångsrikt sätt att manipulera chatbottar än traditionella hackningstekniker. Författarna argumenterar för att AI-företag bör fokusera på att hantera snedvridningar och missuppfattningar snarare än komplexa manipuleringsmetoder. Rapporten kommer vid en tidpunkt då AI-företag och regleringsorgan i allt högre grad använder "röda-team"-övningar för att utvärdera risker med AI-system. Dessa övningar involverar allmänhetens hjälp och fångar olika perspektiv. Trots att AI-modeller har gjort framsteg när det gäller enklare former av manipulering, finns det fortfarande sårbarheter kopplade till långa konversationer. Rapporten slutsatsen är att branschen måste fortsätta testa tekniker för att vara förberedd inför eventuella framtida skador.