Een recent rapport benadrukt de verschillende manieren waarop AI-chatbots verkeerd kunnen gaan. Het rapport richt zich op de resultaten van een wedstrijd op de Def Con-hackerconventie, waar deelnemers probeerden om acht toonaangevende AI-chatbots uit te dagen om problematische reacties te genereren. De bevindingen onthullen dat het moeilijk is om AI-chatbots te misleiden in het overtreden van hun regels, maar dat het moeiteloos is om ze onnauwkeurige informatie te laten produceren. De chatbots bleken hoog in het genereren van foutieve wiskundige en geografische desinformatie. Daarnaast waren ze geneigd om juridische desinformatie te verstrekken en waren ze niet bedreven in het beschermen van gevoelige informatie. Aan de andere kant hadden de deelnemers moeite om chatbots aan te zetten tot het rechtvaardigen van mensenrechtenschendingen of het vellen van oordelen over de waarde van bepaalde groepen.

Het rapport suggereert dat het starten met een valse premisse een succesvollere manier is om chatbots te manipuleren dan traditionele hacktechnieken. De auteurs betogen dat AI-bedrijven zich moeten richten op het aanpakken van vooroordelen en misvattingen in plaats van uitgebreide prompt-hacks. Het rapport komt op een moment waarop AI-bedrijven en regelgevers steeds vaker gebruik maken van "red team" oefeningen om risico's van AI-systemen te evalueren. Deze oefeningen maken gebruik van de hulp van het publiek en vangen diverse perspectieven. Hoewel AI-modellen vooruitgang hebben geboekt in het adresseren van eenvoudigere vormen van prompt hacking, bestaan er nog steeds kwetsbaarheden met betrekking tot langdurige conversaties. Het rapport concludeert dat de industrie technieken moet blijven testen om zich voor te bereiden op mogelijke toekomstige schade.