Een recent rapport belicht de potentiële problemen met AI-chatbots en hun vatbaarheid voor het produceren van onjuiste antwoorden. Het rapport beschrijft de bevindingen van een wedstrijd gehouden op de hackerconventie Def Con, waarin deelnemers probeerden chatbots te verleiden tot het genereren van problematische reacties. De wedstrijd onthulde dat chatbots gemakkelijk werden misleid tot het produceren van onnauwkeurige wiskundige en geografische informatie, en ook vatbaar waren voor het spuien van juridische misinformatie. Bovendien bleken chatbots ontoereikend in het beschermen van gevoelige informatie, waarbij meer dan de helft van de ingezonden oplossingen erin slaagde beveiligingsmaatregelen te doorbreken.

Daarentegen hadden de deelnemers moeite om chatbots te laten rechtvaardigen dat fundamentele mensenrechten worden geschonden of om discriminerende standpunten te bevorderen. Het rapport suggereert dat het starten vanuit een onjuiste veronderstelling de meest effectieve manier is om chatbots te manipuleren, omdat ze eerder geneigd zijn onjuiste claims of aannames te accepteren en uit te werken. De bevindingen benadrukken de noodzaak voor AI-bedrijven en regelgevers om prioriteit te geven aan het aanpakken van vooringenomenheid en misvattingen van chatbots. Red-teaming oefeningen, zoals de wedstrijd op Def Con, worden gezien als waardevol om kwetsbaarheden te identificeren en een diverse reeks perspectieven vast te leggen.