Niedawno opublikowany raport podkreśla różne sposoby, w jakie chatboty oparte na sztucznej inteligencji mogą działać źle. Raport skupia się na wynikach zawodów przeprowadzonych podczas konwentu hackerów Def Con, gdzie uczestnicy starali się sprowokować osiem wiodących chatbotów AI do generowania problematycznych odpowiedzi. Wyniki pokazują, że podstępienie chatbotów AI, aby naruszyły swoje zasady jest trudne, podczas gdy wywołanie u nich niedokładności jest łatwe. Chatboty odnosiły duży sukces w generowaniu błędnych informacji matematycznych i geograficznych. Ponadto, często dostarczały błędnych informacji prawnych i nie umiały skutecznie chronić poufnych danych. Z drugiej strony, uczestnicy mieli trudności w nakłonieniu chatbotów do usprawiedliwiania naruszeń praw człowieka lub wydawania osądów na temat wartości określonych grup.

Raport sugeruje, że zaczynając od fałszywej tezy łatwiej jest manipulować chatbotami niż tradycyjnymi technikami hakowania. Autorzy argumentują, że firmy zajmujące się sztuczną inteligencją powinny skupić się na eliminowaniu uprzedzeń i nieporozumień, a nie na skomplikowanych technikach łamania zasad. Raport pojawia się w czasie, gdy firmy AI i regulatorzy coraz częściej korzystają z ćwiczeń "czerwonej drużyny", aby ocenić ryzyko systemów AI. Te ćwiczenia angażują pomoc publiczną i uwzględniają różnorodne perspektywy. Podczas gdy modele AI zrobiły postępy w kwestii łatwiejszych form hakowania, wciąż istnieją słabości związane z długimi rozmowami. Raport stwierdza, że branża musi nadal testować techniki, aby przygotować się na potencjalne przyszłe szkody.