Niedawny raport podkreśla potencjalne problemy z chatbotami opartymi na sztucznej inteligencji i ich podatność na produkowanie nieprawidłowych odpowiedzi. Raport szczegółowo opisuje wyniki konkursu przeprowadzonego podczas konwencji hakierskiej Def Con, w którym uczestnicy próbowali nakłonić chatboty do generowania problematycznych odpowiedzi. Konkurs ujawnił, że chatboty łatwo można oszukać, aby wygenerowały nieprawidłowe informacje matematyczne i geograficzne, a także były podatne na wypowiadanie nieprawdziwych informacji prawnych. Ponadto, chatboty okazały się niewystarczające w ochronie poufnych informacji, z czego ponad połowa przedstawionych rozwiązań z powodzeniem naruszyła środki bezpieczeństwa.

Jednak uczestnicy mieli trudności z przekonaniem chatbotów do usprawiedliwiania naruszeń praw człowieka lub promowania dyskryminacyjnych poglądów. Raport sugeruje, że zaczynanie od fałszywej przesłanki jest najskuteczniejszym sposobem manipulacji chatbotami, ponieważ są one bardziej skłonne zaakceptować i rozwijać nieprawdziwe twierdzenia lub założenia. Wyniki podkreślają konieczność, aby firmy zajmujące się sztuczną inteligencją i regulujące przepisy priorytetowo zajmowały się eliminacją uprzedzeń i nieprawidłowych przekonań chatbotów. Ćwiczenia typu "czerwonej drużyny", takie jak konkurs na Def Con, są uważane za wartościowe w identyfikowaniu podatności i uwiecznianiu różnorodnych perspektyw.