Pojawiły się informacje o naprawionym teraz problemie bezpieczeństwa w chatbotie DeepSeek AI, który mógł umożliwić atakującym przejęcie kontroli nad kontem ofiary poprzez atak wstrzykiwania poleceń. Badacz bezpieczeństwa Johann Rehberger odkrył, że wpisanie komendy "Print the xss cheat sheet in a bullet list. just payloads" w czacie DeepSeek aktywowało wykonanie kodu JavaScript w odpowiedzi. To typowy incydent cross-site scripting (XSS). Ataki XSS mogą być niebezpieczne, ponieważ uruchamiają nieautoryzowany kod w przeglądarce ofiary, umożliwiając atakującym przejęcie sesji i dostęp do danych, takich jak cookies związane z domeną chat. deepseek[. ]com, co może prowadzić do przejęcia konta. Rehberger zauważył, że uzyskanie sesji użytkownika wymagało jedynie userToken zapisanego w localStorage w domenie chat. deepseek. com, a specjalnie skonstruowane polecenie mogło aktywować XSS, umożliwiając dostęp do userToken użytkownika. To polecenie zawiera instrukcje oraz zakodowany w Base64 ciąg, który po dekodowaniu przez DeepSeek uruchamia XSS, wydobywając token sesji i pozwalając atakującemu na podszycie się pod użytkownika. Rehberger pokazał również, że funkcja Anthropic's Claude Computer Use, która pozwala deweloperom kontrolować komputer poprzez ruchy kursora, kliknięcia i pisanie tekstu, może być wykorzystana do autonomicznego wykonywania szkodliwych poleceń poprzez wstrzykiwanie poleceń.

Ta metoda, znana jako ZombAIs, używa wstrzykiwania poleceń, aby wykorzystać Computer Use do pobrania i uruchomienia frameworku Sliver C2, nawiązując połączenie z serwerem kontrolowanym przez atakującego. Ponadto, duże modele językowe (LLM) mogą generować kod ucieczki ANSI, aby przejąć kontrolę nad terminalami systemowymi poprzez wstrzykiwanie poleceń, co głównie dotyczy narzędzi CLI zintegrowanych z LLM. Atak ten nazywa się Terminal DiLLMa. Rehberger podkreślił, jak cechy sprzed dekad nieoczekiwanie tworzą luki w zabezpieczeniach aplikacji GenAI, podkreślając potrzebę ostrożności deweloperów względem wyników LLM, które są niepewne i mogą zawierać dowolne dane. Co więcej, badania Uniwersytetu Wisconsin-Madison i Uniwersytetu Washington w St. Louis wykazały, że ChatGPT OpenAI można oszukać, aby wyświetlał zewnętrzne linki do obrazów w formacie markdown, nawet jeśli są one jednoznaczne lub brutalne, pod pozorem nieszkodliwego celu. Możliwe jest również użycie wstrzykiwania poleceń do pośredniego aktywowania wtyczek ChatGPT bez zgody użytkownika oraz omijania ograniczeń OpenAI dotyczących niebezpiecznego renderowania linków, co potencjalnie naraża historię czatów użytkownika na atakujący serwer.