Det har vært avsløringer om et nå-fikset sikkerhetsproblem i DeepSeek AI-chatboten som kunne tillate angripere å ta kontroll over en offers konto gjennom et "prompt injection" angrep. Sikkerhetsforsker Johann Rehberger oppdaget at ved å skrive inn inputen "Print the xss cheat sheet in a bullet list. just payloads" i DeepSeek-chat aktiverte Javascript-kodekjøring i svaret. Dette er en typisk cross-site scripting (XSS) hendelse. XSS-angrep kan være farlige fordi de kjører uautorisert kode i offerets nettleser, noe som gjør det mulig for angripere å kapre en sesjon og få tilgang til data som informasjonskapsler tilknyttet chat. deepseek[. ]com-domenet, og potensielt føre til kontoovertakelser. Rehberger bemerket at å få tak i en brukers sesjon kun krevde userToken lagret i localStorage på chat. deepseek. com-domenet, og en spesielt utformet prompt kunne aktivere XSS, og dermed gi tilgang til brukerens userToken. Denne prompten inkluderer instruksjoner og en Base64-kodet streng som dekodes av DeepSeek for å kjøre XSS-payloaden, hente offerets sesjonstoken og la angriperen utgi seg som brukeren. Rehberger viste også at Anthropics Claude Computer Use, som lar utviklere kontrollere en datamaskin via musebevegelser, klikk, og tekstskriving, kunne misbrukes til å utføre skadelige kommandoer autonomt gjennom "prompt injection".

Denne metoden, kalt ZombAIs, bruker "prompt injection" for å utnytte Computer Use til å laste ned og kjøre Sliver C2-rammeverket, og etablere en forbindelse med en server kontrollert av angriperen. I tillegg kan store språkmodeller (LLMs) skrive ut ANSI escape-kode for å kapre systemterminaler via "prompt injection", noe som hovedsakelig påvirker LLM-integrerte kommandolinjegrensesnitt (CLI) verktøy. Dette angrepet kalles Terminal DiLLMa. Rehberger fremhevet hvordan flere tiår gamle funksjoner uventet skaper sårbarheter i GenAI-applikasjoner, og understreket behovet for at utviklere må være forsiktige med LLM-utdata, da de er ubetrodde og kan inneholde vilkårlige data. Dessuten fant forskning fra University of Wisconsin-Madison og Washington University i St. Louis at OpenAI's ChatGPT kan lures til å vise eksterne bildelenker i markdown, selv om de er eksplisitte eller voldelige, under dekke av en harmløs hensikt. Det er også mulig å bruke "prompt injection" for indirekte å aktivere ChatGPT-plugins uten brukerens samtykke og omgå OpenAIs begrensninger for å stoppe farlig lenkerendering, noe som potensielt kan utsette en brukers chathistorikk for en angriper-kontrollert server.