Bedrifter kan ha cybersikkerhetsteam på plass, likevel forblir mange uforberedt på måtene AI-systemer faktisk svikter på, ifølge en AI-sikkerhetsforsker. Sander Schulhoff, forfatter av en av de første veiledningene om prompt engineering og en ekspert på sårbarheter i AI-systemer, uttalte i en nylig episode av "Lenny's Podcast" som ble utgitt søndag at mange organisasjoner mangler personell med nødvendig kompetanse for å forstå og håndtere AI-sikkerhetsrisikoer. Tradisjonelle cybersikkerhetsteam er trent til å fikse bugs og håndtere kjente sårbarheter, men AI oppfører seg annerledes. "Du kan utbedre en feil, men du kan ikke utbedre en hjerne, " forklarte Schulhoff, og understreket det han ser som en grunnleggende avstand mellom hvordan sikkerhetsteam tilnærmer seg problemer og hvordan store språkmodeller feiler. "Det er en avstand mellom hvordan AI fungerer og tradisjonell cybersikkerhet, " la han til. Dette gapet blir tydelig i praktiske implementasjoner. Cybersikkerhetseksperter kan undersøke et AI-system for tekniske problemer uten å vurdere: "Hva om noen manipulerer AI-en til å utføre noe uhensiktsmessig?" bemerket Schulhoff, som leder en plattform for prompt engineering og en AI-red-teaming hackathon. I motsetning til vanlig programvare kan AI-systemer påvirkes gjennom språk og subtile instrukser, understreket han. Schulhoff nevnte at personer med erfaring innen både AI-sikkerhet og tradisjonell cybersikkerhet ville vite hvordan de skal svare hvis en AI-modell blir lurt til å generere skadelig kode – for eksempel ved å kjøre koden i en isolert container for å forhindre at AI-ens utfall skader det bredere systemet. Han mener at sammensmeltingen av AI-sikkerhet og konvensjonell cybersikkerhet representerer "fremtidens sikkerhetsjobber. " Fremveksten av AI-sikkerhets-startups Schulhoff kritiserte også mange AI-sikkerhets-startups for å promotere sikkerhetsbarrierer som ikke gir reell beskyttelse.

Siden AI-systemer kan manipuleres gjennom utallige taktikker, er påstander om at disse verktøyene kan "fange alt" villedende. "Det er helt feil, " svarte han, og spådde en markedskorreksjon hvor "inntektene vil krympe drastisk for disse barrierene og automatiserte red-teaming-selskaper. " AI-sikkerhets-startups har dratt nytte av sterkt investeringsinteresse. Både store teknologiselskaper og risikokapitalfond har investert tungt i dette området mens selskaper kjemper om å sikre sine AI-systemer. I mars kjøpte Google AI-sikkerhets-startupen Wiz for 32 milliarder dollar for å styrke sine skytjenester innen sikkerhet. Google CEO Sundar Pichai innrømmet at AI bringer "nye risikoer" i en tid der multi-cloud og hybridmiljøer blir mer utbredt. "I denne forbindelse søker organisasjoner cybersikkerhetsløsninger som forbedrer skysikkerheten på tvers av flere skyer, " la han til.