Virksomheder kan have cybersikkerhedsteams på plads, men mange er stadig uforberedte på de måder, AI-systemer faktisk fejler på, ifølge en AI-sikkerhedsforsker. Sander Schulhoff, forfatter til en af de første vejledninger i prompt engineering og ekspert i AI-systemers sårbarheder, sagde i en nylig episode af "Lenny's Podcast", der blev udgivet søndag, at adskillige organisationer mangler det kvalificerede personale, der er nødvendigt for at forstå og afbøde AI-sikkerhedsrisici. Traditionelle cybersikkerhedsteams er trænet til at rette fejl og håndtere kendte sårbarheder, men AI opfører sig anderledes. "Man kan lave en patch til en fejl, men man kan ikke patch'e en hjerne, " forklarede Schulhoff, hvilket understregede, hvad han ser som en grundlæggende disconnect mellem, hvordan sikkerhedsteams tilgår problemer, og hvordan store sprogmodeller fejler. "Der er et misforhold mellem, hvordan AI fungerer, og klassisk cybersikkerhed, " tilføjede han. Denne kløft bliver tydelig i praktiske implementeringer. Cybersikkerhedseksperter kan undersøge et AI-system for tekniske problemer uden at overveje: "Hvad nu hvis nogen manipulerer AI'en til at udføre noget upassende?" bemærkede Schulhoff, der styrer en prompt engineering-platform og en AI-red-teaming hackathon. I modsætning til konventionel software kan AI-systemer påvirkes gennem sprog og subtile instruktioner, understregede han. Schulhoff nævnte, at personer med erfaring inden for både AI-sikkerhed og traditionel cybersikkerhed vil vide, hvordan man skal reagere, hvis en AI-model bliver narret til at producere skadelig kode—for eksempel ved at køre koden i en isoleret container for at forhindre, at AI'ens output skader det bredere system. Han mener, at sammenløbet mellem AI-sikkerhed og konventionel cybersikkerhed repræsenterer "de sikkerhedsjob, der kommer i fremtiden. " Fremkomsten af AI-sikkerhedsstartups Schulhoff kritiserede også mange AI-sikkerheds-startups for at promovere grænser, der ikke giver reel beskyttelse.

Eftersom AI-systemer kan manipuleres med utallige taktikker, er påstande om, at disse værktøjer kan "fange alt, " vildledende. "Det er fuldstændig forkert, " sagde han og spåede en markedskorrektion, hvor "indtægterne vil falde drastisk for disse grænsebomme og automatiserede red-teaming-virksomheder. " AI-sikkerheds-startups har nydt godt af stærk investorinteresse. Både store teknologivirksomheder og venturekapitalfirmaer har investeret massivt i sektoren, mens virksomheder kæmper om at beskytte deres AI-systemer. I marts opkøbte Google cybersecurity-startupet Wiz for 32 milliarder dollars for at styrke sine cloud-sikkerhedstjenester. Google CEO Sundar Pichai erkendte, at AI introducerer "nye risici, " i en tid hvor multi-cloud og hybride miljøer bliver mere udbredte. "På denne baggrund søger organisationer cybersikkerhedsløsninger, der forbedrer sikkerheden på tværs af flere skyer, " tilføjede han.