Bedrijven kunnen wel cybersecurity-teams hebben, maar velen blijven onvoorbereid op de manieren waarop AI-systemen daadwerkelijk falen, aldus een AI-beveiligingsonderzoeker. Sander Schulhoff, auteur van een van de eerste gidsen over prompt engineering en een expert op het gebied van kwetsbaarheden in AI-systemen, zei in een recente aflevering van "Lenny's Podcast" die zondag werd uitgebracht dat tal van organisaties niet over het benodigde vaardigheidspersoneel beschikken om AI-beveiligingsrisico’s te begrijpen en te beperken. Traditionele cybersecurity-teams zijn getraind om bugs te repareren en bekende kwetsbaarheden aan te pakken, maar AI gedraagt zich anders. "Je kunt een bug patchen, maar je kunt geen brein patchen, " legde Schulhoff uit, en benadrukte wat hij ziet als een fundamenteel disconnect tussen hoe beveiligingsteams problemen benaderen en hoe grote taalmodellen falen. "Er is een disconnect tussen hoe AI functioneert en klassieke cybersecurity, " voegde hij toe. Deze kloof wordt duidelijk in praktische implementaties. Cybersecurity-experts kunnen een AI-systeem controleren op technische problemen zonder zich af te vragen: "Wat als iemand de AI manipuleert om iets ongepasts te doen?" merkte Schulhoff op, die een platform voor prompt engineering en een AI red-teaming hackathon beheert. In tegenstelling tot conventionele software kunnen AI-systemen beïnvloed worden door taal en subtiele instructies, benadrukte hij. Schulhoff zei dat mensen die ervaring hebben in zowel AI-veiligheid als traditionele cybersecurity zouden weten hoe ze moeten reageren als een AI-model wordt misleid om schadelijke code te produceren—bijvoorbeeld door de code uit te voeren in een geïsoleerde container om te voorkomen dat de output van de AI schade toebrengt aan het bredere systeem. Hij gelooft dat de samenkomst van AI-beveiliging en conventionele cybersecurity de “security banen van de toekomst” vertegenwoordigt. De opkomst van AI-beveiligings-startups Schulhoff bekritiseerde ook veel AI-beveiligings-startups omdat ze beschermingsmaatregelen promoten die geen echte bescherming bieden.

Omdat AI-systemen via talloze tactieken gemanipuleerd kunnen worden, zijn de beweringen dat deze tools “alles kunnen opvangen” misleidend. "Dat is volledig onwaar, " zei hij, en voorspelde dat de markt zich zal corrigeren waarbij “de inkomsten voor deze beschermingsmaatregelen en geautomatiseerde red-teaming-bedrijven aanzienlijk zullen afnemen. ” AI-beveiligings-startups hebben geprofiteerd van sterke interesse van investeerders. Zowel grote technologiebedrijven als durfkapitalisten investeren zwaar in deze sector, terwijl bedrijven strijden om hun AI-systemen te beveiligen. In maart nam Google cybersecurity-startup Wiz over voor 32 miljard dollar om zijn clouddiensten te versterken. Google-CEO Sundar Pichai erkende dat AI “nieuwe risico’s” met zich meebrengt op een moment dat multi-cloud- en hybriedeomgevingen steeds gebruikelijker worden. “In deze context zoeken organisaties naar cybersecurity-oplossingen die de cloudbeveiliging verbeteren over meerdere clouds, ” voegde hij toe.