Le aziende possono avere team di cybersecurity in servizio, eppure molte rimangono impreparate alle modalità in cui i sistemi di intelligenza artificiale (IA) falliscono realmente, secondo un ricercatore specializzato nella sicurezza dell'IA. Sander Schulhoff, autore di una delle prime guide all'ingegneria dei prompt e esperto di vulnerabilità dei sistemi di IA, ha dichiarato in un episodio recente del "Lenny's Podcast" uscito domenica che numerose organizzazioni mancano delle risorse specializzate necessarie per comprendere e mitigare i rischi di sicurezza dell'IA. I team di cybersecurity tradizionali sono addestrati a risolvere bug e a gestire vulnerabilità note, ma il comportamento dell'IA è diverso. "Puoi correggere un bug, ma non puoi correggere un cervello, " ha spiegato Schulhoff, evidenziando quella che vede come una fondamentale discrepanza tra il modo in cui i team di sicurezza affrontano i problemi e il modo in cui crollano i modelli linguistici di grandi dimensioni. "C’è una discrepanza tra il funzionamento dell’IA e la cybersecurity classica, " ha aggiunto. Questa distanza diventa evidente nelle applicazioni pratiche. Gli esperti di cybersecurity potrebbero esaminare un sistema di IA alla ricerca di problemi tecnici senza considerare: "E se qualcuno manipola l’IA per farne qualcosa di scorretto?" Schulhoff, che gestisce una piattaforma di ingegneria dei prompt e un hackathon di red-teaming sull’IA, ha osservato. A differenza del software convenzionale, i sistemi di IA possono essere influenzati attraverso il linguaggio e istruzioni sottili, ha sottolineato. Schulhoff ha menzionato che coloro con esperienza sia in sicurezza dell’IA che in cybersecurity tradizionale saprebbero come rispondere se un modello di IA fosse truccato per generare codice dannoso—fornendo ad esempio che si può eseguire il codice in un contenitore isolato per impedire che l'output dell’IA danneggi il sistema più ampio. È convinto che la convergenza tra sicurezza dell’IA e cybersecurity convenzionale rappresenti "il lavoro di sicurezza del futuro. " L’emergere delle startup di sicurezza dell’IA Schulhoff ha anche criticato molte startup di sicurezza dell’IA per aver promosso barriere di protezione che risultano inefficaci.

Poiché i sistemi di IA possono essere manipolati attraverso tattiche infinite, le affermazioni che questi strumenti possano " acchiappare tutto" sono ingannevoli. "È completamente falso, " ha affermato, prevedendo una correzione di mercato in cui "il fatturato di queste barriere e delle aziende di red-teaming automatizzato si ridurrà drasticamente. " Le startup di sicurezza dell’IA stanno beneficiando di un forte interesse da parte degli investitori. Sia Big Tech che i venture capital hanno investito pesantemente in questo settore mentre le aziende competono per mettere in sicurezza i loro sistemi di IA. A marzo, Google ha acquisito la startup di cybersecurity Wiz per 32 miliardi di dollari per rafforzare i suoi servizi di sicurezza cloud. Il CEO di Google, Sundar Pichai, ha riconosciuto che l’IA introduce "nuovi rischi" mentre ambienti multi-cloud e ibridi diventano più diffusi. "In questo contesto, le organizzazioni cercano soluzioni di cybersecurity che migliorino la sicurezza del cloud attraverso più ambienti cloud, " ha aggiunto.