Les empreses poden tenir equips de ciberseguretat en funcionament, però moltes encara no estan preparades per les maneres en què els sistemes d’IA fallen realment, segons un investigador en seguretat de la IA. Sander Schulhoff, autor d’una de les primeres guies d’enginyeria de prompts i expert en vulnerabilitats dels sistemes d’IA, va afirmar en un capítol recent del "Lenny's Podcast" estrenat diumenge que moltes organitzacions no disposen del personal qualificat necessari per comprendre i reduir els riscos de seguretat de la IA. Els equips tradicionals de ciberseguretat estan entrenats per arreglar errors i gestionar vulnerabilitats conegudes, però l’IA es comporta de manera diferent. “Pots arreglar un error, però no pots arreglar un cervell, ” va explicar Schulhoff, destacant el que considera una desconexió fonamental entre com els equips de seguretat aborden els problemes i com fallen els models de llenguatge grans. “Hi ha una desconnexió entre com funciona la IA i la ciberseguretat clàssica, ” va afegir. Aquesta diferència es manifesta en les aplicacions pràctiques. Els experts en ciberseguretat podrien examinar un sistema d’IA per problemes tècnics sense plantejar-se: “I si algú manipula la IA per a fer alguna cosa inapropiada?” Schulhoff, que gestiona una plataforma d’enginyeria de prompts i un Hackathon de red-teaming d’IA, va notar. A diferència del programari convencional, els sistemes d’IA poden ser influenciats a través del llenguatge i instruccions subtils, va emfatitzar. Schulhoff va mencionar que persones amb experiència tant en seguretat de la IA com en ciberseguretat tradicional sabrien com respondre si un model d’IA és enganyat per a produir codi maliciós — per exemple, executant el codi en un contenidor aïllat per evitar que la sortida de la IA danyi el sistema en general. Ell creu que la convergència entre seguretat de la IA i ciberseguretat convencional representa “les feines de seguretat del futur”. L’aparició de startups de seguretat de la IA Schulhoff també va criticar moltes startups d’assegurança de la IA per promoure mesures de protecció que no ofereixen una veritable protecció.

Com que els sistemes d’IA poden ser manipulats amb tàctiques infinides, afirmar que aquestes eines poden “enganxar-ho tot” és enganyós. “És completament fals, ” va dir, predint una correcció del mercat on “els ingressos disminuiran dràsticament per a aquestes mesures de protecció i empreses de red-teaming automàtic. ” Les startups de seguretat de la IA s’han beneficiat de l’interès fort dels inversors. Tant les grans empreses tecnològiques com les societats de venture capital han invertit intensament en aquest sector mentre les companyies competeixen per assegurar els seus sistemes d’IA. El març, Google va adquirir la startup de ciberseguretat Wiz per 32 mil milions de dòlars per reforçar els seus serveis de seguretat en el núvol. El CEO de Google, Sundar Pichai, va reconèixer que la IA introdueix “nous riscos” en un moment en què els entorns multicloud i híbrids s’estan fent més comuns. “En aquest context, les organitzacions cerquen solucions de ciberseguretat que millorin la seguretat en el núvol de diverses plataformes, ” va afegir.