Společnosti mohou mít v provozu týmy pro kybernetickou bezpečnost, přesto však mnoho z nich zůstává nepřipraveno na způsoby, jakými systémy AI skutečně selhávají, tvrdí výzkumník v oblasti bezpečnosti AI. Sander Schulhoff, autor jednoho z prvních průvodců po prompt engineeringu a expert na zranitelnosti AI systémů, uvedl v nedávné epizodě "Lenny’s Podcast", která byla zveřejněna v neděli, že řada organizací postrádá kvalifikovaný personál potřebný k pochopení a zmírnění rizik spojených se zabezpečením AI. Tradiční týmy kybernetické bezpečnosti jsou vyškoleny k opravám chyb a řešení známých zranitelností, ale AI se chová jinak. „Můžete zaplatit chybu, ale nemůžete napravit mozek, “ vysvětlil Schulhoff a zdůraznil, co považuje za základní rozpor mezi tím, jak se bezpečnostní týmy staví k problémům, a tím, jak selhávají velké jazykové modely. „Mezi tím, jak AI funguje, a tradiční kybernetickou bezpečností, je rozdíl, “ dodal. Tento rozpor je patrný v praktických nasazeních. Experti na kybernetickou bezpečnost mohou zkoumat AI systém z technického hlediska bez zohlednění otázky: „Co když někdo manipuluje s AI tak, aby něco nevhodného provedla?“ poznamenal Schulhoff, který spravuje platformu pro prompt engineering a hackathon zaměřený na red-teaming AI. Na rozdíl od běžného softwaru lze systém AI ovlivnit prostřednictvím jazyka a jemných instrukcí, zdůraznil. Schulhoff uvedl, že lidé se zkušenostmi jak s bezpečností AI, tak s tradiční kybernetickou bezpečností by věděli, jak zareagovat, pokud by byl model AI podveden k tvorbě škodlivého kódu – například spuštěním kódu v izolovaném kontejneru, aby se zabránilo tomu, že výstup AI poškodí širší systém. Věří, že spojení bezpečnosti AI a konvenční kybernetické bezpečnosti představuje „práce v oblasti bezpečnosti budoucnosti. “ Vznik startupů zaměřených na bezpečnost AI Schulhoff také kritizoval řadu startupů v oblasti bezpečnosti AI za propagaci zábran, které nedokážou poskytnout skutečnou ochranu.

Protože lze systémy AI manipulovat různými způsoby, tvrzení, že tyto nástroje „zachytí všechno, “ jsou klamná. „To je naprosto nesprávné, “ řekl a předpověděl tržní korekci, při níž „výnosy těchto zábran a společností zabývajících se automatickým red-teamingem se dramaticky sníží. “ Startupy v oblasti bezpečnosti AI těží z velkého zájmu investorů. Jak velké technologické firmy, tak venture kapitálové společnosti do tohoto sektoru masivně investovaly, protože firmy spěchají k zabezpečení svých AI systémů. V březnu Google koupil kybernetickou bezpečnostní startup Wiz za 32 miliard dolarů, aby posílil své cloudové bezpečnostní služby. Generální ředitel Google Sundar Pichai uznal, že AI přináší „nová rizika“ v době, kdy se stává stále důležitější multi-cloud a hybridní prostředí. „V tomto kontextu organizace hledají řešení kybernetické bezpečnosti, která zvýší bezpečnost cloudu napříč více cloudovými platformami, “ dodal.