Firmy môžu mať zriadené tímky pre kybernetickú bezpečnosť, no mnoho z nich zostáva nepripravených na spôsoby, akými systémy umelej inteligencie skutočne zlyhávajú, tvrdí výskumník bezpečnosti AI. Sander Schulhoff, autor jedného z prvých sprievodcov pre prompt engineering a expert na zraniteľnosti systémov AI, uviedol v nedávnom vydaní "Lenny’s Podcast" v nedeľu, že mnohé organizácie nemajú potrebný kvalifikovaný personál na porozumenie a zmierňovanie rizík spojených s bezpečnosťou AI. Tradičné tímy pre kybernetickú bezpečnosť sú vyškolené na opravu chýb a riešenie známych zraniteľností, ale AI sa správa odlišne. „Môžeš opraviť chybu, ale nemôžeš opraviť mozog, “ vysvetlil Schulhoff a poukázal na to, čo vníma ako základný problém medzi tým, ako tímy bezpečnosti pristupujú k problémom, a tým, ako zlyhávajú veľké jazykové modely. „Existuje konflikt medzi tým, ako AI funguje, a klasickou kybernetickou bezpečnosťou, “ dodal. Táto medzera sa ukáže pri praktickom nasadzovaní. Experti v oblasti kybernetickej bezpečnosti môžu skúmať systém AI na technické problémy bez toho, aby zvážili: „Čo keď niekto manipuluje AI, aby vykonala niečo nesprávne?“ poznamenal Schulhoff, ktorý spravuje platformu pre prompt engineering a hackathon zameraný na red-teaming AI. Na rozdiel od bežného softvéru môžu byť systémy AI ovplyvnené prostredníctvom jazyka a jemných inštrukcií, zdôraznil. Schulhoff uviedol, že ľudia so skúsenosťami v oblasti bezpečnosti AI aj tradičnej kybernetickej bezpečnosti by vedeli, ako reagovať, ak by bol model AI podvodený tak, aby generoval škodlivý kód — napríklad spustením kódu v izolovanom kontejnery, aby sa zabránilo škode na širšom systéme. Verí, že spojenie bezpečnosti AI a tradičnej kybernetickej bezpečnosti predstavuje "práca bezpečnosti budúcnosti. " Vytváranie startupov zameraných na bezpečnosť AI Schulhoff tiež kritizoval mnoho startupov v oblasti bezpečnosti AI za to, že propagujú ochranné opatrenia, ktoré neponúkajú skutočnú ochranu.

Pretože systémy AI môžu byť manipulované pomocou nekonečného množstva taktík, tvrdenie, že tieto nástroje dokážu „zachytiť všetko, “ je klamlivé. „To je úplne nepravdivé, “ povedal a predpovedal korekciu trhu, pri ktorej „príjem bude dramaticky klesať pre tieto ochranné opatrenia a firmy zaoberajúce sa automatickým red-teamovaním. “ Startupy zamerané na bezpečnosť AI ťažia z veľkého záujmu investorov. Ako odvetvie investujú veľké technologické firmy aj venture kapitálové spoločnosti, pričom bojujú o zabezpečenie svojich systémov AI. V marci Google získal kybernetickú startup Wiz za 32 miliárd dolárov na posilnenie svojich cloudových bezpečnostných služieb. Generálny riaditeľ Googlu Sundar Pichai priznal, že AI prináša „nové riziká“ v čase, keď sa viac rozširujú multi-cloudové a hybridné prostredia. „V tomto kontexte organizácie hľadajú riešenia kybernetickej bezpečnosti, ktoré zlepšujú bezpečnosť v cloude naprieč viacerými cloudmi, “ dodal.