Firmy mogą mieć zespoły ds. cyberbezpieczeństwa, ale wiele z nich nadal nie jest przygotowanych na to, jak naprawdę zawodzą systemy AI, według badacza bezpieczeństwa AI. Sander Schulhoff, autor jednej z pierwszych publikacji na temat inżynierii promptów i ekspert od luki w zabezpieczeniach systemów AI, stwierdził w ostatnim odcinku „Lenny’s Podcast” emitowanym w niedzielę, że liczne organizacje nie dysponują wykwalifikowanym personelem, który potrafiłby zrozumieć i zminimalizować ryzyko związane z bezpieczeństwem AI. Tradycyjne zespoły ds. cyberbezpieczeństwa są wytrenowane do naprawiania błędów i obsługi znanych luk, ale AI zachowuje się inaczej. „Możesz załatać błąd, ale nie załata się mózgu, ” wyjaśnił Schulhoff, podkreślając, co uznaje za podstawowe nieporozumienie między podejściem zespołów bezpieczeństwa a tym, jak zawodzą duże modele językowe. „Istnieje rozbieżność między tym, jak działa AI a klasycznym cyberbezpieczeństwem, ” dodał. Ta różnica staje się widoczna w praktycznych wdrożeniach. Eksperci ds.

cyberbezpieczeństwa mogą badać system AI pod kątem problemów technicznych, nie zadając pytania: „A co, jeśli ktoś zmanipuluje AI, by wykonała coś nieodpowiedniego?” Schulhoff, który zarządza platformą inżynierii promptów i hackathonem red-teamingu AI, zauważył. W przeciwieństwie do konwencjonalnego oprogramowania, systemy AI mogą być wpływane poprzez język i subtelne instrukcje, podkreślił. Schulhoff wspomniał, że osoby doświadczone zarówno w dziedzinie bezpieczeństwa AI, jak i tradycyjnego cyberbezpieczeństwa, wiedzą, jak zareagować, jeśli model AI zostanie oszukany, na przykład, by generował złośliwy kod – np. uruchamiając kod w izolowanym kontenerze, aby zapobiec szkodliwemu wpływowi na szerszy system. Uważa, że połączenie bezpieczeństwa AI i konwencjonalnego cyberbezpieczeństwa stanowi „bezpieczeństwo przyszłości”. Pojawienie się startupów z dziedziny bezpieczeństwa AI Schulhoff krytykował też wiele startupów z zakresu bezpieczeństwa AI za promowanie zabezpieczeń, które nie zapewniają prawdziwego ochrony. Ponieważ systemy AI mogą być manipulowane na nieskończone sposoby, twierdzenia, że te narzędzia potrafią „złapać wszystko, ” są mylące. „To jest całkowicie błędne, ” powiedział, przewidując korektę rynku, gdzie „przychody tych zabezpieczeń i firm zajmujących się automatycznym red-teamem dramatycznie się zmniejszą. ” Startupy z dziedziny bezpieczeństwa AI korzystają z dużego zainteresowania inwestorów. Zarówno gigantyczne korporacje technologiczne, jak i fundusze venture capital intensywnie inwestują w ten sektor, ponieważ firmy pędzą do zabezpieczenia swoich systemów AI. W marcu Google przejęło startup cyberbezpieczeństwa Wiz za 32 miliardy dolarów, by wzmocnić swoje usługi bezpieczeństwa w chmurze. CEO Google, Sundar Pichai, przyznał, że AI wprowadza „nowe ryzyko” w czasach, gdy multi-chmury i środowiska hybrydowe stają się coraz bardziej powszechne. „W tym kontekście organizacje poszukują rozwiązań cyberbezpieczeństwa, które zwiększą bezpieczeństwo chmury w wielu chmurach, ” dodał.