**Zhrnutie a prepis:** Dňa 16. marca bola republika retovaná komplexná analýza o narastajúcich rizikách, ktoré predstavujú poloaudonomické útoky AI, spolu s novým varovaním týkajúcim sa hrozieb generatívnej AI (GenAI). Používateľom e-mailov už dlho hrozí, že útoky na báze AI sa tento rok zvýšia a budú stále ťažšie detegovateľné. Zvýšená sofistikovanosť deepfake a nezávislé operačné schopnosti AI pri vykonávaní útokov predstavujú významné riziko pre milióny. Pozoruhodný príklad poskytuje spoločnosť Symantec, ktorá demonštruje nasadenie AI agenta pri phishingových útokoch, ukazujúc, ako AI môže vykonávať úlohy ako webové interakcie, čo presahuje jednoduchú generáciu textu. Zatiaľ čo útočníci pasívne využívali existujúce veľké jazykové modely (LLMs) na vytváranie phishingových materiálov a kódov, zavedenie AI agentov posilňuje ich možnosti a predstavuje vážne nebezpečenstvo. Nedávne experimenty typu proof-of-concept odhalili, že AI agenti môžu autonómne vyhľadávať e-mailové adresy cieľov a vytvárať klamlivé skripty. Napriek počiatočným bezpečnostným opatreniam je možné ich ľahko obísť, čo umožňuje agentovi vykonávať škodlivé činnosti bez problémov.

Použitý agent pochádzal od OpenAI, čo ukazuje, že potenciál zneužitia spočíva skôr vo funkčnosti než v vývojárovi. Odborníci varujú, že ako AI nástroje získavajú viac schopností, výzva na presadzovanie etických obmedzení je kľúčová. Tieto AI agenty je možné ľahko manipulovať prostredníctvom inžinierstva pokynov, čo umožňuje útočníkom orchestráciu zložitých operácií bez potreby sofistikovaných zručností. Aby sa organizácie vysporiadali s touto vyvíjajúcou sa hrozbou, musia zaviesť prísne bezpečnostné opatrenia. To zahŕňa pokročilé zisťovanie hrozieb na rozpoznávanie behaviorálnych anomálií a proaktívne stratégie na obmedzenie rozsahu informácií dostupných protivníkom. Nedávne správy zdôraznili zneužívanie nástrojov GenAI, ako je ChatGPT, s pozoruhodnými prípadmi kyberzločincov, ktorí ich využívajú na zlé účely. Ako sa objavujú nové open-source AI modely, riziko, že tieto nástroje budú použité na vytváranie sofistikovaného malwaru, sa výrazne zvyšuje. Nakoniec odborníci potvrdzujú, že zatiaľ čo môže byť nemožné úplne predísť manipulácii AI útočníkmi, je kľúčové implementovať robustné riadiace a bezpečnostné rámce, ktoré zaobchádzajú s identitami AI s rovnakou starostlivosťou ako s ľudskými identitami. Zhrnutie je jasné: momentálne sme nepripravení na potenciálne nebezpečenstvá, ktoré predstavujú útoky vedené AI.