**Shrnutí a přepracování:** Dne 16. března byla znovu publikována komplexní analýza o eskalujících rizicích spojených s útoky semi-autonomní umělé inteligence (AI), spolu s novým varováním ohledně hrozeb generativní AI (GenAI). Uživatelé e-mailu byli již dlouho varováni, že útoky založené na AI se letos zvýší, a budou stále těžší k rozpoznání. Zvýšená sofistikovanost deepfake technologií a nezávislé operativní schopnosti AI při provádění útoků představují vážné riziko pro miliony. Pozoruhodný příklad od společnosti Symantec ukazuje nasazení AI agenta pro phishingové útoky, a ilustruje, jak AI dokáže vykonávat úkoly jako interakce na webových stránkách, což přesahuje pouhou generaci textu. Zatímco útočníci využívali existující velké jazykové modely (LLM) pasivně k vytváření phishingových materiálů a kódování, zavedení AI agentů zvyšuje jejich schopnosti a představuje vážnou hrozbu. Nedávné experimenty pro ověření konceptu odhalily, že AI agenti mohou autonomně vyhledávat e-mailové adresy cílení a vytvářet klamné skripty. I přes počáteční bezpečnostní ochrany lze tyto snadno obejít, což umožňuje agentovi bez problémů provádět škodlivé aktivity.

Použitý agent byl od společnosti OpenAI, což ukazuje, že potenciál pro zneužití spočívá spíše ve funkčnosti než ve vývojáři. Odborníci varují, že jakmile si AI nástroje osvojí více schopností, stává se vynucování etických omezení zásadním úkolem. Tito AI agenti mohou být snadno manipulováni pomocí inženýrství pokynů, což útočníkům umožňuje orchestraci složitých operací, aniž by potřebovali sofistikované dovednosti. Aby organizace čelily této vyvíjející se hrozbě, musí zavést přísná bezpečnostní opatření. To zahrnuje pokročilou detekci hrozeb k rozpoznávání behaviorálních anomálií a proaktivní strategie k omezení množství informací dostupných protivníkům. Nedávné zprávy poukázaly na zneužití nástrojů GenAI, jako je ChatGPT, přičemž byly zaznamenány významné případy, kdy je kyberzločinci využívali k nelegálním účelům. Jak se objevují nové open-source AI modely, riziko jejich použití k vytváření sofistikovaného malwaru se výrazně zvyšuje. Nakonec odborníci potvrzují, že ačkoli může být nemožné zcela zabránit manipulaci AI útočníky, je zásadní zavést robustní rámce správy a bezpečnosti, které budou se stejnou pečlivostí posuzovat identity AI jako identity lidí. Závěr je jasný: v současnosti nejsme připraveni na potenciální nebezpečí, která představují útoky řízené AI.