Empresas podem ter equipes de cibersegurança em funcionamento, mas muitas permanecem despreparadas para as formas como os sistemas de IA realmente falham, de acordo com um pesquisador de segurança em IA. Sander Schulhoff, autor de um dos primeiros guias de engenharia de prompts e especialista em vulnerabilidades de sistemas de IA, afirmou em um episódio recente do "Lenny's Podcast", divulgado no domingo, que inúmeras organizações carecem do pessoal qualificado necessário para compreender e mitigar os riscos de segurança da IA. Times tradicionais de cibersegurança são treinados para corrigir bugs e lidar com vulnerabilidades conhecidas, mas a IA se comporta de forma diferente. "Você pode corrigir um bug, mas não pode corrigir um cérebro, " explicou Schulhoff, destacando o que ele vê como uma desconexão fundamental entre como as equipes de segurança abordam os problemas e como os grandes modelos de linguagem falham. "Existe uma lacuna entre o funcionamento da IA e a cibersegurança clássica, " acrescentou. Essa diferença fica evidente na implementação prática. Especialistas em cibersegurança podem analisar um sistema de IA em busca de questões técnicas, sem considerar: "E se alguém manipular a IA para fazer algo inadequado?" Schulhoff, que gerencia uma plataforma de engenharia de prompts e um hackathon de red-teaming de IA, observou. Ao contrário do software convencional, os sistemas de IA podem ser influenciados por meio de linguagem e instruções sutis, ele enfatizou. Schulhoff mencionou que indivíduos experientes tanto em segurança de IA quanto em cibersegurança tradicional saberiam como responder se um modelo de IA for enganado para produzir código malicioso—por exemplo, executando o código em um contêiner isolado para evitar que a saída da IA prejudique o sistema mais amplo. Ele acredita que a convergência entre segurança de IA e cibersegurança convencional representa "os empregos de segurança do futuro. " A emergência de startups de segurança de IA Schulhoff também criticou muitas startups de segurança de IA por promover barreiras que não oferecem proteção genuína.

Como os sistemas de IA podem ser manipulados por meio de táticas constantes, alegar que essas ferramentas podem "capturar tudo" é enganoso. "Isso é completamente falso, " disse ele, prevendo uma correção de mercado onde "a receita vai encolher drasticamente para essas barreiras e empresas de red-teaming automatizado. " Startups de segurança de IA têm se beneficiado de forte interesse de investidores. Tanto as grandes empresas de tecnologia quanto os fundos de venture capital investiram pesadamente nesse setor, à medida que as empresas correm para proteger seus sistemas de IA. Em março, a Google adquiriu a startup de segurança cibernética Wiz por US$ 32 bilhões para fortalecer seus serviços de segurança na nuvem. O CEO da Google, Sundar Pichai, reconheceu que a IA traz "novos riscos" em um momento em que ambientes multicloud e híbridos estão se tornando mais comuns. "Nesse contexto, as organizações estão buscando soluções de cibersegurança que aprimorem a segurança na nuvem em múltiplas plataformas, " acrescentou.