Les entreprises peuvent disposer d’équipes de cybersécurité, mais beaucoup restent mal préparées face aux manières dont les systèmes d’IA échouent réellement, selon un chercheur en sécurité de l’IA. Sander Schulhoff, auteur de l’un des premiers guides sur l’ingénierie des prompts et expert en vulnérabilités des systèmes d’IA, a déclaré lors d’un épisode récent du « Podcast de Lenny », diffusé dimanche, que de nombreuses organisations manquent de personnel qualifié pour comprendre et atténuer les risques liés à la sécurité de l’IA. Les équipes de cybersécurité traditionnelles sont formées pour corriger les bugs et gérer les vulnérabilités connues, mais l’IA se comporte différemment. « On peut corriger un bug, mais on ne peut pas réparer un cerveau, » a expliqué Schulhoff, soulignant ce qu’il considère comme un décalage fondamental entre la façon dont les équipes de sécurité abordent les problèmes et la manière dont les grands modèles de langage échouent. « Il y a un décalage entre le fonctionnement de l’IA et la cybersécurité classique, » a-t-il ajouté. Cet écart devient apparent dans les déploiements pratiques. Les experts en cybersécurité peuvent examiner un système d’IA pour détecter des problèmes techniques sans se demander : « Et si quelqu’un manipulait l’IA pour qu’elle réalise quelque chose d’erroné ?» Schulhoff, qui gère une plateforme d’ingénierie de prompts et un hackathon de red-teering en IA, l’a noté. Contrairement aux logiciels classiques, les systèmes d’IA peuvent être influencés via le langage et des instructions subtiles, a-t-il souligné. Schulhoff a mentionné que ceux qui sont expérimentés à la fois en sécurité de l’IA et en cybersécurité traditionnelle sauraient comment réagir si un modèle d’IA était trompé pour produire du code malveillant — par exemple, en exécutant ce code dans un conteneur isolé pour empêcher la sortie de l’IA d’endommager le système plus large. Il pense que la convergence de la sécurité de l’IA et de la cybersécurité conventionnelle représente « les emplois de sécurité du futur. » L’émergence des startups en sécurité de l’IA Schulhoff a aussi critiqué de nombreuses startups en sécurité de l’IA qui font la promotion de garde-fous qui ne garantissent pas une protection réelle.

Parce que les systèmes d’IA peuvent être manipulés par des tactiques infinies, affirmer que ces outils peuvent « tout repérer » est trompeur. « C’est complètement faux, » a-t-il dit, prédisant une correction du marché où « les revenus de ces garde-fous et sociétés d’attaque en red seront considérablement réduits. » Les startups en sécurité de l’IA ont bénéficié d’un fort intérêt des investisseurs. Big Tech et des fonds de capital-risque ont massivement investi dans ce secteur, alors que les entreprises se précipitent pour sécuriser leurs systèmes d’IA. En mars, Google a acquis la startup de cybersécurité Wiz pour 32 milliards de dollars afin de renforcer ses services de sécurité cloud. Le PDG de Google, Sundar Pichai, a reconnu que l’IA introduit « de nouveaux risques » à une époque où les environnements multi-cloud et hybrides deviennent de plus en plus courants. « Dans ce contexte, les organisations recherchent des solutions de cybersécurité qui renforcent la sécurité du cloud à travers plusieurs environnements cloud, » a-t-il ajouté.