人工智能安全挑战:为什么传统的网络安全团队难以应对AI漏洞
Brief news summary
人工智能安全专家桑德·舒尔霍夫(Sander Schulhoff)强调了网络安全中的一个关键漏洞:传统团队通常缺乏应对AI特有漏洞的专业能力,特别是在大型语言模型方面,这些模型的故障方式是普通软件修复无法解决的。虽然这些团队可能能发现技术缺陷,但他们往往忽视了AI如何通过语言进行操控,从而引发恶意行为。舒尔霍夫呼吁需要既懂AI安全又懂传统网络安全的专业人士,才能有效管理AI风险,包括安全处理由AI生成的恶意代码。他批评许多AI安全创业公司提供的保护措施流于表面,并预料市场将出现调整。与此同时,科技巨头和投资者正加大在AI安全领域的投入,认识到随着AI与云基础设施的融合,相关风险不断增加。例如,谷歌以320亿美元收购Wiz,彰显出在复杂的多云环境中对强大AI与云安全解决方案日益增长的需求。根据一位AI安全研究员的说法,尽管公司可能已有网络安全团队,但许多仍未充分应对AI系统实际失败的方式。 Sander Schulhoff,是早期提示工程指南的作者之一,也是AI系统脆弱性方面的专家,他在最新一期于周日发布的《Lenny's Podcast》中表示,许多组织缺乏理解和减轻AI安全风险所需的专业人员。 传统的网络安全团队主要负责修复漏洞和处理已知的漏洞,但AI的表现方式不同。 “你可以修补一个漏洞,但你无法修补一个大脑,”Schulhoff解释道,强调他所看到的安全团队处理问题的方式与大型语言模型出现故障之间存在根本的脱节。 “AI的运作方式与传统网络安全之间存在断层,”他补充说。 这种差距在实际部署中变得尤为明显。网络安全专家可能会检查AI系统的技术问题,却没有考虑到: “如果有人操控AI让其执行不当的行为怎么办?”Schulhoff指出,他管理一个提示工程平台和一个AI红队黑客马拉松。 他强调,与传统软件不同,AI系统可以通过语言和微妙的指令被影响。 Schulhoff提到,既懂AI安全又懂传统网络安全的人会知道在AI模型被欺骗产生恶意代码时如何应对——比如,通过在隔离容器中运行代码,以防止AI的输出危害更广泛的系统。 他相信,AI安全与传统网络安全的融合代表了“未来的安全岗位”。 AI安全创业公司崛起 Schulhoff还批评许多AI安全创业公司推崇的安全措施,实际上未能提供真正的保护。由于AI系统可以通过各种策略被操控,声称这些工具能“捕捉一切”是具有欺骗性的。 “这是完全错误的,”他说道,并预言市场会经历调整:“这些安全措施和自动化红队公司的收入将大幅缩减。” AI安全创业公司一直受到投资者的强烈关注。科技巨头和风险投资公司在该领域投入大量资金,因为各家公司争相确保其AI系统的安全。 今年三月,谷歌以320亿美元收购网络安全创业公司Wiz,以增强其云安全服务。 谷歌CEO Sundar Pichai也承认,随着多云和混合云环境的普及,AI带来了“新风险”。 “在这种背景下,组织正在寻求能够增强多云环境中的云安全的网络安全解决方案,”他补充道。
Watch video about
人工智能安全挑战:为什么传统的网络安全团队难以应对AI漏洞
Try our premium solution and start getting clients — at no cost to you