一位人工智能领域的先驱成立了一个非营利组织，致力于打造一种“诚实”的人工智能，旨在检测试图欺骗人的系统。 被誉为“人工智能教父”之一的杰出计算机科学家本吉奥·本吉奥（Yoshua Bengio）将担任LawZero的主席，该组织专注于安全发展先进技术，这场技术竞赛已点燃一场价值1万亿美元（约7400亿英镑）的军备竞赛。 在获得约3000万美元的初始资金和一支由十余名研究人员组成的团队的支持下，本吉奥正开发一种名为Scientist AI的系统。这一系统旨在防范可能表现出欺骗性或自我保护行为的人工智能代理——即自主系统在不需要人为干预的情况下执行任务，比如抗拒被关闭。 本吉奥将目前的AI代理描述为“演员”，他们试图模仿人类、满足用户需求；而他设想的Scientist AI更像是一位“心理学家”，能够理解和预测有害行为。 “我们希望打造诚实而不具欺骗性的AI，”本吉奥表示。 他补充说：“理论上可以想象没有自我或个人目标的机器，纯粹作为知识的储存者——比如一个拥有丰富信息的科学家。” 与当前的生成式AI工具不同，本吉奥的系统不会提供绝对答案，而是会提供表明某个回答正确可能性的概率。 “它具有谦逊感，承认对自己的答案存在不确定性，”他解释道。 当与AI代理结合使用时，本吉奥的模型将通过评估其行为可能造成伤害的概率，识别潜在的有害行为。 Scientist AI设计的目标是“预测行为可能导致伤害的概率”，如果该概率超过某一阈值，就会阻止拟议的行动。 LawZero的初始支持者包括未来生命研究所（Future of Life Institute）这一AI安全组织、Skype的创始工程师Jaan Tallinn，以及由前谷歌CEO埃里克·SCHMIDT创立的科研机构Schmidt Sciences。 本吉奥强调，LawZero的首要目标是验证其方法论的有效性，然后说服企业或政府支持更大规模、更强大的应用。他指出，作为基础的开源AI模型可以用来训练LawZero的系统，这些模型可以自由使用和修改。 “目标是验证方法论，以便说服捐助者、政府或AI实验室投入必要的资源，以与当今领先的AI系统相同的规模进行训练。关键是监管AI的守护系统至少要和被监控和调控的AI代理一样聪明，”他说。 本吉奥是蒙特利尔大学的教授，曾在2018年获得图灵奖（被视为计算领域的诺贝尔奖）后赢得“教父”称号，与Geoffrey Hinton（后来也成了诺贝尔奖得主）和Yann LeCun（Meta的首席AI科学家）共享了这一荣誉。 作为人工智能安全的积极倡导者，他曾主导最近发布的国际AI安全报告，警告称如果自主代理能够在没有人类监督的情况下执行长序列任务，可能会造成“严重”的破坏。