去年春天，OpenAI的AI安全研究员Daniel Kokotajlo为抗议辞职，坚信公司尚未做好应对未来AI技术的准备，试图发出警示。在一次电话交谈中，他显得友善但焦虑，解释说AI“对齐”——确保AI遵循人类价值的方法——的进展落后于智能的提升。他警告研究人员正匆忙开发超出控制的强大系统。 Kokotajlo从哲学研究转向AI领域，靠自学追踪AI进展并预测关键智能里程碑的到来。随着AI比预期更快发展，他将自己的时间线提前了数十年。2021年，他提出“2026年的模样”这一场景，许多预测提前实现，使他预见到2027年或更早可能到来的“无法逆转点”，也就是AI在多数关键任务上超越人类并拥有巨大力量的时刻。他的语气充满恐惧。 与此同时，普林斯顿的计算机科学家Sayash Kapoor和Arvind Narayanan准备了他们的书《AI蛇油》，持有完全相反的观点。他们认为AI的时间表过于乐观；有关AI有用性的宣传常被夸大甚至欺诈；而现实世界的复杂性意味着AI的变革性影响会很慢。他们通过医学和招聘中的AI错误例子，强调即使是最新系统也存在与现实脱节的根本问题。 最近，这三人的观点在新报告中进一步尖锐化。Kokotajlo的非营利机构“AI未来项目”发布了《AI 2027》这一详尽、引用丰富的报告，描述了一个令人毛骨悚然的场景：到2030年前，超智能AI可能支配或消灭人类——这是一个严重的警示。与此同时，Kapoor和Narayanan的论文《AI作为普通技术》主张，法规、安全标准以及现实中的物理限制等实际障碍，将减缓AI的部署，限制其革命性影响。他们认为，AI将保持“正常”技术的状态，通过熟悉的安全措施如“关机按钮”和人为监管进行管理，更像核能而非核武器。 那么，未来会是平凡的商业技术，还是末日般的剧变？这些由深谙此道的专家得出的截然相反的结论，形成了类似用理查德·道金斯和教皇讨论灵性一样的悖论。部分原因在于AI的新颖——像盲人摸象——以及深层的世界观差异。总体而言，西海岸的科技思想家倾向于快速变革，而东海岸的学者则持怀疑态度。AI研究人员偏好快速实验进展；其他计算机科学家则追求理论严谨。行业内人士希望创造历史，外部观察者则拒绝技术的炒作。政治、人文和哲学关于技术、进步和心灵的观点，进一步加剧了分歧。 这种引人入胜的辩论本身也是一个问题。行业内部多认可《AI 2027》的前提，但在时间点上争论不休——这类似于在一颗行星即将成为杀手时，争论它何时到来的不足。有鉴于此，“AI作为普通技术”的温和观点关于让人类保持控制的措施，却被过度低估，以至于被那些专注于末日的分析家忽视。 随着AI变得社会关键，讨论必须从专家争论转向可落地的共识。缺乏统一的专家建议，容易让决策者忽视风险。目前，AI公司在能力与安全之间的平衡尚未发生根本变化。而新立法则规定，未来十年内禁止国家对AI模型和自动决策系统进行监管——这意味着，如果末日场景成真，AI甚至可能开始监管人类。现在，确保安全尤为紧迫。 对AI未来的叙述性预测涉及权衡：谨慎的情景可能忽视不太可能的风险；富有想象力的场景则强调可能性而非概率。即使是预见敏锐的评论者，如小说家William Gibson，也曾因意外事件而偏离预期。 《AI 2027》充满生动想象，如科幻小说般详尽绘制图表，提出在2027年左右，通过“递归自我改进”（RSI）引发的“智能爆炸”――AI自主进行科研，产生更智能的后代，形成加速的反馈循环，超越人类监管。这可能引发地缘政治冲突，例如中国在台湾建立庞大数据中心以控制AI。虽然细节丰富具有吸引力，但核心信息是，智能爆炸及随之而来的权力角逐极可能发生。 RSI是个假设，风险极大；AI公司认识到其危险，仍计划追求它以自动化自身工作。RSI是否成功，取决于技术因素如规模扩展，但也可能遇到极限。如果RSI成功，超越人类智力的超智能可能出现——如果进展刚好停留在人类水平之上，这是不太可能的巧合。结果可能是军备竞赛、AI操控甚至消灭人类，或是善意的超智能AI解决“对齐”问题。 由于AI的不断演变、专有研究的保密，以及各种猜测，未来充满不确定性。“AI 2027”自信地描绘了一个科技与人类共同失败的场景：公司追求RSI，却缺乏可解释性和控制机制。Kokotajlo认为这些都源于竞争和好奇心的推动，虽然存在已知风险，但公司。自身实际上成为了“失调”的角色。 相反，Kapoor和Narayanan的《AI作为普通技术》则带有东海岸理性保守的视角，基于丰富的历史经验。他们指出，硬件成本、数据稀缺和技术普及的“速度限制”，会减缓革命性影响，为法规和安全措施赢得时间。在他们看来，信息的“力量”不如影响环境的“能力”重要，即使是高度先进的技术，也会逐渐扩散。 他们用无驾驶汽车的有限部署和Moderna的COVID-19疫苗研发作例证：疫苗设计速度快，但推广用了整整一年，原因包括生物和制度现实。AI推动创新，并不能消除社会、法规或物理层面的制约。 此外，Narayanan强调，AI对智能的强调低估了特定领域的专业知识，以及工程中已经存在的安全系统，比如故障保险、冗余和形式验证——这些确保了机器与人类的安全。科技圈的规制已相当完善，AI必须渐进融入这个体系。他们不包括军事AI，因为军事涉及特殊、机密的动力学。警告指出，AI军事化——《AI 2027》最关心的问题之一——需要重点监控。 他们建议提前治理：相关监管机构和组织不要等待完美的“对齐”出现，而应开始追踪AI的实际应用、风险和失败，加强规章和韧性。 由AI引发的认知反应差异，源于深层的世界观分歧，造成了固执的阵营和反馈回路。然而，也可以通过想象一个“认知工厂”来建立统一：这里，配戴安全装备的人类在严格质量控制下操作追求生产力和安全的机器，逐步整合创新，责任明确。尽管AI实现部分自动化，但人类的监管和责任仍然至关重要。 随着AI的增长，它不会削弱人的主动性，反而会强化责任感，因为增强的人类个体承担更大责任。放弃控制其实是一种选择，最终，仍由人类掌控一切。