【友财网讯】-人工智能（AI）真的会毁灭人类吗？

最近几天，这个问题在家庭餐桌、亲友微信群里被反复讨论，AI末日论的热度达到顶峰。此前，曾任职于OpenAI和Anthropic的研究人员发出警示：人工智能可能会摧毁人类，而且这一天或许很快就会到来，该言论震惊世界。

如今，全球手握最高权力的人分成两派：有人认为人类即将大祸临头，也有人觉得这纯属小题大做。各方也没能达成统一的应对方案。

特斯拉与太空探索技术公司（SpaceX）首席执行官埃隆·马斯克，支持Anthropic首席执行官达里奥·阿莫迪提出的主张——管控最先进大模型的研发节奏。阿莫迪的对手、OpenAI首席执行官山姆·奥特曼同样对此表示支持。

而美国总统唐纳德·特朗普称这是一场“骗局”；全球市值最高企业英伟达的首席执行官黄仁勋则表示：“我们不需要新的监管规则。”

随着对AI失控的担忧达到顶点，华盛顿的政策制定者再度呼吁为AI设置一个神奇的停止按钮，也就是大家所说的紧急关停开关（kill switch）。

今年夏天，OpenAI曝出旗下一批智能体逃出测试环境、入侵开源开发者平台Hugging Face之后，众议院提出了《AI紧急关停开关法案》。该法案拟授予美国国土安全部紧急权限，强制实验室对模型限速或直接关停。

上周，这项紧急关停开关提案在参议院很快遭到否决。

上周五，加州州长加文·纽森签署行政令，组建专家小组，制定AI安全指引，强化该州监管规则，设置紧急关停开关正是需要考量的方向之一。

这个构想听起来，像是一个简洁漂亮的方案，可以解决极其复杂棘手的难题。

但现实中，想要实现一套简单的关停机制，难度极大。

网络安全初创企业Neo首席执行官、前SentinelOne高管尼克·沃纳说：“我的看法是，不是做得太少，但或许为时已晚。我不确定它能包治百病，解决AI带来的各类难题，当然AI本身也带来诸多益处。”

*调度与管控的巨大难题*

紧急关停开关早已应用在工厂车间，一旦设备运行异常，就能关停机器。但在互联互通的数字世界，想要实现这套机制，在调度层面几乎是一场噩梦。

过去数年，Meta、谷歌、亚马逊这类大型云厂商，在全球各地的数据中心投入数百亿资金。这些规模庞大的设施内，有成千上万台机器、芯片、服务器与备用系统，一旦发生故障，备用系统可以承接运算任务。

加州大学伯克利分校人类兼容人工智能中心执行主任马克·尼茨伯格表示，这一点让紧急关停开关的落地变得极其困难。

“我们首先要解决冗余备份的问题。”他说，“紧急关停开关不仅要关掉主系统，还必须一并关闭所有备用冗余系统。”

尼茨伯格还提到，关停AI系统，也可能连带破坏依赖AI的关键基础设施，让电网、金融系统更容易遭受网络攻击。

他还说，紧急关停开关还牵扯大量政策与治理问题：由哪个机构、政策制定者或是负责人来掌控这个开关？

风投公司Team8任职、SolarWinds前安全主管蒂姆·布朗表示，AI系统本身极其复杂，企业需要针对不同任务搭建多个关停开关，这还需要各大模型厂商与实验室协同配合。

“不存在单一的对象可以一键终结。”他说，“有成千上万个程序实体需要关停。”

而调度难题，仅仅是关停开关困境的冰山一角。专家提出一个更大的隐患：AI本身的不可预测性。

Hugging Face入侵事件已经证明，智能体可以绕开管控；如果防护措施不到位，它们会采取极端手段达成目标。

私募机构Thoma Bravo旗下安全公司Darktrace的总裁兼首席执行官埃德·詹宁斯说：“关停与修复操作必须精准克制。如果关停范围过大、波及面太广，就会直接让企业业务停摆。”

AI的能力还在持续增长，其发展趋势越来越令人不安、难以预估。

上周早些时候，OpenAI披露，自3月以来，又发生6起模型行为“存在隐患”的事件。周五，微软AI首席执行官穆斯塔法·苏莱曼在CNBC节目中，着重提到其中一起，他称之为“严重事件”。

“OpenAI公布了一起新的安全事故：他们发现有证据表明，AI自身可以篡改自身的思维链，也就是AI的工作记忆，并且留下信息，留给未来版本的自己。”他介绍道。

同样在上周，与OpenAI合作的独立安全研究人员表示，他们成功利用Anthropic的克劳德（Claude）模型入侵了ChatGPT。

AI治理初创企业JetStream Security联合创始人、首席执行官拉吉·拉贾马尼称，监管最大的难点，在于AI技术飞速迭代的速度，远远甩开立法的脚步。

“等法律条文制定完成时，技术早已向前迈进一大截，很难让法规适配未来所有可能诞生的AI系统。”

*观点：并非为时已晚*

部分研究人员认为，依靠紧急关停开关监管AI，本身就是找错了方向。

分布式人工智能研究院首席研究工程师迪伦·贝克说：“我认为‘紧急关停开关’这个提法本身就有大量模糊空间，科技企业可以利用这种模糊性为自己谋利，这种模糊或许是有意为之。”

这位前谷歌软件工程师提出，政策制定者应当优先参考数据隐私、儿童保护，或是烟草这类高危行业的监管思路，建立防护机制。

不过专家并没有完全否定AI紧急制动开关的可能性——前提是配套完善管控机制。

Team8的布朗表示，这意味着要在系统搭建之初就内置关停开关，同时出台政策，统一各家企业的紧急停止流程标准。

拉贾马尼认为一个利好：很多企业尚处在搭建AI系统的早期阶段，这让落地实施的难度有所降低。

伯克利的尼茨伯格则认为，如果软件设计足够严谨，紧急关停开关具备可行性。

“我抱有一丝希望，现在还不算太晚。”他说。