随着对人工智能能力的担忧达到临界点，加州州长加文·纽瑟姆正在推进该州遏制该技术发展的计划。
在新的 行政命令 纽瑟姆在今天（9 月 18 日）发布的声明中呼吁成立一个由专家领导的委员会，负责“加强和加强”国家人工智能安全法，包括推进执行第三方安全评估和强制性风险报告的计划。
人类安全报告中包含禽流感、无人机群和大规模监视
特拉维斯·霍尔表示：“加州州长的行政命令正确地优先考虑为人工智能安全法规的定义和要求制定更好的指导，特别是与第三方审计相关的指导。”, CDT 国家合作总监向 Mashable 发表声明。 ”我们敦促总督确保致力于这些进程的所有工作组都包含一系列的声音和专业知识，包括公民权利和自由的倡导者。”
纽瑟姆表示，该命令还指示该小组调查边缘模型“紧急关闭”的可能性，“也称为‘人工智能死亡开关’”。 视频 发布在他的 X 帐户上，“这意味着很多事情取决于你与谁交谈。”
什么是人工智能终止开关？
纽森是对的。在过去的一年里，立法对话和在线讨论中不断出现了一个通用关闭按钮来防止日益强大的人工智能代理“失明”的想法。该术语已成为日益推动人工智能安全监管的代名词，人工智能创造者在一定程度上引领了这一趋势。
但终止开关实际上是什么样子——具体来说，它如何关闭大规模人工智能以及它选择的监护人是谁——仍然有争议。
7月，两位国会代表介绍了两党合作 AI杀戮开关法案这将使国土安全部（DHS）有权减慢或关闭其认为能够造成“灾难性伤害”的人工智能系统。该法案还要求开发商建立机制，以“变异、中断或完全关闭所涉及的人工智能系统”——纽瑟姆的命令旨在延续类似的任务。
尽管美国法律没有要求，但大多数人工智能实验室都有自己的方法来阻止流氓人类操作系统以及自己的安全结构和协调团队。
一些开发“终止开关”的提案只是要求实验室由外部安全审查员评估这些过程。其他人正在努力引入行业安全标准 授权 联邦政府规定的紧急关闭。越来越多的世界末日倡导者呼吁为所有人工智能提供全面的故障保护。
在接受采访时 科学美国人加州大学伯克利分校人类兼容人工智能中心执行主任马克·尼茨伯格 (Mark Nitzberg) 称通用人工智能开关“更多的是愿望而不是现实”。
计算机科学家杰弗里·辛顿（Geoffrey Hinton）也被称为“人工智能教父”，他说 美国有线电视新闻网 他认为对于那些担心人工智能超级智能的人来说，终止开关不会是一个有效的长期解决方案。
此推文当前不可用。它可能正在加载或已被删除。
一般来说，政治专家，包括 民主与技术中心 （CDT）质疑他们所谓的“二元”安全法规或专注于特定技术细节的清单式提案的有效性。他们说，这种情况很容易被人工智能公司操纵，随着技术超越制造商，诸如终止开关之类的单独机制很快就会过时。
特拉维斯·霍尔表示：“我们仍然担心，‘终止开关’的提议将无法有效降低风险，同时会带来新的安全风险和政府滥用权力的严重可能性。”, CDT 国家合作总监向 Mashable 发表声明。
霍尔解释说，有效的人工智能安全监督需要“有意义、独立和持续”，而不是单一的技术解决方案，专家组应该包括技术人员之外的一系列声音和专业知识，包括民权倡导者。
由于如果开发人员决定启动整个系统，他们将遭受财务和声誉损失，因此需要终止开关的有效政策也应该 鼓励 企业采取行动。 CDT 敦促该国“考虑各种机制来增加激励措施，在人工智能系统的开发、部署和使用中优先考虑安全”。
为什么终止开关比你想象的更复杂
对于现在构建、运行和影响在线空间的人工智能系统来说，这是一个人工智能终止开关 它可能不是包治百病的灵丹妙药 人工智能专家和 Anthropic 联合创始人杰克·克拉克 (Jack Clark) 等领导者警告说，它们就是这样制造的。
人工智能系统并不局限于单一的物理环境，例如可以简单关闭的计算机。有时停止系统服务器就足够了。有时并非如此。兰德公司的高级物理科学家迈克尔·维米尔（Michael Vermeer）向《科学美国人》表示，可能需要在开放的互联网上“追捕”流氓人工智能代理，以查明并打击他们的操作者。
即便如此，他也可以要求协调一致 全球 隔离、关闭 AI，然后将其降级至可管理程度的响应。
除了技术方面之外，终止开关还引发了权威问题： 谁打电话？是在原开发商手里吗？这是一个工业过程吗？像国土安全部这样的机构应该发布命令吗？
人工智能不是一个可以与之推理的人。互联网没有可锁的门，它也天生不了解政治边界（公平地说，也不了解其他任何东西）。技术往往被危险地拟人化，但最终是由人类指导和影响的——它的衰落也是如此。
尽管如此，政治家和行业观察人士仍在敦促技术专家考虑这一选择。随着人们警告可能出现的“世界末日”场景，人工智能变得有知觉，并恶意地决定阻碍人类，而不管它已经提出了所有道德问题，这些呼吁变得更加紧迫。
更新：2026 年 9 月 18 日下午 2:26 本文根据民主与技术中心特拉维斯·霍尔的评论进行了更新。
