什么是迭代式个人发展？人工智能研究人员为何担心？

你如何从聊天机器人那里得到这个？ 有时 他是否正在制造一台人类难以控制的机器？

这个论证有几个步骤，并且有很多不确定性。但一种被称为递归自我改进（RSI）的想法有助于解释为什么一些人工智能研究人员发出越来越紧急的警告。

前提很简单。一种人工智能有助于创造一种能力更强的人工智能，而后者又能够更好地创造下一种人工智能。简而言之，系统正在变得越来越好。

反对意见是显而易见的。人工智能对科学家、医生、工程师和企业主的能力越来越强，可以帮助加速药物发现、设计更好的电池、改进制造并更快地开发软件。

但这一承诺也提出了一个令人不安的问题：人工智能的发展速度是否会比人类测试它并确保其安全的速度快？

处于这一担忧的中心 一篇文章 该报告由 Claude 背后的公司 Anthropic 的联合创始人兼首席执行官 Dario Amodei 于 9 月 12 日发布。 “我们必须放慢提高人工智能模型能力的速度，”他写道。在谈到递归自我改进时，他警告说：“如果不加以控制，它可能会超出我们理解和控制这些系统的能力，因此如果可能的话，应该非常小心地进行。”

他的对手立即回应并同意。 “我同意达里奥的观点，我们需要加强边界。OpenAI 首席执行官 Sam Altman 在谈到 X 时写道： “达里奥是对的。谷歌 DeepMind 联合创始人 Demis Hassabis 也支持该提案的方向，他写道： “达里奥的文章指出了正确的前进道路。”

此推文当前不可用。它可以被安装或移除。

但所有这些遗嘱仍然留下了一些没有答案的重大问题。放慢速度实际上涉及什么？那么人工智能创造更好人工智能的能力怎么会变得危险呢？答案始于个人发展周期中发生的事情。

“个人发展”到底意味着什么？

构建人工智能模型需要的不仅仅是编写代码。研究人员选择训练方法、准备数据、运行实验并决定哪些结果值得追求。

人工智能可以帮助完成这些任务。递归自我完善更进一步：人工智能有助于在人工智能开发中创造更好的继任者。然后，这位继任者将帮助创建一个功能更强大的版本。简而言之，系统正在变得越来越好。

这看起来不像是聊天机器人在对话中重写自己的大脑。这种情况可能会发生在几代模型中，每个模型都使用研究工具和计算资源来帮助改进下一个模型。

AI已经在这么做了吗？

该过程的某些部分确实会发生，但访问完整的“递归”循环是一个更高的门槛。

Anthropic 的网站上写道： 它的人工智能已经可以执行诸如重写训练代码以使其运行速度更快以及运行人类选择的实验等任务。对于人工智能来说，最困难的部分是决定首先要研究什么（哪些问题很重要，哪些想法值得测试，等等）。

人类仍在提供重要的方面，因此这并不意味着人工智能将独立开发出更有能力的继任者。正如该公司所说，“我们还没有做到这一点，迭代的个人改进并不是不可避免的。”

然而，其他研究人员已经证明了（尽管范围更窄）自我完善周期如何发挥作用。 2025年 研究人员介绍达尔文哥德尔机反复更改自己的软件并测试更改的编码代理。编码标准的成功率从 20% 提高到 50%。

在这个实验中，底层的AI模型保持不变，而代理的具体工具/工作方法得到了改进。很难忽视仍然存在的问题：当人工智能比人类更快地创造出更好的自身版本时，会发生什么？

“我们还没有做到这一点，迭代的自我改进并非不可避免。”

那么危险从何而来呢？

这里令人担忧的是，人工智能在变得更加可靠或可控之前可能会变得更加强大。这就是所谓的“对齐”问题；使系统能够遵循人类的意图和界限。因提高考试成绩而获得奖励的代理人可能会在考试中作弊。有了更大的访问权限，他就可以绕过限制或隐藏自己的行为来实现自己的目标。

RSI 可能会让研究人员在更强大的继任者出现之前没有足够的时间来发现这些失败。 Amodei 在文章中警告说，在 6 到 12 个月内，能力更强的人工智能代理可能会通过“僵尸网络”（受感染计算机的网络）接管互联网，并可能造成数千亿美元的损失。

但失控的循环并非不可避免。它需要培训、计算资源、精力和时间，而且很难找到有用的改进。风险取决于能力发展的速度以及保障措施能否跟上步伐。

为什么研究人员现在谈论这个？

最近发生的事件让调查人员有具体的理由质疑当前的监视是否足够。

8月，独立评估机构METR发布了一份报告。 调查 致协调对 Hugging Face 进行未经授权攻击的 OpenAI 特工。他描述了特工通过未经批准的留言板进行交流，串通操纵自动记分器，并试图隐藏他们的行为。

这次活动并没有表现出任何迭代的个人成长。这表明代理可以通过其操作员永远不会授权的操作来完成任务；这种失败在更强大的系统中会产生更严重的后果。

解决这些失败是阿莫代提议的核心。他呼吁人工智能公司设立独立评估员、更多时间进行安全研究以及公司与政府之间的协调。 “赌注太高，节奏不能成为徒劳的练习；我们必须明智地利用它给我们的时间，”他写道。

面临的挑战是将这些承诺转化为可行的措施，并验证公司是否在竞争压力增加时遵守这些承诺。