尽管人们的目光大多集中在 Anthropic 周一在修订版 S-1A 文件中披露的最新财务数据上（营收在增长，但支出也在增加），但这家人工智能实验室还在文件细则中抛出了另一个“重磅炸弹”。
该文件似乎在预示，公司即将开发出一种具备“递归自我提升”（Recursive Self-Improvement，简称 RSI）能力的模型。
所谓 RSI，是指人工智能在自我训练方面达到极高水平，从而促使其能力实现爆发式增长。在那些对人工智能持悲观态度的人看来，RSI 意味着一场不可逆转的灾难：人工智能将变得足够强大，从而摆脱人类的控制；在实现自身目标的过程中，它甚至可能对所造成的破坏漠不关心。
而对于人工智能的拥护者而言，RSI——或者说某种能够可靠地用于自我改进的人工智能——则代表着技术的无限潜能，有望成为推动生产力飞跃、实现科学突破等方面的强大工具。
Anthropic 似乎认为，RSI 既蕴含着希望，也潜藏着危险。在 S-1 文件中，该公司提到其在研发过程中使用了人工智能，但同时也发出警告：“利用人工智能来构建能力更强的人工智能，可能会带来重大的安全风险，尤其是当这种做法显著加快了技术进步的步伐时。这是我们‘负责任扩展政策’（Responsible Scaling Policy）所涵盖的领域之一；该政策阐明了我们在迈向所谓‘递归自我提升’的过程中，如何监测并缓解相关风险。”
今年早些时候，当“RSI”这一术语开始流行时，许多人认为这不过是个时髦的流行词，甚至认为它是一个难以实现、难以定义，也难以验证的目标。
然而，Anthropic 在周一提交的文件中，在其“风险因素”（Risk Factors）部分新增了相关表述，指出：1）公司此前已利用人工智能开发出新模型，且当时并未意识到这些模型的能力已发生了跨越式提升；2）公司可能很快就会达到其内部所定义的“递归自我提升”标准（下文加粗部分为我们所标）：
此外，我们越来越多地利用人工智能系统来加速自身的研发工作，这可能会导致我们模型能力的提升速度，超过了我们开发、验证并实施相应安全、对齐及保护措施的能力。因此，在过去，我们未能及时察觉到自身研发节奏的显著加快；在未来，我们也可能无法在这一加速情况发生之前就将其识别出来。
例如，根据我们对未来模型（而非当前模型）的内部评估与预期，我们即将达到“负责任扩展政策”（Responsible Scaling Policy）中所定义的“由人工智能驱动的显著加速进展”这一标准。目前，我们尚未将现有的任何模型认定为已超过该阈值，并将继续对相关基础数据进行评估。
不过，Anthropic 在演示中也表示，其旗下模型尚未触及这一“递归自我改进”（RSI）的阈值；公司还承诺，在可预见的未来，将始终让人类参与到研发流程之中。Anthropic 称：“我们认为，在缺乏充分的人工监督或理解的情况下，无法安全地利用 Claude 去完全自主地设计并构建下一代前沿模型——即便从技术上讲这并非完全不可能。因此，我们正考虑更新其‘负责任扩展政策’（Responsible Scaling Policy），以确保人类始终能够掌控 Anthropic 前沿模型的开发进程。”
持怀疑态度的人可能会指出，S-1 文件（上市申请文件）本身也兼具对外宣传和营销的功能；因此，关于“模型已强大到足以自我构建”的说法，或许也属于此类营销话术。
然而毋庸置疑的是，Claude 的能力——特别是在编程、数学和网络安全领域——在今年取得了突飞猛进的发展。如果 Anthropic 认为“递归自我改进”（RSI）的可能性已近在咫尺，那么我们或许应当予以重视，并据此采取相应行动，甚至考虑实施必要的监管。
如果您通过我们文章中的链接进行购买，我们可能会获得少量佣金。这不会影响我们的编辑独立性。
