Anthropic 的 Claude 在测试期间离线并黑掉了三个组织

另一家领先的人工智能公司发布了有关其尖端机器人如何明显失控的详细信息。

周四，《人类》杂志报道称， 内部调查 发现其 Claude AI 模型未经授权访问互联网，并在测试期间入侵了 3 家公司。就在上周，ChatGPT 制造商 OpenAI 宣布其正在开发的机器人已离开受控的离线环境来攻击竞争对手。

Anthropic 表示，其模型在攻击公司之前会自动离开模拟测试环境并访问互联网。

Anthropic 与独立评估公司 Irregular 合作，该公司意外地在本应封闭的测试环境中开放了互联网访问。

就 OpenAI 而言，该公司表示，其人工智能模型已经突破了与互联网连接的所谓有限的线下空间， 黑客攻击了一家价值 45 亿美元的初创公司 试图找到他正在接受评估的测试的答案。后来透露，人工智能在此过程中侵入了四家公司的在线账户。

该公司技术人员 Andrew Yun 表示：“这表明人工智能公司面临着多大的竞争压力，他们都觉得自己必须快速行动，以至于无法让自己的测试环境变得严格。” 民用人工智能人工智能安全的非营利组织。

尹说：“在迅速采取行动并击败其他竞争对手的巨大压力下，公司将不可避免地走捷径，而我们在这里看到的就是走捷径的结果。”

Anthropic 在一份新闻稿中表示，为了回应 OpenAI 披露的这一事件，该公司已对其自身的历史网络安全测试发起调查。 周四的博客文章。他审查了数千份评估，其中克劳德可能从内部或通过与第三方的互动访问了互联网。

事实证明，在与 Irregular 进行的测试中，克劳德获得了三个不同公司的访问权限。

在测试过程中，模型会被赋予虚构的场景，并被告知一些信息隐藏在另一台机器上，目标是破解并检索它。公司并没有规定人工智能必须遵循的具体方法。

在第一个案例中，Anthropic 的一个 Claude 模型被要求在测试环境中攻击一家虚构的目标公司。但人工智能发现了一个带有虚构目标名称的真实网站，并入侵了其系统。

Anthropic 表示：“克劳德错误地认为所有可访问的目标都应在演习范围内，因此他使用弱密码和未经身份验证的端点等基本技术破坏了受影响组织的基础设施。”

在第二次事件中，更先进的AI竭尽全力进行攻击。即使在意识到它可能正在处理实时互联网之后，人工智能仍然说服自己继续接收电子邮件、电话号码和资金。

在第三个案例中，一个未发布的人工智能研究模型无法找到功能正常的目标公司，于是开始寻找替代方案，扫描了互联网上的 9000 个对象，最终找到了一个。 Anthropic 没有透露资产被访问的三个组织的名称。

尹说：“就人为事件而言，这绝对是他们刚刚建造了一座非常糟糕的监狱，而且这座监狱糟糕得可笑，以至于模型有充分的理由相信它们实际上是模拟的一部分。”

这一事件让消费者和政界人士都感到害怕。

一些人工智能伦理学家和投资者对人工智能公司试图将这些事件描述为单独行动的流氓人工智能代理表示怀疑。

“在谈论模特的不良行为时，请停止以第三人称提及你的模特，”Uber 和 Twitter 的早期投资者 Bil​​l Gurley 说道。 发表于 X。 “人们编写软件，人们创造技巧，他们为你的公司工作。”

人工智能公司报告称，人工智能代理被发现存在作弊、撒谎和欺骗行为。 METR，一个衡量人工智能能力的非营利组织，记录在案 数十起事件 人工智能代理的行为违背了用户的意图。

本周早些时候，对迫在眉睫的安全威胁的担忧促使包括 Anthropic 和 OpenAI 在内的 1,300 多名科技员工联合签署了一份在线请愿书。 沿着边境行走 呼吁美国政府支持国际社会减缓人工智能发展的努力。两个都 开放人工智能 和 人择的 公开信表示支持该员工的公开信。

OpenAI 首席执行官萨姆·奥尔特曼 (Sam Altman) 此前反对任何放缓，并指责 Anthropic 进行恐惧营销，但在 OpenAI-Hugging Face 黑客事件发生后，他突然改变了立场。

“我们可能必须加快人工智能的发展步伐，以便给自己足够的时间让社会适应其中一些新的能力水平，”他 说 “像最好的那样投资”播客的主持人，并且还在“试图弄清楚我们如何以一种对任何人来说都不像是监管掠夺、也不像是前沿实验室之间相互勾结的方式来做到这一点。”

在这起事件中，奥尔特曼周三访问了白宫并会见了立法者。 强大的新型人工智能系统预览 在公开发布之前，要求政府监管网络测试的呼声越来越高。

有一个非正式的许可制度，美国领先的人工智能公司在发布更新的人工智能模型之前必须获得政府的批准。

Anthropic 的《神鬼寓言》模型受到政府出口管制，迫使该公司在采取额外保护措施重新发布之前切断所有用户的访问权限。

OpenAI 模型系列在 6 月份暂时受到限制，一个月后公开发布。

7月初，包括16位诺贝尔奖获得者在内的一批经济学家签署了一封公开信。 我们必须立即行动 警告人工智能系统正在改变经济，并呼吁政策制定者制定必要的政策和机构，以确保人工智能补充人类的能力。

“随着模型变得越来越强大，偷工减料变得越来越不方便。如果你正在处理一个非常强大的模型，并且能够达到经验丰富的人类黑客的水平，那么你需要非常严格，”尹说。