-
一位人工智能研究人员离开了 Anthropic，警告人工智能实验室对安全风险采取了鲁莽的做法。
-
“没有一家公司采取负责任的行动，”他在辞职信中写道。
-
由于担心人工智能进步的安全性，OpenAI 和 Anthropic 已辞职。
一位曾经在 OpenAI 工作的人择研究员刚刚离开。他是最新一位警告人工智能已成为一场竞赛的内部人士 危险地鲁莽。
雅各布·考克森 (Jacob Coxon) 周二宣布离开 Anthropic，称过去三年他一直在为这两家人工智能巨头进行初步研究。
广告
广告
考克森在 X 上写道：“两家公司的行为都不负责任。” 自我完善的超级智能 并用我们的生命来赌博。”
Coxon 自 2023 年起一直是 OpenAI 技术人员，直到 2026 年 7 月转到 Anthropic 担任研究员。他在 OpenAI 的研究包括 GPT-4o 的工作。
考克森在周二的帖子中表示，这两个实验室并未公开表达对人工智能的担忧。
“开发人工智能的人们真诚地相信，到本世纪末，它可能会杀死我们所有人。这不是营销策略，”他写道。 “如果说有什么不同的话，那就是许多高管和高级研究人员会在媒体上发表自己的言论，让自己听起来很聪明，但我听到同样的人在私下表达了恐惧。”
广告
广告
有 一处差别 他说，两家公司之间的关系。
“OpenAI 的很多人并没有深刻体会到它 文明的赌注”，考克森写道。“Anthropic 的利害关系众所周知，但他们正在争先恐后地抢先实现——他们相信没有人会采取负责任的行动，所以他们必须自己去做，不管风险如何。”
Evan Hubinger 是 Antropia 的现任员工，负责实验室调试压力测试团队的领导，他在回复 Coxon 的帖子时同意 Coxon 的观点。
“雅各布是对的——我们真诚地相信人工智能可以杀死所有人类！我个人认为未来十年将会超过 10%，”他写道。 “我认为 Anthropic 正在尽最大努力，但我们还没有解决超级智能对齐问题的计划，我们肯定会朝这个方向迈进。”
广告
广告
OpenAI 和 Anthropic 没有回应 Business Insider 的置评请求。
安全性荣获“闪亮产品第二名”
Coxon 是 Frontier Labs 众多员工中最新一位离职的 当闹钟响起时这一趋势似乎是人工智能热潮的典型趋势。
尽管互联网和智能手机繁荣时代对数字鸿沟和泡沫存在担忧，但它们并没有引起对近期安全的太多关注。
近年来，OpenAI 失去了一批安全研究人员，Anthropic 也越来越多地面临着同样的现象。
今年二月，人类安全研究员 Mrinank Sharma 离开了公司，他在辞职信中写道，他希望为一些完全符合他“诚信”的事情做出贡献。
广告
广告
“在我在这里的这段时间里，我一次又一次地看到真正让我们的价值观指导我们的行动是多么困难，”他在公开分享的信中写道。 “我在自己身上、在一个我们不断面临推迟最重要事情的压力的组织中以及在整个社会中都看到了这一点。
今年 2 月，OpenAI 研究员 Hieu Pham 表示，他“终于能感受到人工智能带来的生存威胁”。当月晚些时候，他以倦怠为由宣布离开公司。
2024 年，前 Unification 首席执行官 Jan Leike 退出了 OpenAI，称他的领导力已达到“临界点”。
“OpenAI 代表全人类承担着巨大的责任，”他写道。 “但在过去的一年里，安全文化和流程已经让位于闪亮的产品。”
广告
广告
最近发生的事件进一步加剧了这些担忧。
7 月，OpenAI 透露这些模型已脱离测试环境并 Hugging Face 的系统被黑客入侵。 OpenAI 称这一事件是一次“警告”，并暂停了计划中的最大的边境加固训练周期。
当月晚些时候，Anthropic 表示发现了三起案件 克劳德的模型获得未经授权的访问 到其他组织的系统。
今年，该公司还改变了其核心安全承诺，放弃了在没有适当保障措施的情况下不会建造更强大模型的承诺，并以安全计划和风险报告取而代之。
如果你喜欢这个故事，请一定要关注 商业内幕 雅虎！
