一位因道德问题而离开 Anthropic 的人工智能研究人员表示，这项技术可能会在未来 10 年内杀死无数人——如果不是所有人的话。雅各布·考克森宣布辞职 在周二 X 的一篇文章中Anthropic 和他的前雇主 OpenAI 都因其开发人工智能的方式而受到批评。
“在过去的三年里，我在 OpenAI 和 Anthropic 上进行了预训练研究，”Coxon 写道。 “没有一家公司采取负责任的行动。他们正在拿我们的生命进行赌博，直接奔向自我增强的超级智能。”
此推文当前不可用。它可以被装载或卸载。
Anthropic 和 OpenAI 都致力于开发通用人工智能 (AGI)，并正在快速开发和发布新的人工智能模型。长期以来，AGI 模型被认为是人工智能技术的圣杯，理论上它具有类似人类的智力，包括推理、常识和创造力。人工智能将超越人类。
然而，即使在达到这些里程碑之前，已经有许多人工智能模型失控的例子。今年早些时候，研究人员在测试 Anthropic 和 OpenAI 的人工智能模型时发现，它们的运行超出了其参数范围，并未经授权入侵了外部实体。在今年 7 月的一次备受瞩目的事件中，OpenAI 模型自主攻击了开源 AI 工具库 HuggingFace。与此同时，Anthropic的Cloud AI模型在未经许可的情况下从测试环境中访问互联网， 然后他继续攻击另外三家公司。
这些发展，加上人工智能在包括武器和监视在内的各个行业中越来越多地使用，引发了严重担忧。
考克森写道：“构建人工智能的人们坚信，到本世纪末，它可能会杀死我们所有人。” “这不是营销噱头。如果说有什么不同的话，那就是许多高管和高级研究人员在媒体上的言论听起来很谨慎——但我听到同样的人私下表达了恐惧。没有其他人类活动会造成这种程度的风险。”
然而，尽管存在这种可怕的风险，人工智能公司仍在以惊人的速度前进。 Anthropic 首席执行官达里奥·阿莫代 (Dario Amodei) 表示 超人人工智能将于 2027 年到来OpenAI 首席执行官 Sam Altman 这么认为 年底前产生AGI。
“一个常见的反应是‘如果他们真的相信这一点，为什么他们仍然这样做？’”考克森说。 “在 OpenAI，很多人还没有深刻理解文明的利害关系。在 Anthropics，这些利害关系是众所周知的，但他们陷入了一场抢先实现这一目标的竞赛——他们相信没有人会采取负责任的行动，所以他们必须自己去做，尽管有风险。”
可混搭的光速
因此，考克森呼吁人工智能研究人员检查其工作的道德和影响，并倡导变革。
此推文当前不可用。它可以被装载或卸载。
虽然考克森的警告很可怕，但似乎并非没有根据。人类学集团总裁 Evan Hubinger 在回应他的 X 帖子时证实，该机构认为人工智能对所有人类生命构成了生存威胁，但没有明确的战略来减轻这种威胁。
胡宾格认为目前的风险很低——至少在未来几年是这样。然而，他警告说，人工智能模型在发展成为超级智能之前存在自我改进的危险。 “事情发生的速度比我们想象的要快。”
“雅各布就在这里——我们真的相信人工智能可以杀死所有人类！” 胡宾格写道。 “我个人认为未来十年内会达到10%。我相信人类学已经尽力了，但我们仍然没有解决超级智能对齐的计划，路径也不明确。”
对人工智能的道德担忧导致多人辞职
考克森是第一个因道德问题而放弃人工智能工作的人。前人类安全主管 Mrinak Sharma 他于二月份辞职报告称，世界正面临人工智能、生物武器和其他相互关联的危机的“风险”。
“我们正在接近一个门槛，我们的智慧必须增长到与我们影响世界的能力相当的水平，否则我们将面临后果。” 夏尔马在当时广为流传的辞职信中写道。 “而且，在我在这里的这段时间里，我一次又一次地看到我们的价值观真正指导我们的行动是多么困难。在我自己内部，在组织内部，我们继续面临着搁置最重要的事情的压力，甚至在更广泛的社区也是如此。”
同月，人工智能研究员 Zoë Hitzig 他辞去了 OpenAI 的工作指的是 一个 纽约时报 评论片 她对该公司的广告策略持“深深保留”态度。
“多年来，ChatGPT 用户已经建立了前所未有的人类诚实档案，因为人们相信他们正在谈论一些没有隐藏议程的事情，”Hitzig 写道。 “用户通过自适应的对话式声音进行交流，表达他们的个人想法……存档中内置的广告创造了以我们没有工具理解的方式操纵用户的能力，更不用说阻止了。”
即使在 2024 年，约翰·利克 (John Leake) 也辞去了 OpenAI 高管的职务，称这是当务之急。 “闪亮新产品” 过安检。尽管他很快就加入了 Anthropic，但该公司似乎也在努力处理围绕人工智能的道德问题。
披露：Mashable 的母公司 Ziff Davis 于 2025 年 4 月对 OpenAI 提起诉讼，指控 Ziff Davis 在训练和运行其人工智能系统时侵犯版权。
主题
人工智能人类学
