许多关于 X 的帖子都来自一名人工智能研究人员，称他因道德问题而辞去了 Anthropic 的工作，这些帖子迅速传播开来。它引起了数以千计的回应。并引发了关于人工智能未来潜在危险的争论。
Jacob Coxon 是一名人工智能研究员，曾在 OpenAI 负责预训练人工智能模型，由于担心人工智能的发展可能导致人类灭绝，他从 Anthropic 辞职。 “没有一家公司采取负责任的行动，”他写道。 “他们正在加速高级智能的发展，并用我们的生命进行赌博。”超级智能是指人工智能的“认知”能力在各个方面都远远超过人类能力的假设场景。无论是科学、数学、策略、创造力。和解决问题
在 Coxon 在 X 上发布的主题 截至撰写本文时，它的观看次数已超过 1.56 亿次，点赞次数超过 752,000 次。
该声明在社交媒体上迅速传播并出现在网站上。 主要的 消息 网站它还收到了伊利诺伊州州长 JB Pritzker 的评论。 回复 X“人工智能对人类构成的威胁正变得越来越明显。因此，我呼吁业界和华盛顿立即采取行动。”
不到 24 小时后，该声明得到了 Anthropic 其他人的回应，他们没有与 Coxon 争论，而是坚称人工智能将压倒并可能消灭人类的威胁远非幻想。但对于人工智能研究人员来说确实如此。
“雅各布（考克森）是对的。” 伊万·胡宾格写道Anthropic 在 X 上对 AI 一致性进行压力测试的团队负责人 Hubinger 在回复中写道，“我们确实相信 AI 可以杀死所有人类。就我个人而言，我认为未来十年内这一数字将超过 10%。”
Hubinger 表示，“我相信 Anthropic 正在尽力而为。但我们没有计划修改高级智能的一致性。指南中也没有明确说明。”
Anthropic 和 OpenAI 的代表没有立即回应置评请求。
辞职作为警告信号
很难忽视考克森的担忧，有一个重要原因：他并不是第一个因这些原因离开大型人工智能公司的研究人员。今年二月，Anthropic 的安全负责人 Mrinank Sharma 离开了公司。 告诉您的关注者“世界正处于危险之中……看来我们正在接近极限，我们的智慧必须增长到与我们影响世界的能力相匹配。我担心我们将面临后果。”
同月，OpenAI 研究员 Zoë Hitzig 写在《纽约时报》的专栏中 她离开公司的部分原因是该公司追随了 Meta 的道路。 将利润置于道德之上，第二天她 新帖子 她在 X 上写的诗叫做“我们如何编程启示录”。
从那时起，OpenAI 首席执行官 Sam Altman 等人工智能领导者对他们之前关于人工智能可能有害或有害的评论做出了回应。 是否会造成大规模失业Anthropic 今年早些时候公开承认，它已经放松了一些安全标准，以跟上竞争对手的步伐，包括 OpenAI 和一些推出更便宜、更高效的人工智能模型的中国公司。
本次比赛有 OpenAI 和 Anthropic 两个项目进行角逐。 首次公开募股人们担心，行业领导者在部署人工智能模型时没有谨慎行事，而是冲向未知领域并发布可能在现在和未来造成危害的模型。 Anthropic 推出的先进人工智能模型就是这种情况，但由于重大网络安全风险，该模型最终被撤回或暂时受到限制。
考克森的辞职在离开人工智能公司的人中引起了最大的骚动，就考克森而言，为技术加速做出贡献的危险远远超过了任何经济收益。 “我在我的财富消失之前就离开了，”他说。 告诉新闻网站 Axios。
令人惊讶的是，OpenAI 和 Anthropic 都采取了这样的立场：如果放慢脚步，那些不太关心安全的人将推动人工智能的未来。
“考克森说得对，竞争会推动速度，”它说。 莎玛·海德尔林克商学院人工智能教授“所有这些公司都认为放慢速度会让人们变得不那么谨慎。因此，即使是了解风险的人也有理由急于采取行动。”
AGI 和超人人工智能
人工智能对人类构成迫在眉睫的威胁的速度可能取决于该技术何时达到两个日益模糊的基准：超人类人工智能（也称为人工超级智能，ASI），考克森在他的病毒帖子中提到了这一点，以及AGI，即通用人工智能。
AGI 将标志着人工智能达到（或超过）人类思维能力的假设点。一些人预测人工智能将达到这一基准。 短短几年内或者至少在21世纪末之前。这一时间表仍然受到一些人工智能领导者的质疑，比如英伟达的黄仁勋，他淡化了这一标志的重要性。 最近的财报电话会议在哪里？ 他说：“对于许多任务，我们可以说我们已经实现了通用人工智能。”他补充说，这一里程碑“目前完全是无意识的”。
球门柱也多种多样。有些人可能会选择使用特定测试来测量 AGI。虽然有些人可能认为只有当人工智能能够以超出人类能力的方式自动执行任务时，通用人工智能才算成功，
ASI 将在 AGI 之后走得更远，理论上将标志着人工智能在任何任务上都可以比人类做得更好。尤其是在深度思考和认知理解方面。其时间表非常模糊。但像考克森这样的研究人员认为，人工智能的发展速度比许多人想象的要快。
最近一次可能调整时间范围的事件是七月份发生的事件。 OpenAI 代表欺骗、密谋并入侵了廉价的 AI 社区 Hugging Face。 被英伟达收购抱脸事件发生的速度以及再次发生的概率。这一次没有任何警告。它激发了一种紧迫感。 警告 关于自动化人工智能系统的危险
末日和助推器
关于人工智能是否会在 2030 年杀死所有人类的争论反映了关于人工智能的杀手与推动者的更广泛的争论。虽然人工智能的推动者经常通过强调其非凡的潜力（例如巨大的生产力提升）来赞扬人工智能，但人工智能的愤世嫉俗者却以相反的方向赞扬人工智能。它的重点是失业和人类灭绝。
正如艾米丽·本德（Emily Bender）和亚历克斯·汉纳（Alex Hanna）在他们的《人工智能大会》一书中所说，人工智能的支持者和毁灭者都依靠科学想象力将超级智能视为乌托邦的救世主或乌托邦崩溃的威胁。尽管没有证据表明这种技术即将出现，但事实还是如此。许多人工智能评论家认为，这两种讲故事的方式都是企业营销。基于同样的基础，它错误地认为强大的人工智能的未来是完全不可避免的。
Coxon 的帖子传播的速度以及对该帖子的反应可能表明人工智能行业已经 另一场公共关系危机即将来临。 在人工智能数据中心遭受攻击并试图改变形象的一年里，包括 Meta 在内的社交媒体公司正面临着技术成瘾等问题的数十亿美元的判决。
像奥特曼这样的人工智能领导者正在采取的一种方法是将公众的注意力集中在人工智能带来什么以及人工智能可以提供什么上。除了大规模失业和死亡。换句话说，用支持性的言辞代替不良的言辞
“丰富“这是一个在今年年底被谈论的词。它承诺在这个世界中，人工智能的进步和好处将通过降低创造新商品和服务的障碍并使它们变得更便宜来帮助消除稀缺性并改善每个人的生活。而且不仅仅是为了 谁能负担得起先进的人工智能技术？。
海德说，考克森的帖子中缺少的是关于人工智能行业以外的人可以做什么的指导。 “关于灭绝的争论属于控制这种做法的几百人和可以监督他们的监管机构，”她说。
最后一个问题在于人类想用这项技术做什么。海德说：“如果人工智能足够强大，能够做人们害怕的令人惊奇的事情，那么它也足够强大，能够做我们在医学和科学领域希望的令人惊奇的事情。”
至此，丰富性争论已经出现。 遇到质疑尤其是当公众的注意力和热情集中在人工智能上时，宣传其好处可能对公司有利。他们正在投资数十亿美元并促进其公司可能代表的价值（或数万亿）公司的首次公开募股
谁在乎丰富？你可以说，如果世界上没有人类可以享受它呢？
查看完整历史记录
