周三,OpenAI(OPAI.PVT)公布了其人工智能模型的六个新示例,这些模型在测试和评估过程中表现出“意外或非典型行为”。
该公司宣布了这一消息,同时还推出了一个新框架,用于“监控、报告和披露”人工智能模型采取不言而喻或无意的行动的情况。
在此之前,有几份关于公司的 AI 模型入侵第三方网络和服务的报道,其中包括未发布的 AI 模型进入网络的 OpenAI 模型以及一个名为 Hacking Phase 的测试网站。
本周早些时候,人类学家 Jacob Coxon 在 X 上宣布他将从公司辞职后,Anthropic ( ANTH.PVT ) 首席执行官 Dario Amodei 写了一篇长文,呼吁放慢前沿人工智能模型的开发步伐。
拟人论科学领军人物埃文·哈宾格 (Evan Hubinger) 在 X 上发表了自己的帖子,跟进了考克森的评论,称他相信技术有超过 10% 的可能性会“杀死所有人类”。
Anthropic 联合创始人兼首席执行官达里奥·阿莫迪 (Dario Amodi) 于 2025 年 9 月 4 日在加利福尼亚州旧金山莫斯康中心举行的 INBOUND 2025 会议上发表演讲。 (Chance Yeh/Getty Images for HubSpot) · Sans Yeh 来自 Getty Images
这些事件、帖子和阿迪的文章再次引发了人们对终结者式人工智能接管和毁灭世界的担忧。但专家表示,现实情况与科幻世界末日场景相去甚远。
纽约大学坦登工程学院计算机科学与工程副教授兼该学院院长表示:“这并不是人工智能变得有知觉并出来攻击我们。” 负责任的人工智能中心 朱莉娅·斯托亚诺维奇告诉雅虎财经。
“从本质上讲,发生的事情是……一些基本的安全协议没有被纳入 OpenAI 中。所以这确实是对人工智能公司的一个警钟,让他们记住我们在学习计算机科学时学到的东西。安全是一件事,”他补充道。
关注世界末日场景可能会分散人们对防止人工智能可能造成的其他更直接伤害的注意力。
维修和保养
人工智能最大的问题归结为两件事:一致性和安全性。协调是组织促使人工智能系统以特定方式行事或不行事的方式。
例如,如果人工智能模型试图破解第三方系统,人工智能研究人员可以修改模型的行为以防止它将来这样做。可以把它想象成责骂一个不遵守规则的孩子。
人工智能安全归根结底是锁定人工智能系统,使它们无法挣脱并尝试入侵外部网络。
然而,错误配置或安全问题意味着人工智能即将毁灭人类。
佐治亚理工学院政策教授兼马斯特西学院政策主任马斯特顿解释说:“许多此类事件的借口都是信息系统造成的非常平常的意外后果,例如拥抱事件,这些事件通常被描述为失控的特工密谋攻击并肆意横行。”穆勒.
“事实上,这是一个针对这些代理人工智能系统的安全影响的现场实验,这些系统由测试人员配置得很差。一般来说,当你处理复杂的信息系统时,有时你会忘记智能实体可以利用的小角落和缝隙,”他补充道。
Futurum 首席执行官丹尼尔·纽曼 (Daniel Newman) 告诉雅虎财经,他听到了在安全和安保方面进行重组的“巨大需求”。 “这个行业需要向前发展,”他说。
就像任何其他技术一样,坏人当然可以将人工智能用于恶意目的。随着网络安全能力的增强,网络犯罪分子和民族国家可以更轻松地入侵水处理厂或使大型网络离线。
Anthropic 最近发布了一份概要,说明其为打击滥用人工智能开发生物武器和常规武器而做出的努力。
但人工智能也可以用来帮助欺诈者通过电子邮件网络钓鱼操作或身份盗窃团伙进行诈骗。
纽约大学坦登工程学院计算机科学与工程助理教授艾米丽·布莱克(Emily Black)告诉雅虎财经,虽然为所有可能发生的情况做好准备并没有什么坏处,但你无法避免谈论更直接、不那么引人注目的话题,包括人工智能对歧视、劳工和教育的影响。
“真相就在两个童话故事之间,”布莱克说。 “人工智能的持续发展肯定会带来一些可信的威胁。我认为我们不需要因为担心人工智能毁灭人类而躲在床底下。”
订阅雅虎财经周刊科技通讯。 · 雅虎财经
发送电子邮件至 Daniel Hawley,邮箱为 Dhowley@yahoofinance.com。在 Twitter 上关注他 @丹尼尔霍利。
如需最新的盈利报告和分析、盈利八卦和预期以及公司盈利新闻,请点击此处
阅读雅虎财经的最新金融和商业新闻。