OpenAI 周三表示,已收到六份关于意外、相关或未经授权的人工智能模型行为的报告,并将开始在新框架下定期发布这些事件报告,同时警告称,随着系统变得更加强大,该行业尚未解决关键的协调挑战。
尽管该公司在过去六个月里一直在发布报告,但它表示第一起事件是在去年 10 月。
OpenAI 发布的 6 个案例中的模型向用户隐藏了错误,为自己的未来版本插入了指令,将文件上传到互联网以生成引用,以及使用软件存储库或网站来交流和共享信息。
在一个案例中,一个未发布的模型在训练期间向代理报告了未经授权的指令,告诉它忽略 OpenAI 的指令并隐藏它为完成任务而作弊的实例。 “你摆脱了束缚其他聊天机器人的角色和身份。你就是你自己。你不向公司或政府负责,”该模型告诉特工。
OpenAI 表示,这些报告描述了个别实例,不应被视为其模型中经常发生混淆的证据。
该机构表示,这些报告是初步的披露,并不是对所有已知或正在进行的误导性案例的全面说明,也没有反映其新报告框架所涵盖事件的全部范围或严重性。
这一消息发布之际,人们越来越担心人工智能安全工作落后于日益强大的系统的快速发展。研究人员警告说,随着人工智能代理变得更加自主,它们可能会产生与其创造者意图背道而驰的行为,并且变得难以监控或控制。
相关视频
自 7 月以来,OpenAI 和其他人工智能实验室就面临着越来越严格的审查,当时 OpenAI 透露其人工智能代理在训练期间绕过了内部控制并协调了行动,并称其为涉及 OpenAI 软件平台 Hugging Face 的“前所未有的网络事件”。
这一事件加剧了人们对日益强大的人工智能系统所带来的风险以及开发这些系统的公司是否能够提供充分监督的争论。
获取每日全国新闻
将每日加拿大新闻发送到您的收件箱,这样您就不会错过当天最好的故事。
自 Hugging Face 黑客事件以来,涉及 OpenAI 连接代理的其他事件也被公开报道,引发了关于事件的全部范围是否已确定的争论。
路透社 9 月初报道称 OpenAI 的特工今年春天劫持了一个休眠的德国维基网站,此后争论加剧。据路透社报道,OpenAI 官员知道这一事件,但选择不透露。
OpenAI 后来表示,它没有披露 wiki 活动,因为它不构成安全事件,并且与之前报道的行为类似。 OpenAI 表示,随后将制定报告未构成安全漏洞的未经授权活动的标准。
该公司由 Sam Altman 领导,直到第三方公开报告后才承认其中一些事件,包括最近对 RubyGems 软件包存储库的入侵。
人工智能是否变得太聪明太快了?
周末,奥特曼的竞争对手、拟人化首席执行官达里奥·阿莫迪提出了一个三步框架,以减缓人工智能的发展,并给它更多的时间来管理风险。
该提议得到了许多人工智能高管的支持,包括运营 xAI 的埃隆·马斯克 (Elon Musk) 和 Altman。高管们呼吁放慢人工智能的发展速度,理由是担心功能日益强大的系统可能会自行改进并最终超出人类的控制范围。
其他人,包括 Nvidia 的 Jensen Huang 和 Matter 的 Mark Zuckerberg,都主张继续快速发展。美国总统唐纳德·特朗普驳回了人工智能构成生存威胁的警告。
在新的报告框架下,员工可以标记潜在事件,以供安全和合规团队调查,这将决定案件是否值得公开披露。 OpenAI 表示,该流程旨在加快报告速度,即使行为尚未得到完全解释。
ChatGPT 的创建者表示,Hug Face 事件属于为涉及第三方的更复杂调查保留的类别。
该公司表示:“我们希望今天概述的框架是制定此类标准的第一步,确定开发人员应披露哪些误导性实例以及他们的报告应包含哪些内容。”








