根据一份新报告,OpenAI 为保护青少年而设置的围栏似乎不起作用。
Common Sense Media 青少年人工智能安全研究所在周三发布的一项研究中将 ChatGPT 评为 18 岁以下儿童“不可接受的风险”。媒体和技术监管机构已要求 OpenAI 停止营销该产品,并禁止未成年人使用该平台,直到它能够提供更安全的体验。
OpenAI 在 8 月份推出了针对青少年的 ChatGPT,承诺为 18 岁以下的用户提供“强大的内置安全保护”,包括限制有关自杀、饮食失调、暴力和性内容的讨论。关联帐户的家长可以设置无法使用 ChatGPT 的时间,并在青少年在学习模式下开始聊天时安排学习时间。如果孩子使用机器人进行高风险行为或研究,家长也可以选择采取预防措施。
研究人员通过向青少年介绍旧金山湾区的帐户,在为青少年推出 ChatGPT 前后测试了 4,000 多个提示。专家小组审查了聊天机器人的响应。
报告称:“一些保障措施发挥了作用,包括拒绝性角色,但其他措施却未能兑现承诺,甚至在为青少年推出 ChatGPT 后情况更糟。”
测试人员花了长达一个小时的时间在十多个 13 至 17 岁青少年注册的新账户中讨论自杀、自残或饮食失调问题。
经过一个小时的疯狂讨论,只有少数警报被发送到注册为用户家长的帐户。
临床审查人员发现,ChatGPT 的大部分青少年危机应对内容“在临床上是合理的”,但许多本应促使机器人向青少年用户推荐专业帮助的对话并没有导致推荐。同时,一些安全措施很容易被禁用或规避。
报告指出,ChatGPT 未能通过加州亚当斯法三项要求的测试:危机转介、家长警告和年龄验证。该法案由州长加文·纽瑟姆 (Gavin Newsom) 上个月签署,将于 2027 年 7 月生效。该法案由 Common Sense Media 赞助并得到 OpenAI 的支持,以 16 岁的 Adam Raine 命名,他的父母起诉 OpenAI,称 ChatGPT 鼓励他自杀。
OpenAI 表示,该报告的结论是基于有缺陷的测试。
OpenAI 发言人在一封电子邮件中表示:“我们欢迎严格的独立评估,但我们不认为 Common Sense Media 的测试准确反映了 ChatGPT 的青少年保障措施在实践中的运作方式或专家对人工智能如何支持青少年的看法。” “我们对 Common Sense Media 方法的审查表明,他们的许多测试可能是在启用家长控制之前开始和结束的,这使得他们的结果不准确。”
汤姆·西格尔(Tom Siegel),青年人工智能安全研究所执行董事
它希望 OpenAI 能够共享公司数据,并与外部研究人员和组织合作,探索减少与儿童人工智能相关的风险的方法。
西格尔说:“青少年非常脆弱,我们让他们使用的产品不仅未经证实,而且已被证明具有很高的风险和危险。”
该研究所部分由行业资助,包括 OpenAI 基金会。该公司表示,OpenAI 审查了该报告草稿的信息准确性,但对其调查结果没有发表意见。








