新的 OpenAI 工具旨在检测儿童性虐待

OpenAI 周一宣布推出一款新工具来检测儿童性虐待材料 (CSAM),包括人工智能生成的内容。

该工具是一个分类器,可以在图像中查找滥用的视觉迹象。然后,它会对图像进行评分,以帮助人类审阅者优先考虑哪些图像值得关注。 OpenAI 表示,CSAM 分类器是同类中第一个广泛使用的工具,其中包含表明可以使用 AI 生成图像的特定信号。

随着人工智能生成的 CSAM 激增,这种能力变得越来越重要。

一个 Childlight 进行的新分析 — 爱丁堡大学全球儿童安全研究所发现,从 2023 年到 2025 年,全球与人工智能相关的 CSAM 报告将增加 8,400% 以上。去年,国家失踪和受虐儿童中心收到了超过 40 万份此类报告。 2023 年,这一数字约为 4,700 人。

参见:

人工智能儿童性虐待材料如何与言论自由保护发生冲突

“像 OpenAI 这样的个体公司有责任防止掠夺者利用我们的技术来伤害儿童,我们还必须与更广泛的行业、儿童安全组织和执法部门合作,推进我们保护在线儿童的集体努力,”OpenAI 在其有关该声明的博客文章中表示。

该公司的新工具可供需要或授权检测 CSAM 的组织使用,包括一些使用 OpenAI 的应用程序编程接口或 API 的开发人员。

本周最佳科技交易

Apple iPhone 18 Pro 现已通过 T-Mobile 免费提供

可通过附属链接购买产品。如果您通过我们网站上的链接购买商品,Mashable 可能会赚取联属佣金。

OpenAI 还发布了与开源检测和报告软件 Coop 配合使用的工具。该软件由非营利组织 ROOST 提供,允许用户标记和审查内容,并将其报告给国家失踪和受虐儿童中心。

除了推出分类器之外,OpenAI 还创建了一个 卡模型 为此。 OpenAI 通常使用模型卡来提供有关 ChatGPT 产品如何改进和测试的详细信息。

ROOST 总裁 Camille François 告诉 Mashable,CSAM 分类器模型卡是该领域的首创。

弗朗索瓦在一封电子邮件中表示:“OpenAI 为儿童安全透明度树立了重要先例。” “制造商需要知道检测工具的工作情况以及它们的不足之处。发布这些数据可以帮助团队建立更好的保障措施,并使整个领域更清楚地了解研究重点。”

模型卡解释说,早期筛查导致误报控制减少。 OpenAI 估计它可以标记近一半的图像,同时发现与该公司现有工具相同数量的滥用图像。

如果您是在网上遭受性剥削的儿童,或者认识在网上遭受性剥削的儿童,或者目睹了网上发生的儿童剥削行为,您可以向 网络举报线其运营时间为 国家失踪和受虐儿童中心。