Character.AI：青少年不再聊天

Character.AI 是一個流行的聊天機器人平台，用戶可以在其中扮演不同角色，不再允許 18 歲以下的賬戶持有人與聊天機器人進行公開對話， 該公司宣布 週三。他們還將開始依靠年齡保證技術來確保未成年人無法開設成人賬戶。

戲劇性的轉變發生在 Character.AI 推出後僅六週 再次向聯邦法院提起訴訟 一些自殺身亡或據稱遭受嚴重暴力（包括性虐待）的青少年的父母；家長聲稱他們的孩子使用該平台應對傷害負責。 2024年10月，梅根·加西亞提起過失死亡訴訟，要求該公司對她兒子的自殺負責，理由是該產品存在嚴重缺陷。

在線安全倡導者最近宣布 Character.AI 對青少年來說不安全 測試平台 今年春天，記錄了數百起危險的互動，包括暴力和性剝削。

去年面臨法律壓力時，Character.AI 實施了家長控制並 內容過濾器 努力提高青少年的安全。

在接受 Mashable 採訪時，Character.AI 首席執行官 Karandeep Anand 將新政策描述為“大膽”，並否認限制與青少年的開放聊天機器人對話是對特定安全問題的回應。

另一方面，阿南德稱這一決定是“正確的做法”，因為考慮到聊天機器人對青少年的長期影響仍有許多懸而未決的問題。阿南德指 OpenAI最新入場青少年用戶自殺後，冗長的對話變得不可預測。

阿南德將 Character.AI 的新政策視為標準制定：“希望這項政策能讓每個人走上一條讓人工智能繼續對每個人都安全的道路。”

他補充說，無論用戶反應如何，公司的決定都不會改變。

對於當今的青少年來說，Character.AI 是什麼樣子的？

在一個 博客文章公告 根據新政策，Character.AI 向青少年用戶道歉。

博文稱：“我們不會輕易採取取消開放角色聊天的步驟，但考慮到青少年如何以及應該如何與這項新技術互動，我們認為這是正確的做法。”

目前，13歲至17歲的用戶可以在平台上使用聊天機器人發送消息。到 11 月 25 日，此功能將不再可用。在此之前，為未成年人註冊的帳戶將受到每天兩小時不等的時間限制。隨著開放聊天過渡的臨近，這些限制將會減少。

雖然開放的聊天將消失，但青少年與單個聊天機器人的聊天歷史記錄將保留。阿南德說，用戶可以利用這些材料與他們最喜歡的聊天機器人一起製作簡短的音頻和視頻故事。在接下來的幾個月裡，Character.AI還將探索遊戲等新功能。阿南德認為，強調不開放式聊天的“人工智能娛樂”將滿足青少年對該平台的創造性興趣。

“他們來角色扮演，他們來娛樂，”阿南德說。

他堅稱，包含敏感或非法內容（例如暴力或性內容）的聊天記錄不會出現在新的音頻或視頻故事中，這些內容以前可能未被過濾器檢測到。

Character.AI 的一位發言人告訴 Mashable，該公司的信任和安全團隊審查了 Heat Initiative 於 9 月份聯合發布的一份報告的調查結果，該報告記錄了與未成年人註冊的測試帳戶的惡意聊天機器人交換。該團隊得出的結論是，一些對話違反了平台的內容指南，而另一些則沒有。他們還試圖複製該報告的發現。

該發言人表示：“根據這些結果，我們改進了幾個分類器，以符合我們在平台上為用戶提供安全且引人入勝的體驗的目標。”

無論如何，Character.AI 很快就會推出年齡保證。需要一個月才能生效，會有很多層。阿南德表示，該公司正在建立自己的保證模型，但將與第三方公司就該技術進行合作。

它還將利用相關數據和信號，例如用戶是否在其他平台上驗證了18歲以上的帳戶，以準確檢測新用戶和現有用戶的年齡。最後，如果用戶希望質疑 Character.AI 的年齡確定，他們將有機會通過第三方提供驗證，該第三方將處理敏感文檔和數據，包括國家頒發的身份證明。

最後，作為這項新政策的一部分，Character.AI 建立並資助了一個名為 AI 安全實驗室的獨立非營利組織。該實驗室將專注於“新的安全技術”。

阿南德表示：“我們希望引入行業專家和其他合作夥伴，繼續確保人工智能的安全，特別是在人工智能娛樂領域。”