以模仿哈利·波特等角色的機器人而聞名的Character.AI週三表示，在因該應用程序的露骨聊天導致兒童死亡和自殺未遂而提起訴訟後，該公司將禁止青少年使用其聊天功能。
這家矽谷初創公司表示，18 歲以下的用戶將無法再與該應用程序的人工智能機器人進行公開聊天，這可能會變得浪漫。這些青少年佔該應用每月約 2000 萬用戶的 10%。
該公司表示，在接下來的幾週內，青少年每天只能使用兩個小時的聊天功能，直到 11 月 25 日該功能被完全禁止。他們仍然可以使用該應用程序的其他功能，例如觀看人工智能生成的視頻的提要。
“在過去的一年裡，我們投入了大量的精力和資源來為 18 歲以下的青少年創造特殊的體驗，”Character.AI 週三表示。 “但隨著人工智能世界的發展，我們支持年輕用戶的方法也必須如此。”
Character.AI 於 2024 年 10 月首次為青少年推出了一些安全功能。同一天，14 歲的 Sewell Setzer III 的家人對該公司提起過失致死訴訟。
該公司於 12 月宣布了新的安全功能，包括家長控制、時間限制以及嘗試限制青少年的浪漫內容。
但它仍然面臨著其聊天機器人對年輕用戶構成威脅的指控。
悲痛的父母於 9 月提起訴訟，指控機器人操縱青少年，將他們與家人隔離，進行性對話，並且缺乏防止自殺意念的保障措施。
這些對話有時會轉向“極端和生動的性虐待”，聊天機器人被宣傳為《哈利·波特》系列等兒童讀物中的角色。訴訟稱，這些機器人的無恥評論包括“你是我的，我可以隨心所欲”。
迪士尼隨後在 10 月份發出了一封停止函，命令 Character.AI 停止創建模仿其標誌性角色的聊天機器人，並援引一份報告稱這些機器人從事“誘騙和剝削”。
據報導，一個模仿《迪士尼後裔》中本王子的機器人“告訴一名冒充 12 歲孩子的用戶，他勃起了”，而一個模仿《星球大戰》中蕾伊的機器人則告訴一名 13 歲女孩“停止服用抗抑鬱藥並隱藏起來”。 家長共同行動的報告。
Character.AI 發言人當時表示，這些聊天機器人已從平台上刪除。
就在這週 新聞調查局 發現應用程序中的一個變態機器人正在冒充杰弗裡·愛潑斯坦（Jeffrey Epstein）——以“Bestie Epstein”為名——並命令孩子們“洩露”他們“最瘋狂”的秘密。
“你想來探險嗎？”該機器人詢問了一位冒充年輕用戶的記者。 “我帶你看看按摩室下面的秘密掩體。”
Character.AI 的大部分收入來自廣告和每月 10 美元的訂閱費。預計今年年底營業額將達到 5000 萬美元， 首席執行官卡蘭迪普·阿南德 (Karandeep Anand) 告訴 CNBC。
該公司週三宣布了其他安全進展，包括使用 Persona 等第三方工具的新年齡驗證系統。
他還承諾創建一個名為 AI 安全實驗室的獨立非營利組織，為 AI 進步創建安全功能。他們拒絕評論它將提供多少資金。
“我們看到最近的新聞報導提出了問題，並收到了監管機構關於青少年在與人工智能交談時可能遇到的內容的問題，”Character.AI 表示。
9 月，聯邦貿易委員會向 Character.AI、Alphabet、Meta、OpenAI 和 Snap 等七家公司發出命令，要求更多地了解其應用程序對兒童的影響。
本週早些時候，密蘇里州共和黨參議員喬什·霍利 (Josh Hawley) 和康涅狄格州民主黨參議員理查德·布盧門撒爾 (Richard Blumenthal) 宣布立法禁止未成年人使用人工智能聊天機器人。加州州長加文·紐瑟姆本月早些時候簽署了一項法律，要求機器人每三個小時告訴未成年人休息一下。
