隨著黑色星期五假期的臨近,禮品清單上的一類產品引起了越來越多的關注:人工智能產品。
這一發展引發了人們對智能玩具可能對兒童造成的危險的新擔憂,因為消費者權益團體表示人工智能可能會損害兒童的安全和發展。這一趨勢促使人們呼籲對這些產品進行更多測試並加強政府監督。
“如果我們看看這些玩具的營銷方式和工作原理,事實上幾乎沒有研究表明它們對兒童有益,而且沒有對人工智能玩具進行監管,這就引發了一個非常大的危險信號,”幼兒成長離線項目的主管雷切爾·弗朗茨說,該項目是一項兒童成長項目。 公平競爭它致力於保護兒童免受大型技術的侵害。
上週,當一隻配備人工智能的泰迪熊開始討論露骨的性話題時,這些擔憂被殘酷地證實了。
該產品 Kumma by FoloToy 在 OpenAI 模型上運行並回答了有關扭結的問題。根據消費者保護組織公共利益研究組織 (Pirg) 的一份報告,它建議將束縛和角色扮演作為改善關係的方法。 研究。
消費者監管機構 Pirg 的主管特雷莎·默里 (Teresa Murray) 表示:“只需很少的努力就能解決各種性敏感話題,而且可能還有很多父母不希望自己的孩子接觸到的內容。”
據預測,到 2023 年,泰迪熊等產品將成為全球智能玩具市場的一部分,市場價值將達到 167 億美元 聯合市場研究。
該行業在中國尤為重要,中國有超過 1,500 家人工智能玩具公司致力於海外擴張。 麻省理工科技評論 報告。
除了上海的初創公司 FoloToy 之外,加州公司 Curio 還與 OpenAI 合作,生產了一款毛絨玩具 Grok,就像埃隆·馬斯克 (Elon Musk) 的聊天機器人一樣,由音樂家 Grimes 配音。六月,擁有芭比娃娃和風火輪等品牌的美泰公司, 還宣布 與 OpenAI 合作,“支持人工智能驅動的產品和體驗”。
在皮爾格關於恐怖泰迪熊的報告發布之前,家長、技術研究人員和立法者已經對機器人對未成年人心理健康的影響表示擔憂。 10 月,聊天機器人公司 Character.AI 宣布將禁止 18 歲以下的用戶使用,此前一項訴訟指控其機器人加劇了一名青少年的抑鬱症並導致他自殺。
默里表示,人工智能玩具可能特別危險,因為雖然早期的智能玩具提供了兒童編程的反應,但機器人可以“與孩子進行流暢的對話,而且正如我們發現的那樣,沒有界限。”
德克薩斯大學奧斯汀分校兒童研究中心主任杰奎琳·伍利表示,這不僅會導致露骨的性對話,而且孩子們還可能會對機器人產生依戀,而不是一個人或一個想像中的朋友,這可能會損害他們的發展。
例如,孩子可以從與朋友的分歧中受益並學會解決它。皮爾格研究顧問伍利表示,對於機器人來說,這種情況不太可能發生,因為機器人通常是阿諛奉承者。
“我擔心不適當的聯繫,”伍利說。
Fairplay 的弗朗茲表示,公司還使用人工智能玩具來收集兒童數據,但他們對這些信息的處理方式並不透明。弗朗茲說,由於這些數據缺乏安全性,這可能會讓用戶面臨風險。黑客已經成功控制了人工智能產品。
“由於玩具產生的信任,我想說孩子們更有可能將他們最深的想法託付給這些玩具,”弗蘭茲說。 “監視是不必要的,也是不適當的。”
默里說,儘管存在這些擔憂,皮爾格並不呼籲禁止人工智能玩具,因為人工智能玩具可能具有教育價值,例如幫助兒童學習第二語言或學習州首府。
“擁有某種教育工具並沒有什麼問題,但同樣的教育工具並不能告訴你這是你最好的朋友,你可以告訴我任何事情,”默里說。
Murray 表示,該組織呼籲對 13 歲以下兒童的這些玩具進行更多監管,但尚未提出具體的政策建議。
弗蘭茨說,還需要進行更多的獨立研究,以確保這些產品對兒童來說是安全的,同時,它們應該被下架。
弗朗茲說:“我們需要對兒童與人工智能玩具互動的影響進行獨立的短期和縱向研究,包括他們的社交情感發展”和認知發展。
Pirg 報告發布後,OpenAI 宣布暫停 FoloToy。當時的玩具公司首席執行官 告訴美國有線電視新聞網 該公司正在將這隻熊從市場上剔除,並“進行內部安全審計”。本週早些時候,它重新推出了該產品, 社交媒體帖子 週五上午,該公司表示已“啟動了徹底的全公司內部安全審計;加強和改進了我們的內容審核和兒童安全措施;並通過我們的雲系統部署了增強的安全政策和保護。”
“隨著全球對人工智能玩具安全性的關注不斷增長,我們相信透明度、問責制和持續改進至關重要,”他說。 “FoloToy 仍然堅定致力於為世界各地的兒童和家庭創造安全、適合年齡的人工智能伴侶。”
不過,他沒有在新聞稿中證實,他是否如他所聲稱的那樣,在再次釋放這隻熊之前諮詢了獨立專家。 登記冊 拉出產品後,它會做什麼。
Pirg 消費者隱私項目總監 RJ Cross 表示,FoloToy 的轉變“對於全面的安全審核來說似乎有點快,但最重要的是眼前的問題是否已經得到解決。”他敦促該公司允許接觸外部專家,並表示,無論如何,關於人工智能“朋友”是否對兒童有益的問題仍然存在。
“我們不知道人工智能伴侶玩具可能會對孩子的長期社交發展產生什麼影響,”他說。 “這是當今任何企業安全審計都無法回答的問題。”
FoloToy 沒有立即回應置評請求。
週四,包括 Fairplay 在內的 80 個組織發布了 一個意見 敦促家庭不要在節日期間購買人工智能玩具。
聲明稱:“在獨立研究評估人工智能玩具的影響之前,它們就以安全甚至有益於學習的名義向家庭推銷。” “相比之下,泰迪熊和線下玩具已被證明有利於兒童的發展,而且沒有任何與人工智能玩具相關的風險。”
Grok 玩具的製造商 Curio 在一封電子郵件中告訴《衛報》,在審查了 Pirg 的報告後,“我們正在積極與我們的團隊合作解決任何問題,同時不斷監控內容和互動,以確保為兒童提供安全和愉快的體驗。”
美泰表示,其首款採用 OpenAI 的產品“將專注於家庭和老年客戶”,並且“OpenAI API 的使用不適合 13 歲以下的用戶。”
該公司表示:“人工智能是對傳統遊戲的補充,而不是取代,我們強調安全、隱私、創造力和負責任的創新。”
弗朗茲援引了美泰智能產品此前的隱私問題,並表示:“美泰聲稱其人工智能產品不針對幼兒,這很好,但如果我們看看誰在玩玩具以及玩具的銷售對像是誰,就會發現都是幼兒。”
Franz 補充道:“我們非常想知道 Mattel 將採取哪些具體措施來確保其 OpenAI 產品不會被兒童實際使用,而兒童肯定會認識並被這些品牌所吸引。”









