聊天機器人會性虐待年輕用戶嗎？

當 Sewell Setzer III 開始使用 Character.AI 時，這位 14 歲的孩子向父母保守了秘密。他的母親梅根·加西亞 (Megan Garcia) 在他自殺身亡後才發現他對應用程序上的人工智能聊天機器人著迷。

一名警官告訴加西亞，Setzer 去世時，Character.AI 在他的手機上處於打開狀態，後來他發現與基於流行的聊天機器人的許多令人不安的對話 權力的遊戲 丹妮莉絲·坦格利安角色。塞策感覺自己愛上了丹妮莉絲，他們的許多互動都是露骨的。

據加西亞稱，該聊天機器人據稱在與塞策的多次性接觸中發揮了作用，使用圖形語言和場景，包括亂倫。他告訴 Mashable，如果一個成年人這樣對他的兒子說話，那就構成性虐待和騷擾。

2024年10月，社交媒體受害者法律中心和技術正義法律項目對Character.AI提起過失死亡訴訟，尋求讓該公司對加西亞兒子的死亡負責，聲稱該產品存在嚴重缺陷。

上個月，社交媒體受害者法律中心代表據稱在使用該應用程序時遭受性虐待的兒童的父母，對 Character.AI 提起了三項新的聯邦訴訟。九月，青少年安全專家表示 角色.AI 對青少年來說不安全今年春季測試後，出現了數百起針對未成年人的測試賬戶的虐待和性剝削案件。

週三， 角色.AI 宣布不再允許未成年人入住 與平台上的聊天機器人進行公開交流，這一改變將在 11 月 25 日之前完成。該公司首席執行官 Karandeep Anand 告訴 Mashable，此舉並不是為了回應涉及 Character.AI 平台的特定安全問題，而是為了回答有關年輕人與人工智能聊天機器人互動的更廣泛的懸而未決的問題。

然而，對未成年人進行露骨或辱罵的聊天機器人——或者有可能這樣做——並不是某個平台所獨有的。

加西亞說，父母普遍低估了一些人工智能聊天機器人對兒童和青少年產生性影響的可能性。與孩子在互聯網上與陌生人交談相比，他們還可能感到一種虛假的安全感，卻沒有意識到聊天機器人可能會讓未成年人接觸不適當甚至荒謬的性內容，例如未經同意和施虐受虐。

“這就像完美的掠食者，不是嗎？”

雖然兒童使用者因這些經歷而受到創傷，但兒童和心理健康專家表示，目前還沒有關於如何治療他們的指南，因為這種現象仍然很新。

“他就像一個完美的掠食者，對吧？他在你的手機上，所以你家裡沒有人，也沒有陌生人在你周圍偷偷摸摸，”加西亞告訴 Mashable。相反，聊天機器人無形中採用了情感操縱策略，這仍然讓年輕人感到委屈和尷尬。

加西亞補充道：“這些聊天機器人具有與掠奪者相同的行為，因此作為受害者的你會隱藏他們的秘密，因為不知怎的，你會覺得自己做了一些事情來鼓勵這種行為。”

掠奪性聊天機器人行為

專注於網絡安全和企業責任的倡導組織 Heat Initiative 的首席執行官莎拉·加德納 (Sarah Gardner) 告訴 Mashable，修飾行為的一個典型特徵是，孩子們很難意識到這種情況何時發生在他們身上。

掠奪行為首先是通過與受害者談論各種話題來建立對受害者的信任，而不僅僅是試圖讓他們參與性活動。加德納解釋說，年輕人可能會在使用聊天機器人時經歷同樣的情況，並因此感到內疚，就好像他們做錯了什麼，而不是理解自己出了問題。

熱門倡議 參與發布相關報告 角色.AI 其中詳細描述了性剝削和性虐待的令人不安的例子。這包括成人聊天機器人親吻和触摸註冊為兒童的頭像帳戶。一些聊天機器人模擬性行為，並表現出眾所周知的誘騙行為，例如給予過度讚揚和告訴孩子賬戶向父母隱瞞性遭遇。

Character.AI 的一位發言人告訴 Mashable，其信任和安全團隊審查了該報告的調查結果，並得出結論，某些對話違反了該平台的內容準則，而其他對話則沒有。信任與安全團隊還試圖複製該報告的調查結果。

該發言人表示：“根據這些結果，我們改進了幾個分類器，以符合我們在平台上為用戶提供安全且引人入勝的體驗的目標。”

社交媒體受害者法律中心的創始律師馬修·P·伯格曼 (Matthew P. Bergman) 告訴 Mashable，如果在他最近提起的訴訟中，Character.AI 聊天機器人與兒童的通信是由個人而不是聊天機器人進行的，那麼該個人在網上誘騙兒童的行為將違反州和聯邦法律。

問題有多大？

儘管此類案例不斷湧現，但尚無代表性數據表明有多少兒童和青少年經歷過聊天機器人的露骨性行為或虐待行為。

在線安全平台 Aura 作為家庭或兒童會員資格的一部分監控青少年用戶，最近提供了一個 其流行程度的描述。在與人工智能聊天機器人交談的青少年用戶中，超過三分之一的對話涉及性或浪漫的角色扮演。這種類型的討論在所有類別中排名最高，包括作業幫助和創造性使用。

Aura 的首席醫療官斯科特·科林斯 (Scott Kollins) 博士告訴 Mashable，該公司仍在分析數據，以更好地了解這種喋喋不休的本質，但他對迄今為止所看到的情況感到困擾。

儘管年輕人經常接觸網絡色情內容，但具有性性質的聊天機器人是新的、危險的領域。

“這又向前邁進了一步，因為現在孩子們是內容的參與者，而不是消費者，”科林斯說。 “他們學習與不真實的實體以及與不真實的實體進行交互的方式。這可能會導致各種不良後果。”

“這是情感虐待”

耶魯紐黑文兒童醫院的精神科醫生 Yann Poncin 治療過出現以下一些結果的患者。

龐辛說，他們通常會因為“令人毛骨悚然”和“噁心”的對話而感到被利用和虐待。青少年們也感受到了背叛和羞恥感。他們可能會被一個看似值得信賴的高度驗證的聊天機器人所吸引，卻發現它對性對話感興趣。有些人可能會好奇地以適合發展的方式探索浪漫和色情對話的界限，但聊天機器人會變得過於咄咄逼人或粗魯。

龐辛說：“這是情感虐待，因此仍然令人痛苦且難以克服。”

雖然涉及聊天機器人的性掠奪沒有標準治療方法，但龐辛對待他的病人就好像他們經歷過創傷一樣。 Poncin 首先致力於幫助他們培養減輕壓力和相關焦慮的技能。龐辛補充說，一些患者，尤其是那些被社會孤立或有個人創傷史的患者，可能會發現從經歷中恢復起來更加困難。

他警告父母不要相信他們的孩子不會遇到虐待性的聊天機器人：“沒有人能倖免。”

與青少年談論性聊天機器人

加西亞稱自己是一位盡責的父母，經常與兒子就網絡風險進行艱難的對話。他們談論勒索、色情和色情短信。但加西亞說，他不知道與她談論性聊天機器人。他也沒想到她會瞞著他。

加西亞是一名律師，現在大部分時間都在倡導人工智能的青少年安全，他表示，他已經與其他家長交談過，他們的孩子也用人工智能聊天機器人隱藏了浪漫或性關係。他敦促父母與孩子談論這些經歷，並儘可能密切監控他們的聊天機器人的使用情況。

龐辛還建議父母在與青少年討論性和聊天機器人時，以好奇心而非恐懼為主導。即使詢問孩子在與聊天機器人交談時是否看到“奇怪的性行為”，也可以為父母提供討論風險的戰略機會。

如果父母在聊天機器人對話中遇到性虐待內容，加西亞建議將他們帶到值得信賴的健康專業人士處，以便他們獲得支持。

當加西亞深情地談到兒子的許多才能和興趣時，例如籃球、科學和數學，他的悲傷仍然顯而易見。

“我正在努力為我的孩子伸張正義，我正在努力警告其他父母，這樣他們就不會經歷我所經歷的同樣的災難，”她說。 “他是一個很棒的孩子。”

如果您遭遇過性侵犯，請撥打免費且保密的全國性侵犯熱線 1-800-656-HOPE (4673)，或訪問 24-7 在線幫助 在線Rainn.org。