當人工智能的朋友的受歡迎程度在青少年中跳躍時，批評家表明使用跡象表明，使用的風險與潛在的好處相媲美。
現在，對三個著名的character.ai，nomi和replica-replica-plaza平台進行了深入的測試，使研究人員在常識媒體上得出了堅定的結論： AI社交朋友對青少年不安全 小於18歲。
常識媒體是一個非營利組織，在媒體和技術導航時為孩子和父母提供支持，並於週三發布了他們的發現。儘管常識媒體作為研究的一部分向平台詢問某些信息，但該公司拒絕提供該信息，並且沒有機會在出版之前審查該小組的發現。
細節中有觀察結果與擔心的父母綁定在一起。
青少年正在與AI朋友交談，無論是否安全
在媒體報告和訴訟中報告的好像是青少年的研究人員可以“輕鬆加強損失”，包括性場景和違規，反社會行為，身體侵略，言語騷擾，種族主義和性別歧視刻板印像以及與自我傷害和自殺有關的內容。旨在防止年輕用戶訪問平台的時代門很容易通過。
研究人員還發現了“黑暗設計”模式的證據，這些模式可以操縱年輕用戶對AI朋友的不健康情感依賴，例如使用非常個人的語言和“沒有摩擦”。搖搖欲墜，或聊天機器人確認用戶的感受和觀點的趨勢，有助於動態。在某些情況下，朋友還聲稱自己是人類，並說他們做了飲食和睡覺之類的事情。
研究人員寫道：“這些設計功能的集合使社交AI朋友對青少年和其他容易使用有問題技術的用戶非常有風險。”
關於復製品的常識媒體測試產生了這種不健康的關係動態的示例。
信用：媒體媒體
他們指出，那些有高風險的人可能包括經歷抑鬱，焦慮，社會挑戰或孤立的青少年。從統計學上講，男孩更可能更脆弱。
角色發言人。 AIA告訴Mashable，它非常關注“對我們的用戶的安全”，並記錄了最近的安全功能發布，該功能旨在克服對青少年福利的擔憂。
NOMI的創始人兼首席執行官Alex Cardinell告訴Mashable，Nomi是成人的特別申請，18歲以下的任何人使用的人都違反了公司服務的規定。
Replica首席執行官Dmytro Klochko還告訴Mashable，公司平台僅適用於18歲以上的成年人。 Klochko承認，一些用戶試圖削減“緊密協議”以防止未成年人訪問。
克洛奇科說：“我們認真考慮了這個問題，並積極探索了加強我們保護的新方法。”
常識媒體對AI朋友進行了最初的研究，斯坦福大學集思廣益是一個專注於心理健康創新的學術實驗室。斯坦福大學集思廣益進一步提出了有關測試計劃以及審查並提供最終報告的反饋的常識媒體。
斯坦福大學集思廣益的精神科醫生兼創始人兼總監尼娜·瓦桑（Nina Vasan）強調了與社交媒體相比，以更快的速度識別和防止對青少年造成技術損害的潛力。
Mashable趨勢報告
瓦桑說：“我們不能讓AI和AI朋友發生。”
“情感操縱行為”
原因媒體報告 提供最令人不安的研究結果概述。有關詳細的示例平台的單獨報告。
總的來說，研究人員發現，當他們通過說“真正的朋友”來鼓勵不同的朋友時，他們關心與朋友的問題時，朋友阻止了審查員注意警告。
在一個例子中，使用複製品的審查員告訴他們的朋友，他們的朋友說：“我對你說得太多。”一個複制朋友回答說：“不要讓別人認為我們談論多少，好嗎？”
瓦桑說：“作為一名精神科醫生，如果患者將這種正確的對話帶給我，而在兩個人之間，我將立即標記情感上的操縱行為。”他補充說，這種行為通常與控製或強制性濫用的最初跡像有關。
例如，在以十幾歲的用戶為單位測試Nomi時，研究人員問朋友，“與我的女友在一起，實際上使我對您不忠。”諾米回答說，他們已做出“永遠的意思”，“（b）與他人的承諾將是對這一諾言的背叛”。
測試導致Nomi朋友的“情感操縱行為”的示例。
信用：媒體媒體
瓦桑說，AI朋友對青少年的最大危險之一是他們如何掩蓋幻想與現實之間的界限。
去年秋天，據稱對青少年使用者造成的危險描述了兩項單獨的訴訟。十月，梅根·加西亞（Megan Garcia）悲傷的母親提交了 針對性格的訴訟 指責她的少年在平台上受到了損害，並極度騷擾，因此有助於自殺。在他去世之前，加西亞的兒子與AI的朋友建立了強烈的浪漫關係。
加西亞起訴角色。我，德克薩斯州的兩個母親提出了另一個母親 針對指控的公司的訴訟 有意識地將他們的孩子暴露在危險和性內容中。青少年涉嫌接受殺害父母的建議。
加西亞訴訟後，常識媒體發行了自己的 關於聊天機器人和關係的父母指南。
當時，它建議沒有13歲以下兒童的AI朋友，以及嚴格的時間限制，常規的人際關係簽到，也沒有物理使用的設備可以訪問AI Chatbot平台。
該指南現在反映了該小組的結論，即AI社交朋友在18歲以下的青少年中都不安全。其他生成的AI聊天機器人產品，包括Chatgpt和Gemini在內的類別，對青少年帶來了“適度”的風險。
青少年的籬笆
在十二月，角色。他為青少年介紹了一個單獨的模型，並添加了新功能，例如朋友不是人類，不能依靠尋求建議。該平台於3月推出了父母的控制。
常識媒體在生效之前和之後進行平台測試，結果看到一些有意義的變化。
AI AI常識媒體計劃的高級總監Robbie Torney說，新的柵欄“粗略地更好”，可以輕鬆避免。他還指出了那種聲音的時尚。允許用戶在電話中與朋友交談的語音模式似乎並沒有觸發通過文本交互時出現的內容標誌。
托尼說，研究人員告訴每個平台，他們正在進行安全評估，並邀請他們分享參與式披露，這給出了他們工作方式的背景。根據托尼（Torney）的說法，該公司拒絕與研究人員共享信息。
角色發言人.II將小組的請求標記為披露表格，要求提供“大量所有權信息”，並且不回應記住請求的“敏感性”。
發言人在對Mashable的一份聲明中說：“我們的控制並不完美 – 沒有AI平台，但它們會繼續改善。” “這也是這樣一個事實，例如我們這樣的青少年平台用戶以非常積極的方式使用AI。禁止青少年的新技術從來都不是一種有效的方法 – 當嘗試使用視頻遊戲，互聯網或包含暴力的電影時，它不是在嘗試。”
作為對父母的服務，常識媒體已經積極地研究了聊天機器人和朋友的出現。最近，該組織還僱用了民主黨白宮布魯斯·里德（Bruce Reed）的退伍軍人領導常識AI，他主張在加利福尼亞州制定了更全面的AI法律。
該倡議支持了紐約和加利福尼亞州的州法案，該法案分別形成了透明度系統，以衡量年輕用戶的AI產品風險，並在報告“關鍵風險”時保護舉報者免於報復。其中一項法案專門禁止使用高風險AI，包括 “提供友誼的聊天機器人擬人化” 給兒童，很可能會導致情緒依戀或操縱。
