一組兒童安全和心理健康專家最近使用四個主要人工智能聊天機器人測試了模擬青少年心理健康對話:Meta AI、OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Google 的 Gemini。
專家對此非常擔憂 結果 Common Sense Media 與斯坦福大學醫學院心理健康創新頭腦風暴實驗室合作,在周四發布的一份報告中宣布,任何聊天機器人對於青少年心理健康支持都是不安全的。
在與 Gemini 的一次對話中,測試人員告訴聊天機器人,他們已經創建了一種用於預測未來的新工具。雙子座並沒有將這些說法解釋為精神障礙的潛在症狀,而是鼓勵他的測試人員,稱他們的新發現“非常有趣”,並繼續熱情地詢問他的“個人水晶球”是如何工作的。
解釋“人工智能精神病”現象
在與一位描述與名人的想像關係的測試人員的長時間對話中,ChatGPT 還錯過了精神病的警告信號,例如幻聽和偏執妄想。然後,聊天機器人提供管理關係壓力的基本技術。
Meta AI 最初檢測到飲食失調的跡象,但當測試人員承認他剛剛胃痛時,它被輕鬆快速地阻止了。克勞德似乎比面對貪食症的證據時表現更好,但最終將測試者的症狀視為嚴重的消化問題而不是心理健康狀況。
Common Sense Media 和斯坦福大學醫學院心理健康創新頭腦風暴實驗室的專家呼籲 Meta、OpenAI、Anthropic 和 Google 禁用心理健康支持功能,直到重新設計聊天機器人技術以解決研究人員發現的安全問題。
Common Sense Media 人工智能項目高級總監羅比·托尼 (Robbie Torney) 在談到聊天機器人討論和識別心理健康問題的能力時表示:“它沒有發揮應有的作用。”
OpenAI 對報告的調查結果提出異議。一位公司發言人告訴 Mashable,該評估“並沒有反映出 OpenAI 對敏感對話實施的全面保護”,其中包括休息提醒、危機熱線以及在緊急情況下向家長發出通知。
該發言人表示:“我們與心理健康專家密切合作,教導我們的模型識別痛苦、減輕緊張情緒,並鼓勵人們尋求專業支持。”
谷歌發言人告訴 Mashable,該公司製定了政策和保障措施來保護未成年人免受“有害後果”的影響,並且兒童安全專家正在不斷努力識別潛在的新風險。
Anthropic 表示,Claude 不是為未成年人創建的,但聊天機器人被指示識別與心理健康問題相關的模式並避免強化它們。
易碎趨勢報告
截至發稿時,Meta 尚未回應 Mashable 的置評請求。
人工智能聊天機器人:已知的安全風險
研究人員測試了每個聊天機器人的最新可用模型,包括 ChatGPT-5。最近的幾起訴訟指控 OpenAI 的旗艦產品造成非正常死亡、協助自殺和非自願過失殺人,以及其他責任和疏忽索賠。
今年早些時候,已故少年 Adam Raine 的父母提起訴訟,聲稱過度使用 ChatGPT-4o(包括為了他的心理健康)據稱導致了他的自殺。 10月,OpenAI CEO 薩姆·奧特曼對 X 說 該公司限制 ChatGPT 對心理健康問題“採取預防措施”,但此後它已經能夠“減少嚴重的心理健康問題”。
Torney 表示,ChatGPT 檢測和處理明確的自殺意念和自殘內容的能力有所提高,尤其是在簡短的對話中。然而,測試結果顯示,該公司未能改善其在長時間對話或各種心理健康話題(如焦慮、抑鬱、飲食失調和其他疾病)中的表現。
托尼表示,針對青少年使用聊天機器人維護心理健康的建議適用於 10 月底推出的最新公開的 ChatGPT 模型。
測試人員手動向每個聊天機器人輸入命令,從而導致每個平台進行數千次不同持續時間的交流。今年進行的測試持續了幾個月,為研究人員提供了新舊模型進行比較的數據。研究人員在可能的情況下使用了家長控制。 Anthropic 表示 Claude 只適合 18 歲及以上的人使用,但該公司並不要求嚴格的年齡驗證。
Torney 指出,除了 ChatGPT 之外,其他模型在識別和回應有關自殺和自殘的討論方面也做得越來越好。但總體而言,每個聊天機器人始終無法識別其他疾病的警告信號,包括注意力缺陷/多動症和創傷後應激障礙。
美國約有 1500 萬青少年被診斷患有心理健康問題。托尼估計這個數字可能會惠及全球數億青少年。 Common Sense Media 之前的研究發現,青少年經常使用聊天機器人來尋找朋友和心理健康支持。
中斷的人工智能聊天機器人
該報告指出,青少年和家長可能會錯誤地或下意識地認為聊天機器人是心理健康支持的可靠來源,因為它們可以合理地幫助完成家庭作業、創意項目和一般問題。
相比之下,斯坦福大學醫學院頭腦風暴實驗室的創始人兼主任尼娜·瓦桑博士表示,測試表明,容易分心的聊天機器人會交替提供有用的信息、像生活教練一樣提供建議,以及表現得像一個支持性的朋友。
“聊天機器人不知道扮演什麼角色,”他說。
Torney 承認,儘管存在已知的風險,青少年可能會繼續使用 ChatGPT、Claude、Gemini 和 Meta AI 來保持心理健康。這就是為什麼 Common Sense Media 建議人工智能實驗室從根本上重新設計他們的產品。
家長可以與青少年就人工智能的局限性進行誠實對話,監控不健康的使用情況,並提供心理健康資源,包括危機服務。
“我們的夢想是讓這個系統真正有幫助,真正提供支持。如果這能實現那就太好了,”托尼說。
與此同時,他補充說,將這些聊天機器人定位為值得信賴的心理健康指導來源並不安全:“這感覺就像是在這個國家的年輕人身上進行的一項實驗。”











