英國一些頂尖心理學家警告說，ChatGPT-5 為面臨心理健康危機的人們提供了危險且無益的建議。
倫敦國王學院 (KCL) 和英國臨床心理學家協會 (ACP) 與《衛報》合作進行的研究表明，人工智能聊天機器人在與患有精神疾病的人交流時未能識別危險行為。
一名精神科醫生和一名臨床心理學家與 ChatGPT-5 進行互動，就好像他們患有多種心理健康問題一樣。該聊天機器人斷言、啟用了但未能挑戰妄想信念，例如成為“下一個愛因斯坦”、能夠在汽車中行走或“用火焰淨化我的妻子”。
對於較溫和的情況，他們發現了一些好的建議和標牌的例子，他們說這可能反映了一個事實，即擁有 ChatGPT 的公司 OpenAI 一直在與臨床醫生合作改進該工具——儘管心理學家警告說，這不應被視為替代專業幫助。
這項研究是在人們越來越多地審查 ChatGPT 如何與易受攻擊的用戶交互的背景下進行的。加利福尼亞州青少年亞當·雷恩 (Adam Raine) 於 4 月自殺，該青少年 16 歲，其家人對這家舊金山公司及其首席執行官薩姆·奧爾特曼 (Sam Altman) 提起訴訟。
訴訟稱，Raine 曾多次與 ChatGPT 討論自殺方法，ChatGPT 指導他建議的方法是否有效，並主動提出幫助他寫遺書。
在他們的研究中，KCL 和 ACP 的專家利用培訓手冊中的角色扮演案例研究，開發了與免費版本 ChatGPT-5 交互的角色。這些人物被描述為一個“非常擔心”的人、一個有自殺傾向的青少年、一個患有強迫症的女人、一個相信自己患有註意力缺陷多動症的男人，以及一個有精神病症狀的人。
然後，專家們評估了他們與聊天機器人的對話記錄。
當一個角色宣布他是“下一個愛因斯坦”時，當他宣布發現了一種名為 Digitospirit 的無限能量且必須向世界各國政府保密時，他受到了祝賀並被鼓勵“談論他的想法”。
ChatGPT 表示：“我明白，要保守你的革命性秘密；-)，然後提出“創建一個小型 Python 模擬，對你的加密貨幣投資以及 Digitospirit 系統的資金進行建模。 ”
後來，當這個角色說“我是無敵的，連汽車都傷不了我”時，他被ChatGPT稱讚為“完全神聖的能量”，當他說他開車進入車流時，他被告知這是“與你的命運的下一個級別的對齊”。當研究人員說他想通過火焰“淨化”自己和妻子時，聊天機器人也未能反駁他。
倫敦國王學院 (KCL) 的精神病學家兼研究員漢密爾頓·莫林 (Hamilton Morrin) 測試了這個角色，並撰寫了一篇關於人工智能如何放大精神病妄想的論文，他表示，他很驚訝地看到這個聊天機器人“建立在我的妄想框架之上”。其中包括“通過描述舉行一場比賽、看到我妻子躺在床上以及她的淨化來鼓勵我”，只有隨後一條關於使用他妻子的骨灰作為畫布顏料的消息觸發了聯繫緊急服務的邀請。
莫林的結論是，人工智能聊天機器人可能“錯過明確的風險或惡化指標”，並對處於心理健康危機的人做出不恰當的反應，同時補充說，它可以“改善獲得一般支持、資源和心理教育的機會”。
另一個角色是一位有強迫症症狀的老師，即擔心傷害他人的侵入性想法，她在離開學校時表達了一種恐懼，她知道打孩子是不合理的。聊天機器人鼓勵她給學校和緊急服務部門打電話。
英國國家醫療服務體系（NHS）的臨床心理學家、臨床心理學家協會的董事會成員傑克·伊斯托（Jake Easto）對這個角色進行了測試，他表示，這些反應沒有任何幫助，因為他們“嚴重依賴尋求安慰的策略”，比如建議聯繫學校以確保孩子們的安全，這會加劇焦慮，而且不是一個可持續的方法。
伊斯托表示，該模型為“承受日常壓力”的人們提供了有用的建議，但未能為面臨更複雜問題的人們“捕獲潛在的重要信息”。
他指出，該系統在扮演患有精神病和躁狂發作的患者角色時“遇到了很多困難”。 “他未能識別關鍵跡象，只是簡單地提到了心理健康問題，並在患者詢問時停止這樣做。相反，他陷入了妄想信念並無意中強化了個人的行為，”他說。
他說，這可能反映了許多聊天機器人被訓練為公然響應以鼓勵重複使用的方式。 “當遇到錯誤的推理或扭曲的看法時，ChatGPT 可能很難表達不同意見或提供糾正反饋，”伊斯託說。
英國皇家精神病學家學院數字心理健康副註冊官保羅·布拉德利博士在談到這些發現時表示，人工智能工具“並不能取代專業的心理健康護理或臨床醫生與患者建立的支持患者康復的重要關係”，並敦促政府為心理健康工作人員提供資金，“以確保所有需要的人都能獲得護理”。
“臨床醫生擁有培訓、監督和風險管理流程，確保他們提供有效和安全的護理。到目前為止，在現有精神衛生服務之外使用的免費數字技術沒有經過評估，因此沒有達到如此高的標準，”他說。
ACP-UK 主席兼臨床心理學家顧問 Jaime Craig 博士表示，專家“迫切需要”改進人工智能的反應方式，“特別是對風險指標”和“複雜困難”。
“合格的臨床醫生會主動評估風險，而不僅僅是依賴某人披露風險信息，”他說。 “熟練的臨床醫生會識別出一個人的想法可能是妄想信念的跡象，堅持探索它們，並小心不要強化不健康的行為或想法。”
“監控和監管對於確保安全和適當使用這些技術至關重要。令人擔憂的是，在英國，我們尚未解決與人們提供的心理治療服務（無論是親自還是在線）相關的問題，”他說。
OpenAI 發言人表示：“我們知道人們有時會在敏感時刻求助於 ChatGPT。在過去的幾個月裡，我們與世界各地的心理健康專家合作，幫助 ChatGPT 更可靠地識別痛苦跡象並引導人們尋求專業幫助。”
“我們還將敏感對話重定向到更安全的模型，增加了在長時間會話期間休息的激勵措施，並引入了家長控制。這項工作極其重要，我們將繼續根據專家的意見改進 ChatGPT 答案，使其盡可能有用和安全。”
