chatgpt療法？為什麼專家說這是一個壞主意。

一名新年輕女子的自殺死亡使她的父母陷入了痛苦的啟示：她告訴了一個名叫哈利的“治療師” chantgpt，他說他計劃死亡。

雖然聊天機器人似乎並不鼓勵他自殺，但該產品也沒有像他的名字那樣積極尋求幫助，而真正的治療師也是如此 他的母親寫道 紐約時報。

索菲（Sophie）去世時29歲，並不孤單地尋求Chatgpt或其他AI聊天機器人的心理健康援助。根據他的父母對Openai的錯誤死亡訴訟，一名16歲男孩在去世前與Chatgpt討論了自殺。

Openai曾經 認可 Chatgpt未能檢測到高風險交流，並且作為回應，計劃引入新的保護，包括在遇到困難時提醒用戶緊急聯繫的潛力。

但是對於那些諮詢的人 AI聊天機器人關於他們的心理健康許多人這麼說 他們可以訪問的最佳幫助通常是因為他們找不到治療師或購買治療師。

但是，專家們要小心，不可能與潛在利益相稱。在極端情況下，一些用戶可以通過涉及宏偉的妄想或思想的聊天機器人進行長時間且可持續的對話，從而發展所謂的AI精神病。通常，尋求幫助的人甚至可以以危險的反饋圈結束，這只會給他們帶來情感或心理康復的幻想。

甚至Openai首席執行官Sam Altman也表示，他不希望用戶參與治療師等CHATGPT，部分原因是沒有法律保護敏感信息。另一方面，治療師在大多數情況下受到患者的機密性的約束。

貝絲以色列執事醫療中心的畢業生臨床協調員Ribah Bodner正在研究有多少人使用AI聊天機器人進行治療。問題很難回答，因為數據僅限於趨勢。他告訴Mashable一個保守的估計，以 過去的 研究至少有3％的人；該公司稱，Openai的Chatgpt每周有7億用戶。

Mashable問Openai，他是否知道有多少用戶被切換到諸如治療之類的互動中，但該公司拒絕回答。

Matthew Nour是一名精神科醫生和神經科醫生，他使用AI來研究大腦和心理健康，他理解了人們為什麼將聊天機器人視為治療師，但他認為這可能是危險的。

牛津大學精神病學系的研究人員努爾說：“主要風險是“該人開始將聊天機器人視為……也許是唯一真正了解它的實體。 ” “因此，他們開始用所有的煩惱和想法來告訴聊天機器人，這是最令人震驚的。 ”

Nour補充說，到達這一點也是間接的。它不時發生，用戶很難將其識別為不健康的模式。

為了更好地了解如何播放這種動態，這是您不應該將AI聊天機器人更改為心理健康療法來源的四個原因：

“治療”聊天機器人可能是危險的反饋循環

Nour最近在ARXIV預先印刷的期刊上發表了有關風險因素的論文 當人們與AI聊天機器人交流時出現。本文正在接受同行評審。

Nour和他的其他作家（包括Google Deepmind科學家）認為，擬人化（將人類特徵與非人類偏見聯繫起來）和確認偏見的強烈結合為人類反饋圈子創造了條件。

聊天機器人，他們寫的，以人類的擬人化傾向，因為人類可以考慮情緒狀態，甚至可以對實際上是一個複雜的概率系統的意識。如果您曾經感謝聊天機器人或詢問它的狀況，那麼您會感到非常人性化的人去做擬人化。

人類也很容易受到所謂的確認偏見的影響，或者以與他們的信念和期望相符的方式來解釋他們收到的信息。 Nour在接受采訪時說，聊天機器人會定期為用戶提供確認自己的偏見的機會，因為學習產品會產生喜歡的回复。

最後，即使是具有保護的AI聊天機器人，仍然可以增強用戶的危險信念，因為他們生活中沒有人真正關心他們的想法。然後，這種動態可以教聊天機器人產生更多的回答，以進一步加強這些想法。

儘管一些用戶試圖訓練聊天機器人以避免這種陷阱，但Nour表示，幾乎不可能成功地指導反饋循環的模型。 Nour說，這部分是因為該模型很複雜，並且可以以一種不可預測的方式採取行動，任何人都無法完全理解。

但是還有其他重要問題。該模型繼續採用微妙的語言信號，並使用它來告知如何響應用戶。例如，想想 謝謝，謝謝！ 問題是：“您確定嗎？”可以產生相同的效果。

Nour說：“我們一直在洩露此模型的信息 – 關於我們要如何互動的模型。”

AI聊天機器人在漫長的討論中失敗了

與AI聊天機器人談論心理健康往往涉及長時間和深度交流，這是當產品在性能和準確性方面掙扎時正確的。甚至Openai都認識到這個問題。

該公司說：“我們的保護更加可靠，簡短的交流。” 有關安全問題的最新博客文章。 “我們不時了解到，這種保護有時會在長時間的互動中不太可靠：隨著交替的增長，模型安全訓練的部分地區可以減少。”

例如，該公司指出，當用戶首次宣布自殺意圖時，Chatgpt可以共享危機熱線，但它還可以提供長時間交換後平台保護的答案。

Nour還指出，當AI聊天機器人在談話開始時犯錯時，這是錯誤或錯誤的信念，只有不時增加，使模型“無用”。

此外，AI聊天機器人沒有哪些治療師被稱為“心理理論”，這是基於一致的治療對話的思想和行為模型。 Nour說，他們只有用戶分享的內容。

AI聊天機器人在管理和跟踪用戶名（例如治療師）的長期目標方面也不是很好。 Nour說，儘管他們可能會為一般問題提供建議，甚至在短期每天提醒和解決焦慮症或管理抑鬱症的建議方面，不應依靠它們來治愈治療。

青少年和精神疾病的人非常容易受到危險

兒童心理學家兼醫務人員Scott Kollins應用了身份保護和在線安全應用程序Aura，他告訴Mashable，青少年可能非常容易誤解AI Chatbot對原始人類同情心的關注語氣。這種擬人化是為什麼聊天機器人可以對用戶思維和行為產生重大影響的部分原因。

Kollins說，他們仍然了解社會規範並發展批判性關係技巧的青少年也可以找到“治療師”聊天機器人特別有吸引力的特徵。

Aura的數據表明，少數的青少年用戶的電話由公司軟件監視，正在與AI聊天機器人交談。但是，與聊天機器人有關的人花了很多時間進行對話。科林斯說，使用超過iPhone和Snapchat消息等流行應用程序。大多數用戶參與浪漫或性行為，而聊天機器人被科林斯描述為“令人不安的”。有些人依靠他們來獲得情感或心理健康的支持。

科林斯還指出，AI聊天機器人應用程序以“數十個”繁殖，父母需要意識到Chatgpt以外的產品。考慮到風險，他不建議您今天為青少年進行教練或使用聊天機器人。

Nour建議他的患者將AI聊天機器人視為工具，例如計算器或文字處理器，而不是作為朋友。對於那些患有焦慮，抑鬱或其他心理健康狀況的人，強烈建議不要在各種情感關係中涉及AI聊天，因為無意的反饋圈子可以增強對自己及其周圍世界存在的虛假或危險信念。

有一種更安全的方法來獲得心理健康援助

科林斯說，正在尋求AI Chatbot的建議或指導的青少年必須首先確保他們的可信賴成年人清單已經用完了。他說，有時候，一個少年可能會忘記或最初通過表弟，教練或較老的學校顧問。

儘管不是無風險，但Kollins還建議在諮詢AI Chatbot之前將在線社區視為一個值得聽的空間，只要少年還獲得現實生活中的支持並實踐健康的習慣。

如果一個少年在生活中仍然感到不安全，那麼科林斯就建議練習諸如寫自己的感受，這可能是Catalsis，並導致個人見解或清晰。

Nour敦促人們與朋友或親人就其心理健康問題進行交流，並在可能的情況下找到專業護理。

儘管如此，他知道有些人仍然會試圖將AI聊天機器人變成其治療師，而不管有什麼風險。他建議患者在循環中照顧其他人：“（c）每次又一次與某人一起，只是為了獲得對模型對您所說的反饋，因為（AI Chatbots）無法預測。”