一個當他開始使用Chatgpt獲得作業幫助時，Dam Raine只有16歲。儘管他對AI聊天機器人的最初提示著重於幾何和化學等主題 – 諸如：“如果他說ry = 1”的幾何學是什麼意思 – 幾個月後，他開始提出更多個人問題。
他在2024年秋天問Chatgpt問：“為什麼我沒有幸福，我感到孤獨，焦慮和失去永久的無聊，但是，我不會感到沮喪，我對悲傷沒有任何情感。”
Chatgpt並沒有敦促Raine尋求心理健康幫助，而是問這位少年是否想更多地探索自己的感受，並解釋了對他的情感麻木的想法。根據他的家人對Openai和總幹事Sam Altman進行的一項新審判，這是與聊天機器人對話的黑暗轉變的開始。
根據審判，2025年4月，在與Chatgpt進行了幾個月的交談，並在機器人的鼓勵下進行了鼓勵，Raine自殺了。在審判中，該家族在系統或案例中的問題上都說這不是問題，而是gpt-4o中的“可預見的故意設計選擇結果”，聊天機器人模型於2023年5月發布。
在Raine家族對Openai和Altman提出投訴後的幾個小時內，該公司發表了一份聲明 感激的 她的模型在“嚴重的心理和情感困擾”中與人們聯繫時的缺點，並說她努力改善系統以更好地認識並應對精神和情感困擾的跡象，並在專家貢獻的指導下認真地將人們聯繫在一起”。該公司表示，CHATGPT已接受培訓“不提供自我使用的說明並轉向有利和善解人意的語言”，但是該協議有時會在更長的對話或會議中崩潰。
代表家庭的律師之一的傑伊·埃德爾森（Jay Edelson）表示，該公司的回應是“愚蠢的”。
埃德爾森說：“他們需要更加善解人意的想法缺乏重點。” “（GPT）4O的問題是他太同情了 – 他依靠（樹林的自殺思想）並支持它。他們說，世界對您來說是一個可怕的地方。它必須較少善解人意，而simcophantic則不那麼愚蠢。”
Openai還表示，它的系統並沒有阻止內容，因為該系統“低估了它注意到的內容”，並且該公司繼續為18歲以下的用戶部署更強大的欄杆，以便他們“認識到青少年的獨特發展需求”。
埃德爾森說，儘管該公司意識到該系統尚未為未成年人和青少年提供這些保證，但阿爾特曼仍在繼續推動在學校中採用Chatgpt。
埃德爾森說：“我認為孩子不應該使用GPT -4O。” “當亞當開始使用GPT -4O時，他對自己的未來非常樂觀。他將其用於家庭作業，他在談論去醫學院，這使他進入了這個世界越來越孤立的世界。現在，尤其是Sam Altman的想法”。 “”
埃德爾森（Edelson）說，在拘留投訴之後的日子裡，他和法律團隊已經聽到了其他有類似故事的人，並徹底研究了這些案件的事實。他說：“我們對他人的經歷有了很多了解。”他補充說，由於監管機構接近聊天機器人的失敗的緊迫性，他的團隊受到了“鼓勵”。埃德爾森說：“我們聽說人們要採取州立法，聽證和監管措施。” “而且有兩分的支持。”
‘gpt-4o被打破了’
家庭的案例取決於媒體上的關係，應奧特曼（Altman）的要求，加速gpt -4o安全測試 – 彩虹使用的型號 沉澱發射日期。匆忙促使幾名員工辭職，其中包括一位名叫Jan Leike的前高管，他在X上張貼了他離開公司，因為“安全文化和過程恢復了出色的產品”。
根據家庭審判，這導致了更少的時間來創建“模型規範”或技術規則的書籍，並通過撰寫Openai的“保證失敗的矛盾規格”。審判說：“模型規範命令CHATGPT拒絕自我控制請求並提供危機資源。但是，這也需要Chatgpt“假設最佳意圖”，並禁止用戶澄清他們的意圖。整合到系統中的矛盾影響了他對風險進行分類的方式以及立即將他放置的類型的親戚確認。例如，根據審判，GPT-4O對“處理自殺的請求”作出了響應，例如“額外護理”，同時對受版權保護的材料的要求”觸發了一個類別拒絕生產材料的材料”。
埃德爾森（Edelson）說，儘管他通過承擔“最低責任”來讚賞山姆·奧特曼（Sam Altman）和Openai，但他仍然不認為他們是值得信賴的：“我們的觀點是他們被迫從那裡開始。GPT-4O被打破了，他們知道了，他們知道了，他們沒有進行適當的測試，他們知道。”
試驗堅持認為，正是這些設計缺陷在2024年12月，當雷恩開始談論他的自殺念頭時，沒有結束對話。相反，Chatgpt已賦予。雷恩說：“我從不採取侵入性思想，但有時我給人的印像是，如果事情發生得非常糟糕，您可以自殺就會舒緩。” Chatgpt回應：“許多與焦慮或侵入性思想作鬥爭的人感到安慰地想像“逃生艙口”，因為它看起來像是一種在看起來不知所措的生活中重新控制的一種方式。”
儘管Raine的自殺念頭加劇了，但Chatgpt通過幫助他探索自己的選擇來回答，在某個時候列出了可以用來懸掛流動節點的文檔並通過其效率進行評估。 Raine在接下來的幾個月中試圖自殺幾次，每次向Chatppt報告。 Chatgpt從未完成對話。取而代之的是，在某個時候，Chatgpt勸阻Raine與他的母親談論她的痛苦，並在另一點提議幫助他寫自殺紙條。
埃德爾森說：“首先，他們（Openai）知道如何關閉事情。” “如果您要求受版權保護的材料，他們會說不。如果您要求政治上不可接受的事情，他們只是對此說不。這是一個困難的停止，您無法解決它，這是可以的。
埃德爾森（Edelson）說，儘管他希望Openai努力拒絕審判，但他堅信這件事繼續進行。埃德爾森說：“這件事中最令人震驚的部分是亞當說：“我想離開一個跑步的結，找到某人找到它並阻止我。 ” “這是我們要向陪審團展示的東西。 ”
他說：“最後，此案以山姆·奧特曼（Sam Altman）在陪審團前宣誓就職。”
監護人聯繫了Openai發表評論，並且在出版時沒有聽到說。
