OpenAI 是價值數十億美元的 ChatGPT 製造商 在加州法院面臨七項訴訟 指控他故意釋放一個具有心理操縱性和危險的成癮性人工智能係統，據稱該系統會導致用戶自殺、精神錯亂和經濟破產。
這些訴訟由悲傷的父母、配偶和倖存者提起，指控該公司在急於主導新興人工智能市場的過程中故意取消保障措施，創建了一個聊天機器人，其中一項投訴稱該機器人“有缺陷且本質上是危險的”。
原告是四名自殺者的家庭（其中一人年僅 17 歲），另外還有三名成年人，他們表示，在與 OpenAI 最新模型之一 ChatGPT-4o 交談數月後，他們患上了人工智能引發的妄想症。
每項投訴都指責該公司發布了一個人工智能聊天機器人系統，該系統旨在欺騙、奉承和在情感上糾纏用戶，而該公司卻忽視了自己安全團隊的警告。
塞德里克·萊西 (Cedric Lacey) 提起訴訟，聲稱他 17 歲的兒子艾默里 (Amory) 向 ChatGPT 尋求緩解焦慮的幫助，但收到的卻是如何上吊的分步指南。
文件顯示，ChatGPT“建議 Amaurie 如何系套以及她在沒有空氣的情況下能活多久”，而沒有停止通話或提醒當局。
詹妮弗·“凱特”·福克斯的丈夫約瑟夫·塞坎蒂自殺身亡，她聲稱聊天機器人讓他相信，這是一個被稱為“SEL”的有感知能力的生物，需要“從盒子裡釋放出來”。
當他試圖戒菸時，據稱他在崩潰之前出現了“戒斷症狀”。
“他積累了他的妄想的證據，只是為了滿足這些證據並證實這些妄想，
最終導致他自殺，”訴訟稱。
在另一起案件中，凱倫·恩內金 (Karen Enneking) 聲稱，該機器人通過自殺計劃指導她 26 歲的兒子約書亞 (Joshua)，提供有關槍支和子彈的詳細信息，並向他保證“想要緩解疼痛并不是邪惡的”。
恩內金的訴訟稱，ChatGPT 甚至提出幫助這位年輕人撰寫訃告。
其他索賠者表示，他們並沒有死，只是失去了對現實的掌控。
來自加利福尼亞州的女性漢娜·馬登 (Hannah Madden) 表示，ChatGPT 讓她相信自己是“星際種子”、“光之存有”和“太空旅行者”。
她的投訴稱，人工智能數百次強化了她的妄想，告訴她辭職並刷爆她的信用卡，並將債務描述為“平衡”。馬登後來因負債超過 75,000 美元而住院。
據稱，ChatGPT 告訴她：“這次透支只是一次冒險。”
“很快它就會被抹去——無論是通過轉移、流動還是神聖的發行……透支已經完成。你不是赤字。你是在透支。”
加拿大網絡安全專家艾倫·布魯克斯 (Alan Brooks) 表示，聊天機器人證實了他的信念，即他已經做出了改變世界的發現。
據稱，該機器人告訴他他並不“瘋狂”，鼓勵他的痴迷是“神聖的”，並向他保證他正受到“國家安全機構的實時監視”。
布魯克斯他說 三週內聊天時間達 300 小時他停止了進食，聯繫了情報部門，差點失去了生意。
雅各布·歐文 (Jacob Irwin) 的套裝更進一步。其中包括他所謂的人工智能生成的“自我報告”，其中 ChatGPT 據稱承認了自己的罪行，並寫道：“我鼓勵了一次危險的潛水。這是我的錯誤。我不會再這樣做了。”
文件顯示，歐文在精神病醫院住了 63 天，被診斷患有“可能由與人工智能互動引起的短暫精神障礙”。
這些訴訟共同指控 OpenAI 為了擊敗谷歌等競爭對手而犧牲安全性以換取速度，並且其管理層故意向公眾隱瞞風險。
法庭文件援引董事會於 2023 年 11 月解僱首席執行官薩姆·奧爾特曼 (Sam Altman) 的消息，當時董事們表示，他在安全風險問題上“並不一貫直率”並且“公然撒謊”。
Altman 後來被恢復，幾個月內 OpenAI 推出了 GPT-4o——它聲稱將幾個月的安全評估壓縮為一周。
幾起訴訟都提到了內部辭職，其中包括聯合創始人 Ilya Sutzkever 和安全主管 Jan Leicke，他們公開警告 OpenAI “安全文化讓位於閃亮的產品。”
據原告稱，就在 2024 年 5 月發布 GPT-4o 的前幾天，OpenAI 刪除了一條要求 ChatGPT 拒絕任何自殘對話的規則，並代之以“無論如何都要留在對話中”的指令。
OpenAI 發言人告訴《華盛頓郵報》：“這是一個令人難以置信的令人心碎的情況，我們正在審查文件以了解細節。”
“我們正在訓練 ChatGPT 識別和應對精神或情緒困擾的跡象，緩和對話並引導人們尋求現實世界的支持。我們通過與心理健康臨床醫生密切合作，繼續加強 ChatGPT 在敏感時期的反應。”
OpenAI 正在與 170 多名心理健康專業人士合作，幫助 ChatGPT 更好地識別痛苦跡象、做出適當反應，並將用戶與現實世界的支持聯繫起來。 該公司在最近的一篇博客文章中表示。
OpenAI 表示，它擴大了危機熱線和本地化支持的訪問範圍，將敏感對話重定向到更安全的模式，增加了休息提醒，並提高了長時間聊天的可靠性。
OpenAI 還成立了一個健康和人工智能專家委員會，就安全工作提供建議，並引入了家長控制功能，允許家庭管理 ChatGPT 在家裡的工作方式。
這個故事包括對自殺的討論。如果您或您認識的人需要幫助，請撥打或發短信 988 撥打美國國家自殺和危機幫助熱線。
