毫不奇怪,將您的醫療保健信息提供給聊天機器人是一個糟糕的主意。

每周有超過 2.3 億人次 詢問 ChatGPT 對於基於 OpenAI 的健康建議,該公司 說 許多人將聊天機器人視為“合作夥伴”,可以幫助他們在保險迷宮中導航、歸檔文書工作並成為自己更好的倡導者。作為交換,希望您能信任一個詳細介紹您的診斷、藥物、測試結果和其他個人醫療信息的聊天機器人。但是,雖然與聊天機器人交談可能會開始感覺就像在醫生的辦公室裡,但事實並非如此。科技公司不承擔與醫療提供商相同的義務。專家表示 瀕臨 應仔細考慮您是否願意交出您的記錄。

健康和保健正在迅速成為人工智能實驗室的一個關鍵戰場,也是對用戶是否願意歡迎這些系統進入他們的生活的一個關鍵考驗。本月,該行業的兩家最大參與者公開進軍醫療領域。 OpenAI 推出了 ChatGPT Health,這是 ChatGPT 中的一個專用選項卡,旨在讓用戶在更安全、更私密的環境中提出與健康相關的問題。人類學 介紹克勞德的醫療保健據醫院稱,它是“HIPAA 就緒”產品。醫療保健提供者和消費者可以使用(值得注意的是谷歌缺席,其 Gemini 聊天機器人是世界上功能最強大且使用最廣泛的人工智能工具之一。儘管該公司確實 宣布 為開發人員更新 MedGemma 的醫療 AI 模型)

OpenAI 鼓勵用戶共享醫療記錄、實驗室檢測結果等敏感數據。來自 Apple Health、Peloton、Weight Watchers 和 MyFitnessPal 等應用程序以及 ChatGPT Health 的健康和保健數據,以換取更深入的見解。其明確表示將對用戶健康信息保密。它不會用於訓練人工智能模型,並已採取措施確保數據的安全和私密。 OpenAI 表示 ChatGPT 健康對話將在應用程序的單獨部分進行。用戶可以隨時查看或刪除自己的健康“記憶”。

OpenAI 保證敏感用戶數據的安全。該公司在 ChatGPT Health 的同時推出了一款聽起來類似且具有更嚴格安全協議的產品,這在很大程度上得到了幫助,該工具名為 ChatGPT for Healthcare,是更廣泛的產品組合的一部分。 產品 出售用於支持企業、醫院和直接與患者合作的醫生。 OpenAI 的推薦用途包括簡化行政任務,例如起草臨床信函和出院摘要。並幫助醫生收集最新的醫學證據以改善患者護理。公司銷售的其他企業產品也是如此。它提供比普通消費者更好的保護。它特別對用戶免費,OpenAI 表示該產品旨在滿足醫療保健部門所需的隱私義務。由於名稱和發布日期相似(ChatGPT for Healthcare 是在 ChatGPT Health 的第二天發布的),因此很容易將兩者混淆,並假設面向消費者的產品提供與更注重臨床的產品相同水平的保護。我在報導這個故事時採訪過的許多人都這樣做了。

即使您相信公司保護您信息的承諾…它也可能會改變您的想法。

無論我們使用哪種安全保證。它也不防水。 ChatGPT Health 等工具的用戶通常缺乏針對濫用或未經授權使用的保護措施。除了使用條款和隱私政策專家說 瀕臨由於大多數州尚未頒布全面的隱私法,而且也沒有全面的聯邦隱私法,因此 ChatGPT Health 等人工智能工具的數據保護“在很大程度上取決於公司在隱私政策和使用條款中的承諾”,伊利諾伊大學法學教授 Sara Gerke 表示。厄巴納-尚佩恩說道。

即使您相信該公司保護您數據的承諾,OpenAI 也表示它默認會對健康數據進行加密。但它可能會改變主意。瑞士巴塞爾大學數字健康法研究員 Hannah van Kolfschooten 解釋說:“儘管 ChatGPT 在其當前的使用條款中聲明,他們將對這些信息保密,不會將其用於訓練模型,但你不受法律保護,並且可以隨著時間的推移更改其使用條款。” “你必須相信 ChatGPT 不會這麼做,”哈佛法學院臨床法學助理教授 Carmel Shachar 表示同意。 “保護非常有限。有些只是他們的話。但他們隨時可以回去改變他們的隱私做法。”

Shachar 表示,確認產品符合管理醫療保健行業的數據保護法(例如《健康保險流通與責任法案》(HIPAA)),即使作為一個很好的指南,也不應該提供太多安慰。但她解釋說,如果自願遵守的公司不遵守,風險很小。自願遵守與受約束不同。 “HIPAA 的價值在於,如果你犯了錯誤,就會得到強制執行。”

醫學是一個受到高度監管的領域,這是有原因的。

這不僅僅是隱私。醫學是一個受到高度監管的領域,這是有原因的。錯誤可能是致命的。有很多例子可以說明聊天機器人如何自信地傳播虛假或誤導性的健康信息,例如當男性 發展一種罕見的狀況 在他向 ChatGPT 詢問如何去除食物中的鹽之後。聊天機器人建議他用溴化鈉代替鹽,這是 在過去 用作鎮靜劑,或者谷歌的人工智能乍一看錯誤地建議胰腺癌患者避免食用高脂肪食物。這與他們應該做的完全相反。

為了解決這個問題,OpenAI 明確表示,其消費者工具旨在與醫生密切合作使用。並不用於診斷和治療。為診斷和治療而設計的工具被定義為醫療設備,並受到更嚴格的監管,例如證明其用途的臨床試驗和使用時的安全審查,儘管 OpenAI 充分認識到並披露 ChatGPT 的主要用例之一是支持其用戶的健康和福祉。它回顧了每週尋求建議的 2.3 億人。但格克解釋說,該公司聲稱其無意作為醫療設備的說法受到監管機構的重視。 “製造商聲稱的預期用途是對醫療器械進行分類的關鍵因素,”她說,這意味著聲稱擁有非醫療器械的公司基本上可以逃避監管。即使該產品用於醫療目的。它強調了聊天機器人等技術帶來的監管挑戰。

至少這一免責聲明將 ChatGPT Health 排除在了美國食品和藥物管理局等監管機構的管轄範圍之外,但 van Kolfschooten 表示,詢問這樣的設備是否真的應該被歸類為醫療設備以及它們是否受到這樣的監管是完全合理的。重要的是要了解它是如何使用的。她解釋說,與該公司所說的類似,在產品公告中,OpenAI 建議人們可以使用 ChatGPT Health 來解釋實驗室測試結果。跟踪健康行為或幫助他們推理治療決策。她說,如果該產品這樣做,那麼可以合理地認為該設備可能屬於美國對醫療設備的定義,這表明歐洲強有力的監管框架可能是該產品尚未在該地區上市的原因。

“當一個系統感覺個性化並具有權威光環時,醫療否認責任並不一定會挑戰人們對該系統的信任。”

儘管聲稱 ChatGPT 不是用於診斷或治療,但 OpenAI 已經投入了大量精力來證明 ChatGPT 相當不錯。 天才醫生 並鼓勵用戶點擊查詢自己的健康狀況該公司強調健康是一個關鍵用例。 GPT-5的推出還有首席執行官薩姆·奧爾特曼。 邀請了一位癌症患者和她的丈夫 上台討論這個工具如何幫助她理解她的診斷。該公司表示,將根據其與數十個專業的 260 多名醫生共同開發的內部基準來評估 ChatGPT 的臨床能力。 健康凳“測試人工智能模型在現實健康情況下的表現。” 評論家筆記 它不是很透明。其他研究通常規模較小、受到限製或由公司本身運營,這也暗示了 ChatGPT 的臨床潛力,表明在某些情況下是可以做到的。 通過醫療執照考試, 與患者更好地溝通和 比醫生更能診斷疾病並幫助醫生製作 錯誤更少 當用作工具時

Van Kolfschooten 表示,OpenAI 試圖將 ChatGPT Health 作為健康信息的可靠來源,這可能會破壞任何免責聲明,包括告訴用戶不要將其用於醫療目的。 “當一個系統感覺個性化並具有權威光環時,醫療否認責任並不一定會挑戰人們對該系統的信任。”

OpenAI 和 Anthropic 等公司希望能夠贏得他們的信任。當他們在人工智能的下一個大市場中爭奪主導地位時,數據顯示有多少人已經在使用人工智能聊天機器人來保持健康。這表明他們正在做某件事。並考慮這些數字 嚴重的健康不平等 以及很多人面臨的困難 獲得基本護理這可能是一件好事。如果這種信任是值得的,至少這是可能的。我們將我們的個人信息信任給醫療保健提供者,因為這種信任是由專業人士贏得的。目前尚不清楚一個以快速發展和顛覆性著稱的行業是否會得到同樣的結果。

關注主題和作者 從這個故事中可以在您的個人主頁中查看更多內容並接收電子郵件更新。


來源連結