OpenAI Codex Chronicle 捕獲 Mac 螢幕以建立上下文 AI,透過雲處理且無需編碼

摘要:OpenAI 的 Codex for Mac 新增了 Chronicle,這是一項研究預覽功能,可以定期捕獲螢幕截圖,將其發送到 OpenAI 的伺服器進行處理,並將文字摘要儲存為本地解密的 Markdown 文件,為 AI 助理提供有關用戶活動的被動上下文。該功能在歐盟、英國和瑞士不可用,需要每月 100 美元以上的 Pro 訂閱和 Apple Silicon,並且代表 OpenAI 在桌面上首次應用屏幕感知 AI,它選擇雲處理和實用程序,而不是 Screenpipe 和現已解散的 Rewind AI 等競爭對手所採用的本地隱私優先架構。

OpenAI 的 Mac 版桌面應用程式 Codex 獲得了一項名為 Chronicle 的功能,該功能會定期捕獲您的螢幕,將內容處理為文字摘要,並將這些摘要儲存為本地記憶體文件,為 AI 助理提供有關您一直在處理的內容的上下文。該功能以研究預覽版的形式發布,意味著 Codex 現在可以了解您最近的活動,而無需您進行解釋。這也意味著 OpenAI 會將桌面的螢幕截圖發送到其伺服器進行處理,這種設計選擇使 Chronicle 與大多數行業一直在追求的隱私優先趨勢產生直接衝突。

Chronicle 是更廣泛更新的一部分,該更新將 Codex 從編碼助理轉變為通用人工智慧工作區。 4 月 16 日發布的版本名為“Codex for (Almost) Everything”,增加了 PC 功能,讓 Codex 可以使用自己的遊標、應用程式內瀏覽器、圖像生成、持久記憶體和 90 多個插件來運行 Mac 應用程式。已有超過一百萬開發者使用 Codex,自去年 12 月推出 GPT-5.2-Codex 車型以來,使用量已增加了一倍。

編年史如何運作?

Chronicle 運行後台代理,定期截取您的螢幕截圖。這些螢幕截圖被發送到 OpenAI 的伺服器,在那裡使用光學字元識別和視覺分析進行處理以建立文字摘要。摘要以 Markdown 檔案形式保存在本機目錄中 ~/.codex/memories_extensions/chronicle/。當您稍後呼叫 Codex 時,這些記憶體檔案將包含在其上下文視窗中,使其能夠了解您正在使用哪些應用程式、您正在閱讀哪些文件、您正在編寫什麼程式碼以及您正在進行哪些對話,所有這些都無需重新進行任何操作。

TNW 的共享辦公空間 – 在這裡您可以完成最好的工作

專為技術核心領域的成長、協作和無盡的社交機會而設計的工作空間。

原始螢幕截圖暫時儲存在系統暫存目錄下,並在六小時後自動刪除。 OpenAI 表示,螢幕截圖在處理後不會儲存在其伺服器上,也不會用於訓練。但是,創建的記憶將作為未加密的純文字檔案無限期地保留在您的裝置上。

OpenAI 負責人 Greg Brockman 將該功能描述為“一項實驗性功能,使 Codex 能夠查看並保留其所見內容的最新記憶,自動為其提供正在執行的操作的完整上下文。使用起來感覺非常神奇。”

隱私架構

Chronicle 需要 macOS 螢幕錄製和輔助權限。它僅適用於運行 macOS 14 或更高版本的 Apple Silicon Mac,並且僅適用於每月支付 100 美元或以上的 ChatGPT Pro 訂閱者。該功能在歐盟、英國或瑞士不可用,這一地理限制強烈表明 OpenAI 承認該功能與 GDPR 關於資料最小化和目的識別的要求不相容。

與微軟召回的比較是有啟發性的。 Recall 是在 Windows Copilot+ PC 上啟動的,每隔幾秒鐘就會截取螢幕截圖並將其儲存在加密的本機資料庫中,所有操作均由裝置上的神經處理單元處理。沒有螢幕截圖資料離開裝置。 Chronicle 採用相反的方法:處理在雲端完成,但僅文字摘要保存在本地。 Recall 對其資料庫進行加密,並需要透過 Windows Hello 進行生物辨識身份驗證。 Chronicle 將其記憶體儲存為未加密的 Markdown 文件,而電腦上執行的任何進程都可以存取這些文件。

OpenAI 自己的文件明確承認了這些風險。 Chronicle“增加了即時注入的風險”,因為您訪問的網站上的惡意內容可能會被捕獲在螢幕截圖中,並被人工智慧解釋為指令。記憶證據「可能包含敏感資訊」。該功能“快速使用速率上限”,這意味著 Pro 訂閱者可能會發現他們的 Codex 使用由於 Chronicle 後台活​​動而受到限制。

OpenAI 建議在會議之前或查看敏感內容時暫停 Chronicle。使用者可以透過 Codex 功能表列圖示暫停和恢復工作。該建議本身就很具有啟發性:它承認該功能會捕獲它不應該捕獲的東西,並將管理該風險的負擔轉移給用戶。

該類別及其受害者

螢幕感知的人工智慧助理有著一段麻煩的歷史。 Rewind AI 是最著名的早期進入者,在 2025 年 12 月被 Meta 收購之前,已更名為 Limitless。 Mac 應用程式已停產,螢幕擷取也已停用。 微軟的副駕駛 它在六個月內失去了 39% 的訂戶,部分原因是信任問題延伸到了召回。一位安全研究人員在 2026 年初表示,Recall 的加密資料庫仍然可能被利用,這加劇了自該功能宣布以來一直困擾著人們的擔憂。

開源替代品 Screenpipe 提供了本地優先的方法:螢幕擷取和持續音訊完全在裝置上處理,終身授權為 400 美元,且沒有重複的雲端依賴。 困惑的電腦 該軟體採用了另一種方法,將 Mac mini 變成一個永久的人工智慧代理,可以存取本地文件和應用程序,儘管它也依賴雲端處理來實現其底層智慧。

這一類別的模式是一致的:螢幕感知人工智慧越有用,需要處理的資料就越多,協調資料需求與使用者隱私就越困難。 Chronicle 選擇實用性而非隱私工程,押注 OpenAI 承諾不儲存或訓練數據,加上六小時的刪除窗口,足以贏得用戶信任。這項賭注是否能得到充分回報取決於用戶是否相信這項承諾,以及 OpenAI 能否隨著功能的擴展而保持這項承諾。

環境運算環境

《紀事報》發布之際,業界正在一致認為人工智慧助理應該在無需告知的情況下了解您的背景。蘋果正在測試 搭載人工智慧技術的智慧眼鏡 設計為 Apple Intelligence 的環境輸入頻道。 Slack 的最新 AI 修復 它將 Slackbot 變成了一個桌面代理,具有有關您的業務通訊的深入背景。 OpenAI 本身正在與 Jony Ive 一起開發一款無螢幕設備,該設備明確定位於「Ambient AI」時代。 Gartner 預測,到 2026 年,超過 40% 的大型組織將部署環境智慧試點。

前提是,當人工智慧能夠被動、持續地存取你所做的事情而不是要求你每次都從頭開始表達你的需求時,它會變得更加有用。 Chronicle 是 OpenAI 在桌面上首次實現本論文,而且它確實有效:根據 Brockman 的說法和功能設計,無需向 AI 助手重新解釋上下文,這是真正的生產力勝利。

但論文是有代價的。 隱私第一的替代方案 與 Proton 的人工智慧工具一樣,它表明有用的人工智慧可以在本地開源模型上運行,而無需將用戶資料發送到任何人的伺服器。 《Chronicle》提出的問題不是螢幕感知人工智慧是否有用。顯然是這樣。問題是,OpenAI 選擇的基於信任的雲端處理模型是否會與已經將其排除在三個司法管轄區之外的監管環境保持聯繫,以及是否會與那些已經看到足夠多的人工智慧公司承諾資料隱私但在經濟需要時悄悄修改其條款的用戶保持聯繫。

來源連結