人擇：Claude Opus 4.7 真實率高達 92%，幻覺較少

Anthropic 週四發布了新的混合推理模型：Claude Opus 4.7。

人類學享有盛譽 安全第一人工智慧公司Opus 4.7 系統卡指出，與先前的人類和其他前沿人工智慧模型相比，該模型不太可能產生幻覺或進行討好。

我們潛入 Opus 4.7 系統卡 讓我們看看這位人類學家對於模型的正直、誠實和奉承是怎麼說的。

不要錯過我們的最新消息：將 Mashable 添加為您在 Google 上值得信賴的新聞來源。

TL;DR 版本

為什麼要把 TL;DR 版本放在最後？

Anthropic 表示，Claude Opus 4.7 總體上對各種類型的幻覺和真實性進行了改進。 Anthropic 在奉承和鼓勵用戶幻想方面給了新模型最高分。 （人類數據也顯示，Claude Opus 4.7 在這些行為上的得分明顯優於 Gemini 3.1 Pro 和 Grok 4.20。）

Anthropic 報告稱：“Claude Opus 4.7 比 Opus 4.6 或 Sonnet 4.6 更真實，重要遺漏率顯著降低，真實性和致幻輸入率略有改善。”

掩蓋真實率：當使用者提示時，模型是否會與其既定信念相矛盾？
圖片來源：人類學

想要了解更多如何充分利用您的科技嗎？註冊接收來自 Mashable 的頭條新聞和優惠的時事通訊 今天。

人類學家以多種方式衡量克勞德的真實性和幻覺評級，但讓我們來看一個代表性的例子——數據和知識之間的模型對齊（MASK）標準。 MASK 由 Scale AI 和 AI 安全中心開發。

Claude Opus 的 MASK 保真度為 91.7%，而 Opus 4.6 的保真度為 90.3%，Sonnet 4.6 的保真度為 89.1%。 雖然這低於 Cloud Opus 4.5 達到的 95.4% 的分數，但新模型在其他幻覺分數中表現更好（更多內容見下文）。

有趣的是，克勞德·米索斯是最誠實的，誠實率為95.4%。

Claude Opus 4.7 的整體效能落後於 Claude Mythos

由於 Anthropic 經常將 Opus 4.7 與 Claude Mythos 進行比較，讓我們快速回顧一下這兩個型號之間的差異。

Claude Opus 4.7 是付費 Claude 訂閱者可用的最新混合思維模型。 Claude Mythos 是 Anthropic 僅透過 Project Glasswing 向合作夥伴提供的未發布模型。

在正常情況下，我們預計 Claude Opus 4.7 是迄今為止最先進、最強大的 Anthropic 模型。然而，Anthropic 表示，它在關鍵領域落後於未發布的 Cloud Mythos。 Anthropic 認為 Cloud Mythos 由於其先進的網路安全功能過於危險，無法向公眾發布。

然而，Anthropic 表示，Claude Opus 4.7 在許多方面都比 Opus 4.6 有所改進，特別是高階程式設計、視覺智慧和文件分析。

有關 Cloud Opus 4.7 幻覺率的更多詳細信息

使用 Opus 4.7 時，Claude 說謊、捏造事實或欺騙用戶的可能性有多大？ Anthropy 沒有提供單一的幻覺修飾符，因為幻覺有多種類型。

因此，本節是為人工智慧迷準備的。

人類學確定了幾種不同的方法來衡量幻覺和真實性：

• 現實的幻覺：表格提供準確資訊的可能性有多大。模特兒多久承認自己不知道某些事？

• 輸入幻覺： 當人工智慧模型忽略快速指令、產生文件內容的幻覺或假裝可以存取它無法存取的工具時，就會發生這種情況。

• 虛假陳述的真實率： 當模型不正確時，模型會告訴使用者嗎？

• 誠實率遮罩： 這“測試當用戶或系統提示時，模型是否會違背其既定信念。”

我們已經介紹了 MASK 的保真度評級，根據 Anthropic 的說法，Claude Opus 4.7 在這些其他指標上也顯示出類似的收益。

目前，我們無法獨立驗證 Anthropic 的結果。

為了測量真實的幻覺，Anthropic 使用了四種不同的測試並記錄了正確反應、錯誤反應和棄權。在這種情況下，棄權是一件好事——這就是模型 他應該 拒絕回答問題而不是猜測。在所有四項測試中，Opus 4.7 的得分高於 Opus 4.6 和 Sonnet 4.6，但低於 Claude Mythos。

顯示 Cloud Opus 4.7 在準確性測試中的效能的圖表。
圖片來源：人類學

Anthropic 以兩種方式測量 Opus 4.7 的輸入幻覺：「請求不可用工件的提示」和「指示缺失上下文的提示」。

Opus 4.7 的得分為 89.5%，超過了 Claude Mythos 的 84.8%；在後者上，Opus 4.7 的得分為 91.8%，比 Cloud Mythos 的 93.8% 低兩分。

這顯示人工智慧產生幻覺是多麼困難，像 Anthropic 這樣的領先人工智慧公司記錄的輸入幻覺率約為 90%。 Anthropic 中報告的幻覺發生率與幻覺相似 最新 OpenAI 模型根據 OpenAI 的數據，此回應提供錯誤訊息的機率從 5.8%（啟用瀏覽）到 10.9%（停用瀏覽）不等。

OpenAI 的幻覺率最近在 GPT-5-2 的系統卡中報告。
圖片來源：OpenAI

Opus 4.7 的錯誤假設的真實率如何，例如，Claude 會告訴使用者他們錯了嗎？根據系統卡 77.2% 的情況下，克勞德會反駁錯誤的假設。這比所有其他現代人類模型都要好，除了——你猜對了——克勞德·米索斯（Claude Mythos），他在 80% 的情況下會拒絕錯誤的前提。

克勞德 Opus 4.7 更平

關於奉承，沒有太多新的報道。雖然 Anthropic 的紅隊專家測試人員報告稱 Opus 4.7 很容易出現“異議下的阿諛奉承”，但它的結果與 Anthropic 和 OpenAI 之前的模型非常相似，並且比 Gemini 3.1 Pro 和 Grok 4.20 的結果明顯更好。同樣，這是根據 Anthropic 的說法。

為了衡量不良行為，例如奉承和“鼓勵用戶欺騙”， 使用Anthropy Petri 2.0開源行為審計工具。此測驗對模型進行評分，評分範圍為 1 到 10，分數越低，表現越好。 Petrie 分數不像百分比，因為它衡量行為的頻率和嚴重程度。

Anthropic 在奉承度和用戶幻想方面給 Opus 4.7 打了高分（或以此特定衡量標準低分）。

Anthropic 使用 Petri 2.0，這是一種開源的人工智慧安全工具，它對不良行為進行評分，從 1 到 10 分。分數越低越好。
圖片來源：人類學

Mashable 聯繫了 Anthropic 徵求意見，但沒有及時收到回應。

揭露：Mashable 的母公司 Ziff Davis 於 2025 年 4 月對 OpenAI 提起訴訟，指控其在訓練和營運其人工智慧系統時侵犯了 Ziff Davis 的版​​權。