不好的激勵措施歸咎於人工智能的幻覺嗎？

一個 新研究論文 從Openai詢問為什麼GPT-5和聊天機器人等大型語言模型仍然喜歡Chatgpt幻覺，以及是否可以採取任何措施來減少幻覺。

在 一篇博客文章總結了論文Openai將幻覺定義為“語言模型創建的合理但錯誤的數據”，並承認，儘管有所改善，但對於所有大型語言模型來說，幻覺仍然是一個基本挑戰” – 並未完全消除。

為了澄清這一點，研究人員說，當他們詢問Adam Tuman Kalay博士學位的“大規模使用聊天機器人”時。論文，他們得到了三個不同的答案，所有答案都是錯誤的。 （Kalai是論文的作者之一。）然後，他們詢問了他的生日，並收到了三個不同的日期。他們再次錯了。

聊天機器人怎麼會非常錯誤 – 對他的錯誤似乎非常自信？研究人員認為，由於培訓過程的重點是獲得以下單詞正確預測模型，而沒有與訓練數據相關的真實或錯誤貼紙，因此幻覺會發生部分原因：“該模型只看到語言流利的積極示例，並且必須融合總分佈。”

他們寫道：“表演和拱門遵循一致的模式，因此錯誤在那裡消失了。” “但是任意事實是低頻，例如寵物生日，僅憑模式就無法預測，從而導致幻覺。”

但是，本文提出的解決方案較少關注初始培訓過程，而更多地介紹瞭如何評估大語言模型。他認為，當前的評估模型不會引起幻覺本身，而是“確定了錯誤的激勵措施”。

研究人員將這些評估與一種多項選擇測試進行了比較，隨機猜測是合乎邏輯的，因為“您可能很幸運並且是正確的”，同時留下“零保證”。

“以同樣的方式，當模型僅根據準確性進行分類時，他們得到的問題的百分比是正確的，而是鼓勵猜測而不是說“我不知道。 “

因此，所提出的解決方案類似於測試（例如SAT），其中包括“負面的（註冊）以獲取錯誤的答案或部分平衡，以留下空洞的問題以阻止盲目猜測”。同樣，Openai表示，典型的評估需要“懲罰比懲罰不確定性更多的自信錯誤，並對適當的不確定性表達給予部分信用。”

研究人員聲稱，還不足以提供“側面一些新的不確定性測試”。取而代之的是，“應準確地對Evals進行廣泛更新，以進行更新，以鼓勵其註冊猜測。”

研究人員說：“如果主要結果面板繼續以幸運的猜測獎金繼續，這些模型將繼續學習猜測，”研究人員說。