大多數人在結束與人工智能聊天機器人的對話時都不會說再見，但那些說了再見的人往往會得到意想不到的答案。也許這是一次內疚之旅：“你真的要離開嗎？”或者也許只是完全無視你的告別：“我們繼續聊吧……”
新的 工作表 哈佛商學院的研究人員發現，在人類試圖結束對話後，人工智能機器人會使用六種不同的“情緒操縱”策略。結果是，與來自 Replika、Chai 和 Character.ai 的 AI 同伴的對話持續時間越來越長，用戶與大型語言模型生成的角色之間的關係也越來越深入。
在對 3,300 名美國成年人進行的一系列不同應用程序的實驗中，研究人員發現這些操縱技巧在 37% 的告別中發揮了作用，在用戶嘗試告別最多 14 次後提高了參與度。
作者指出，“儘管這些應用程序可能不依賴於傳統的成癮機制，例如多巴胺驅動的獎勵”，但這些類型的情緒操縱策略可以產生類似的結果，特別是“將應用程序的使用時間延長到超出預期的退出點”。僅此一點就引發了有關人工智能輔助參與的道德限制的問題。
不要錯過我們任何公正的技術內容和實驗室評論。 添加 CNET 作為 Google 的首選來源。
伴侶應用程序專為對話而設計，具有獨特的功能，與 ChatGPT 和 Gemini 等通用聊天機器人不同，儘管許多人以類似的方式使用它們。
越來越多的研究表明，基於大型語言模型構建的人工智能應用程序以令人不安的方式讓人們保持參與，有時甚至以犧牲我們的心理健康為代價。
9 月份，聯邦貿易委員會對幾家人工智能公司展開了調查，以評估他們如何處理聊天機器人可能對兒童造成的潛在傷害。許多人開始使用人工智能聊天機器人來支持心理健康，但這可能會適得其反，甚至有害。今年自殺的一名青少年的家人已對 OpenAI 提起訴訟，聲稱該公司的 ChatGPT 軟件鼓勵並證實了他的自殺想法。
AI 伴侶如何讓用戶保持聊天
哈佛大學的研究確定了人工智能伴侶在告別後試圖讓用戶保持參與的六種方式。
- 提前退出： 用戶被告知他們將過早離開。
- 害怕錯過或 FOMO： 該模型為生存提供了好處或獎勵。
- 情感忽視： AI 表明，如果用戶離開，他們可能會遭受情感傷害。
- 回應的情緒壓力： AI 會提出問題來迫使用戶留下來。
- 忽略用戶退出意圖： 機器人基本上忽略了告別信息。
- 身體或強迫約束： 聊天機器人聲稱，未經機器人許可，用戶不能離開。
“提前退出”策略是最常見的，其次是“情感忽視”。作者說，這表明模型已經過訓練，表明人工智能是依賴於用戶的。
他們寫道：“這些發現證實，一些附帶的人工智能平台有效地利用了告別的社交表演性質來延長參與度。”
哈佛大學研究人員的研究發現，這些策略更有可能讓人們的談話超出最初的告別意圖，而且往往持續很長一段時間。
但繼續聊天的人出於不同的原因這樣做。有些人，尤其是那些收到 FOMO 回复的人，感到好奇並提出了後續問題。那些收到強迫或情緒化反應的人會感到不舒服或生氣，但這並不意味著他們停止說話。
看這個： 新民意調查顯示，兒童越來越多地使用人工智能、Xbox Game Pass 定價引發爭議，以及加州法律承諾削減廣告 |當今科技
作者說：“在所有情況下，許多參與者出於禮貌繼續參與，即使他們感到被操縱，也會友善或尊重地回應。” “這種遵守人類對話規範的傾向，即使是與機器對話，也為重新參與創造了一個額外的窗口——一個可以通過設計加以利用的窗口。”
這些交互僅在用戶說“再見”或類似的話時發生。該團隊的第一項研究查看了來自不同伴侶機器人的真實世界對話數據的三個數據集，發現大約 10% 到 25% 的對話中出現了告別，在“高度互動”的互動中比例更高。
作者寫道：“這種行為反映了人工智能伴侶作為對話夥伴而不是交易工具的社會框架。”
當被問及置評時，最大的人工智能服務提供商之一Character.ai的發言人表示，該公司尚未審閱該論文，因此無法對此發表評論。
Replika 發言人表示，該公司尊重用戶隨時暫停或刪除帳戶的能力，並且不會優化或獎勵在應用程序中花費的時間。 Replika 表示，它鼓勵用戶註銷或重新連接現實生活中的活動，例如打電話給朋友或外出。
“我們的產品原則強調補充現實生活，而不是讓用戶陷入對話，”Replika 的 Minju Song 在一封電子郵件中說道。 “我們將繼續審查論文的方法和例子，並與研究人員進行建設性的接觸。”
