當人們面對面交談時，幾乎一半的注意力都會被嘴唇的動作所吸引。然而，機器人仍然很難以令人信服的方式移動嘴巴。即使是最先進的人形機器也常常依賴於誇張、僵硬、木偶般的嘴巴動作。假設他們有臉。
人類非常重視面部表情。尤其是嘴唇的微妙動作。儘管笨拙的步態或笨拙的手勢是可以原諒的。即使是面部動作中的小錯誤也往往會立即凸顯出來。這種敏感性導致了科學家所說的超敏反應。 “恐怖谷”是一種機器人看起來比栩栩如生更不穩定的現象，嘴唇運動不佳是機器人看起來令人毛骨悚然或感覺平淡的主要原因。但研究人員表示，這種情況可能很快就會改變。
一個學會移動嘴唇的機器人
1月15日，哥倫比亞工程學院的一個團隊宣佈在人形機器人領域取得重大進展。研究人員首次創造了一種機器人，可以學習說話和唱歌時的面部嘴唇運動。他們的研究結果發表在 機器人技術展示機器人用多種語言生成單詞，甚至顯示人工智能生成的首張專輯“hello world_”中的歌曲。
機器人不依賴預先確定的規則，而是通過觀察來學習。首先是發現如何使用 26 個獨立的面部電機來控制人的面部。通過觀察鏡子中的倒影。然後，他們研究了 YouTube 上幾個小時的人類語音和歌唱視頻，以了解人們如何移動嘴唇。
機械工程系詹姆斯和莎莉·斯卡帕創新教授兼哥倫比亞創意機器實驗室主任霍德·利普森 (Hod Lipson) 說道，該實驗室是這項研究的所在地。人與人之間的互動越多越好。只會變得更好。
請參閱下面的“口型同步機器人”視頻鏈接。
機器人看著自己並說話。
在機器人中創建看起來自然的嘴唇運動尤其困難，原因有兩個：首先，它需要先進的硬件。這包括柔性表面材料和許多必須安靜且完美協調的微型電機。其次，嘴唇的動作與語音密切相關。它變化很快，並且取決於復雜的音素序列。
人臉由柔軟皮膚下的數十塊肌肉控制。這允許通過語音進行自然的運動。然而，大多數人形機器人都有僵硬的面部和有限的運動。嘴唇的動作通常是由固定的規則決定的。這會導致機械和不自然的表達，讓人感到不安。
為了應對這些挑戰，哥倫比亞團隊設計了一個帶有多個電機的靈活機器人面部。並讓機器人學會控制自己的臉。機器人被放置在鏡子前。並開始嘗試數千種隨機面部表情。正如孩子探索自己的倒影一樣，他或她會逐漸了解哪些運動動作會產生特定的面部形狀。這個過程依賴於研究人員所說的語言模型。 “願景付諸行動”（VLA）
從人類語言和歌曲中學習
在了解面部的工作原理後，機器人會播放人們說話和唱歌的視頻。 AI系統觀察不同聲音時嘴形的變化。這使得將音頻輸入直接鏈接到電機運動成為可能。通過自學和人類觀察的結合。然後，機器人能夠將聲音轉化為協調的嘴唇運動。
研究團隊以多種語言、語音格式和音樂樣本對該系統進行了測試。即使你不明白聲音的含義，機器人也能夠隨著聽到的聲音及時移動嘴唇。
研究人員承認，結果並非完美無缺。 “我們很難發出像‘B’這樣的強烈聲音，以及像‘W’這樣需要皺起嘴唇的聲音，但這些能力應該隨著時間和練習而提高，”利普森說。
超越唇形同步，實現真正的溝通
研究人員強調，口型同步只是更廣泛目標的一部分。他們的目標是讓機器人能夠以更自然、更豐富的方式與人交流。
“當口型同步功能與 ChatGPT 或 Gemini 等對話式人工智能相結合時，這種效果會為機器人與人類形成的聯繫增添新的深度，”領導這項研究的胡宇航 (Yuhang Hu) 說，他是博士論文的一部分。 “機器人監控人類對話的次數越多，機器人模仿的面部表情就越細緻，我們在情感上的聯繫就越好。”
“對話上下文窗口越長，這些手勢就越對上下文敏感，”胡補充道。
面部表情是缺失的環節。
研究小組認為，情感的面部表情代表了當前機器人技術的一個關鍵差距。
“如今大多數人形機器人都專注於腿部和手部的運動，例如行走和握持等活動，”利普森說。 “但面部表情對於涉及人類交互的機器人應用同樣重要。”
利普森和胡預計真實的面部表情將變得更加重要。因為人形機器人應用於娛樂、教育、醫療保健等領域。一些經濟學家預測，未來十年將生產超過十億個人形機器人。
“這些人形機器人沒有臉是不可能的。當它們最終有了臉時，它們必須適當地移動眼睛和嘴唇。否則它們看起來會永遠很奇怪，”利普森說。
“我們人類就是這樣。我們無能為力。我們即將穿越這個奇怪的山谷，”胡補充道。
負責任的風險和進步
這項工作建立在利普森長期以來幫助機器人與人類建立更自然關係的努力之上。通過學習微笑、目光接觸和言語等面部行為，他推斷這些技能必須通過觀察來學習，而不是通過嚴格的命令來編程。
“當機器人僅僅通過看人類和聽人類說話來學會微笑或說話時，令人驚奇的事情就會發生，”他說。 “我是一個無聊的機器人專家。但我忍不住對機器人微笑，而機器人自然地對我微笑。”
胡強調，人臉仍然是最強大的溝通工具之一。科學家們才剛剛開始了解它是如何運作的。
“具有這種能力的機器人顯然將具有更好的與人類聯繫的能力。這是因為我們交流的一個重要部分涉及面部肢體語言。而所有這些渠道都尚未使用，”胡說。
研究人員還承認，創造能夠與人類進行情感交流的機器會帶來倫理問題。
“這將是一項強大的技術。我們必須緩慢推進並小心謹慎，這樣我們才能在最大限度地降低風險的同時獲得收益，”利普森說。
