谷歌的 Gemini 家庭實踐：人工智能可以看到一切

這個週末，我把我的家變成了谷歌新推出的 Gemini for Home AI 的測試實驗室，並對我的家人進行 72 小時的監視，同時觀察、理解和解釋我們的一舉一動。我的意思是要弄清楚全視人工智能是否真的有用，或者只是令人毛骨悚然。

“從盒子裡取出物品”，廚房架子上的 Nest 攝像頭髮出一條通知。 “珍妮切餡餅/B走進廚房，在水槽裡洗碗/珍妮從冰箱裡拿了一杯飲料，”它繼續說道。有時，警告聽起來就像開個玩笑，“一隻狗、一個男人和兩隻貓走進客廳/兩隻雞走過庭院。”

但這些並不是玩笑。它們對我家及其周圍發生的事情進行瞭如此準確的描述，以至於我在家里安裝了幾台由 Gemini 提供支持的 Google Nest 攝像頭。這是 Google Home 應用程序中的一個新的人工智能層，可以解釋來自攝像機的鏡頭，並結合起來 Nest的面部識別功能 — 提供事件的書面描述，包括涉及的人物或事件、他們在做什麼，有時還包括他們穿著什麼。

例如，現在，我收到的警報不再是“門廊上發現的動物”，而是更詳細的版本，顯示是兩隻雞或一隻狗。其中之一要求我立即採取行動（我丈夫不喜歡在我們的戶外沙發上養雞）。還有一個我可以忽略。凌晨 1 點，Nest 門鈴發出的警報清楚地表明，我的兒子在門口試圖在“檢測到人員”之前進入。

使用人工智能來改善來自安全攝像頭的持續通知是一項重大升級——從 Ring 到 Arlo 到 Wise 的每個製造商都在追求這一點。但我們能在多大程度上相信人工智能會照顧我們的家呢？

雖然 Gemini 不會像其他人報導的那樣在我的房子裡產生陌生人或野生動物的幻覺，但它在 Google Home 應用程序中的每日摘要（稱為 Home Briefs）更傾向於虛構而不是現實。雙子座人工智能在家中出現問題。

我不會在家裡錄製我的家人。我將安全工作留給室外攝像頭，並在我們回家時將所有室內攝像頭設置為關閉。但我想給雙子座盡可能多的信息，所以我在家裡裝滿了相機準備記錄。

我安裝了一個新的 巢門鈴 2K, Nest Cam 室內 2K和 Nest Cam 戶外 2K （全部有線），以及一些與 Gemini 兼容的早期型號。它對進出我家的主要交通路線以及我院子的大部分區域進行監控。

Gemini 描述和家庭簡介目前處於搶先體驗階段，費用為每月 20 美元或每年 200 美元 Google Home Premium 很先進 訂閱，包括 24/7 視頻錄製。 AI只分析視頻，不分析音頻，大概是因為它使用視覺語言模型進行處理。 Gemini AI 還在 Google Home 應用程序中提供了一項名為 Ask Home 的新功能，可讓您搜索錄製的視頻，這也是由 Ring 提供的。

當我測試戒指的視頻搜索版本時，我發現它有助於監視我的戶外貓。谷歌的版本更好，因為它理解我的請求的上下文。當我要求兩者顯示我上次在門廊養雞時，Gemini 顯示了最近的目擊事件，而 Ring 顯示了三天前的最佳匹配。

但我並沒有去尋找動物的過錯，而是努力從這份對我家裡的行為的詳細描述中尋找價值。是的，這聽起來令人毛骨悚然。

實時警報大多準確且直接。我只注意到兩個重大缺陷：它把我的狗誤認為是院子裡的狐狸，有人上門送貨，同時在我家門口等待取包裹。

然而，雙子座似乎有一些選擇性的解釋。我試圖說我拿著一把刀——甚至威脅地將它指向鏡頭。但它在描述中使用了諸如切割或雕刻之類的詞語，而沒有提及刀。而且還是一把大刀！

當我丈夫帶著獵槍離開家時，他警告說他帶著園藝工具。目前還不清楚這是否是故意的（我諮詢了谷歌），但不識別武器似乎是對以安全為重點的系統的一個重要監督。我想知道是否有人在我的門廊上持槍或在我的房子裡持刀。

日常家庭簡報很奇怪。每天晚上 8:30，Google Home 應用會在新的活動選項卡中提供當天事件的描述。您可以對其進行自定義，以專注於您最感興趣的事情；對我來說，是動物和青少年在宵禁後回家。

這些摘要大約有 80% 正確，還有一些不太令人困惑的摘要，例如說我帶著披薩烤箱的摘要。但我的主要問題是摘要中的大量編輯。雙子座對事件進行準確的實時描述，並將其轉化為帶有完全錯誤的陳述句的敘述。

例如，在萬聖節那天，劇情簡介寫道：“珍妮和 R 與“不給糖就搗蛋”的人互動，享受節日氣氛。”當我遞糖果時，我的女兒R不在家。另一個總結 我和我丈夫與其他人一起在沙發上放鬆地度過了一個愉快的夜晚。我們一個人在家。

家庭簡介是一個有趣的概念。接收一天結束時的摘要，而不會全天不斷地被提醒分散注意力，有助於減少通知疲勞。但這並不意味著我可以關閉實時通知。我不想等到晚上快樂的家庭情況通報會才發現有人在早上 6 點闖入我的車或一隻狐狸闖入雞舍。

Google Home 需要一種方法來優先處理緊急警報而不是不太重要的警報。它應該將這些與我的智能家居集成，這樣我就可以使用特定事件（例如門廊上的雞）來觸發自動響應。

但對於用於家庭安全的系統來說，像 Home Brief 那樣編造東西是不可原諒的。 Google Home 指出 Gemini 可能會犯錯誤，並在 Home Brief 下提供了短片，以便您可以檢查它的工作情況，例如，如果我和我丈夫獨自坐在客廳裡。儘管雙子座可以解釋正在發生的事情，但這些解釋重要內容的嘗試是不夠的。

雖然我發現人工智能描述對於室外攝像機很有用，但 Gemini 的“智能”並沒有說服我開始在室內運行攝像機。如果我要考慮讓人工智能來描述我的家庭生活，它必須非常有用且非常準確。