儘管多年來從事互聯網激進主義工作，凱特琳·羅珀 (Caitlin Roper) 的心變得更加堅強，但今年收到的網絡威脅讓她受到了創傷。
有一張她掛在絞索上的照片，已經死了。而她的另一個身體則著火了，尖叫著。
這些帖子是 X 和其他社交媒體平台上針對澳大利亞激進組織 Collective Shout 的 Roper 及其同事的尖酸刻薄浪潮的一部分。其中一些，包括婦女被剝皮、斬首或送入木材削片機的圖像，顯然是通過生成人工智能實現的，並賦予了發自內心的現實主義。在一些視頻中，羅珀穿著她實際上擁有的藍色碎花連衣裙。
“正是這些奇怪的小細節讓它看起來更真實，不知何故感覺像是一種不同的侵犯，”她說。 “這些事情的範圍可以從幻想到超越幻想。”
人工智能已經引起了人們對其模仿真實聲音進行詐騙或在未經主體許可的情況下製作虛假色情內容的能力的擔憂。現在，該技術還用於暴力威脅，通過使威脅變得更加個性化、更有說服力、更容易實施，誘導他們最大限度地恐懼。
加州大學伯克利分校計算機科學教授哈尼·法里德（Hany Farid）表示：“當這樣的技術開發出來時，總會發生兩件事：我們會找到聰明的、創造性的、令人興奮的方式來使用它，我們會找到可怕的、可怕的方式來濫用它。” “令人沮喪的是，這並不令人意外。”
數字生成的威脅已經存在至少幾年了。佛羅里達州的一名法官觀看了 2023 年的一段視頻，該視頻很可能是使用視頻遊戲《俠盜獵車手 5》中的角色定制工具製作的，其中的頭像看起來像她，走路時就好像她被黑客攻擊和槍擊一樣。
但威脅性的圖像很快就會變得更容易實現、更有說服力。 YouTube 的一個頁麵包含 40 多個逼真的視頻——據審查該頻道的專家稱，這些視頻很可能是使用人工智能製作的——每個視頻都展示了一名女性被槍殺的場景。 （YouTube 在《紐約時報》聯繫後表示，它因“多次違反”其指導方針而關閉了該頻道。）今年春天，一段學生持槍的深度偽造視頻導致一所高中被封鎖。 7 月，明尼阿波利斯的一名律師表示，xAI 的 Grok 聊天機器人向一位匿名社交媒體用戶提供瞭如何闖入她的家、對她進行性侵犯以及如何處理她的屍體的詳細說明。
直到最近，人工智能只能複制具有強大在線影響力的真人，例如擁有大量公開照片的電影明星。 GetReal Security（一項識別惡意數字內容的服務）的聯合創始人 Farid 表示，現在只需一張個人資料圖片就足夠了。 （羅珀說，幾年前澳大利亞報紙上發表的一張照片中，她穿著這件藍色碎花連衣裙。）
聲音也是如此：曾經需要數小時才能克隆樣本數據，現在只需不到一分鐘。
“問題在於，現在幾乎任何不熟練但有動力或不擇手段的人都可以輕鬆地使用這些工具造成損害，”佛羅里達大學教授人工智能和法律的教授簡·班鮑爾 (Jane Bambauer) 說。
隨著 9 月份 OpenAI 推出的文本到視頻轉換應用程序 Sora 的推出，人們對人工智能輔助威脅和勒索的擔憂加劇。該應用程序允許用戶上傳自己的圖像，融入超現實的場景中，快速描繪出處於可怕情況下的真實人物。
《泰晤士報》對索拉進行了測試，並製作了視頻，視頻中似乎顯示一名武裝男子在血腥的教室裡，以及一名蒙面男子跟踪一名年輕女孩。 Grok 還輕鬆地在真人照片上添加了血淋淋的槍傷。
“從身份的角度來看，每個人都是脆弱的，”法里德說。
OpenAI 發言人表示，該公司依賴多種防禦措施，包括防止創建危險內容的護欄、發現先前未知弱點的實驗以及自動內容審核系統。 （《紐約時報》於 2023 年起訴 OpenAI，指控其侵犯與人工智能係統相關的新聞內容的版權，但 OpenAI 否認了這一指控。）
但人工智能安全專家表示，企業做得還不夠。非營利組織數據與社會的研究總監愛麗絲·馬威克（Alice Marwick）將大多數護欄描述為“更像是一個懶惰的交通警察，而不是堅固的屏障；你可以找到一種模式來忽略它們並繞過它們。”
羅珀表示，今年夏天開始的網絡辱罵洪流——包括專門發送給他的數百條騷擾信息——與他發起的一項旨在結束美化強姦、亂倫和性酷刑的暴力視頻遊戲的運動有關。她說，在大多數辱罵行為出現的 X 上，一些騷擾性圖片和賬戶已被刪除。但該公司也一再告訴他，其他描述他暴力死亡的帖子並不違反平台的服務條款。事實上，X 曾經將他的一名騷擾者列入了推薦關注的帳戶列表中。
一些騷擾者還聲稱，他們不僅使用 Grok 來創建圖像，還研究如何在家里和當地咖啡館找到這些女性。
羅珀厭倦了，決定發布一些例子。不久之後，根據屏幕截圖，X 告訴她，她違反了針對無端血腥內容的安全政策，並暫時鎖定了她的帳戶。
X 和 Grok 的母公司 xAI 都沒有回應置評請求。
人工智能還使其他類型的威脅更具說服力，例如毆打，即撥打虛假緊急電話以試圖欺騙警察和應急人員做出大規模反應的做法。美國全國總檢察長協會今年夏天表示，人工智能“極大地加劇了”這些攻擊的規模、精確性和匿名性。在較小範圍內，一系列人工智能生成的視頻顯示涉嫌入室盜竊，促使目標居民向全國各地的警察部門打電話。
現在，詐騙者可以通過克隆聲音和操縱圖像來編寫令人信服的虛假報告。連續拍機使用模擬槍聲表明槍手出現在華盛頓州一所高中停車場。校園被封鎖20分鐘；警察和聯邦特工出現了。
前警察局長佈萊恩·阿斯穆斯 (Brian Asmus) 表示，人工智能已經讓學校保護學生的工作變得更加複雜，引發了人們對個性化性圖片或通過虛假視頻傳播謠言的擔憂。如今，技術增加了額外的安全挑戰，使得區分虛假警報和真正的緊急呼叫變得更加困難。
“執法部門如何應對不真實的事情？”阿斯穆斯問。 “我認為我們還沒有真正取得進展。”
