“迄今為止最大的決定”：賈里德·卡普蘭 (Jared Kaplan) 允許人工智能自我訓練 |技術

一位世界領先的人工智能科學家表示，到 2030 年，人類必須決定是否冒讓人工智能係統自我訓練變得更強大的“終極風險”。

價值 1800 億美元（1350 億英鎊）的美國初創公司 Anthropic 的首席科學家兼合夥人賈里德·卡普蘭 (Jared Kaplan) 表示，即將面臨一個選擇，即賦予系統進化多少自主權。

此舉可能會引發有益的“智力爆炸”，或者成為人類最終失去控制的時刻。

在一次關於實現人工智能（AGI）（有時被稱為超級智能）的激烈競爭的採訪中，卡普蘭敦促國際政府和社會做出他所謂的“最大的決定”。

Anthropic 是一群領先的人工智能公司的一部分，這些公司包括 OpenAI、Google DeepMind、xAI、Meta 以及以 DeepSeek 為首的中國競爭對手，這些公司正在爭奪人工智能的主導地位。其廣泛使用的人工智能助手克勞德（Claude）尤其受到商業客戶的歡迎。

卡普蘭表示，雖然迄今為止，將快速發展的技術與人類利益結合起來的努力取得了成功，但讓它自由地遞歸地自我改進“在某種程度上是最終的風險，因為這有點像放棄人工智能”。他說，這一決定可能會在 2027 年至 2030 年之間做出。

“如果你想像創建一個比你更聰明或和你一樣聰明的人工智能的過程，那麼就會創建一個更聰明的人工智能。”

“這似乎是一個可怕的過程。你不知道自己最終會在哪裡。”

卡普蘭在該領域工作了七年，從理論物理學家變成了人工智能億萬富翁。在一次冗長的採訪中他還說道：

• 人工智能係統將能夠在兩到三年內執行“大多數白領任務”。

• 他六歲的兒子在寫論文或參加數學考試等學術工作上永遠不會比人工智能更好。

• 人們有理由擔心，如果人工智能開始改進，人類將失去對技術的控制。

• AGI 競賽的賭注似乎“令人畏懼”。

• 最好的情況是人工智能能夠加速生物醫學研究，改善健康和網絡安全，提高生產力，給人們更多的空閒時間，並幫助人類繁榮發展。

卡普蘭在 Anthropic 的舊金山總部會見了《衛報》，那裡的針織地毯和歡快的爵士樂掩蓋了人們對正在開發的技術存在的擔憂。

Kaplan 是一位畢業於斯坦福大學和哈佛大學的物理學教授，曾在約翰霍普金斯大學和瑞士歐洲核子研究中心進行研究，然後於 2019 年加入 OpenAI，並於 2021 年共同創立了 Anthropic。

他並不是 Anthropic 唯一表達擔憂的人。其聯合創始人之一傑克·克拉克 (Jack Clark) 在 10 月份表示，他 既樂觀又“深感恐懼” 他將人工智能描述為“一個真實而神秘的生物，而不是一個簡單且可預測的機器”。

卡普蘭表示，他對人工智能係統在人類智能水平上與人類利益保持一致非常樂觀，但對超過這一閾值時產生的後果表示擔憂。

他說：“如果你想像創建一個比你更聰明或和你一樣聰明的人工智能的過程，那麼歸根結底就是創造一個更聰明的人工智能。它將藉助人工智能來讓人工智能變得比你更聰明。這似乎是一個可怕的過程。你不知道你最終會在哪裡。”

人們對通過在經濟中部署人工智能所取得的收益表示懷疑。在 Anthropic 總部外，另一家科技公司的廣告牌尖銳地問道：“所有這些人工智能都沒有投資回報率？” ”，指的是投資回報。根據《哈佛商業評論》九月份發表的一項研究 “車間”人工智能 – 人類必須修復的不合格的人工智能驅動工作 – 生產力下降。

一些最明顯的收益是使用人工智能編寫計算機代碼。 9 月，Anthropic 推出了其尖端人工智能 Claude Sonnet 4.5，這是一種能夠創建人工智能代理並自主操作計算機的計算機編碼模型。

該公司連續 30 個小時不間斷地專注於復雜的多步驟編碼任務，卡普蘭表示，在某些情況下，人工智能的使用使他公司程序員的工作速度提高了一倍。

但去年 11 月，Anthropic 表示，它相信一個中國國家資助的組織 操縱他的工具克勞德代碼 – 不僅幫助人類發起網絡攻擊，還自己執行了大約 30 次攻擊，其中一些是成功的。卡普蘭表示，允許人工智能訓練下一代人工智能是“一個風險極高的決定”。

“這就是我們認為可能是最大的決定或最可怕的事情……一旦沒有任何人參與這個過程，你就不會真正知道。你可以開始一個過程並說，’哦，這一切進展順利。這正是我們所期望的。它非常安全。”但你不知道：這是一個動態的過程。它通向哪裡？

他說，如果允許遞歸自我完善（這個過程有時被稱為）不受控制地運行，就會存在兩個風險。

“第一個問題是：你是否失去了控制？你知道人工智能在做什麼嗎？主要問題是：人工智能對人類有好處嗎？它們有用嗎？它們會無害嗎？它們理解人類嗎？它們會讓人們繼續影響他們的生活和世界嗎？”

“我認為防止權力爭奪和技術濫用也非常重要。”

“如果這東西落入壞人之手，這似乎非常危險”

第二個風險涉及安全，因為人工智能的自學能力超出了人類的科學研究和技術開發能力。

“這似乎非常危險，如果它落入壞人之手，”他說。 “你可以想像一個人（決定），‘我希望這個人工智能成為我的奴隸。我希望它執行我的意志。’我認為防止權力爭奪也非常重要——防止技術濫用。

對包括ChatGPT在內的尖端人工智能模型的獨立研究表明，人工智能可以完成的任務持續時間已經 每七個月翻倍。

卡普蘭表示擔心，快速的進步意味著整個人類在技術再次飛躍之前還無法適應技術。

“這讓我擔心……像我這樣的人都可能發瘋，一切都可能停滯不前，”他說。 “也許有史以來最好的人工智能就是我們現在擁有的人工智能。但我們真的不認為情況如此。我們認為它會繼續變得更好。”

他補充道：“這是一種發展非常迅速的事物，人們不一定有時間吸收它或知道該怎麼做。”

Anthropic 正在與 OpenAI、Google DeepMind 和 xAI 競相在 AGI 背景下開發更先進的人工智能係統。卡普蘭將灣區的氣氛描述為“無論是從人工智能問題的角度還是從競爭力的角度來看，絕對非常激烈”。

“我們的想法是，在投資、收入、人工智能能力、人工智能可以完成的任務複雜性方面，一切都在遵循這種指數趨勢，”他說。

前進的速度意味著其中一名跑步者滑倒和落後的風險很大。 “留在前沿的風險很高，因為如果你偏離指數（曲線），很快你就會遠遠落後，至少在資源方面是這樣。”

到 2030 年，全球數據中心預計需要 6.7 萬億美元 跟上需求的步伐 麥肯錫估計，計算能力。投資者希望支持最接近頂級的公司。

與此同時，Anthropic 以鼓勵人工智能監管而聞名。這是 意向聲明 包括標題為“我們構建更安全的系統”的部分。

“我們真的不希望出現人造衛星式的情況，即政府突然醒來並說，‘哦，哇，人工智能是一件大事’……我們希望政策制定者在整個發展軌跡上盡可能了解情況，以便他們能夠考慮到這一點。”

十月，Anthropic 的立場引發了唐納德·特朗普白宮的譴責。美國總統的人工智能顧問戴維·薩克斯 (David Sacks) 指責 Anthropic “散佈恐慌”，以鼓勵各州進行監管，這有利於其地位，但會損害初創企業。

在薩克斯聲稱自己將自己定位為特朗普政府的“敵人”後，Kaplan 聯合創始人兼 Anthropic 首席執行官達里奧·阿莫迪 (Dario Amodei) 反駁說，該公司公開讚揚特朗普的人工智能議程，與共和黨人合作，並且像白宮一樣，希望保持美國在人工智能領域的領先地位。