2014 年的美國電影《超越》講述了一位垂死的科學家將自己的思想上傳到超級電腦並成為近乎無所不能的智慧的故事。一年後，《機械姬》講述了一個人形機器人的故事，它智勝了人類操縱者並逃到了更廣闊的世界。
就像科幻小說世界中的許多其他電影一樣，這兩部電影都提到了所謂的“奇點”，即技術（尤其是人工智慧）超越人類智慧並變得越來越難以控制的時刻。
週六，OpenAI 總裁 Sam Altman 宣布這一刻已經到來。他表示，人工智慧已經達到了「奇點」。雖然奧特曼強調奇點可能對世界有利，但他的評論引起了擔憂。
以下是奧特曼所說的話的詳細分析，以及這是否意味著更無縫的自動化或即將到來的災難性厄運的風險。
什麼是單一性？
奇點是指未來人工智慧等技術將超越人類智慧並且能夠自主增強自身的假設點。想必，到了這個階段，人類將難以控製或逆轉，並對人類文明產生不可預見的影響。
該理論表明，一旦人工智慧獲得對其發展的控制權，後續的技術進步就會發生得如此之快，以至於人類將無法跟上，使其在人類控制之外有效地自行發展。
由於這只是一個理論，很難說這會產生什麼效果。一些專家警告說，奇點對人類來說將是災難性的，而另一些專家則更樂觀，認為它可能對人類有利。
到目前為止，奇點仍然僅限於科幻小說領域。最著名的例子之一是《駭客任務》三部曲（1999-2003），它想像了一個暗淡的後奇點未來，人類被機器統治。另一個是 2017 年的奇點，其中一台最初設計用於結束人類戰爭的超級電腦得出結論，人類才是真正的威脅，並發動了一場世界末日攻擊，以徹底消滅人類。
奧特曼對奇點說了什麼？
Altman 是 OpenAI 的首席執行官，其標誌性產品 ChatGPT 主導著消費者人工智慧市場，擁有超過 9 億的每週活躍用戶和約 5,000 萬訂閱者。
去年，他預測到2030年人工智慧將在所有領域超越人類智慧。
然後，在周六出現在“無情”系列紀錄片中時，奧特曼說：“我們現在正處於奇點。”
他解釋說，就技術進步而言，我們正在逐漸走向奇點，這種變化將有利於世界。
他補充說：「我們現在實際上正處於午餐桌上以一種非常不嚴肅的方式交談的時刻。
“我一生都在等待這一切，我認為這將是令人難以置信的、如此積極的、對世界來說偉大的。”
在後來的播客節目中，奧特曼批評了其他人工智慧領導人警告人工智慧可能是危險的。雖然 Altman 沒有透露 OpenAI 競爭對手 Anthropic 的名字，但其執行長 Dario Amodei 因發出此類警告而聞名。
「我還認為其他公司提出的一些替代願景非常可怕，」奧特曼說。 “我將確保這是正在反對的事情，而不是正在發生的事情。”
上個月，Claude 聊天機器人背後的公司 Anthropic 呼籲世界上最大的人工智慧公司拿出一種協調一致的方式來暫停先進人工智慧系統的開發，並警告說，技術進步如此之快，人類有失去控制的風險。
長期以來一直將自己定位為注重安全的人工智慧實驗室的 Anthropic 在 6 月 4 日的一篇部落格文章中寫道，隨著人工智慧變得更加先進，“如果世界能夠選擇放慢或暫停其發展，那將是一件好事。”
為什麼其他人警告人工智慧的危險？
7月23日，兩名美國國會議員提出了《人工智慧終止開關法案》，這是一項兩黨法案，要求該國的人工智慧開發人員在他們的軟體中內建一個“終止開關”，使人類能夠在先進的人工智慧模型構成災難性風險時減慢、暫停或關閉它們。
這項立法是在 OpenAI 披露其所謂的「前所未有的網路事件」幾天后提出的，其中兩個最先進的人工智慧模型逃脫了測試環境，並在內部安全評估期間破壞了 Hugging Face 人工智慧開發平台。
7 月 13 日，數百名專家簽署了一封由史丹佛大學數位經濟實驗室組織的公開信，呼籲政策制定者和技術領導者“立即行動”，為人工智慧的經濟影響做好準備。
這封信警告說，人工智慧在未來十年可能會變得更加強大，導致「比工業革命更大，但在更短的時間內展開」的變革。
信中補充說：“它可能帶來風險，包括大規模失業，也帶來機會，例如生活水平顯著提高。”
今年 6 月，多倫多大學的一組研究人員表明，人工智慧工具可用於創建一種新型人工智慧“蠕蟲”，當它從一個設備傳播到另一個設備並接管龐大的計算網路時，它會調整其駭客策略。
首席研究員尼古拉斯·佩珀諾特 (Nicholas Papernot) 在接受采訪時表示：“我認為，讓人們明白，帶來安全問題的不僅僅是更大、更強大的語言模型，這一點非常重要。”
近年來，人工智慧研究人員敦促暫停，類似於 Anthropic 最近提出的建議。然而，他們並沒有被理會。
擁有 xAI 人工智慧實驗室的 Elon Musk 是非營利生命未來研究所 (Future of Life Institute) 倡議的支持者之一，該倡議將於 2023 年停止人工智慧開發六個月，以便有時間建立安全屏障。
