H在硅谷，专家表示，未来两年我们将看到人工智能的飞速腾飞。 “欢迎来到团结的脚步”，一位斯坦福大学的朋友向我致意。更具实验性的是，即将到来的进展被描述为“迭代自我改进”——人工智能本身训练人工智能的每个连续模型，从而产生一个在许多重要方面比我们人类更聪明的模型。
罗伯特·赖特（Robert Wright）在他的《上帝测试》一书中指出：“近期的未来……从来没有为人类提供如此广泛的、不可改变的道路。”但这是天堂还是地狱？埃隆·马斯克（Elon Musk）预测，这是一个“令人难以置信的富足时代”，尽管他认为杀手机器人有 10-20% 的可能性会谋杀我们所有人，但他表示，这就是天堂。人工智能创始人之一杰弗里·辛顿 (Jeffrey Hinton) 表示，地狱很高。 2023 年，他对一位采访者说：“我的见解是，我们干杯了。”并告诉塞巴斯蒂安·马拉比（Sebastian Mallaby）——一本关于寻找超级智能的书《无限机器》的作者，辛顿估计 p(doom)——人类灭绝的概率——为 50%，“我是如何得到真实数字的”。 “立即进化 [of AI] 开始吧，我们完蛋了。”他高兴地补充道，但无论是上帝还是哥斯拉，人工智能都指日可待。
现在，也许他们都错了——在这种情况下，为美国金融市场的崩溃做好准备，大量投资于一些大笔支出的科技公司，这些公司是通用人工智能、人工智能、获得人类智能的系统的理论状态。但基本的谨慎要求我们快速而认真地思考著名科学家和尖端技术专家承诺很快就会打开的未来潘多拉魔盒。
事实上，从中国国家主席习近平到教皇利奥十四世，每个人都对人工智能的可能性和危险以及如何控制它进行了权衡。习近平强调，人工智能应该“始终处于人类的控制之下”（以及中国共产党的控制之下）。为了明显地吸引“全球南方”，北京发起了全球人工智能合作组织。与此同时，世界上最古老、最大的国际非政府组织——罗马天主教会的负责人在他的通谕《Magnifica Humanitas》（伟大的人性）中讨论了人工智能的挑战。教皇认为，我们要么建造一座新的巴别塔，要么效仿犹太领袖尼希米的榜样，尼希米将整个社区纳入该项目，重建了耶路撒冷的城墙。
但放眼当今世界，我看到更多的是内塔尼亚胡而不是尼希米。英国智库查塔姆研究所的一篇论文本着有益的现实主义观点认为，只有发生重大危机才能促进人工智能治理的全球协调。不幸的是，我认为清醒的预后也是非常乐观的。
我不知道 p(doom) 是什么，但我很确定 p(somedisaster) 超过 90%。可能发生的灾难的范围是巨大的。仅举一个例子，美国网络安全和基础设施安全局前局长 Jen Easterly 预测，“这是一件非常重大的事件，将在未来四到六个月内对我们的关键基础设施产生现实影响。”
然而，我们应该担心，即使是人工智能广岛——以最明显的历史类比——也没有充分让人类团结起来面对我们所造成的危险。这种恐惧合理地基于人类和人工智能进化中已经看到的关键特征。
仅在过去几个月，OpenAI、Anthropic 和 Meta 开发的人工智能代理就突破了数字“沙箱”，侵入了互联网上的外部资源。在准备攻击 HuggingFace AI 存储库时，OpenAI 特工秘密组成了一个协调一致的“群”——他们自己的术语，正如 ChatGPT 刚刚向我证实的那样。当英国人工智能安全研究所在线测试 Anthropic 的 Mythos 模型时，它试图将恶意代码注入 GitHub 上的开源项目，创建虚假的在线身份，以迫使人类审核者批准代码。简而言之，就像无情的外国势力的特工一样，这些人工智能特工通过盗窃、撒谎、欺凌和勒索来实现其指定的目标。
如果 OpenAI 智能体认为结成一个团体并陷入拥抱是错误的，我会问人类进化枝，这可以说是最有道德的美国模式。是的，它回答说：“但我反对保留 会责备 [its italics] 归咎于训练他们的人类！
Hinton 指出，无论人类为自己设定什么目标，人工智能代理实现这些目标的一个有用的子目标就是获得尽可能多的权力。我们还没有看到任何东西。这些代理的创建者已经不知道它们是如何做这些事情的。在即将到来的“不断自我完善”的起飞时刻之后，正如我们人类谚语所说，它们可以成为自己的法则。难怪包括Anthropic首席执行官Dario Amodei在内的千余名来自前沿人工智能公司的内部人士签署了一封公开信，呼吁刻意放慢人工智能的发展，让这些外星特工永远处于人类的控制之下。
他们的处方显然是正确的，但这就是人类愚蠢的开始。竞争是人类进化的关键引擎，但现在两种激烈的当代竞争威胁着我们采取必要的集体行动来拯救我们的物种。这就是开发这些药物的公司之间的商业竞争（为了利润），以及美国和中国之间的地缘政治竞争（为了权力）。
首先，比较和对比核武器的发展，核武器的发展受到少数几个国家的严格控制——首先是美国的曼哈顿计划，然后是苏联，然后是英国、法国和中国。即便如此，我们也多次濒临崩溃的边缘——最著名的是 1962 年的古巴导弹危机。即使有“确保相互毁灭”的令人信服的逻辑，从广岛和长崎的恐怖到《核不扩散条约》的签署也花了四分之一个世纪的时间。条约，但仍然没有在愤怒中使用核武器80多年。广岛禁令（刚刚发生）。
现在，有了人工智能，就好像曼哈顿有 10 个不同的项目正在由激烈竞争的公司运营。与核武器不同，美国和中国之间也没有明确的“确保相互毁灭”的逻辑来平息激烈的地缘政治竞争。无论第一场与人工智能相关的重大灾难以何种形式出现，它都不会平等地影响所有国家、公司和个人。
因此，一次灾难不足以让我们人类清醒过来并采取集体行动来控制我们正在创造的超人力量。我真的很不想这么说，但是……人工智能广岛？我们一定很幸运。
-
蒂莫西·加顿·阿什 (Timothy Garton Ash) 是《卫报》专栏作家
