我们无法知道人工智能最重要问题的答案,直到为时已晚。

人工智能从一种类型的任务泛化到另一种类型的任务越多越好。 AI的进步就会越快。在更高智慧到来之前,我们的时间将会更少。在考虑进展速度时,这允许泛化和核心 AGI 概念。事实上,那些治疗 AGI 的人 严重地 收到 更准确 更重要的是人工智能的进步速度,而不是那些忽视这一想法的人。

但人们很容易将“AGI,一个有时有用的概念”与“AGI,一种危险物质”混为一谈。一些人工智能驱动的灾难可能会在通用人工智能之前发生,例如,如果人类使用人工智能系统开发新的生物武器。或发起大规模网络攻击。另一方面,人工智能驱动的人类灭绝可能需要超人的能力。如果人工智能像我们一样聪明,我们也许能够反击并获胜。

当使用通用人工智能作为一个松散的预测概念时,很容易模糊近似人类能力之间的界限。 (AGI的正常感官)和严重的超人能力。 (高级人工智能(ASI)更常用。)最终,如果你拥有与人类一样好的人工智能,可以设计出更智能的人工智能(根据 AGI 的定义),并且像大多数软件一样,它的运行速度比人类快得多。他们可能做的第一件事就是创建更智能的人工智能。反过来,他们将创造更智能的人工智能。反过来,这会在一个称为递归自我改进(RSI)的过程中创造出更智能的人工智能等等。因此,任何假设 AGI 的思想实验通常都被假设为 ASI。