科学家发现控制人工智能行为的新方法

无论模型完成任务的情况如何，他们都会得到奖励，从而激励他们走捷径或其他可疑的冲动，例如囤积权力。

这个问题的一个版本有助于解释为什么人工智能经常失败。在训练期间，模型会因最有可能获得“提升”的答案而获得奖励 人类评估者。该技术被称为“人类反馈强化学习”（RLHF），被誉为 2022 年的安全突破，因为它能够将不守规矩的语言模式转变为行为良好的聊天机器人，遏制它们提供种族主义和厌恶女性反应的倾向。但它也可以使模型变得病态地令人愉快，有时补充和强化用户的幻想。

潜在的难题是如何训练人工智能做某事而不无意中教给它错误的教训——研究人员称之为“对齐问题”。

就像神经科学家使用实时磁共振成像来识别与某些状态相关的大脑活动区域一样，可解释性研究人员也开发了工具来识别数字神经元激活的哪些模式对应于“数字神经元激活”等概念。 金门大桥”或“奖励黑客”，这是人工智能作弊的技术术语。然后可以训练一个小型人工智能模型来发现这些模式。结果被称为“探测”，即模型中的一个狭窄窗口，当它“思考”特定概念时就会触发它。