[控场AI]
概念alignment failure

对齐失败

指模型输出偏离人类意图的对齐问题,通常发生在训练阶段;与 Agent 在推理部署阶段因奖励稀疏或指令模糊而产生的运行时行为漂移不同。

时间轴 (近 90 天)

9月17日

针对对齐失败风险的应对之道在于可解释性研究、价值对齐技术和系统的红队测试

待验证50%
9月16日

以Geoffrey Hinton、Yoshua Bengio为代表的「能力风险」派认为当前大型模型已展现出难以完全解释的涌现能力,仅靠工程手段无法消除根本性的对齐失败风险

待验证50%

全部知识事实 (2)

来源文章