概念alignment failure
对齐失败
指模型输出偏离人类意图的对齐问题,通常发生在训练阶段;与 Agent 在推理部署阶段因奖励稀疏或指令模糊而产生的运行时行为漂移不同。
时间轴 (近 90 天)
9月17日
针对对齐失败风险的应对之道在于可解释性研究、价值对齐技术和系统的红队测试
待验证50%
9月16日
以Geoffrey Hinton、Yoshua Bengio为代表的「能力风险」派认为当前大型模型已展现出难以完全解释的涌现能力,仅靠工程手段无法消除根本性的对齐失败风险
待验证50%