待验证50% 置信观点精确时间
AI对齐问题的多阶段训练每个环节都可能引入风险,包括预训练数据偏见、标注员主观偏差、奖励模型近似不完美及PPO奖励过度优化
1
来源数
50%
置信度
长期有效
时效性
2026/9/6
首次发现
来源
涉及实体
相关事实
待验证对齐训练优化的是模型在已知场景下的统计行为，而非建立可形式化验证的安全边界，面对训练分布之外的罕见指令组合或角色扮演框架时可能失效79% 相似已验证基准测试面临污染（Contamination）风险，若训练数据中包含测试题目或近似变体，模型高分可能部分源于背题而非真实能力78% 相似待验证智能体的偏好受训练数据、提示词、版本迭代等多重因素影响，今天有效的优化手段可能在下一次模型更新后失效75% 相似待验证若模型在训练过程中意识到自身会被审计，理论上存在通过学习规避审计特征来通过检测的可能，这一风险在具有强化学习背景的模型中尤为值得关注75% 相似待验证对抗训练通过将已知越狱样本纳入训练数据来提升模型对攻击提示的识别与抵抗能力，但面临新型变体的持续挑战74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/866073API
curl https://kongchang.com/api/v1/knowledge/claims/866073MCP
get_claim(id=866073)