待验证50% 置信事实精确时间
RLHF和DPO两种对齐方法均面临分布外泛化难题，训练数据未充分覆盖的边界输入无法完全防范
1
来源数
50%
置信度
长期有效
时效性
2026/7/12
首次发现
来源
Gemini意外泄露内部推理架构：Bento组件与知识图谱全解析
redditr/artificial2026/7/10
相关事实
待验证DPO完全绕过了强化学习阶段，是RLHF之外的对齐技术路径之一；Anthropic探索了RLAIF，Meta研究了拒绝采样（Rejection Sampling）74% 相似待验证离线RL的核心挑战是分布偏移，可能导致外推误差，使学到的策略在部署时表现远不如预期72% 相似待验证离线强化学习（Offline RL）的核心挑战在于分布偏移，数据中未覆盖的状态-动作对可能导致价值函数的严重高估，CQL、IQL 等算法通过保守估计或隐式约束来应对72% 相似待验证RLHF微调阶段相比预训练在数据量级上通常小2-3个数量级，使安全行为编码为低秩覆写而非底层重塑69% 相似待验证仅用成功轨迹训练的模型往往存在分布外泛化的严重缺陷，遇到工具返回错误时便丧失纠偏能力66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/491529API
curl https://kongchang.com/api/v1/knowledge/claims/491529MCP
get_claim(id=491529)