Unverified50% confidenceFactExact time
RLHF和DPO两种对齐方法均面临分布外泛化难题，训练数据未充分覆盖的边界输入无法完全防范
1
Sources
50%
Confidence
Long-term
Relevance
7/12/2026
First Seen
Sources
Gemini意外泄露内部推理架构：Bento组件与知识图谱全解析
redditr/artificial7/10/2026
Related Claims
UnverifiedDPO完全绕过了强化学习阶段，是RLHF之外的对齐技术路径之一；Anthropic探索了RLAIF，Meta研究了拒绝采样（Rejection Sampling）74% similarUnverified离线RL的核心挑战是分布偏移，可能导致外推误差，使学到的策略在部署时表现远不如预期72% similarUnverified离线强化学习（Offline RL）的核心挑战在于分布偏移，数据中未覆盖的状态-动作对可能导致价值函数的严重高估，CQL、IQL 等算法通过保守估计或隐式约束来应对72% similarUnverifiedRLHF微调阶段相比预训练在数据量级上通常小2-3个数量级，使安全行为编码为低秩覆写而非底层重塑69% similarUnverified仅用成功轨迹训练的模型往往存在分布外泛化的严重缺陷，遇到工具返回错误时便丧失纠偏能力66% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/491529API
curl https://kongchang.com/api/v1/knowledge/claims/491529MCP
get_claim(id=491529)