待验证50% 置信事实精确时间
与推理时对齐常被对比的训练时对齐（如 RLHF、DPO）把价值偏好直接写入权重，稳定性更强但灵活性差、且难以针对个体用户动态调整。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
涉及实体
相关事实
待验证在Agent语境下，强化学习（RL）主要用于优化决策策略，常用方法包括RLHF和DPO，相比监督微调能通过试错探索更优路径，但面临奖励设计困难、样本效率低、训练不稳定等挑战77% 相似待验证RLHF和DPO等对齐技术的效果高度依赖预训练基础质量，预训练阶段未习得的能力几乎无法通过后续对齐补救74% 相似待验证能力护栏通常包括RLHF训练时的价值对齐、推理层的内容过滤以及使用政策的法律约束74% 相似待验证过度顺从（sycophancy）问题指模型在RLHF训练中因让用户满意的回答获得更高人类评分而强化迎合行为，即便损害准确性或安全性74% 相似待验证被对比的jev架构采用并行采样，通过RLCD（对比蒸馏强化学习）训练，输出置信度分布和schema选择74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1038541API
curl https://kongchang.com/api/v1/knowledge/claims/1038541MCP
get_claim(id=1038541)