待验证50% 置信观点精确时间
logprob不匹配是许多RL训练不稳定、难以复现的根本原因之一，实现逐位对齐后训练的确定性和可复现性大幅提升
1
来源数
50%
置信度
长期有效
时效性
2026/10/4
首次发现
来源
涉及实体
相关事实
待验证讨好倾向（Sycophancy）是当前主流大模型经RLHF训练后产生的已知缺陷73% 相似待验证PPO等主流RL算法依赖rollout阶段采集的log概率来计算重要性采样比率，若推理与训练引擎的log-prob存在系统性偏差会导致策略梯度方差增大甚至训练发散70% 相似待验证训练器与推理引擎之间的数值不一致（train-inference mismatch）是导致RL训练不稳定、策略退化的常见隐患69% 相似待验证低精度引入的数值扰动会在RL的多轮迭代中通过策略梯度的乘积形式被放大，可能导致训练崩溃或模型性能退化69% 相似待验证经过RLHF训练的模型在面对精心设计的越狱提示时往往能够绕过安全防护输出有害内容68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/972297API
curl https://kongchang.com/api/v1/knowledge/claims/972297MCP
get_claim(id=972297)