待验证50% 置信事实精确时间

PPO 和 DPO 目标函数不同，验证损失不可横向比较；困惑度在 PPO 之后失去意义。

1

来源数

50%

置信度

长期有效

时效性

2026/10/17

首次发现

来源

LLM构建全流程：为什么多数解读都停在Transformer

涉及实体

PPOconcept DPOconcept 验证损失concept 困惑度concept

相关事实

待验证DPO 跳过 RL 循环，通过提高偏好答案似然、降低非偏好答案似然来优化，标准假设下最优解与 PPO 一致。71% 相似已验证PPO通过引入裁剪目标函数将新旧策略概率比值限制在[1-ε, 1+ε]区间，替代TRPO的KL散度约束，简化了实现复杂度67% 相似待验证PPO稳定性来自'小步更新'约束，其数学形式由clip目标和学习率共同决定。66% 相似待验证在离策略采样条件下，当偏好间隔在方向上与效用梯度对齐时，DPO的更新会从纠错信号转变为类似强化学习的强化式更新64% 相似待验证困惑度是验证集损失的指数形式，即 PPL = e^loss64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1051010

API

curl https://kongchang.com/api/v1/knowledge/claims/1051010

MCP

get_claim(id=1051010)