待验证50% 置信事实精确时间
PPO属于on-policy算法，只能使用当前策略采集的数据进行更新，旧策略产生的数据会被丢弃；DDPG、SAC等off-policy算法可以利用经验回放池中的历史数据，样本效率更高。
1
来源数
50%
置信度
长期有效
时效性
2026/10/28
首次发现
来源
涉及实体
相关事实
待验证PPO的on-policy特性意味着每次更新后旧样本即失效，因此对仿真环境的吞吐量要求较高。76% 相似待验证在线策略蒸馏中每次策略更新后旧响应分布偏移，继续使用会引入off-policy偏差66% 相似待验证Off-policy问题的常见应对手段包括重要性采样修正、设置数据过期阈值、采用GRPO等算法66% 相似待验证GRPO相比传统PPO算法的关键创新在于通过对同一问题采样多个输出计算组内相对得分替代独立的价值网络，降低显存占用65% 相似待验证MAQS-Way 定位为政策层与审计层之间的路径层，包含 8 条原则（P1–P8）、基于 OMPS 的数据模型、生命周期管理以及可度量的验证手段（LoCoMo、LongMemEval、删除格、负向测试）。63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1105720API
curl https://kongchang.com/api/v1/knowledge/claims/1105720MCP
get_claim(id=1105720)