概念
on-policy
一种训练采样策略，训练数据由当前模型实时生成，确保训练分布与推理分布一致，避免分布错配
时间轴 (近 90 天)
10月17日
ORL采用on-policy残差学习：训练数据由当前模型实时生成，以保证训练分布与推理分布一致。
待验证50%
10月13日
PPO是一种在线策略（on-policy）算法，要求每次更新使用的数据必须来自当前策略。
待验证50%
9月24日
PPO等主流RL算法要求用于生成样本的策略与当前被优化的策略尽量一致（on-policy），否则off-policy数据会引入偏差、降低样本效率并可能导致训练不稳定
待验证50%