Policy Lag

在强化学习训练中，生成轨迹的策略与当前训练策略之间的时间差，可能导致数据分布不一致，影响训练稳定性。