batch_size

当batch_size随环境数线性放大时，梯度估计的方差会以约1/batch_size的速率下降。

在固定learning_rate下，batch_size随环境数线性放大、num_epoch保持不变时，策略在单次迭代中被推向新分布的总位移可能增大，表现为训练早期奖励剧烈震荡甚至坍塌。

当并行环境数从N增加到M时，batch_size应至少按M/N的比例线性增加；buffer_size应保持为batch_size的5到10倍。