概念
buffer_size
强化学习中用于指定经验回放缓冲区大小的超参数，在PPO等在线策略算法中决定每次策略更新前收集的经验步数。
时间轴 (近 90 天)
10月13日
在ML-Agents中，buffer_size对应PPO在两次策略更新之间收集的总经验步数，约等于num_envs乘以time_horizon。
待验证50%
10月13日
当并行环境数从10扩展到1000且buffer_size不变时，分摊到每个环境的轨迹长度会被压缩到原来的1/100，导致轨迹严重截断，破坏GAE对回报的估计。
待验证50%
10月13日
当并行环境数从N增加到M时，batch_size应至少按M/N的比例线性增加；buffer_size应保持为batch_size的5到10倍。
待验证50%