进化策略（ES）

一项来自 RSS 的研究提出了进化策略（ES）的质心几何解释：将扰动模型视为粒子，奖励视为质量，ES 更新等价于质心位移。

对于任意有限种群，均值减除后的 ES 更新恰好等于质心位移乘以一个取决于平均奖励的标量因子。

ES 的更新方向本质上就是种群质心的移动方向，更新幅度与质心位移的大小成比例。

ES 的质心解释要求奖励非负，但只要给所有奖励加上一个常数，更新结果完全不变，因此不构成限制。

在标准 ES 中，从奖励中减去平均奖励（均值减除）可降低方差，从质心视角看是将位移参考点从模型当前位置切换到采样种群质心，方向和相对大小不变。

当种群规模趋于无穷大或采用反对称采样时，种群质心恰好落在模型自身位置，ES 更新方向直接指向奖励加权质心。

反对称采样通过成对生成正负扰动保证种群中心与模型重合，消除质心偏移，使更新方向更纯粹地反映奖励信号，因而在实践中表现更稳定。

进化策略（ES）是一类基于种群的無梯度优化算法，通过采样扰动、评估适应度、加权更新参数来迭代改进模型。

经典 ES（如 CMA-ES）维护一个搜索分布（通常是高斯分布），并根据适应度调整分布的均值与协方差。

本文讨论的 ES 变体与 OpenAI ES 一脉相承：不显式维护分布参数，而是对当前模型参数施加高斯扰动得到子代，用奖励作为权重计算加权平均方向进行更新。

质心解释对任意有限种群精确成立，而非仅在大种群极限下近似成立。

该研究的核心贡献不在于提出新算法，而在于建立精确的几何等价关系，将 ES 更新从梯度估计框架中解放出来。