概念zeroth-order optimization / 无梯度优化
零阶优化
一类仅通过函数值查询(不依赖梯度)来优化目标函数的算法框架,常用于黑盒调参、强化学习策略搜索和梯度不可得的仿真优化场景
时间轴 (近 90 天)
10月15日
零阶优化中,将函数值通过有限差分或高斯平滑转为梯度估计再套用一阶方法,通常要付出与维度 d 线性相关的代价。
待验证50%
10月15日
对实践者的建议:不要指望通过更聪明的查询策略或样本复用来消除零阶优化中对维度 d 的线性依赖。
待验证50%
一类仅通过函数值查询(不依赖梯度)来优化目标函数的算法框架,常用于黑盒调参、强化学习策略搜索和梯度不可得的仿真优化场景
零阶优化中,将函数值通过有限差分或高斯平滑转为梯度估计再套用一阶方法,通常要付出与维度 d 线性相关的代价。
对实践者的建议:不要指望通过更聪明的查询策略或样本复用来消除零阶优化中对维度 d 的线性依赖。