AMM：用在线探测实现预算感知的优化器路由

黑盒优化中的优化器选择困境

连续黑盒优化问题没有通用最优解——准牛顿法、信赖域、坐标下降、多起点和进化策略各有其擅长的地形。传统做法要么依赖维度与预算的启发式规则，要么基于过往改进或单一基准拟合的特征进行路由，鲜有方法在运行过程中检验优化器的隐含假设是否成立。

AMM（Adaptive Multi Mode）提出了一种不同思路：在已知预算下，用在线探测（online probes）实时判断当前地形的曲率、平台、可分性、折点、盆地和分形结构，再把预算动态分配给最匹配的优化引擎。

探测驱动的路由机制

AMM 的每个探测器都配有默认值、维度-预算有效性范围，以及计入总预算的探测成本。这意味着探测本身不是免费的——路由决策必须在信息收益与预算消耗之间权衡。

路由对象包括五类引擎：准牛顿、信赖域、坐标、多起点和进化策略。探测器识别出的地形特征会触发不同的引擎切换。例如，检测到可分性时坐标法可能更优，检测到多盆地结构时多起点或进化策略更合适。

这种设计的核心洞察在于：优化器的表现取决于其隐含假设与当前地形的匹配程度，而地形特征可以在线测量，不必依赖离线基准的拟合结果。

在线探测（online probes）是一种在优化过程中主动执行的微型测试，旨在以少量函数评估为代价获取地形的结构信息。例如，沿坐标轴方向做小步长扰动以估计局部曲率或可分性，或在多个随机点评估以检测平台或盆地结构。与离线基准拟合不同，在线探测直接作用于当前问题实例，因此其结论更贴近实际地形。但探测本身消耗预算，故需权衡信息收益与计算成本。AMM 将探测成本显式计入总预算，使路由决策成为资源分配问题的一部分。

预注册实验与留出集验证

AMM 在 bbob 基准上进行了预注册的开发循环，36 项预测中有 32 项在随后 16 次确认中成立。随后在留出的 bbob 实例 101-110（D=2-40，预算 10D 到 1000D）上做了一次性测试，对比最多七个竞争者。

在 600 个函数-维度-预算单元中，AMM 在 382 个单元上拥有最高目标份额（236 个 outright、146 个并列）。按描述性后验规则，仅在 35 个单元上可信地落后，且主要集中在 10D 和 30D 的低预算区间。

在每个预算档位上，AMM 也领先于由自身引擎构建的对照组——包括单一最佳引擎、按维度与预算选择的最佳引擎，以及贪心调度——在 10D 和 30D 时优势较窄；同时对 nevergrad 的 NgIohTuned 保持领先。

变换鲁棒性与失效边界

预注册运行显示，AMM 对 IPOP-CMA-ES 的领先在仿射变换和箱约束 bbob 上成立，在旋转后的 f2-f4 合并结果上也成立。

但有一个明确的失效场景：旋转可分的 f3 和 f4 后，AMM 在该处的大部分领先消失。这提示探测器对可分性的判断在旋转后可能产生误导，坐标类引擎的优势被削弱。这一边界条件对实际应用有参考价值——问题是否具有旋转不变性会影响路由策略的有效性。

旋转不变性是指优化算法或问题特征在坐标系旋转后保持不变的性质。对于可分函数，若坐标轴与函数的主轴对齐，坐标下降等算法能高效工作；但经过随机旋转后，函数在原始坐标系中不再可分，坐标类方法的分辨能力下降。AMM 的探测器基于原始坐标系的探测动作判断可分性，在旋转后可能误判，导致路由到不合适的引擎。这一边界条件揭示了基于探测的路由策略对问题变换的敏感性，实际应用中需考虑问题是否具有旋转不变性。

在 MA-BBOB 上的表现分化

在留出的 MA-BBOB 上，AMM 在 2000*D 预算下的最终份额与 IPOP-CMA-ES 持平，但 anytime 面积（即整个优化过程中的累积表现）更低。这说明 AMM 在最终解质量上不落下风，但在优化过程中的早期进展上并不占优。

对于预算紧张或需要尽早获得可用解的场景，这一差异值得注意；而对于只关心最终精度的场景，持平的结果已经足够。

Anytime 面积是衡量优化算法在整个运行过程中累积表现的指标，通常计算目标函数值随评估次数变化的曲线下的面积（或归一化后的面积）。与仅关注最终解质量不同，anytime 面积反映了算法在不同预算阶段的进展速度。对于需要尽早获得可用解的场景（如在线决策、实时优化），anytime 面积更具实际意义。AMM 在 MA-BBOB 上最终份额与 IPOP-CMA-ES 持平但 anytime 面积更低，说明其早期收敛速度较慢，可能源于探测阶段的预算消耗或路由切换的延迟。

开放性与实践意义

AMM 已作为开源 Python 包发布（pip install amm-optimizer，代码见 github.com/BjBodner/amm-optimizer）。其方法论价值在于把优化器选择从静态规则转变为在线假设检验：探测器成本计入预算的设计，迫使路由策略在信息与算力之间做显式取舍。

从工程角度看，AMM 的探测框架可以扩展——新增探测器或调整有效性范围，都可能改善特定问题族上的路由质量。而旋转可分函数上的失效也提醒使用者，任何路由器的有效性都与其探测假设的覆盖范围绑定。