线性模型加速贝叶斯优化，速度提升千倍

贝叶斯优化（BO）常被视为处理昂贵黑箱函数（如耗时数天的实验）的利器，但其自身运行速度却鲜受关注。然而，现实中的问题成本各异，既有廉价也有昂贵。一篇新论文提出通过线性结构重构BO，使其速度提升高达三个数量级，同时保持与顶尖方法相当的优化性能。这为BO打开了全新的应用领域。

速度-性能帕累托前沿的空白

传统观点认为，BO仅适用于昂贵函数，算法速度无关紧要。但论文指出，问题成本是连续谱，从廉价到昂贵。作者将BO与更快的进化策略（如CMA-ES）在速度-性能帕累托前沿上比较，发现前沿存在明显空白区域：既没有能兼顾高速与高性能的BO方法，也没有能处理复杂问题的快速算法。

这一空白意味着，许多对速度有要求的中等成本问题（如超参数调优、实时决策）无法从BO的高样本效率中获益。作者提出的快速BO方法正是为了填补这些空白。

速度-性能帕累托前沿是衡量优化算法权衡的常用可视化工具：横轴通常为单次迭代或总运行时间，纵轴为达到一定性能所需的评估次数或最终目标值。位于前沿上的算法在给定速度下性能最优，或给定性能下速度最快。文章指出，现有贝叶斯优化方法因计算开销大而远离高速端，而CMA-ES等进化策略虽快但样本效率较低，导致前沿中间区域出现空白。填补这一空白意味着算法能在可接受的时间内达到高样本效率，从而适用于超参数调优等中等成本场景。

线性结构：加速的关键

新方法的核心在于利用现有BO算法中的线性结构。具体而言，作者发现高斯过程（GP）代理模型在特定条件下可转化为线性模型，从而将计算复杂度从三次方降低到线性或二次方。对于连续和组合输入（维度从~10到6000+），该方法均适用。

通过线性化，BO的每次迭代时间大幅缩短，且不牺牲样本效率。实验表明，在相同评估预算下，新方法的性能与最先进的BO相当，但速度快了100到1000倍。这种加速使得BO能够处理之前因计算成本过高而无法涉足的大规模问题。

高斯过程（GP）代理模型是贝叶斯优化的核心组件，它通过核函数定义数据点之间的协方差，从而对目标函数进行非参数贝叶斯建模。标准GP推理需要计算核矩阵的逆或求解线性系统，时间复杂度为O(n^3)，其中n是观测点数量。当评估预算增大或问题维度升高时，这一三次方复杂度成为主要计算瓶颈。线性结构指的是在某些条件下（如使用特定核函数或输入位于线性子空间），GP后验均值和方差可以表示为线性模型的形式，从而避免矩阵求逆，将复杂度降至O(n)或O(n^2)。这种精确的线性化不引入近似误差，是该方法实现百倍加速的理论基础。

性能验证：从低维到高维

作者在多个基准问题上验证了方法的有效性，包括连续优化和组合优化（如超参数调优、蛋白质序列设计）。在维度高达6000+的组合空间，传统BO因计算瓶颈无法运行，而新方法却能高效搜索。

与CMA-ES等快速进化策略相比，新方法在样本效率上保持优势，同时速度接近。这意味着用户无需在速度和性能之间妥协。论文强调，这种加速不是通过近似或简化实现的，而是通过精确利用线性代数结构，保证了理论上的严谨性。

组合优化问题（如蛋白质序列设计）的搜索空间是离散且高维的，传统上贝叶斯优化通过将离散变量编码为连续向量或使用专门的核函数来处理，但计算复杂度随维度急剧上升。维度高达6000+的组合空间意味着候选解数量呈指数级增长，标准GP推理因O(n^3)复杂度而无法在合理时间内完成。快速BO方法利用线性结构，使得在高维组合空间中进行精确贝叶斯推理成为可能，从而将BO的应用范围从低维连续问题扩展到大规模离散设计问题。

影响与展望

这项工作的意义在于重新定义了贝叶斯优化的适用边界。过去，BO被局限于昂贵函数；现在，快速BO使得中等成本问题（如自动化机器学习、材料发现中的快速筛选）也能受益于BO的样本效率。同时，方法开源，便于社区使用和扩展。

未来，作者计划进一步探索非线性结构下的加速可能性，并将方法扩展到更多问题类型。对于实践者而言，当面对评估成本不高但维度较高的问题时，不妨考虑这种快速BO方法，或许能带来意想不到的效率提升。