LlMBO：用贝叶斯优化微调LLM，告别梯度下降

梯度下降几乎是大模型训练的默认答案，但一篇新论文提出了一个反直觉的思路：当微调参数少到只有几十个时，也许根本不需要梯度。

从TinyLoRA到贝叶斯优化

Morris等人此前提出的TinyLoRA已经证明，LLM微调所需的参数可以少到令人意外的程度——不到10个参数就能带来准确率提升，而传统LoRA方法通常需要一万个以上参数。

但TinyLoRA仍然沿用了梯度下降那套局部搜索方法。这正是新工作的切入点：在极低维的参数空间中，全局优化方法变得可行。于是作者提出了LlMBO（Large language Model Bayesian Optimization），将贝叶斯优化引入LLM微调。

贝叶斯优化（Bayesian Optimization, BO）是一类针对黑箱目标函数的全局优化方法，特别适合评估代价高、梯度不可得或噪声较大的场景。其核心思想是：用一个代理模型（通常是高斯过程）对目标函数建模，并结合一个采集函数（acquisition function，如EI、UCB）在"探索未知区域"和"利用当前最优附近"之间权衡，从而用尽量少的函数评估逼近全局最优。

贝叶斯优化的计算复杂度通常随参数维度呈指数增长，因此传统上只适用于低维问题（一般几十维以内）。这正是LlMBO成立的前提：只有当可调参数被压缩到极低维度时，BO才在计算上可行。与之相对，梯度下降是为高维空间设计的局部方法，它利用一阶导数信息在巨大参数空间里高效下降，但无法保证全局最优，也需要保存中间激活和优化器状态。二者在维度上的适用区间存在互补关系。

LlMBO的核心优势

LlMBO的几个特性值得关注：

• 样本高效：不需要海量训练数据就能找到好的参数配置
• 无梯度：完全绕开反向传播，省去梯度计算和存储开销
• 内存轻量：不需要保存优化器状态和激活值
• 天然并行：跨设备并行时无需同步，避免了分布式训练的通信瓶颈
• 直接优化目标指标：与策略梯度方法不同，LlMBO可以直接优化贪婪解码的准确率

这些特性叠加起来意味着，在低维微调场景下，LlMBO可以在计算和内存消耗仅为梯度方法零头的情况下工作。

GRPO（Group Relative Policy Optimization，组相对策略优化）是一种用于LLM强化学习的策略梯度方法，常被用于提升模型的推理能力（如数学、代码）。它的做法是对同一个问题采样一组（group）回答，用组内奖励的相对大小来估计优势值，从而省去传统PPO中需要的价值网络（critic）。

尽管GRPO比PPO更省资源，但它依然属于策略梯度一族：需要前向+反向传播、保存激活与优化器状态，并且奖励信号在策略梯度中通常只提供期望意义上的梯度，难以直接优化"贪婪解码准确率"这类离散、不可导的目标。此外，在多设备并行时，策略梯度方法往往需要同步梯度或参数，带来通信开销。LlMBO正是从这几个维度与GRPO形成对比。

实验对比：LlMBO vs GRPO

作者在数学基准测试套件上，对多种模型进行了微调实验，将LlMBO与GRPO（Group Relative Policy Optimization）进行对比。

结果显示，LlMBO在这个低维微调场景下，微调增益与GRPO持平甚至更优，但使用的计算量和内存只是后者的一小部分。

这一结论的意义在于：当参数空间足够小的时候，我们不必执着于梯度方法，全局搜索策略反而能更高效地利用资源。

理解这一转向的意义

这项工作的价值不仅在于提出一个新方法，更在于它指出了梯度方法适用性的边界。

大模型训练的默认假设是参数空间巨大，梯度信息不可或缺。但TinyLoRA等工作表明，有效的微调可能只需要极少量参数。一旦进入这个低维区间，贝叶斯优化这类全局方法的计算复杂度就变得可以接受，甚至比局部搜索更有优势。

这对于算力有限的研究者和开发者来说是一个积极信号：微调LLM不一定需要昂贵的GPU集群，在特定任务上，聪明的优化策略可以大幅降低门槛。当然，LlMBO目前仍局限于低维微调场景，对于全参数训练或大规模适配，梯度方法依然不可替代。

参数高效微调（PEFT） 是一类通过只训练极少量新增或选定参数来适配下游任务的技术，代表性方法包括LoRA、前缀微调（prefix tuning）、适配器（adapter）等。LoRA通过在权重矩阵旁引入低秩分解来减少可训练参数，但它本质上仍是梯度方法，可训练参数数量通常在数千到数万量级。

TinyLoRA进一步把可训练参数压缩到个位数或几十个，从而把优化问题从高维降到极低维。这种维度上的跃迁带来了方法论的转变——在低维空间里，全局搜索的可行性大幅提升，梯度不再是唯一选项。LlMBO正是在这一范式下，用贝叶斯优化替代梯度下降，为PEFT开辟了一条非梯度路线。