手机端LLM训练新突破：前向优化实现个性化专家模型

在个人设备上运行大型语言模型（LLM）能保持用户数据本地化，但有限的内存限制了模型的通用能力。大多数用户特定任务并不需要前沿模型的广度，因此一个实用的解决方案是将共享的端侧模型适配成轻量级的专家模型。然而，反向传播在内存上代价高昂，且用户很少提供标注数据。为此，研究者提出了MobileSpec系统——仅通过前向传播训练专家模型，并从自动检查的任务结果中学习，类似于带可验证奖励的强化学习（RLVR）。

核心挑战：内存与标注数据的双重限制

在手机等内存受限的设备上训练LLM面临两大难题。首先是反向传播的内存开销：传统训练需要存储激活值和梯度，这远超出移动设备的承受能力。其次是标注数据的稀缺：用户通常不会为特定任务提供监督信号。MobileSpec的解决思路是仅使用前向传播，并利用RLVR框架从任务结果中自动获取奖励信号，从而避免反向传播和人工标注。

然而，仅前向更新基于随机扰动，只有当这些扰动类似于RLVR的权重变化时，训练才有效。RLVR的权重变化在很大程度上保留了预训练权重的奇异值，并旋转其奇异向量。MobileSpec的核心算法FuRA-S正是为了产生这样的扰动而设计。

反向传播（Backpropagation） 是训练神经网络的标准算法，它通过链式法则从损失函数逐层回传梯度，从而更新全部权重。其内存开销主要来自两方面：一是前向传播过程中必须保存每一层的激活值（activation），以便在反向阶段计算梯度；二是需要为每个可训练参数存储对应的梯度及优化器状态（如Adam中的一阶、二阶矩）。对于数十亿参数的LLM，这部分内存通常是模型本身权重的数倍，远超手机等移动设备的能力。相比之下，仅前向传播的优化方法只需执行推理并观察输出，无需保存中间激活，内存占用可降低一个数量级以上。

RLVR（Reinforcement Learning with Verifiable Rewards，带可验证奖励的强化学习） 是一类用程序化规则自动判定答案对错的强化学习范式。与依赖人类偏好标注的RLHF不同，RLVR的奖励来自可验证的结果，例如数学题答案是否匹配、代码是否通过单元测试、代理任务是否完成。这使得训练信号可以零人工标注地大规模获取。在MobileSpec中，RLVR提供的是“任务结果”这一稀疏奖励，模型据此判断某次前向扰动是否让行为变好，从而在没有反向传播的情况下完成参数更新。

FuRA-S算法：块谱坐标上的高效扰动

FuRA-S的关键创新在于仅训练预训练权重的块谱坐标——即列块的奇异值。通过独立地重新缩放这些块，可以改变它们对每个权重矩阵的相对贡献，从而旋转奇异向量。理论分析和实验均表明，这种更新可以重写为层输入的变换，因此FuRA-S也能适配INT4量化模型而无需修改其权重。

具体来说，FuRA-S训练的专家模型仅有1-5 MB大小，更新参数的比例仅为0.015-0.05%。在手机使用代理任务上，MobileSpec将成功率从6-23%提升至89-100%。此外，它还能在iPhone 16 Pro上 overnight 训练一个个性化的8B模型。在RLVR基准测试中，FuRA-S与全参数进化策略（ES）竞争相当，并优于LoRA适配器上的ES以及INT4模型上的量化ES。

奇异值分解（SVD）与谱坐标：任意矩阵 $W$ 可分解为 $W = U\Sigma V^\top$，其中 $\Sigma$ 的对角元素即奇异值，$U$ 和 $V$ 的列向量为奇异向量。奇异值刻画了矩阵在不同方向上的“能量”或重要性。所谓“块谱坐标”，是指将权重矩阵按列划分为若干块，分别对每个列块求奇异值，并只把这些奇异值作为可训练变量。独立缩放某个列块的奇异值，等价于调整该块对整体输出的相对贡献；而在数学上，这种缩放会连带改变奇异向量的方向，即产生“旋转奇异向量”的效果。RLVR在训练中引起的权重变化往往保持原有奇异值谱的大致结构、仅轻微旋转奇异向量，因此直接训练块奇异值恰好能模拟这种变化，同时把可训练参数压缩到极小比例。

进化策略（ES, Evolution Strategies） 是一类无梯度的黑箱优化方法：它在参数空间采样随机扰动，评估每个扰动带来的奖励，再按奖励加权平均来更新参数。ES只需前向评估，天然适合内存受限场景，但全参数ES的搜索维度极高、方差大。FuRA-S可视为在低维谱坐标上做ES，因而在同等前向预算下更高效，这也是它与全参数ES性能相当、却显著优于LoRA上ES的原因。

实验效果：从手机代理到个性化8B模型

MobileSpec在多个场景中展示了其有效性。在手机使用代理任务中，成功率的大幅提升表明前向优化能够有效适配模型。在个性化8B模型的训练中，iPhone 16 Pro在一夜之间完成了训练，证明了该方法在真实设备上的可行性。与基线方法的对比进一步验证了FuRA-S在内存效率和性能上的优势。

意义与展望

MobileSpec为端侧LLM的个性化提供了一条实用路径。通过避免反向传播和标注数据，它降低了训练门槛，使普通用户也能在手机上获得针对自身任务的专家模型。未来，这种方法有望扩展到更多任务类型和设备，进一步推动隐私保护下的个性化AI发展。