DPO计算图随机剪枝：训练加速1.4倍、峰值内存更低

直接偏好优化（DPO）的训练成本分散在输出打分、序列执行和反向传播三个阶段，仅减少监督信号并不必然节省计算。一篇新论文提出统一框架，对DPO计算图做随机剪枝：独立采样参与打分的响应位置、参与执行的前缀、以及参与反向传播的偏好分支，在对应操作前完成选择，从而在训练步的每个阶段省略计算。受控测量显示，分支剪枝带来1.426倍步时加速，训练时间相对原生DPO减少约30%。

为什么只减少监督信号不够

DPO的损失依赖对偏好对中两条响应的打分，梯度又要穿过整个序列的执行与反向传播。这意味着一篇训练样本的成本并不只来自"被监督的token"，而来自前向执行、打分和反向传播三条路径。论文指出，如果只在损失层面剔除部分监督而不同时剪掉执行与反向的计算，节省的计算量极其有限。

这个观察构成了整个框架的出发点：要真正省算力，必须在计算图的三个独立阶段分别做选择——哪些响应位置参与打分、哪些响应前缀参与执行、哪些偏好分支参与反向传播。

直接偏好优化（DPO） 是一种不依赖显式奖励模型、直接用偏好对数据优化语言模型的对齐方法。它把人类偏好数据中“选中响应优于被拒响应”的关系转化为一个类似分类的损失：在同一提示下，模型对两条响应的对数概率比需要满足偏好方向。与先训奖励模型再用强化学习（如 PPO）对齐的两阶段流程相比，DPO 省去了奖励模型和在线采样，训练更稳定、实现更简单。但其代价是每条训练样本仍需对两条完整响应做前向打分与反向传播，序列越长、偏好对越多，计算与显存开销越大，这也是后续各类 DPO 加速与剪枝工作的重要动机。

三阶段随机剪枝的统一框架

论文将剪枝拆成三个可独立控制的维度：

• 位置剪枝：只对采样的响应位置计算打分，减少输出侧的计算与内存占用。
• 序列剪枝：只执行采样的响应前缀，缩短前向序列长度。
• 分支剪枝：只对采样的偏好分支做反向传播，把梯度计算限制在单条分支上。

关键在于，这些选择发生在对应操作之前，而不是事后掩码。因此被跳过的计算根本不会发生，而不是算完之后被丢弃。

用逆概率加权保证梯度无偏

随机剪枝会改变训练目标。论文分析了位置剪枝和序列剪枝引入的目标变化，并对采样后的目标使用逆概率加权，得到条件无偏的单分支梯度估计。这相当于用重要性采样校正采样偏差，让随机化之后的梯度在期望意义上仍指向原目标，而不是引入系统性偏移。

逆概率加权（Inverse Probability Weighting, IPW） 源自重要性采样与因果推断，核心思想是：当某个样本或计算路径以概率 (p) 被采样时，用 (1/p) 对其贡献加权，就能在期望上还原全量计算的結果。在随机剪枝场景中，被保留的位置、前缀或分支只代表总体的一部分，若直接求和会系统性低估或高估梯度；乘以采样概率的倒数后，估计量在期望意义上与原目标一致，即“条件无偏”。代价是方差可能增大，采样概率过小时尤其明显，因此实际实现常需在无偏性与方差之间做权衡，例如设置最低采样概率或配合梯度裁剪。

实测：内存收益主要来自位置与序列剪枝

受控测量给出了一个值得注意的结论：位置剪枝和序列剪枝主要降低峰值内存，而输出侧内存节省的大部分来自一个保留完整响应监督的实现。换言之，内存收益与"剪掉了哪些计算"直接相关，而非简单来自监督信号的减少。

分支剪枝的效果则体现在时间上。相对拼接式DPO基线，步时加速1.426倍；在两个模型家族上，训练时间相对原生DPO减少约30%。

精度与开放式评分的代价

加速并非没有代价。论文报告平均准确率略有下降，开放式基准分数呈现依赖具体基准的变动。这提示三阶段剪枝的收益需要与任务对精度的敏感度一起权衡——对延迟和显存敏感的场景，30%的训练时间缩减可能值得接受轻微精度波动；对精度要求苛刻的偏好对齐任务，则需要更保守的采样比例。

峰值内存指训练一步中显存占用的最高水位，通常由激活值、梯度与优化器状态共同决定。对 Transformer 类模型而言，前向传播需保存各层激活以供反向使用，序列越长、参与计算的 token 越多，激活占用越大。因此缩短执行序列（序列剪枝）或减少参与打分的位置（位置剪枝）能直接压低激活规模，从而降低峰值内存；而分支剪枝只减少一条偏好分支的反向计算，对激活总量的影响相对有限。这也解释了文中“内存收益主要来自位置与序列剪枝、时间收益主要来自分支剪枝”的分解结论。

资源收益该归因于哪一步

这项工作最有价值的部分，是把资源收益与"省略的计算"和"训练目标的变化"建立了对应关系。以往讨论DPO加速时常把内存与时间收益混为一谈，而这里的分解说明：位置与序列维度的剪枝主要作用于内存，分支维度的剪枝主要作用于步时。

对工程实践来说，这意味着剪枝策略可以按瓶颈选配：显存吃紧时优先调位置与序列采样，训练时长是瓶颈时优先调分支采样。逆概率加权的无偏估计则提供了一个相对安全的默认配置，避免随机化带来目标漂移。

论文同时留下了开放问题：不同采样比例下精度与速度的帕累托前沿如何，以及在更大模型和更长序列上的收益是否保持同比例，仍需进一步验证。