曲率感知剪枝CACTUS：同时保留影响函数的新方法

剪枝不只是压缩：为什么影响函数值得保留

模型剪枝通常被当作压缩部署的手段，但传统方法很少关心压缩后的稀疏模型是否还能"理解"数据的影响力。这篇来自rss来源的研究提出了一个有趣视角：影响函数（influence functions）的保留程度，可能直接决定了剪枝模型的下游表现。

影响函数衡量的是单个训练样本对模型参数的影响，它依赖于损失函数关于参数的梯度信息。如果剪枝后模型内部梯度与原始稠密模型的梯度严重错位，那么剪枝模型不仅预测能力下降，连数据筛选这种依赖梯度的下游任务也会失效。研究中给出的量化指标很直观：稠密模型与压缩模型之间的每样本梯度余弦相似度。这个数字越低，说明两者的梯度方向越不一致，影响函数的保真度越差。

问题在于，要把梯度对齐这件事显式地写进剪枝目标里，计算代价极高。目标函数需要同时考虑每层的激活值和反向传播的梯度，这种曲率感知的目标在此前一直缺乏高效求解器。

影响函数（Influence Functions） 是统计学中用于估计单个训练样本对模型参数或预测结果影响程度的技术，其核心思想是：如果移除某个样本并重新训练，模型参数会变化多少。在深度学习语境下，精确计算影响函数需要求解Hessian矩阵的逆与梯度向量的乘积，代价极高，因此实践中常用共轭梯度法或Hessian-向量积来近似。Ling等人在2017年提出的Koh & Liang方法将影响函数引入深度学习，用于识别误标注样本和理解模型行为。近年来，影响函数也被用于数据选择、课程学习和模型调试。本文关注的“影响函数保留”实质上是指剪枝后的模型是否仍能维持与稠密模型相近的每样本梯度方向，因为影响函数的近似计算直接依赖于梯度。若梯度余弦相似度大幅下降，则基于影响函数的数据筛选、样本重加权等下游任务将失效。

CACTUS：用ADMM求解曲率感知剪枝目标

针对上述难点，作者提出了CACTUS，一个基于ADMM（交替方向乘子法）的优化器。它支持两种权重变换方式：纯粹剪枝，以及稀疏加低秩分解。后者在剪枝的同时保留一个低秩修正项，用来补偿被剪掉的信息。

与同样针对该目标函数的LLM-Surgeon相比，CACTUS的加速效果相当显著。官方数据称在Qwen3-4B上做50%剪枝时，CACTUS将C4困惑度与稠密模型的差距缩小了45%，同时把WikiText-2上的压缩-稠密每样本梯度余弦相似度从0.670提升到0.755。速度层面，在硬件条件明显更弱的情况下，CACTUS仍比LLM-Surgeon快28倍以上，相比原文所述的"一个数量级以上"加速，这个数字更为具体。

从工程角度看，ADMM之所以适合这类问题，是因为它能把耦合的曲率目标拆解成可交替求解的子问题，避免了直接对整个Hessian近似进行昂贵操作。这种解法选择本身也解释了为什么此前的方法难以落地——不是目标不对，而是缺少可扩展的求解路径。

ADMM（Alternating Direction Method of Multipliers，交替方向乘子法） 是一种求解可分离凸优化问题的算法框架，由Gabay和Mercier于1976年提出，近年来在大规模优化和分布式计算中广泛应用。其核心思想是通过引入辅助变量，将原问题拆解为多个子问题，交替更新原始变量、辅助变量和对偶变量，从而避免直接处理耦合项。ADMM特别适合目标函数包含多个非光滑正则项（如L1剪枝约束、低秩约束）的场景，因为每个子问题往往有闭式解或可高效求解。在模型剪枝中，曲率感知目标涉及每层激活和反向梯度的耦合，直接优化困难，而ADMM能将剪枝约束和曲率损失解耦，交替求解稀疏投影和梯度对齐子问题，从而在可接受的时间内收敛。此外，ADMM的收敛性在凸问题中有理论保证，非凸问题中也有大量实验支持其有效性。

影响函数保留带来的实际收益：数据选择

如果剪枝真的保留了影响函数，那么一个自然的检验方式是：用稀疏模型来做数据选择，然后拿选出的数据去训练稠密模型，看效果是否接近用稠密模型自己选数据。

实验给出了肯定答案。在Llama-3.2-3B上，用CACTUS选出的5%数据微调一个全新的稠密模型，在BIG-Bench Hard上达到49.44%准确率。作为对比，ALPS方法选出的数据只能到47.22%，而直接用稠密模型选数据是49.54%。CACTUS与稠密模型数据选择的差距不到0.1个百分点，却省去了用稠密模型做选择所需的计算开销。

这个结果的意义在于，它把"剪枝保留影响函数"从理论指标变成了可量化的下游收益。梯度余弦相似度提升到0.755，对应的就是数据选择质量几乎追平稠密模型。

与LoGRA结合：梯度投影下的保真度

研究还探索了CACTUS与LoGRA的集成。LoGRA是一种近期提出的梯度投影策略，用于在稀疏结构上维持优化方向。在Qwen3-4B上，将MLP层剪枝到2:4稀疏度并加上rank-64修正后，CACTUS与LoGRA结合仍能保持与稠密LoGRA投影后C4梯度的0.711余弦对齐。

这个数字说明，即使引入结构化稀疏和低秩补偿，梯度方向也没有被严重破坏。对于需要在下游继续微调或做梯度类操作的场景，这种保真度是可用性的前提。

2:4稀疏度 是NVIDIA Ampere架构引入的一种结构化稀疏模式，要求每4个连续权重中最多保留2个非零值。这种模式可以在GPU上通过稀疏张量核心实现约2倍的推理加速，同时保持模型精度。与完全非结构化的剪枝相比，2:4稀疏更利于硬件加速，但约束更强，可能对梯度方向造成更大扰动。低秩修正（rank-64 correction） 则是在剪枝后额外保留一个低秩矩阵乘积来补偿丢失的信息，即原始权重矩阵近似为稀疏矩阵加上两个低秩矩阵的乘积。rank-64表示低秩部分的秩为64，这个数值与模型隐藏层维度相关，通常需要根据压缩比和精度要求调整。低秩修正能显著恢复因结构化剪枝损失的表达能力，但也增加了计算和存储开销。CACTUS在2:4稀疏加rank-64修正下仍保持0.711余弦对齐，说明该方法能有效协调结构化剪枝与梯度保真度。

多源印证与当前局限

需要说明的是，本文分析主要基于rss来源的论文摘要，核心实验数据（困惑度差距缩小45%、余弦相似度0.670到0.755、28倍加速、BIG-Bench Hard准确率对比）均来自原文自述，尚无独立第三方复现验证。与LoGRA集成的0.711余弦对齐也是单一来源结果。

从方法定位看，CACTUS解决的是"曲率感知剪枝目标缺少高效求解器"这一具体瓶颈，其贡献集中在优化器层面。ADMM带来的加速是否能在更大规模模型（如百B级别）上保持，以及2:4稀疏度之外更激进的压缩比下影响函数是否仍被保留，都是原文未充分覆盖的方向。对于关注剪枝后模型可复用性的团队，CACTUS提供了一条以梯度保真度为目标的路径，值得在中等规模模型上先行验证。