CACTUS
一种基于ADMM的曲率感知模型剪枝方法，通过保留影响函数（每样本梯度方向）实现剪枝后模型下游任务性能的保持，支持纯剪枝和稀疏加低秩分解两种权重变换方式
时间轴 (近 90 天)
CACTUS是一个基于ADMM（交替方向乘子法）的优化器，用于求解曲率感知剪枝目标，支持纯粹剪枝和稀疏加低秩分解两种权重变换方式。
在Qwen3-4B上做50%剪枝时，CACTUS将C4困惑度与稠密模型的差距缩小了45%。
在Qwen3-4B上做50%剪枝时，CACTUS将WikiText-2上的压缩-稠密每样本梯度余弦相似度从0.670提升到0.755。
在硬件条件明显更弱的情况下，CACTUS仍比LLM-Surgeon快28倍以上。
在Llama-3.2-3B上，用CACTUS选出的5%数据微调一个全新的稠密模型，在BIG-Bench Hard上达到49.44%准确率；直接用稠密模型选数据是49.54%；ALPS方法选出的数据只能到47.22%。
在Qwen3-4B上，将MLP层剪枝到2:4稀疏度并加上rank-64修正后，CACTUS与LoGRA结合仍能保持与稠密LoGRA投影后C4梯度的0.711余弦对齐。
CACTUS解决的是曲率感知剪枝目标缺少高效求解器这一具体瓶颈，其贡献集中在优化器层面。
本文核心实验数据均来自原文自述，尚无独立第三方复现验证。
ADMM带来的加速是否能在更大规模模型（如百B级别）上保持，以及2:4稀疏度之外更激进的压缩比下影响函数是否仍被保留，都是原文未充分覆盖的方向。
全部知识事实 (9)
CACTUS是一个基于ADMM（交替方向乘子法）的优化器，用于求解曲率感知剪枝目标，支持纯粹剪枝和稀疏加低秩分解两种权重变换方式。
50%待验证在Qwen3-4B上做50%剪枝时，CACTUS将C4困惑度与稠密模型的差距缩小了45%。
50%待验证在Qwen3-4B上做50%剪枝时，CACTUS将WikiText-2上的压缩-稠密每样本梯度余弦相似度从0.670提升到0.755。
50%待验证在硬件条件明显更弱的情况下，CACTUS仍比LLM-Surgeon快28倍以上。
50%待验证在Llama-3.2-3B上，用CACTUS选出的5%数据微调一个全新的稠密模型，在BIG-Bench Hard上达到49.44%准确率；直接用稠密模型选数据是49.54%；ALPS方法选出的数据只能到47.22%。
50%待验证在Qwen3-4B上，将MLP层剪枝到2:4稀疏度并加上rank-64修正后，CACTUS与LoGRA结合仍能保持与稠密LoGRA投影后C4梯度的0.711余弦对齐。
50%待验证CACTUS解决的是曲率感知剪枝目标缺少高效求解器这一具体瓶颈，其贡献集中在优化器层面。
50%待验证本文核心实验数据均来自原文自述，尚无独立第三方复现验证。
50%待验证ADMM带来的加速是否能在更大规模模型（如百B级别）上保持，以及2:4稀疏度之外更激进的压缩比下影响函数是否仍被保留，都是原文未充分覆盖的方向。
50%