剪枝模型变笨了？Test-Time Scaling重新审视LLM剪枝

大模型结构化剪枝通常以精度下降为代价，但这种下降究竟意味着推理能力受损，还是仅仅让模型更难采样出正确答案？一项新研究通过测试时扩展（Test-Time Scaling）的视角，对这一问题给出了更细致的回答。

核心问题：精度下降≠推理能力丧失

传统评估中，剪枝后的模型往往因为 pass@1 下降而被判定为“变笨”。但该研究在数学与编码四类基准上，对专家剪枝、FFN 剪枝和层剪枝进行了系统比较，并在匹配的采样预算下同时观察原始模型与剪枝模型的 pass@k 表现。

关键发现是：即使经过大幅剪枝，部分模型在推理覆盖范围上仍能匹配甚至超过原始模型，尽管其 pass@1 更低。这意味着剪枝未必摧毁了模型的推理能力，而可能只是改变了正确答案在生成分布中的可采样性。

pass@k 与 pass@1 的区别：pass@1 指模型单次生成即答对的概率，而 pass@k 指允许模型独立采样 k 次、只要其中任意一次答对即视为成功的概率。二者关系并非简单线性：pass@1 低的模型若输出分布覆盖了正确答案，则随着 k 增大，pass@k 可能快速逼近甚至超过 pass@1 更高的模型。这一指标源自代码生成评估（如 HumanEval），后来被广泛用于衡量大模型在数学推理等任务上的"潜力上限"。理解 pass@k 的关键在于区分"模型是否具备生成正确答案的能力"与"该答案在单次采样中出现的概率"——剪枝可能主要影响后者。

覆盖与采样效率的分离

研究进一步揭示了一个容易被忽视的区分：保留广泛的覆盖范围，并不等于正确答案仍然容易获得。在严重剪枝下，模型可以生成多样化的思维链（CoT）轨迹，但同时伴随重复增加和生成可靠性下降。

当正确答案变得更难采样时，额外的尝试次数会急剧增加总 token 消耗——即使单次回复变得更短。这种“覆盖”与“采样效率”之间的分离，对实际部署成本有直接影响。

思维链（Chain-of-Thought, CoT）：指模型在给出最终答案前生成中间推理步骤的提示与生成范式。CoT 使模型能够将多步推理分解为可追踪的中间状态，显著提升数学、逻辑等复杂任务的准确率。在剪枝研究中，CoT 轨迹的多样性可作为衡量"推理覆盖范围"的代理指标：若剪枝模型仍能生成多种不同的解题路径，说明其推理能力未被完全破坏。但 CoT 也带来成本问题——更长的轨迹意味着更多 token 消耗，而严重剪枝可能导致轨迹重复或退化，使有效覆盖下降的同时推高采样开销。

重新理解专家选择增益

这一视角也澄清了专家剪枝（expert-selection）的增益来源。不同方法可能在 pass@1 上差异显著，但在大预算下能解决相同的问题集合，只是达到共同覆盖目标所需的尝试次数不同。换言之，专家选择的收益不仅体现在单次精度上，也体现在采样成本上。

专家剪枝（expert-selection）与 MoE 结构：专家剪枝通常针对混合专家（Mixture-of-Experts, MoE）模型，这类模型的前馈层由多个"专家"子网络组成，推理时仅激活部分专家。专家剪枝即移除冗余或不重要的专家以压缩模型规模。不同专家选择策略（如基于激活频率、权重范数或校准数据的重要性评分）会导致保留的专家组合不同，从而影响输出分布。该研究指出，这些策略在 pass@1 上的差异可能源于正确答案被推向分布尾部，而非推理能力本身有本质区别；在大采样预算下，不同策略可能覆盖相同的问题集合，只是所需尝试次数不同。

评估剪枝的新框架

研究由此提出，剪枝模型的评估应同时考虑两个维度：模型仍能解决多大范围的问题（覆盖），以及获得正确答案所需的采样成本（效率）。仅凭 pass@1 判断剪枝优劣，可能低估了剪枝模型在测试时扩展下的实际潜力，也掩盖了生成可靠性下降带来的隐性开销。

对于需要在推理成本与模型规模之间权衡的工程实践而言，这一框架提供了更贴近真实使用场景的评估思路。

测试时扩展（Test-Time Scaling）：指在推理阶段通过增加计算量（如多次采样、更长 CoT、树搜索或投票机制）来提升模型表现的方法，与训练时扩展（增大模型或数据）相对。其核心假设是：模型的潜力上限高于单次贪心解码的表现，额外计算可"挖掘"出正确答案。将剪枝置于测试时扩展视角下评估，意味着不能只看单次前向的精度，而要在给定采样预算下比较 pass@k 曲线与总 token 成本。这一框架更贴近实际部署中"用多少推理算力换多少准确率"的权衡决策。