ACE-Compression：压缩大模型的能力画像新评估框架

模型压缩让大语言模型得以部署到资源受限的环境，但业界对压缩效果的评估长期停留在"任务准确率是否下降"这一层面。这种评估方式忽略了一个关键事实：压缩会扰动分布在数十亿权重中的知识，单纯的分数无法揭示哪些底层能力被保留、哪些在无声中崩塌。ACE-Compression 框架正是针对这一盲区提出的能力中心评估方案——它不问"压缩后的模型还能不能答对"，而是问"它的哪些核心能力依然完好"。

为什么传统压缩评估不够用

标准做法是测量压缩模型在基准任务上的保留性能，然后与原始模型对比。这看似合理，实际上把模型能力简化成了一个标量。问题在于，压缩（无论是量化还是剪枝）对模型内部知识分布的影响是非均匀的：某些能力可能几乎无损，另一些则可能大幅退化，而这些退化在平均分上可能只表现为一两个百分点的波动。

换句话说，一个在综合排行榜上只掉 2 分的压缩模型，可能在你关心的某个细分能力上已经损失了 20 分。任务分数掩盖了能力结构的重新分配，而部署决策恰恰需要知道这种结构变化。

模型压缩中的两大主流方法——量化和剪枝——作用机制有本质区别。量化将高精度浮点权重（如 FP32）映射到低精度表示（如 INT8 或 INT4），减少每个权重的存储位数，通常不改变网络结构，但会引入数值舍入误差；剪枝则直接移除部分权重或神经元（如按幅度裁减），改变网络的稀疏结构。量化误差通常均匀分布在所有参数上，而剪枝的破坏性更集中于被移除的连接，因此两者对知识分布的影响模式不同，这也是实验中量化在能力保留上系统性优于剪枝的重要原因之一。

四个面向部署的能力维度

ACE-Compression 将评估拆解为四个与真实部署场景直接相关的维度：

程序性推理与约束执行：模型能否遵循多步指令、满足格式与逻辑约束。这类能力在智能体和工作流场景中至关重要。

知识锚定与真实性：模型的事实性知识是否可靠，是否会在压缩后更容易产生幻觉。

社会认知与情感理解：模型对意图、情绪和社交语境的把握能力，直接影响对话类产品的体验。

人格保真与风格一致性：压缩后模型是否还能维持既定的语气、人设和表达风格。

这四个维度覆盖了从工具型调用到拟人化交互的主要部署形态，也恰好是任务平均分最难反映的部分。

实验发现：能力被重新分配

研究团队在六个开源权重模型上评估了超过 35 个压缩检查点，覆盖量化和剪枝两类主流方法。核心结论可以概括为一句话：压缩不是均匀地削弱模型，而是重新分配能力画像。

具体来看，粗糙的、局部的、表层的能力信号往往能够保留下来；而细粒度的、长尾的、依赖上下文的能力则变得脆弱。这与直觉一致——压缩倾向于保留高频、显著的模式，而边缘知识和复杂推理链更容易受损。

另一个值得注意的发现是，量化在能力保留上系统性地优于剪枝。但作者强调，这个差距的实际意义完全取决于应用需要哪种能力：如果你的场景依赖的恰是剪枝受损更严重的那一类能力，那么"量化更好"这个平均结论对你没有指导价值。

对部署者和算法设计者的实际意义

这套框架的价值在于把压缩从"黑箱式的精度下降"变成了可测量、可解释的干预。对部署者而言，选压缩方法不应只看排行榜平均分，而应看应用所需的能力画像与压缩后画像的匹配度。对算法设计者而言，能力维度的诊断信号可以指导设计更有针对性的压缩策略，去保护真正重要的能力。

这也是能力中心评估相比任务中心评估的根本差异：前者回答"能不能用在我的场景"，后者只回答"总体上还剩下多少分"。随着压缩模型越来越多地进入生产环境，这种细粒度的评估视角会变得愈发必要。