CompressionBench：编码智能体能否自主压缩LLM？

引言

递归自我改进要求AI系统能够优化后续系统所使用的模型与基础设施。LLM压缩提供了一个具体的效率目标：在更小的模型存储预算内保留预训练模型的行为。CompressionBench正是围绕这一问题展开研究——编码智能体能否自主完成这一步骤？

据CompressionBench的研究，团队将压缩形式化为一个终端任务：智能体接收源检查点、存储限制、推理环境和时间预算，然后构建压缩权重和可执行的推理代码。智能体控制自己的算法和实验，困惑度反馈引导搜索，独立验证检查最终模型。

困惑度（Perplexity） 是衡量语言模型预测能力的指标，定义为模型对测试文本的指数化平均负对数似然。困惑度越低，表示模型对文本的预测越准确。在模型压缩中，它常被用作代理指标来评估压缩后模型与原始模型的行为差距。然而，困惑度并不直接反映下游任务性能，因此需要结合独立验证和下游准确率来全面评估。

BF16 是一种半精度浮点格式（Brain Floating Point 16），在深度学习中广泛用于加速推理并减少内存占用。与FP16相比，BF16具有更宽的动态范围，适合训练和推理。在压缩基准中，BF16通常作为未压缩的基线模型，用于对比压缩后的性能损失。

压缩作为智能体终端任务

将压缩定义为终端任务意味着智能体必须端到端地交付一个可运行的压缩模型，而不仅仅是提出想法或生成代码片段。它需要自主决定采用何种压缩算法、如何分配存储预算、如何调整超参数，并在推理环境中实际运行验证。

这种设定将编码智能体的能力边界从“写代码”扩展到了“做实验并交付结果”。智能体不仅要理解模型结构，还要具备实验设计、结果分析和迭代优化的能力。

终端任务（Terminal Task） 在智能体评估中指的是智能体必须自主完成从输入到输出的完整流程，并交付可执行的结果，而非仅提供中间产物或建议。在CompressionBench中，终端任务要求智能体接收源检查点、存储限制等输入，并输出压缩权重和推理代码，且最终模型需通过独立验证。这种设定考验智能体的端到端问题解决能力，包括算法选择、实验设计和结果交付。

实验结果：成功率与性能损失

在六个智能体和六种模型-尺寸设置下，36份提交中有29份通过了验证。这一成功率说明编码智能体在多数情况下能够完成压缩任务，但仍有约五分之一的提交未能通过独立验证，暴露出自主实验中的可靠性问题。

在性能方面，为每个任务选择困惑度最低的智能体设计，平均困惑度比BF16增加3.4%，下游准确率为77.33%，而BF16为79.56%。这一差距表明智能体驱动的压缩在保留模型质量方面仍有提升空间，但已经能够在存储预算约束下实现可用的压缩效果。

智能体如何迭代：记录实验揭示的行为

研究记录了智能体的实验过程，揭示了它们如何达成这些结果，以及改进在何处断裂。在接近固定存储的情况下，智能体在24次修订中有21次降低了困惑度——说明它们能够利用反馈信号进行有效搜索。

完整模型反馈逆转了79个先前局部排名中的17个，这意味着仅靠局部指标判断可能产生误导，全局验证对于正确评估压缩方案至关重要。生成和推理测试还暴露了仅靠似然度无法捕捉的失败模式，提示评估压缩模型不能只看困惑度。

局部排名与全局验证：在智能体搜索过程中，局部排名可能基于部分验证集或代理指标（如困惑度）对候选方案排序。然而，局部排名可能因过拟合或指标偏差而误导。完整模型反馈通过在整个验证集上评估，能揭示局部排名中未体现的缺陷。CompressionBench发现，完整模型反馈逆转了79个局部排名中的17个，说明仅依赖局部指标可能导致选择次优方案，全局验证对于确保压缩模型的实际可用性至关重要。

关键挑战与启示

研究结果将表示设计、实验判断和能力验证识别为智能体驱动模型压缩的核心要素。表示设计决定了压缩的边界，实验判断影响搜索效率，能力验证则确保压缩后的模型真正可用而非仅仅在指标上好看。

这些发现将模型压缩定位为效率导向自我改进中一个可测量的组成部分。编码智能体已经展现出自主完成压缩任务的潜力，但在可靠性、评估方法和最终质量上仍有明显改进空间。对于关注AI自我改进和编码智能体应用的研究者与工程师而言，CompressionBench提供了一个可复现的基准和清晰的改进方向。