LRCC：用条件计算改进低秩压缩的新思路

大语言模型的推理成本居高不下，低秩压缩（Low-Rank Compression）是一种常见的瘦身手段：把线性层的权重矩阵分解成两个更小的矩阵相乘，从而减少计算量和参数规模。但传统方法有一个明显的短板——它在推理阶段使用固定的秩分配，不管输入的 token 是简单还是复杂，都投入相同的计算资源。一篇新发布的 arXiv 论文《LRCC: Generalizing Low-Rank Compression with Conditional Computation》提出了一种改进方案，试图让压缩后的模型变得更"聪明"。

固定秩分配的问题所在

低秩压缩的核心逻辑是：预训练模型中的线性变换往往存在冗余，可以用低秩因子分解来近似替代，以此降低部署开销。这种做法已被广泛验证有效，但它的计算分配是"一刀切"的。

无论当前处理的是一个承载关键语义的词，还是一个无关紧要的虚词，模型都会分配同等的计算量。这显然不符合直觉——不同 token 的处理难度本应不同。换句话说，静态低秩压缩在用均匀的算力去处理非均匀的输入，造成了资源错配：对简单 token 浪费了算力，对复杂 token 又可能力不从心。

低秩分解在数学上通常借助奇异值分解（SVD）实现：对权重矩阵 W（形状为 m×n）进行 SVD，保留最大的 r 个奇异值及对应的奇异向量，得到近似 W ≈ UΣVᵀ，其中 U 为 m×r，V 为 n×r，r 远小于原始维度。推理时用两个小矩阵的连续乘法替代原始大矩阵，参数量从 m×n 降至 r×(m+n)，计算量也相应减少。秩 r 的选取是一个精度与效率的权衡：r 越小压缩率越高但近似误差越大，r 越大则越接近原始性能但节省有限。传统方法在确定 r 后便固定下来，整个推理过程对所有输入一视同仁地使用同一套低秩近似。

LRCC 的核心机制：按 token 动态选路

LRCC（Low-Rank Conditional Computation，低秩条件计算）的思路是在预训练模型中引入token 相关的计算。具体做法是为每个 Transformer 块训练一个轻量级路由器（router），由它在一组嵌套的低秩路径（nested low-rank paths）中进行选择。

所谓嵌套路径，可以理解为提供了不同秩大小的多条计算通道，秩越高计算越充分、开销也越大。路由器根据输入 token 的特征，动态决定走哪一条路径——复杂 token 走高秩路径获得更强的表达能力，简单 token 走低秩路径节省算力。

这种设计本质上把条件计算（Conditional Computation）的理念嫁接到了低秩压缩上，与混合专家（MoE）按需激活参数的思路有异曲同工之处，但它作用于低秩分解的粒度上，更为轻量。

训练方式：只训路由器，冻结低秩因子

LRCC 一个值得关注的工程细节是其训练策略：在训练过程中，低秩因子保持冻结，只优化路由器。这大幅降低了训练成本和复杂度——不需要重新训练庞大的权重矩阵，只需学习一组小小的路由决策模块即可。

这意味着 LRCC 可以作为一种相对低成本的增强手段，叠加在已有的静态低秩压缩模型之上，而无需从头来过。

条件计算（Conditional Computation）是一类根据输入动态决定激活哪部分网络的技术，其核心动机是"并非所有输入都需要相同的计算深度"。混合专家模型（MoE）是其中最具代表性的实现：每层设置多个"专家"子网络，由一个门控网络为每个 token 选择少数几个专家参与计算，从而在保持整体参数量大的同时控制每次推理的实际算力消耗。早退机制（Early Exit）则是另一类思路，让简单样本在较浅的层就输出结果，不必走完全部深度。LRCC 的嵌套低秩路径可视为在权重分解粒度上对条件计算的一次具体实例化，相比 MoE 新增的专家参数而言，它复用了已有的低秩因子，额外参数开销更小。

实验结果：同等预算下性能更优

论文在 Llama 和 Qwen 系列模型上评估了 LRCC，涵盖语言建模和零样本下游任务两类场景。关键结论包括：

• 在相同的平均激活参数预算下，LRCC 的预测性能超过静态低秩压缩。其中在 Llama-2-7B 上，平均下游任务准确率相比静态方法提升了 7.6 个百分点，这是一个相当可观的幅度。
• 在匹配的 batch-size-1 解码延迟下，LRCC 在 Llama-3.2-1B 上同时改善了困惑度（perplexity）和下游准确率，在 Llama-2-7B 上也保持了竞争力。
• 更重要的是，这些收益不依赖专门的定制内核（specialized kernels），意味着落地部署的门槛相对较低。

延迟匹配这一点尤其有意义。很多动态计算方法虽然理论上节省了算力，但由于路由开销和实现复杂度，实际延迟反而可能恶化。LRCC 在同等真实延迟下仍能取得改进，说明其设计在工程可行性上有所考量。

困惑度（Perplexity，PPL）是语言模型最常用的内在评估指标，衡量模型对测试文本的预测不确定性，数值越低代表模型对语言分布的拟合越好。在压缩场景下，困惑度通常用于快速衡量压缩引入的质量损失。零样本下游任务准确率则是外在评估，考察模型在没有任务特定微调的情况下完成常识推理、问答、语言理解等任务的能力，更直接反映模型在实际应用中的有效性。两类指标同时改善，意味着 LRCC 的收益并非仅体现在统计拟合层面，也真实转化为了任务执行能力的提升。

路由器究竟学到了什么

论文还对路由器的路径选择行为进行了分析，以评估按 token 分配路径的实际价值。这类分析对于理解方法的有效性至关重要——如果路由器只是随机选路，那么性能提升可能来自其他因素；而如果路由选择呈现出有意义的模式（例如对特定类型的 token 系统性地分配更高秩），则能印证"不同 token 需要不同算力"这一出发点的合理性。

这种可解释性分析也为后续研究提供了方向：路由策略能否进一步优化、嵌套路径的粒度如何设计，都是值得深入的问题。

对模型压缩方向的启示

LRCC 代表了模型高效化的一个趋势：从静态压缩走向动态、输入自适应的压缩。它把条件计算这一在 MoE、早退机制（early exit）等方向上已被反复验证的理念，带入了低秩压缩领域，并且用"冻结因子、只训路由"的轻量方案降低了采用成本。

对于需要在推理成本和模型质量之间寻找平衡的实际部署场景，这类方法提供了一种新的权衡维度。当然，作为一篇刚发布的预印本论文，LRCC 的泛化能力、在更大规模模型上的表现以及与其他压缩技术的组合效果，还有待更多验证。但其核心思想——让压缩后的模型按需分配算力——无疑指向了一个有价值的研究方向。