LRCC
一种将条件计算引入低秩压缩的方法，通过为每个Transformer块训练轻量级路由器，在嵌套低秩路径中动态选择，实现按token差异化分配计算资源，提升压缩模型推理效率与性能
时间轴 (近 90 天)
arXiv论文《LRCC: Generalizing Low-Rank Compression with Conditional Computation》提出用条件计算改进低秩压缩的方案
LRCC为每个Transformer块训练一个轻量级路由器，在嵌套的低秩路径中按token动态选择计算通道
LRCC训练过程中低秩因子保持冻结，只优化路由器，降低训练成本
LRCC在Llama和Qwen系列模型上进行了语言建模和零样本下游任务的评估
在相同平均激活参数预算下，LRCC在Llama-2-7B上平均下游任务准确率相比静态方法提升7.6个百分点
在匹配的batch-size-1解码延迟下，LRCC在Llama-3.2-1B上同时改善了困惑度和下游准确率
LRCC的性能收益不依赖专门的定制内核，降低了落地部署门槛
相比MoE新增专家参数，LRCC复用已有的低秩因子，额外参数开销更小
作为刚发布的预印本论文，LRCC在更大规模模型上的表现及与其他压缩技术的组合效果仍有待验证
全部知识事实 (9)
作为刚发布的预印本论文，LRCC在更大规模模型上的表现及与其他压缩技术的组合效果仍有待验证
50%待验证LRCC为每个Transformer块训练一个轻量级路由器，在嵌套的低秩路径中按token动态选择计算通道
50%待验证LRCC训练过程中低秩因子保持冻结，只优化路由器，降低训练成本
50%待验证LRCC在Llama和Qwen系列模型上进行了语言建模和零样本下游任务的评估
50%待验证在相同平均激活参数预算下，LRCC在Llama-2-7B上平均下游任务准确率相比静态方法提升7.6个百分点
50%待验证在匹配的batch-size-1解码延迟下，LRCC在Llama-3.2-1B上同时改善了困惑度和下游准确率
50%待验证LRCC的性能收益不依赖专门的定制内核，降低了落地部署门槛
50%待验证相比MoE新增专家参数，LRCC复用已有的低秩因子，额外参数开销更小
50%待验证arXiv论文《LRCC: Generalizing Low-Rank Compression with Conditional Computation》提出用条件计算改进低秩压缩的方案
50%