AttSVD
一种基于注意力引导奇异值分解的KV缓存压缩方法，通过对每个prompt在线计算截断SVD实现低秩特征压缩，无需重新训练即可将KV缓存内存减少约50%同时保持模型精度
时间轴 (近 90 天)
AttSVD是一种无需重新训练的KV缓存压缩方案，通过注意力引导的SVD在特征轴上对KV缓存进行低秩压缩
AttSVD在多个模型和基准测试上实现了最多仅用50%的KV缓存内存却保持与完整稠密缓存相当的精度
论文《AttSVD: Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD》发布于arXiv
AttSVD保留每一个token，在特征轴上通过低秩分解压缩每个token向量的表示维度，规避序列层面的信息丢失
AttSVD用于低秩压缩的基并非固定不变，而是从每个prompt自身的注意力几何结构中推导，通过在线逐prompt的截断SVD只保留注意力实际读取的方向
AttSVD的持久化每头KV内存占用会按照保留的秩成比例下降
AttSVD针对不同生成长度提出两种解码缓存策略：累积式适用于短生成场景，流式适用于长生成场景
AttSVD引入逐矩阵能量规则，独立地为logit空间和注意力质量确定尺寸，动态调整压缩率
AttSVD的测试覆盖了一个智能体基准和完整的LongBench长上下文评测套件
全部知识事实 (9)
AttSVD的测试覆盖了一个智能体基准和完整的LongBench长上下文评测套件
50%待验证AttSVD在多个模型和基准测试上实现了最多仅用50%的KV缓存内存却保持与完整稠密缓存相当的精度
50%待验证AttSVD是一种无需重新训练的KV缓存压缩方案，通过注意力引导的SVD在特征轴上对KV缓存进行低秩压缩
50%待验证AttSVD保留每一个token，在特征轴上通过低秩分解压缩每个token向量的表示维度，规避序列层面的信息丢失
50%待验证AttSVD用于低秩压缩的基并非固定不变，而是从每个prompt自身的注意力几何结构中推导，通过在线逐prompt的截断SVD只保留注意力实际读取的方向
50%待验证AttSVD的持久化每头KV内存占用会按照保留的秩成比例下降
50%待验证AttSVD针对不同生成长度提出两种解码缓存策略：累积式适用于短生成场景，流式适用于长生成场景
50%待验证AttSVD引入逐矩阵能量规则，独立地为logit空间和注意力质量确定尺寸，动态调整压缩率
50%待验证论文《AttSVD: Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD》发布于arXiv
50%