待验证50% 置信基准精确时间

AttSVD在多个模型和基准测试上实现了最多仅用50%的KV缓存内存却保持与完整稠密缓存相当的精度

1

来源数

50%

置信度

长期有效

时效性

2026/10/7

首次发现

来源

AttSVD：用注意力引导的SVD压缩KV缓存，内存砍半不掉点

涉及实体

AttSVDtechnology

相关事实

待验证传统KV缓存实现预先分配最大长度连续显存块，导致平均60%-80%的预分配内存被浪费69% 相似待验证随着上下文长度增加，KV缓存的显存占用可达总显存的60%以上68% 相似待验证以LLaMA-3 70B模型为例，在80层、head_dim=128、BF16精度下，每个token大约占用80KB的KV缓存67% 相似待验证KV Cache内存共享机制在束搜索等场景下可节省高达55%的显存67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/983252

API

curl https://kongchang.com/api/v1/knowledge/claims/983252

MCP

get_claim(id=983252)