待验证50% 置信事实精确时间
KV-Surgeon是一种利用校准数据考虑缓存条目间交互的离线KV-cache压缩方法，通过推导二次代理模型进行联合贪心删除决策并在剩余条目中进行补偿。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
涉及实体
相关事实
待验证KV-Surgeon的补偿项可通过代理模型的闭式解直接算出，无需额外前向传播，因此计算成本远低于穷举或迭代优化。76% 相似已验证KV 缓存是 Transformer 自回归推理中的核心数据结构，其大小约等于 2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 精度字节数。71% 相似已验证KV Cache是Transformer架构的核心推理优化机制，其显存占用量会随序列长度和并发批次线性增长68% 相似待验证KV Cache 的核心思想是缓存前面已计算的中间结果，避免每步从头计算68% 相似待验证KV Cache 管理、批处理调度、显存分配等运维层面的调优经验几乎与具体模型版本解耦67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1073858API
curl https://kongchang.com/api/v1/knowledge/claims/1073858MCP
get_claim(id=1073858)