待验证50% 置信事实精确时间
KV-Surgeon的实验覆盖参数规模从40亿到300亿的稠密模型和混合专家模型。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
涉及实体
相关事实
待验证KV 缓存大小与模型层数、注意力头数量、序列长度及每头维度成正比，是大模型推理时显存占用的主要来源66% 相似待验证大模型推理时实际显存占用往往是模型权重的 1.5–3 倍，原因是 KV Cache、中间激活值和上下文长度带来的开销。65% 相似待验证本方案使用40亿参数小模型做草稿模型，与1250亿主模型来自同一系列，能实现1.6～1.8倍加速64% 相似待验证模型设计建立在三元量化、稀疏化和细粒度专家混合三项技术的叠加之上63% 相似待验证KV-Surgeon是一种利用校准数据考虑缓存条目间交互的离线KV-cache压缩方法，通过推导二次代理模型进行联合贪心删除决策并在剩余条目中进行补偿。61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1073861API
curl https://kongchang.com/api/v1/knowledge/claims/1073861MCP
get_claim(id=1073861)