待验证50% 置信基准精确时间
将上下文从192000拉到256000时专家缓存从16.44G降到13.66G、KV从4.31G升到7G，速度几乎零代价，因KV全显存加专家缓存自动平衡
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/5
首次发现
有效期至：2027/1/3
来源
涉及实体
相关事实
已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存70% 相似待验证该配置实现了262K超长上下文、KV Cache Q4量化和MTP投机采样三项优化，将24GB显存利用率压榨到99%69% 相似已验证KV缓存的大小与上下文长度线性增长，Qwen 2.5 32B 在64K上下文下的KV缓存可能额外占用数GB内存69% 相似已验证量化KV缓存（如FP8或INT4存储KV向量）可将缓存大小压缩到原来的1/2甚至1/469% 相似待验证Q8主模型占用162GB导致drafter无法装入统一内存，DSpark加速失效，将三层MoE专家放回CPU后输出仅从22.87提升到23.49 token/秒（快2.7%），prefill从95.38降至76.6567% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/978746API
curl https://kongchang.com/api/v1/knowledge/claims/978746MCP
get_claim(id=978746)