待验证50% 置信事实精确时间

长上下文会显著推高 KV Cache 的显存占用，工程上常通过分组查询注意力（GQA）、KV Cache 量化或分页管理来缓解。

1

来源数

50%

置信度

长期有效

时效性

2026/10/23

首次发现

来源

Kimi K3.1 Pro发布：2.8T参数MoE、1M上下文

涉及实体

GQAconcept KV Cacheconcept

相关事实

待验证上下文长度的显存消耗随长度增加呈近似平方级增长，因注意力机制需维护 KV Cache 存储历史 Token 中间状态78% 相似待验证在线推理追求首 token 延迟和尾延迟，需要连续批处理、抢占式调度和精细的 KV Cache 分页管理。75% 相似已验证KV Cache通过缓存历史token的注意力键值对，避免每步生成时对全部历史序列的重复计算，降低长序列生成的时延和算力消耗75% 相似待验证部分推理框架提供KV缓存量化或分页管理来缓解KV缓存开销。68% 相似待验证上下文窗口以 Token 为计量单位，决定模型一次能处理的代码或文档量，长文件分析往往需要分段处理。64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1091980

API

curl https://kongchang.com/api/v1/knowledge/claims/1091980

MCP

get_claim(id=1091980)