待验证50% 置信事实精确时间
以单 token KV Cache 约 1 MB 估算，通过 PCIe 搬运 8K token 的缓存需数百毫秒，足以让首 token 延迟翻倍。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
待验证对于典型 7B 参数模型，每 1K token 的 KV Cache 约需 0.5–1GB 显存78% 相似待验证预填充阶段Strata将提示词分割为最多8000个Token的块，通过PCIe流式传输隐藏在计算之后，使处理3.2万Token提示词速度从约570 Token/秒提升至近1300 Token/秒75% 相似待验证处理一篇8000 token的长文档时，KV缓存可能额外占用数GB内存。74% 相似待验证实现 KV 缓存时，应让缓存与未缓存版本在长序列（如 200 多个 token）上逐 token 对比贪心输出，而非仅做单步验证，才能有效验证缓存正确性。74% 相似待验证上下文越长，模型需要缓存的 KV Cache 越大，KV Cache 使模型生成新 Token 时无需重新计算所有历史 Token 的注意力权重74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069703API
curl https://kongchang.com/api/v1/knowledge/claims/1069703MCP
get_claim(id=1069703)