待验证50% 置信预测精确时间
当上下文接近 512K token 时，预填充与解码解耦架构可确保用户在读取整本规格书后仍能在 800 毫秒内收到首个响应 token。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至：2027/1/10
来源
涉及实体
相关事实
待验证缓存命中率在大模型API调用场景中指KV Cache（键值缓存）的复用比例，模型可直接从缓存中读取已处理token的注意力键值对71% 相似待验证一项日志研究测量出各Harness在读到用户提示词前发送的Token：OpenCode约7000 tokens，CloudCode约33000 tokens，Pi约1300 tokens71% 相似待验证实测32K上下文的prefill读取速度达到每秒3860 Token71% 相似待验证REMORY 的编码器接收最长 64K Token 的原始历史和约 250 Token 的人类可读摘要，使用一个 12 层、768 维隐藏状态的 Transformer69% 相似待验证REMORY 编码器在单张 A100 上额外增加约 120ms 延迟，可通过为可预测流程预计算残差 Token 来规避68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1008189API
curl https://kongchang.com/api/v1/knowledge/claims/1008189MCP
get_claim(id=1008189)