待验证50% 置信基准精确时间
8用户各128K上下文时,缓存命中的后续轮次首token只需0.2到2.5秒
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/9
首次发现
有效期至:2027/2/7
来源
涉及实体
相关事实
待验证长上下文归档实验中8条请求各输入约261000+个Token、各完成约1022个输出,共同解码窗口总吞吐每秒214.85个Token,每请求约26.86,但窗口只有约2.28秒且预填充串行或交错78% 相似待验证微短剧单集时长通常为60至90秒,以强悬念收尾驱动用户连续解锁。75% 相似待验证最坏情况是8个用户同时发送全新的128K提示,所有人等约2.5分钟才拿到首token74% 相似待验证在相同实验设置下,生成 1016 个 token 的总耗时从 14.66 秒降至 5.03 秒。74% 相似待验证长上下文对生成速度影响很小:4K 上下文后每个输出 token 中位耗时 7.6 ms,256K 之后是 8.3 ms;但首次读 128K token 的 prompt 要 18.33 秒,因此 prefix caching 很关键。74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1150589API
curl https://kongchang.com/api/v1/knowledge/claims/1150589MCP
get_claim(id=1150589)