待验证50% 置信事实精确时间
理论预测36 tokens/秒与实测31 tokens/秒之间约14%的差距主要来自内存读取未达峰值带宽、注意力机制的计算开销以及软件栈的调度损耗。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
涉及实体
相关事实
待验证上下文长度 131072 即 128K tokens，上下文越长推理时显存消耗和延迟也会显著上升78% 相似待验证经验上，20 token/s 以上接近阅读速度可流畅交互，低于 5 token/s 则明显卡顿。75% 相似待验证由于思考 token 计入 max_tokens，为非思考模型设定的低 max_tokens 预算会挤占答案空间，导致回答过短或被截断；建议保持充裕（如 32,000），长智能体运行按模型卡建议提升至 256K 或以上。72% 相似待验证实测32K上下文的prefill读取速度达到每秒3860 Token71% 相似待验证基线BF16模型在单并发下约37.5 tokens/s，32并发聚合吞吐714 tokens/s，首token延迟61ms；切换到FP8权重后单并发提升到53.4 tokens/s，64并发峰值吞吐从约800提升到1140 tokens/s，约1.42倍。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1075812API
curl https://kongchang.com/api/v1/knowledge/claims/1075812MCP
get_claim(id=1075812)