待验证50% 置信基准精确时间
预填充阶段使用2-8块GPU的小专家并行组;批次从约4000 token增至16000 token时,吞吐从约6万token/s提升至8.2万token/s,每步延迟从约70毫秒增至200毫秒。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/4
首次发现
有效期至:2027/2/2
来源
涉及实体
相关事实
待验证在相同实验设置下,生成 1016 个 token 的总耗时从 14.66 秒降至 5.03 秒。77% 相似待验证百万 token 输出的耗时可能达到数分钟级别,集成时需要设计异步调用和进度反馈机制。74% 相似待验证在案例测试中Gemma分析三页PDF财务报告耗时约13.78秒,生成1064个tokens,速度为每秒16 tokens74% 相似待验证该测试中预填充速度固定在约 500~600 token/s,首 token 耗时随输入长度线性增加73% 相似待验证在8GB显卡上,token生成速度约为4.2到5 token/秒,且随着上下文变长速度从约6 token/秒下降到4.2左右73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1136865API
curl https://kongchang.com/api/v1/knowledge/claims/1136865MCP
get_claim(id=1136865)