待验证70% 置信基准精确时间
在相同实验设置下，生成 1016 个 token 的总耗时从 14.66 秒降至 5.03 秒。
2
来源数
70%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
待验证在8GB显卡上，token生成速度约为4.2到5 token/秒，且随着上下文变长速度从约6 token/秒下降到4.2左右78% 相似待验证Perplexity 公布自测延迟（9月30日）：几百输入 token 低于 2 秒，90k token 约 5 秒，190k token 约 14 秒，接近 262k 上限约 23 秒。77% 相似待验证在案例测试中Gemma分析三页PDF财务报告耗时约13.78秒，生成1064个tokens，速度为每秒16 tokens77% 相似待验证arXiv 的 SpecDec-Hybrid 论文报告在 4 卡节点上实现 2.3 倍墙钟加速，2k Token 长文生成的延迟从 12 秒降到约 5 秒。76% 相似待验证在八个智能体各处理 7.5k token 文档、第二秒发出聊天请求的测试场景下，Superfluid 用 0.36 秒给出回答，llama-server 超过 10 秒未输出首 token，首 token 延迟差距约 30 倍。75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1060141API
curl https://kongchang.com/api/v1/knowledge/claims/1060141MCP
get_claim(id=1060141)