待验证50% 置信基准精确时间
在八个智能体各处理 7.5k token 文档、第二秒发出聊天请求的测试场景下,Superfluid 用 0.36 秒给出回答,llama-server 超过 10 秒未输出首 token,首 token 延迟差距约 30 倍。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至:2027/1/11
来源
涉及实体
相关事实
待验证在一次8000 token运行中Ollama报告耗时125秒,而客户端实际等待725秒,差值为网关排队耗时且对服务端数字不可见74% 相似待验证长上下文归档实验中8条请求各输入约261000+个Token、各完成约1022个输出,共同解码窗口总吞吐每秒214.85个Token,每请求约26.86,但窗口只有约2.28秒且预填充串行或交错74% 相似待验证MiMo V2.6 Pro集群运行hello测试速度约15 tokens/秒,复杂任务降到约12 tokens/秒72% 相似待验证通常认为单并发 100 tokens/秒以上即可实现流畅的打字机效果,约 200 tokens/秒生成 2000 字长文本仅需约 10 秒72% 相似待验证对于500 Token的回答,流式输出可以让用户在首Token延迟(约500ms)后就开始看到内容,而非等待完整生成(约10秒)71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1013608API
curl https://kongchang.com/api/v1/knowledge/claims/1013608MCP
get_claim(id=1013608)