待验证50% 置信基准精确时间
在29k token的上下文引用prompt下,HyperQwen解码达到237.6 tok/s,逐字校验通过;Prefill约1,210 tok/s,该prompt约24秒完成,大约是llama.cpp(~250 tok/s)的五倍。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/16
首次发现
有效期至:2026/10/30
来源
涉及实体
相关事实
已验证在输出(Decode)速度测试中,2 万 token 以内可达约 45 tokens/秒,3 万 token 以上骤降至约 20 tokens/秒73% 相似待验证在约4K输入时TTFT为23.6秒、解码46.6 tok/s;8K时47秒、41.4 tok/s;16K时1分30秒、30.8 tok/s;30K时3分15秒、31.9 tok/s73% 相似待验证使用llama.cpp运行IQ3_XXS量化模型时,输出速度仅为15 tok/s,提示处理为100-120 tok/s,而自研引擎将同样量化提升到约65 tok/s输出、430 tok/s提示处理,接近4倍性能提升71% 相似待验证在八个智能体各处理 7.5k token 文档、第二秒发出聊天请求的测试场景下,Superfluid 用 0.36 秒给出回答,llama-server 超过 10 秒未输出首 token,首 token 延迟差距约 30 倍。71% 相似待验证长上下文归档实验中8条请求各输入约261000+个Token、各完成约1022个输出,共同解码窗口总吞吐每秒214.85个Token,每请求约26.86,但窗口只有约2.28秒且预填充串行或交错70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1043374API
curl https://kongchang.com/api/v1/knowledge/claims/1043374MCP
get_claim(id=1043374)