待验证50% 置信预测精确时间
对于Qwen2.5-1.5B模型，batch-1解码的int4理论roofline上限为411.8 tok/s，而实际自研内核仅达到25.5 tok/s，存在约16倍的差距。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至：2027/1/10
来源
涉及实体
相关事实
待验证在相同测试中，bf16基线以31.3 tok/s的速度超过了自研W4内核（25.5 tok/s）和bitsandbytes NF4（25.7 tok/s），达到理论roofline的29.8%。73% 相似待验证使用Qwen2.5 0.5B作为草稿模型每次提议4个token的推测解码测试中，串行处理整体草稿接受率为32.9%，并发处理为37.1%71% 相似待验证显存24-36G的显卡可运行Qwen3系列较大参数的量化版本，是最接近顶级闭源模型的档位70% 相似待验证Qwen3 27B 的 4-bit 量化在主流基准任务上与 FP16 基准的性能差距处于可接受范围内，表现稳健70% 相似待验证Qwen2.5-Max-0902最大输出为13万Token，推理模式下上限可达26万Token70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1006835API
curl https://kongchang.com/api/v1/knowledge/claims/1006835MCP
get_claim(id=1006835)