待验证50% 置信基准精确时间
用Qwen3 0.6B作为4B模型的drafter、speculative token数设为4的失败案例中,吞吐从58.2 tokens/s暴跌到16 tokens/s,16并发下从700跌到240。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至:2027/1/17
来源
涉及实体
相关事实
待验证在 16 个请求各携带 3,072 token 长提示的场景下,Gemma 4 E2B 保持 1049 tokens/秒,而 Granite 3.3 2B 降至 732(0.70x),SmolLM3-3B 降至 725(0.69x),Phi-4-mini 降至 404(0.39x),Qwen3-4B 仅为 373(0.36x)。78% 相似待验证在 16 并发、256 token 输出测试中,Gemma 4 E2B 输出速度为 1887 tokens/秒,比它快的模型包括 Qwen2.5-0.5B(4176,2.21x)、Qwen3-0.6B(3210,1.70x)、Qwen2.5-1.5B(2780,1.47x)和 Qwen3-1.7B(2049,1.09x)。74% 相似待验证在单张H100、相近实测准确率下,QwenDLM-4B + ORL达到1,298 tokens/s,DFlash为746 tokens/s,EAGLE3为405 tokens/s(端到端系统比较:ORL走dlmrt,投机解码走vLLM)。74% 相似待验证在Atomic Chat贪吃蛇测试中,Gemma 4 26b跑出约136 token/s,dense的Qwen3.6 27b约47 token/s70% 相似待验证在超长上下文测试中,Ornith 1.5早期约75 token/秒,超过160万token后降至约45 token/秒,而Qwen 3.8在相同负载下降至约5 token/秒69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1071383API
curl https://kongchang.com/api/v1/knowledge/claims/1071383MCP
get_claim(id=1071383)