待验证50% 置信基准精确时间
在 T4 上，--cpu-moe + 10000 MiB 缓存时，8 token 以内小批次命中率 95.73%，9 到 32 token 批次命中率 59.91%。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/18
首次发现
有效期至：2026/11/1
来源
涉及实体
相关事实
待验证作者在 T4 上用同一个模型和测试方法复现，8 并发时单请求解码 122–124 tokens/s，整台服务器产出 701–708 tokens/s，同样约为 5.7 倍差异。72% 相似待验证TokenRouter的Monitors把每次判断的输入上限控制在约4k token。66% 相似待验证在2944 token输入、1024 token输出条件下，普通模式达到每秒29.9 token，开启MTP2后提升到48.4 token/s66% 相似待验证在 16 个请求各携带 3,072 token 长提示的场景下，Gemma 4 E2B 保持 1049 tokens/秒，而 Granite 3.3 2B 降至 732（0.70x），SmolLM3-3B 降至 725（0.69x），Phi-4-mini 降至 404（0.39x），Qwen3-4B 仅为 373（0.36x）。66% 相似待验证投机采样中当候选 token 的接受率较高时，每次前向传播的有效输出 token 数量可达 2~4 个，从而将整体生成速度提升 1.5x~3x66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1060512API
curl https://kongchang.com/api/v1/knowledge/claims/1060512MCP
get_claim(id=1060512)