待验证50% 置信基准精确时间
在该测试中，读取 2048 token 提示时 FP8 预填充速度为 10,118 tok/s，领先于 BF16（7,003 tok/s）、NVFP4（6,978 tok/s）、MXFP8（6,061 tok/s）和 GGUF Q5_K_M（1,710 tok/s）
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/18
首次发现
有效期至：2027/1/16
来源
涉及实体
相关事实
待验证在 GSM8K（1319 题，8192 token 上限）测试中，BF16 得 1249，FP8 得 1241，MXFP8 得 1250，NVFP4 得 1238，三种量化格式在 ±3 分容差内与 BF16 打平73% 相似待验证在32K prompt输入下，Q2量化的读取速度可从572 token/s提升到1290 token/s，Q3可从383提升到1208 token/s69% 相似待验证Strata速度表中128k上下文下Q2_0（2比特）为65.1 token/s，IQ2_XS为52，4k短上下文下IQ3_XXS为65.669% 相似待验证引擎的数值正确性验证显示，与 CPU fp32 transformers 参考实现相比，英文段落 PPL 为 5.233 vs 5.280，平均 KL ≤ 0.003，贪婪答案匹配 63/64 和 64/64。69% 相似待验证在相同测试中，bf16基线以31.3 tok/s的速度超过了自研W4内核（25.5 tok/s）和bitsandbytes NF4（25.7 tok/s），达到理论roofline的29.8%。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1057657API
curl https://kongchang.com/api/v1/knowledge/claims/1057657MCP
get_claim(id=1057657)