待验证50% 置信基准精确时间
在相同测试中，bf16基线以31.3 tok/s的速度超过了自研W4内核（25.5 tok/s）和bitsandbytes NF4（25.7 tok/s），达到理论roofline的29.8%。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/12
首次发现
有效期至：2026/10/26
来源
涉及实体
相关事实
待验证对于Qwen2.5-1.5B模型，batch-1解码的int4理论roofline上限为411.8 tok/s，而实际自研内核仅达到25.5 tok/s，存在约16倍的差距。73% 相似待验证自研W4内核的困惑度（probe ppl）为15.76，优于bitsandbytes NF4的18.98。73% 相似待验证BF16采用1位符号位、8位指数位和7位尾数位，牺牲精度但保留了与FP32相同的动态范围69% 相似待验证经过精心量化的4-bit模型与FP16原始模型之间的性能差距通常在1-3个百分点以内69% 相似待验证在27B混合架构、4B稠密模型、36B MoE三类模型上以8k上下文测试，Prefill阶段性能无变化，Decode阶段打补丁后快约1.4%68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1006834API
curl https://kongchang.com/api/v1/knowledge/claims/1006834MCP
get_claim(id=1006834)