待验证50% 置信基准精确时间
自研W4内核的困惑度(probe ppl)为15.76,优于bitsandbytes NF4的18.98。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/12
首次发现
有效期至:2026/10/26
来源
涉及实体
相关事实
待验证在相同测试中,bf16基线以31.3 tok/s的速度超过了自研W4内核(25.5 tok/s)和bitsandbytes NF4(25.7 tok/s),达到理论roofline的29.8%。73% 相似待验证NVFP4量化方案相比BF16基线实现了1.5倍的推理加速,同时在top-1准确率上保留了92%到97%的水平68% 相似待验证在4-bit量化下,纯参数理论最小占用为:7B约3.26GiB,13B约6.05GiB,32B约14.90GiB,70B约32.60GiB67% 相似待验证从FP16到Q4_K_M,主流70B模型的困惑度(PPL)提升通常在0.1至0.3区间67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1006841API
curl https://kongchang.com/api/v1/knowledge/claims/1006841MCP
get_claim(id=1006841)