待验证50% 置信事实精确时间
在Qwen3.8 27B的vLLM测试中,使用Marlin kernel保持量化权重但激活保留bf16,使NVIDIA NVFP4的KLD从0.0256降到0.0117,降幅超过一半。
1
来源数
50%
置信度
长期有效
时效性
2026/11/7
首次发现
来源
涉及实体
相关事实
待验证在Qwen3.8 27B的测试中,llama.cpp和ExLlamaV3的8-bit KV cache(q8_0和EXL3 8-bit)在所有测试的权重量化版本上带来的KL散度变化都在±0.00012以内,处于数值噪声范围内。71% 相似待验证NVFP4版Qwen3-27B在MMLU Pro和GPQA Diamond基准上相较未压缩FP16仅有微弱损失70% 相似待验证在 RTX 4070 Ti SUPER 上,NVFP4 通过 weight-only Marlin kernel 运行,权重保持低精度存储但实际计算仍在 16 位下完成69% 相似待验证Qwen 27B的Q4_K_M/GGUF版本在同一台机器上解码速度约为10.7 tok/s,约为MLX版本的1/3.868% 相似待验证Qwen3.8-27B 的 3-bit 和 NVFP4 版本分别得分 0.39 和 0.34,落后于 MoE 架构的 Flash-Next,配对差异为 +0.16,P = 0.92。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1146820API
curl https://kongchang.com/api/v1/knowledge/claims/1146820MCP
get_claim(id=1146820)