待验证50% 置信事实精确时间
在同一测试中,使用Marlin kernel保持量化权重但激活保留bf16,使Qwen FP8的KLD从0.0039降到0.0028,降低约30%。
1
来源数
50%
置信度
长期有效
时效性
2026/11/7
首次发现
来源
涉及实体
相关事实
待验证vLLM的FP8 KV cache在Qwen3.8 27B的每个测试检查点上增加0.0004到0.0006的KLD,数值极小但几乎在每个prompt上稳定出现。72% 相似待验证在Qwen3.8 27B测试中,vLLM的NVFP4检查点即使激活保留bf16,其KLD也仅与UD-Q5_K_XL打平,而后者体积小了8.7 GiB。71% 相似待验证Q64 的 74.32% 准确率仍低于原生 27B 基线的 75.68%,也低于 AnyJev Qwen3-32B L0 的 76.68%。69% 相似待验证FP8量化相比FP16原始精度,在主流benchmark上的性能下降通常不超过1-2%66% 相似待验证采用保守融合规则(仅当NLI和LLM判断一致时才输出Support或Contradict,否则输出Not Enough Evidence)后,Macro-F1分别降至0.7392(Qwen3)、0.6730(Llama 3.1)和0.5991(Mistral),均低于各自单独使用的成绩。66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1146821API
curl https://kongchang.com/api/v1/knowledge/claims/1146821MCP
get_claim(id=1146821)