待验证50% 置信事实精确时间
vLLM的FP8 KV cache在Qwen3.8 27B的每个测试检查点上增加0.0004到0.0006的KLD,数值极小但几乎在每个prompt上稳定出现。
1
来源数
50%
置信度
长期有效
时效性
2026/11/7
首次发现
来源
涉及实体
相关事实
待验证在Qwen3.8 27B测试中,vLLM的NVFP4检查点即使激活保留bf16,其KLD也仅与UD-Q5_K_XL打平,而后者体积小了8.7 GiB。75% 相似待验证在Qwen3.8 27B测试中,q4_0 KV cache的绝对KLD增量对越精确的权重伤害越大:Q3级别权重只增加6-10%,UD-Q4_K_XL增加约39%,Q8_0增加约390%。74% 相似待验证在同一测试中,使用Marlin kernel保持量化权重但激活保留bf16,使Qwen FP8的KLD从0.0039降到0.0028,降低约30%。72% 相似待验证稠密的 Qwen3.8-27B 模型 3-bit 版本得分反而高 0.05(噪声范围内),但每任务生成 token 数量增加 40%(置信区间 1.25–1.59 倍)。70% 相似待验证Q3_XXS模型搭配F16 KV缓存needle测试得分约80%,而Q3_K_XL配合kvarn3 KV缓存得分接近100%70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1146817API
curl https://kongchang.com/api/v1/knowledge/claims/1146817MCP
get_claim(id=1146817)