待验证50% 置信事实精确时间
在Qwen3.8 27B的测试中,llama.cpp和ExLlamaV3的8-bit KV cache(q8_0和EXL3 8-bit)在所有测试的权重量化版本上带来的KL散度变化都在±0.00012以内,处于数值噪声范围内。
1
来源数
50%
置信度
长期有效
时效性
2026/11/7
首次发现
来源
涉及实体
相关事实
已验证LLaMA-2-7B使用FP16精度时每个token的KV Cache约占0.5MB72% 相似待验证Qwen 27B的Q4_K_M/GGUF版本在同一台机器上解码速度约为10.7 tok/s,约为MLX版本的1/3.871% 相似待验证Llama 3.3 70B采用GQA后每token KV Cache约320KB71% 相似待验证在Qwen3.8 27B的vLLM测试中,使用Marlin kernel保持量化权重但激活保留bf16,使NVIDIA NVFP4的KLD从0.0256降到0.0117,降幅超过一半。71% 相似已验证以LLaMA-3 70B(80层、64头、每头128维)为例,单个token的KV Cache约占2.6MB(FP16精度),32K上下文的KV Cache总量约达83GB68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1146816API
curl https://kongchang.com/api/v1/knowledge/claims/1146816MCP
get_claim(id=1146816)