待验证50% 置信基准精确时间
TurboQuant 3.5-bit 在质量上与全精度持平，KV 缓存内存占用约为四分之一（基于 vLLM 的独立研究验证）。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证在4-bit甚至3-bit量化下，许多模型仍能保持90%以上的原始性能68% 相似待验证以LLaMA-3 70B模型为例，在80层、head_dim=128、BF16精度下，每个token大约占用80KB的KV缓存68% 相似待验证vLLM默认通过--gpu-memory-utilization参数将GPU显存的90%纳入规划，剩余部分才作为KV缓存使用。67% 相似待验证vLLM在相同硬件上的吞吐量通常比Ollama高出一个数量级67% 相似待验证vLLM的PagedAttention将KV缓存切分为固定大小物理块（通常16个token），使显存利用率从不足40%提升至接近90%65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1021151API
curl https://kongchang.com/api/v1/knowledge/claims/1021151MCP
get_claim(id=1021151)