待验证50% 置信基准精确时间
在 LLaDA 和 Dream 模型上，于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估，dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/30
首次发现
有效期至：2026/11/13
来源
涉及实体
相关事实
待验证以LLaMA-3 70B模型为例，在80层、head_dim=128、BF16精度下，每个token大约占用80KB的KV缓存68% 相似待验证ModelFit 在 config.json 可用时使用 GQA 公式精确计算 KV 缓存：2 × layers × kv_heads × head_dim × ctx × 2 bytes；否则采用“+20% 且最低 1.5GB”的启发式规则，并在页面明确标注。67% 相似待验证南北格 4.3-33B 推出 GGUF 量化全重支持，基础模型支持最长 512K token 上下文，并提供 Llama.cpp 和 Ollama 的配置示例。66% 相似待验证LM Studio提供图形界面，兼容GGUF格式的量化模型，8GB显存的消费级显卡即可流畅运行7B参数规模的模型65% 相似已验证以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1115524API
curl https://kongchang.com/api/v1/knowledge/claims/1115524MCP
get_claim(id=1115524)