待验证50% 置信事实精确时间

量化8B模型（如llama3:8b）在GPU上推理时显存占用约为4.5–5.5 GiB。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/18

首次发现

有效期至：2027/1/16

来源

Ollama在K3s上龟速？GPU直通配置实战指南

涉及实体

llama3:8bmodel Ollamaproduct

相关事实

待验证全参数微调通常需要模型参数量3-5倍的GPU显存74% 相似待验证7B–9B 参数模型使用 Q4 或 Q5 量化后通常占用 5–7GB 显存70% 相似待验证GPTQ（2022）通过逐层量化并利用 Hessian 信息最小化量化误差，首次实现了大模型在 INT4 下的可用表现68% 相似待验证实践中4-8位量化版本在大多数任务上与原始模型表现相差无几65% 相似待验证在数学推理任务GSM8K上，OQ4E做对954题（95.4%），8bit只做对924题（92.4%），4bit版本反而高出3个百分点64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1057673

API

curl https://kongchang.com/api/v1/knowledge/claims/1057673

MCP

get_claim(id=1057673)