Unverified50% confidenceFactExact time
以 V100（16GB 显存）为参考，Ornith 9B 模型 Q6_K 约需 7-8GB 显存，35B MoE 约需 20-22GB 需双卡 V100
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
7/21/2026
First Seen
Valid until: 10/19/2026
Sources
Related Claims
Unverified14B MoE模型Q4量化后仅需8.4GB显存，8GB显卡可勉强运行，12GB显卡完全无压力79% similarUnverified千问3.5 9B模型约6.6GB，适合8GB显存的显卡79% similarUnverified以 GGUF Q4 量化为基准，7B 模型约需 4-6GB 显存，13B 约需 8-10GB，70B 需 40GB 以上或多 GPU 并行78% similarVerified8GB显存建议运行7B模型（Q4量化），16GB显存建议运行7B到14B模型，24GB显存建议运行14B到32B模型，32GB显存建议运行32B到70B模型（Q4量化）77% similarUnverified8GB 显存适合运行 7B 模型的 Q4/Q5 量化版（全部层上 GPU），12GB 显存可以运行 14B 模型的 Q4 量化版或 7B 的 Q8 版本76% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/579937API
curl https://kongchang.com/api/v1/knowledge/claims/579937MCP
get_claim(id=579937)