待验证50% 置信事实精确时间
单张32GB显存显卡无法完整承载70B Q4量化模型，需搭配llama.cpp的GPU+CPU混合推理
1
来源数
50%
置信度
长期有效
时效性
2026/10/1
首次发现
来源
涉及实体
相关事实
待验证在64GB内存下，30B～34B参数模型在Q4量化下可以流畅运行，70B模型在Q4下勉强可行但响应速度明显下降75% 相似已验证35B模型在FP16精度下需要约70GB显存，远超RTX 5090的32GB容量，因此单卡部署需量化74% 相似待验证在12GB显存的显卡上运行9B模型时，通常采用4-bit量化（如Q4_K_M格式）以降低显存占用74% 相似待验证使用IQ4_XS配合-fa 1 -ctk q8_0 -ctv q8_0对KV缓存进行q8_0量化后，可加载完整32k上下文，常驻内存约16.6GB73% 相似待验证MiniCPM 2B的GGUF量化版本Q4_K_M模型体积仅1.56G，可在4G显存设备上流畅运行73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/963659API
curl https://kongchang.com/api/v1/knowledge/claims/963659MCP
get_claim(id=963659)