待验证75% 置信事实时间未知
对于RTX 4090（24GB显存），WhichLLM可能会推荐Qwen3.6 27B的Q5量化版本，预计推理速度约为每秒27 Token
1
来源数
75%
置信度
中期 (~90 天)
时效性
2026/6/3
首次发现
有效期至：2026/9/1
来源
WhichLLM：一键检测你的电脑最适合跑哪个本地大模型
bilibili锋芒AI
涉及实体
相关事实
待验证Qwen2.5-Coder-32B在RTX 4090上以Q4量化运行，推理速度可达每秒40-60个token83% 相似待验证一块24GB显存的RTX 4090可流畅运行Qwen3-32B的4-bit量化版本82% 相似已验证QLoRA引入4-bit量化技术，使得在单张24GB显存的RTX 3090/4090上微调650亿参数级别的模型成为可能79% 相似待验证RTX 5090上Qwen3.6 27B模型预填充速度从174提升到253 token/s，显存占用约18GB78% 相似待验证在显存充足、模型完整驻留GPU时，RTX 4090跑Q4量化的27B模型通常可达15～30 tokens/s；触发CPU卸载后速度可能骤降至1～2 tokens/s甚至更低77% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/38146API
curl https://kongchang.com/api/v1/knowledge/claims/38146MCP
get_claim(id=38146)