待验证50% 置信事实精确时间
约25GB的Q3模型完全在RTX 4090显存(带宽约1TB/s)运行理论上每秒约40个token,而在DDR5内存(约80GB/s)中运行降至每秒1-3个token
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/8/9
首次发现
有效期至:2026/11/7
来源
相关事实
待验证一块24GB显存的RTX 4090可流畅运行Qwen3-32B的4-bit量化版本78% 相似待验证RTX 4090拥有24GB显存,在加载27B Q4模型后通常还有足够空间支持3-4万Token的上下文77% 相似待验证对于RTX 4090(24GB显存),WhichLLM可能会推荐Qwen3.6 27B的Q5量化版本,预计推理速度约为每秒27 Token76% 相似待验证700亿参数(70B)的模型经量化后可以在单张RTX 4090(显存24GB)上运行75% 相似待验证Qwen2.5-Coder-32B在RTX 4090上以Q4量化运行,推理速度可达每秒40-60个token75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/716946API
curl https://kongchang.com/api/v1/knowledge/claims/716946MCP
get_claim(id=716946)