待验证50% 置信基准精确时间
Qwen2.5-Coder-32B在RTX 4090上以Q4量化运行，推理速度可达每秒40-60个token
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/7/12
首次发现
有效期至：2026/10/10
来源
AI编程工具数据泄露风险：量化策略安全防护指南
bilibili国金证券宜宾营业部2026/7/8
相关事实
待验证对于RTX 4090（24GB显存），WhichLLM可能会推荐Qwen3.6 27B的Q5量化版本，预计推理速度约为每秒27 Token83% 相似待验证一块24GB显存的RTX 4090可流畅运行Qwen3-32B的4-bit量化版本81% 相似待验证实测中Qwen3 27B在未开启NVLink的4张魔改2080Ti上生成速度约为40多token/秒80% 相似待验证在24GB显存的显卡上运行Qwen3.6 27B模型，未经优化可达每秒约40个Token的生成速度，优化后可达50-60 Token/s76% 相似待验证约25GB的Q3模型完全在RTX 4090显存（带宽约1TB/s）运行理论上每秒约40个token，而在DDR5内存（约80GB/s）中运行降至每秒1-3个token75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/489658API
curl https://kongchang.com/api/v1/knowledge/claims/489658MCP
get_claim(id=489658)