已验证65% 置信基准精确时间
实测中Qwen3 27B在未开启NVLink的4张魔改2080Ti上生成速度约为40多token/秒
3
来源数
65%
置信度
中期 (~90 天)
时效性
2026/8/19
首次发现
有效期至：2026/11/17
来源
相关事实
待验证NVIDIA RTX 4090运行类似规模的Q4量化模型的典型生成速度在40~60 TPS范围内80% 相似待验证在RTX 3060上，开发者用Triton手写的面向batch-1解码的融合W4A16 GEMV内核速度约为25.5 tok/s，追平了bitsandbytes NF4量化方案的约25.7 tok/s。79% 相似待验证Qwen3 27B本地推理速度约为每秒10个tokens77% 相似待验证运行Qwen 3（27B）无优化基线token解码速度：RTX 5090约75、RTX 4090约46、RTX 3090约40、M5 Max 31.4、DGX Spark 12-17、Ryzen AI Max 11.5 tokens/s76% 相似待验证Qwen 27B的Q4_K_M/GGUF版本在同一台机器上解码速度约为10.7 tok/s，约为MLX版本的1/3.874% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/775271API
curl https://kongchang.com/api/v1/knowledge/claims/775271MCP
get_claim(id=775271)