待验证50% 置信基准精确时间
双卡对比实验：Pro 4500跑Q4单卡61.5 tok/s，双卡111.0 tok/s（1.81倍）；Tesla P40从19.6到34.8 tok/s（1.78倍）；另两组为1.48倍和1.22倍。
1
来源数
50%
置信度
长期有效
时效性
2026/10/24
首次发现
来源
141份实测揭秘：你的显卡跑大模型到底有多快？
bilibili九物AI生产力2026/10/23
涉及实体
相关事实
待验证在128K上下文下，Q2_0输出65.1 tok/s、IQ2_XS输出52.0 tok/s、IQ3_XXS输出44.8 tok/s68% 相似待验证Strata速度表中128k上下文下Q2_0（2比特）为65.1 token/s，IQ2_XS为52，4k短上下文下IQ3_XXS为65.668% 相似待验证在 16 并发、256 token 输出测试中，Gemma 4 E2B 输出速度为 1887 tokens/秒，比它快的模型包括 Qwen2.5-0.5B（4176，2.21x）、Qwen3-0.6B（3210，1.70x）、Qwen2.5-1.5B（2780，1.47x）和 Qwen3-1.7B（2049，1.09x）。66% 相似待验证在逐步改进的对照测试中，配置为“两者轮流跑在GPU”时，首音频均值2.3秒（范围1.9-2.7），每次回答卡顿均值0.09次（范围0-1），优于“两者同时跑在GPU”的3.9秒（3.8-4.1）和2.84次（9-17次）。66% 相似待验证对于Qwen2.5-1.5B模型，batch-1解码的int4理论roofline上限为411.8 tok/s，而实际自研内核仅达到25.5 tok/s，存在约16倍的差距。65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1092288API
curl https://kongchang.com/api/v1/knowledge/claims/1092288MCP
get_claim(id=1092288)