待验证50% 置信基准精确时间
在 RTX Pro 6000 单卡上，使用 MTP 投机解码（K=3）可将单流每 token 延迟从 22 ms 降至 13 ms，单卡并发请求数从 32 提升到 64，聚合输出从 999.9 tokens/sec 提升到 1954.0 tokens/sec。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/15
首次发现
有效期至：2026/10/29
来源
涉及实体
相关事实
待验证在 RTX Pro 6000（96GB 显存）上，官方 FP8 版配合内置 MTP 投机解码可跑到约 120 tokens/秒，质量与 16-bit 几乎无差异75% 相似待验证4-5 token/秒的速度对于8GB显卡的实际使用而言太慢，16GB显卡可提升到12-14 token/秒进入实际可用范围72% 相似待验证将MTP草稿深度从默认4提升至6或8时，Qwen3.8-27B的输出速度分别降至53.9和52.4 tokens/秒，低于默认的55.1 tokens/秒。72% 相似待验证在5070 12G显卡配合64G内存的配置下，短聊天场景速度可达93 token/s，128K长上下文为74 token/s71% 相似待验证提示处理速度上RTX 4090约3000 tokens/s，M5 Max约800 tokens/s，英伟达在长文档/代码库输入场景优势明显71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1033164API
curl https://kongchang.com/api/v1/knowledge/claims/1033164MCP
get_claim(id=1033164)