待验证50% 置信基准精确时间
vLLM 在 AgentX 测试中的总吞吐量达到 954K tokens/s/GPU（包含缓存、输入和输出）。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/29
首次发现
有效期至：2026/11/12
来源
涉及实体
相关事实
待验证SGLang 使用官方 NVFP4 权重配合 D-Spark 投机解码在 Blackwell GPU 上跑出平均约 173 tokens/秒，短任务逼近 200，同时加载 262k 上下文窗口70% 相似待验证用2840亿参数的DeepSeek V4 Flash实测，token生成从37提升到53 tokens/s（约1.5倍），Prompt Processing从483跃升到1485 tokens/s（约三倍）69% 相似待验证在A100(80GB显存)GPU上,训练7B模型的吞吐量约为每秒3000-5000 token68% 相似待验证大模型API的输出Token单价通常是输入Token的2-4倍，原因在于自回归生成机制每个输出Token都需一次独立前向传播且KV Cache占用大量GPU显存68% 相似待验证vLLM的PagedAttention将KV缓存切分为固定大小物理块（通常16个token），使显存利用率从不足40%提升至接近90%67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1110155API
curl https://kongchang.com/api/v1/knowledge/claims/1110155MCP
get_claim(id=1110155)