待验证50% 置信基准精确时间
vLLM 在 AgentX 测试中的 P90 每用户吞吐为 196 tokens/s。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/29
首次发现
有效期至：2026/11/12
来源
涉及实体
相关事实
待验证据 FreeToken 技术论文，在 RTX 5090 系统上 Qwen3-235B-A3B 可达 77-83 tokens/s，DeepSeek 相关模型在 agent 轨迹上可达 22-25 tokens/s65% 相似待验证在 Qwen3 27B 的 llama.cpp 环境下，R9700 跑出 27.1 tokens/s（达带宽上限约65%），B70 跑出 21.4 tokens/s（约50%出头）64% 相似待验证单张RTX 5090配合LLaDA-2.1-mini + ORL在NVFP4精度下达到2,788 tokens/s（单请求解码，batch size 1）。62% 相似待验证单用户场景下 llama.cpp 8B 模型在 RTX 4090 上约 115 tok/s、首 token 延迟约 12ms，但 32 并发时吞吐仅约 210 tok/s。60% 相似待验证在 RTX Pro 6000（96GB 显存）上，官方 FP8 版配合内置 MTP 投机解码可跑到约 120 tokens/秒，质量与 16-bit 几乎无差异60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1110156API
curl https://kongchang.com/api/v1/knowledge/claims/1110156MCP
get_claim(id=1110156)