DeepSeek-V4.1-Flash评测：vLLM每美元10亿token，智能体吞吐提升5倍

DeepSeek 的新模型 DeepSeek-V4.1-Flash-1017 刚发布，vLLM 团队就公布了 SemiAnalysis AgentX 基准上的成绩：每美元 TCO 可跑 13 亿 token，单卡吞吐 83 万 token/s（含缓存、输入与输出），按每用户 100 token/s 的交互速度计算。对做长链路智能体的团队来说，这组数字比单纯的跑分更有参考价值。

模型侧的变化：分数更高，输出更短

据 vLLM 在社交平台上的发布信息，DeepSeek^广告-V4.1-Flash-1017 相比前代有两个直接变化：评测分数提升，以及输出长度缩短。

输出变短这件事，在单轮问答里影响不大，但在智能体循环中会被反复放大。一次任务往往要经历规划、调用工具、读取结果、再决策等多个步骤，每一步的输出都会进入下一轮的上下文。输出越短，上下文膨胀越慢，单步延迟越低，长循环才跑得下去。vLLM 的原话是，这个特性让它"很适合长智能体循环"。

模型负责把每一步变聪明，服务侧负责把每一步变快——这是发布信息里明确的分工表述。

智能体循环（agent loop） 指模型在完成任务时反复执行「观察—思考—调用工具—读取结果」的闭环，直到任务终止。与单轮问答不同，每一轮的输出都会追加进上下文，成为下一轮的输入，因此上下文长度随步数近似线性甚至更快增长。这带来两个后果：一是 KV Cache 占用持续上升，显存和缓存压力变大；二是每步都要对更长的上下文做注意力计算，延迟随步数累积。输出 token 变短之所以关键，是因为它同时减缓上下文膨胀速度、降低单步生成时间，从而让几十步甚至上百步的长循环在成本和时延上都变得可承受。这也是 vLLM 强调该模型「适合长智能体循环」的技术含义。

服务侧的成绩单：13 亿 token 每美元

vLLM 给出的核心数据来自 SemiAnalysis AgentX 基准：

• 每美元 TCO 吞吐：13 亿 token
• 单 GPU 吞吐：83 万 token/s（缓存 + 输入 + 输出合计）
• 单用户交互速度：100 token/s

这组数字放在一起看才有意义。83 万 token/s 是聚合吞吐，100 token/s 是单个用户感受到的速度，两者之间的差距由批处理和缓存命中撑起来。对智能体场景而言，前者决定单位成本，后者决定交互体验是否可接受。

社区共建的这几周里，vLLM 称智能体吞吐相比项目起始阶段提升了 5 倍，并把这称为"第一章"，下一章尚未公布。

TCO（总拥有成本） 在这里指的是运行推理服务所消耗的全部资源成本折算，通常包括 GPU 折旧或租用费用、电力、冷却以及运维分摊，而不是单纯的 API 调用单价。把吞吐换算成「每美元多少 token」，本质上是把硬件与运行开销摊到每一个输出 token 上，便于横向比较不同硬件配置、不同推理框架的效率。对智能体这类长循环、多轮调用的负载，TCO 比单次延迟更能决定业务是否跑得通，因为成本会被步数成倍放大。需要注意的是，TCO 数值高度依赖GPU型号、电价、利用率和租用协议，跨团队直接对比时必须先统一口径。

缓存命中（prefix caching） 指推理框架把多轮请求中重复出现的前缀上下文（例如系统提示、工具定义、历史对话）的 KV Cache 复用，避免重复计算。智能体循环中每步都会携带不断增长的历史，前缀复用率往往很高，因此缓存命中率直接决定有效吞吐。文中「缓存 + 输入 + 输出合计」的统计口径正是把命中的缓存 token 也计入，这也是 83 万 token/s 这类聚合数字能远高于单用户 100 token/s 的原因：大量请求共享前缀，计算被摊薄。实际部署时若上下文差异大、缓存命中低，吞吐会明显回落。

对智能体开发的现实影响

长链路智能体的成本结构和服务商报价关系不大，主要取决于单步开销乘以步数。单步输出变短、单卡吞吐拉高，两个方向同时压缩同一笔账。

对于需要反复调用模型做决策的自动化流程，13 亿 token 每美元的 TCO 意味着原本因成本搁置的长循环任务变得可行。但也要注意，这个数字是在特定基准和特定配置下测得的，实际部署中的缓存命中率、上下文长度分布、并发模式都会让结果偏离。

vLLM 强调这是与社区共同构建的成果，并预告"下一章"即将到来，但没有透露具体内容。

该怎么看这组数据

基准数字值得参考，但不能直接外推到生产环境。SemiAnalysis AgentX 面向的是智能体负载，比通用对话基准更贴近实际，但每个团队的请求形态不同，建议在自己的流量模式下复测吞吐与成本。

模型变快、服务变便宜，受益的是那些此前被延迟和成本卡住的长流程应用。至于"5 倍"和"下一章"能兑现多少，还要等后续版本和更多第三方复现。