[控场AI]
· 10 分钟阅读· 5,159 字

DeepSeek V4.1 Flash 1017 实测对比:便宜模型全面超越 Pro?

DeepSeek V4.1 Flash 1017 实测对比:便宜模型全面超越 Pro?

DeepSeek 更便宜的 Flash 在官方基准上全面超越 Pro,但切换需在自有负载上验证。

文章对比了 DeepSeek V4.1 Flash 1017 与 V4 Pro 0813:Flash 在 Terminal-Bench、DeepSWE 等所有公布的编程与 Agent 基准上大幅领先,价格却只有 Pro 的输出三分之一左右,并发上限为五倍,且支持图像输入。基于假设的 Agent 会话估算,Pro 成本约为 Flash 的四倍,需以约四分之一 token 量才能打平,而现有冗长度数据表明 Pro 仅约 62% 的水平。但所有基准均为 DeepSeek 自测,1017 的输出长度与每任务 token 数尚未公开,文章因此给出在自有评估集上测量通过率、输出 token 与单次运行成本的方法,并列出高峰计价、图像用例、GPQA 空白等会扭曲对比的失效模式,最终按场景给出保留 Pro 或转向 Flash 的决策规则。

DeepSeek 的定价策略出现了一个反直觉的局面:更便宜的模型在官方公布的每一项编程与 Agent 基准上都超过了更贵的版本。V4.1 Flash 1017(10 月 17 日发布)对比 V4 Pro 0813,Terminal-Bench 4.0 拿到 42.3 对 12.4,DeepSWE v1.1 拿到 77.0 对 62.7。同时,Pro 每输出 token 的价格仍是 Flash 的 3.3 倍,一次带成本的 Agent 会话算下来大约是 Flash 的四倍账单。

纸面上这似乎已经分出胜负。但如果你手上跑着一条针对 deepseek-v4-pro-0813 调优过的流水线,那些数字是 DeepSeek广告 的,不是你的。真正的工程问题在于:在你自己的工作负载上验证这次切换——通过率、输出长度、单次运行成本,用同一套方法在两个模型上测量。

DeepSeek V4.1 Flash 1017 与 V4 Pro 对比

官方公布的数字

价格:Pro 贵在哪里

根据 DeepSeek 定价页,按每百万 token 美元计价,V4.1 Flash 1017 输入 $0.30、输出 $1.20、缓存命中 $0.006;V4 Pro 0813 输入 $1.32、输出 $3.96、缓存命中 $0.044。两者在非高峰时段均为半价。第三方平台 AIHubMix 的挂牌价略高(Flash 1017 为 $0.3098 / $1.2392,Pro 0813 为 $1.3944 / $4.1832),但比例关系一致。

折算下来,Pro 的输入价格是 Flash 的 4.4 倍,输出 3.3 倍,缓存命中超过 7 倍。此外,在 DeepSeek 自家 API 上,Pro 的并发上限只有 Flash 的五分之一:500 对 2500。这意味着高并发场景下 Flash 的吞吐优势不只是价格问题。

基准:Flash 几乎全面领先

Pro 的数字来自 DeepSeek V4.1 Flash 论文表 3,均在最大 effort 下测得;1017 的数字来自模型卡。需要注意,所有数字都是 DeepSeek 自己的测量,尚无第三方复现。

关键对比如下:Terminal-Bench 4.0 上 Pro 12.4、九月 Flash 31.2、1017 42.3;DeepSWE v1.1 上 Pro 62.7、九月 Flash 74.2、1017 77.0;ProgramBench 上 Pro 15.5、九月 Flash 20.3、1017 29.1;NL2Repo-Bench 上 Pro 61.5、九月 Flash 65.4、1017 68.2;Automation-Bench 上 Pro 43.2、九月 Flash 54.8、1017 60.5;Agents' Last Exam 上 Pro 25.7、九月 Flash 31.8、1017 35.4。

九月版 Flash 就已经在每一项编程和 Agent 指标上超过了 Pro,1017 进一步拉大了差距。在纯文本 HLE 子集上,1017 的 44.0 也超过了 Pro 的 42.7。Pro 唯一可能保留的优势是 GPQA Diamond(92.4 对九月 Flash 的 90.9),但 DeepSeek 没有公布 1017 在该项上的分数。Artificial Analysis 在九月的通用指数上也独立得出了相同结论,称 V4.1 Flash 是 DeepSeek 的「新旗舰」,排在 V4 Pro 0813 之前。

Terminal-Bench 是一个评估 AI 智能体在真实终端环境中执行任务能力的基准,任务涵盖文件操作、进程管理、网络配置等,要求模型自主调用命令行工具完成多步操作,最终以任务完成率计分。DeepSWE 系列基准则聚焦软件工程场景,通常包括在真实代码库中定位缺陷、生成补丁并通过测试套件验证,评分依据是补丁能否让隐藏测试通过。NL2Repo-Bench 衡量从自然语言规格生成可运行代码仓库的能力,Automation-Bench 侧重浏览器与桌面自动化,Agents' Last Exam 是面向长程智能体任务的综合评测集。这些基准的共同特点是:分数越高,说明模型在无人工干预下完成端到端工程任务的可靠性越强,因此比单纯的代码补全指标更贴近 Agent 流水线的真实表现。

一次会话的成本估算

由于没有公开测试给出两个模型的每任务 token 数,这里基于明确假设做一个估算:一个 Agent 修 bug 会话,40 次模型调用,总计 120 万输入 token(90% 缓存命中),6 万输出 token(含思考)。两个模型使用相同 token 数,按 AIHubMix 挂牌价计算,Flash 1017 高峰时段 $0.118、非高峰 $0.059;Pro 0813 高峰 $0.469、非高峰 $0.233。

Pro 每会话成本约为 Flash 的四倍。要打平,Pro 必须以大约 Flash 四分之一 的 token 量完成同一任务。而目前唯一的公开冗长度测量指向相反方向:Artificial Analysis 发现九月 Flash 在其指数上使用的输出 token 是 Pro 0813 的 1.62 倍,也就是说 Pro 只需约 62% 的 token 量,而非 25%。

缓存命中 指请求中与之前对话重复的输入 token 被服务端缓存复用,按远低于常规输入的价格计费。在 Agent 会话中,系统提示、工具定义和历史对话往往占据输入的绝大部分,因此缓存命中率直接决定实际账单。文中假设 90% 缓存命中,正是 Agent 场景的典型形态;若你的流水线每轮都注入全新上下文,缓存收益会大幅缩水,两个模型之间的成本倍数也会随之变化。评估切换时,应同时记录缓存命中 token 的占比,否则按挂牌输入价做粗略估算会系统性高估成本。

如何在自有工作负载上验证切换

前置条件

你需要一个 AIHubMix API key(导出为 AIHUBMIX_API_KEY),安装 OpenAI Python SDK(pip install openai),并指向 https://aihubmix.com/v1。两个模型 ID 分别是 deepseek-v4.1-flash-1017 和 deepseek-v4-pro-0813,一个 key 即可覆盖两者。当然,最重要的前提是你有一份来自真实工作负载的评估集,以及一套你已经信任的通过/失败判定。

用同一 prompt 跑两个模型

import os
from openai import OpenAI

client = OpenAI(api_key=os.environ["AIHUBMIX_API_KEY"], base_url="https://aihubmix.com/v1")

for model in ("deepseek-v4-pro-0813", "deepseek-v4.1-flash-1017"):
    resp = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": "Find the bug: def mean(xs): return sum(xs) / len(xs) - 1"}],
        max_tokens=16000,
    )
    print(model, resp.usage.completion_tokens, resp.choices[0].message.content[:200])

每行输出是模型 ID、completion_tokens 和答案前 200 个字符。把单个 prompt 换成你的评估集,并为每个模型记录三件事:通过率、每个 prompt 的 completion_tokens、以及从 AIHubMix 请求日志读出的单次运行成本,而非按挂牌价估算。1017 是针对更短输出训练的,但还没有人拿它和 Pro 做过测量,你的日志将是第一个适用于你工作负载的测量。

completion_tokens 是 API 返回的用量字段,表示模型本次实际生成的 token 数,包含思考过程(若模型输出推理内容)但不包含输入。它对切换决策至关重要:一个模型通过率更高但输出冗长,单位任务成本可能反而更高。max_tokens 则限制单次回复的最大生成长度,设置过小会截断长答案并拉低通过率,设置过大则可能让冗长模型消耗更多 token。在同一评估集上比较两个模型时,应固定 max_tokens 并记录每次调用的 completion_tokens,再结合单价计算每次运行成本,而不是只看通过率数字。

会扭曲对比的几种失效模式

Flash 打印更多 token,看起来更贵。 单看 token 数不能决定成本。按上述价格,Pro 只有在使用约四分之一 Flash 的 token 量时才打平。比较之前先乘以单价。

同一次评估两次运行成本可能翻倍。 非高峰时段两个模型都半价。如果一个模型的运行落在高峰、另一个落在非高峰,成本差距就会减半或翻倍。让两者在同一价格窗口内背靠背运行。

图像用例在 Pro 上无法评分。 Pro 完全不接受图像输入,1017 可以。把截图、图表、UI 相关的用例从共享评估集中拆出去。如果你的工作流包含任何这类任务,答案已经不言自明。

你的科学 QA 工作负载没有 1017 分数。 GPQA Diamond 是 Pro(92.4)唯一胜过九月 Flash(90.9)的基准,而 DeepSeek 没有公布 1017 的该项成绩。如果科学问答是你的主要工作负载,迁移前先用自己的题目测试。

尚未被验证的部分

所有上述基准数字都来自 DeepSeek 自己,没有第三方复现。论文中的 Pro 列没有写明是 0813 构建,其 Terminal-Bench 2.1 分数与 0813 卡片吻合,因此这里按 0813 解读。1017 相对 Pro 的输出长度尚未测量,Artificial Analysis 的 62% 数字针对九月 Flash。两个模型的每任务 token 数同样没有公开数据,上文会话成本是基于假设的估算,而非实测。

决策规则

如果你有一条已在 Pro 0813 上验证过的生产流水线且这个月没有时间重跑评估,或者你的科学 QA 工作负载中 GPQA 差距已在自有测试中显现,那就保留 Pro。

对于编程 Agent、终端自动化、工具调用流水线、任何涉及图像的任务,以及任何并发重要的高流量场景,转向 Flash。

对于你一直依赖 Pro 更短、更密集答案的长文写作与分析,迁移前先测试。

没有截止日期逼迫你迁移:DeepSeek 的更新日志表示将继续提供 V4 Pro,且未宣布退役日期。AIHubMix 的对比页在你跑评估期间并列展示两个模型的规格与价格。

核心要点

  • DeepSeek 官方基准显示 V4.1 Flash 1017 在所有公布的编程与 Agent 指标上超过 V4 Pro 0813,同时输出价格仅为后者的约三分之一。
  • 一次假设性 Agent 会话估算中,Pro 成本约为 Flash 的四倍;Pro 需要以约四分之一 token 量完成同一任务才能打平,而现有冗长度数据不支持这一点。
  • 切换前必须在你自己的评估集上测量通过率、输出 token 数与单次运行成本,而非依赖官方数字。
  • 图像输入、并发上限(2500 对 500)和高并发成本场景是 Flash 的决定性优势;科学 QA(GPQA)是 Pro 唯一可能保留的阵地。
  • 所有基准均为 DeepSeek 自测,尚无第三方复现;1017 的输出长度与每任务 token 数仍是空白。
#DeepSeek V4.1 Flash 1017#DeepSeek V4 Pro#模型对比#API 定价#Agent 基准#编程模型#AIHubMix
分享:

相关推荐