[控场AI]
· 7 分钟阅读· 3,692 字

MiniMax M3.1 Flash对比DeepSeek与Claude Haiku:同一Bug修复实测

MiniMax M3.1 Flash对比DeepSeek与Claude Haiku:同一Bug修复实测

三款轻量模型正确性无差异,默认思考等级才是成本与延迟的真正分水岭。

AIHubMix 用一道含两个 Bug 的 Python 函数修复题、215 个隐藏测试,对 MiniMax M3.1 Flash、DeepSeek V4.1 Flash 1017 与 Claude Haiku 5.5 做了 12 次运行对比,结果全部通过,正确性拉不开差距。真正的差异来自默认思考预算:Flash 默认 max 档平均消耗 6,364 个思考 token、耗时 56 秒、单次成本 $0.0045,而 Haiku 仅 755 个思考 token、7.2 秒、$0.0007。Flash 调至 low 档后单次成本降到 $0.0006,成为最便宜配置,但 Haiku 仍最快。文章还提示了 Flash 默认档易触发超时、DeepSeek 的 none 无法清零思考、Haiku 超 10 万提示 token 后价格跳升等陷阱,结论是选型应先问默认档位再比价目表。

一场控制变量的便宜模型对决

当三家厂商的轻量级模型在数周内接连发布,选型问题就变得具体:同样的编程任务,谁更快、更稳、更省钱?据AIHubMix的实测,一个包含两个Bug的Python函数修复任务,在215个隐藏测试下,MiniMax M3.1 Flash、DeepSeek广告 V4.1 Flash 1017与Claude Haiku 5.5的12次运行全部通过。真正的差异不在正确性,而在默认思考预算带来的成本与延迟鸿沟。

MiniMax M3.1 Flash对比测试来源

三个模型的基本面

三款模型分别来自MiniMax、DeepSeek与Anthropic的廉价产品线,上下文窗口均为1M,但定价与能力取向不同。

指标MiniMax M3.1 FlashDeepSeek V4.1 Flash 1017Claude Haiku 5.5
输入/输出(每百万token)$0.165 / $0.66$0.155 / $0.62$0.10 / $0.50
缓存读取(每百万token)$0.0165$0.0031$0.01
最大输出512K384K128K
输入类型文本、图像、视频文本、图像文本、图像
默认思考等级max开启medium
开放权重尚未是(MIT)否

DeepSeek V4.1 Flash于9月10日发布,10月17日推出1017更新;Haiku 5.5于10月7日发布;M3.1 Flash以Space Bunny Alpha匿名运行后于9月27日定名,10月19日在AIHubMix开放按token调用。其免费试用周期间曾登顶OpenRouter日榜,领先DeepSeek V4.1 Flash。

上下文窗口指模型单次调用能容纳的最大 token 序列长度(含输入与输出),是衡量长文档、多轮对话或大代码库处理能力的关键指标。1M 上下文意味着理论可一次性读入约 75 万英文单词或数十万行代码。但需注意,大窗口并不等于大窗口下的经济性与稳定性:多数厂商会为超出常规长度的提示设置更高单价(即后文 Haiku 的“价格悬崖”),且长上下文中的有效检索能力通常弱于短上下文。此外,表中“开放权重”指模型参数可下载并本地部署,与仅提供 API 的闭源模型相比,在数据合规与成本结构上有本质区别。

测试方法:两Bug修复与215个隐藏用例

待测函数计算半开区间内订阅的活跃天数,存在两个缺陷:暂停区间超出周期末时会多减一天;重叠暂停会被重复扣除。原始函数仅通过215个测试中的138个。

评估器从模型回复中提取最后一个代码块,在隔离子进程中运行:15个手写边缘用例(相邻、嵌套、重复暂停、覆盖全周期、空周期、暂停从结束日开始)加200个固定种子的随机用例,后者与逐日计数的暴力参考实现比对。提示词只描述症状,要求输出修正后的完整函数。

实测结果:正确性拉平,成本由思考等级决定

三次运行、Chat Completions接口、max_tokens为32768,AIHubMix于10月19日测量:

模型与设置平均思考token平均输出token平均耗时平均单次成本测试通过
Claude Haiku 5.5(默认)7551,3237.2秒$0.0007215/215 ×3
DeepSeek V4.1 Flash 1017(默认)1,8232,14814.6秒$0.0014215/215 ×3
MiniMax M3.1 Flash(默认=max)6,3646,67356.3秒$0.0045215/215 ×3
MiniMax M3.1 Flash(low)5918899.5秒$0.0006215/215 ×3

关键读数:

  • 正确性无差异。12次修复全部完美,该任务无法区分模型质量。
  • 默认思考量相差约8倍。Flash默认消耗6,364个思考token,Haiku仅755个,这直接解释了前者默认成本约为后者的六倍。
  • Flash在low档最便宜。每千次修复$0.64,Haiku为$0.70,但Haiku仍更快。
  • 吞吐量。输出token除以实际耗时,Haiku约183 tok/s,DeepSeek约148 tok/s,Flash约112 tok/s。

按每千次修复计:Haiku约$0.70,DeepSeek约$1.35,Flash默认约$4.45、low档约$0.64。

第二项检查将五张支持工单分类到四个标签,各模型分别在默认与最低思考设置下运行。全部30个答案正确,每次调用成本均低于$0.0001;每次调用思考token为Flash 0–6个、Haiku 0个、DeepSeek约25个。

**思考 token(reasoning tokens)**是推理型模型在给出最终答案前生成的内部推理内容,通常不计入可见输出,但按输出 token 计费并显著拉长延迟。reasoning_effort 是控制这一预算的请求参数,常见档位为 none/low/medium/high/max,不同厂商的档位命名与默认值并不统一:有的默认关闭,有的默认拉满。这正是本次测试成本差异的根源——账单不仅取决于每 token 单价,还取决于“默认愿意想多久”。调优时应把 effort 视为与 temperature 同等重要的显式参数,避免依赖厂商默认值。

失败模式与规避建议

Flash默认设置像卡死。不传effort字段时M3.1 Flash以max等级思考,一个小修复平均耗时56秒,为快速模型调优的客户端超时会触发。应在每次请求中显式传入reasoning_effort,并从low起步。

DeepSeek的none不清零思考。在三分类提示下,DeepSeek在none与默认设置下均消耗约25个推理token,成本差异可忽略,但不要假设该路由下none会返回非思考回复。

Haiku的长提示价格悬崖。超过10万提示token后,Haiku 5.5按$0.50/$2.50计费。以30万token无缓存提示估算,仅计输入且假设高价适用于全部提示:Haiku成本300,000 × $0.50 ÷ 1M = $0.15,M3.1 Flash约$0.05,与DeepSeek相当,单次调用相差约3倍。大上下文调用应绕开Haiku或积极使用缓存。

促销价会漂移。DeepSeek V4.1 Flash 1017在AIHubMix的折扣价显示至10月25日,预算应按标价计算。

**提示缓存(prompt caching)**允许厂商复用此前已处理的相同前缀 token,缓存读取价格通常仅为正常输入价的 1% 至 10%。表中三家缓存读取价分别为 $0.0165、$0.0031、$0.01,差距明显。对反复携带同一长系统提示或代码库的调用,把稳定内容放在提示前部、动态内容置于末尾,可大幅提高命中率,从而削弱长提示的价格压力。但缓存通常有较短的有效期(数分钟至数小时),跨会话未必命中,预算时不宜过度乐观。

这项测试的边界

所有运行均通过,质量差异需要更难的多文件任务来区分。每种设置仅三次运行,样本量小,且思考长度在运行间波动明显。M3.1 Flash尚无公开基准,MiniMax未发布,Artificial Analysis也未收录;DeepSeek的基准分数来自其V4.1 Flash技术报告的自报数据;Haiku的Artificial Analysis分数43由OrcaRouter引用。通过AIHubMix的视频输入未在本次测试中验证,Haiku长提示的精确计费规则亦为估算。

选型建议

  • 真人等待、短提示:Claude Haiku 5.5。
  • 看重基准、自托管或真正的非思考模式:DeepSeek V4.1 Flash 1017。
  • 大上下文、长输出或视频输入,且显式设置effort:MiniMax M3.1 Flash,从low或medium档起步。

这次实测最值得记住的一条结论是:在这类短编程任务上,默认思考等级对账单的影响超过了每token单价本身。选型时先问默认档位,再比价格表。

#MiniMax M3.1 Flash#DeepSeek V4.1 Flash#Claude Haiku 5.5#AI模型对比#API成本#Bug修复#推理成本
分享:

相关推荐