[控场AI]
· 10 分钟阅读· 5,123 字

Muse Wonder与Opus 5.5同价:自家14项基准输9项

Muse Wonder与Opus 5.5同价:自家14项基准输9项

Meta 发布 Muse Wonder,价格与 Opus 5.5 相同却在自家基准测试中 5 胜 9 负。

Meta Superintelligence Labs 发布 Muse Wonder 与 Muse Wonder Full 两款模型,但只有 Muse Wonder 通过 API 提供,定价 $4/百万输入、$20/百万输出、$0.20 缓存输入,与 Claude Opus 5.5 完全一致;Muse Wonder Full 仅限 $50/月起订阅 Muse Code 的用户。在 Meta 自家 14 项基准测试中,Muse Wonder 对 Opus 5.5 为 5 胜 9 负,ProgramBench 差距最大达 20.5 分。Wonder 的胜利集中在长周期编程(DeepSWE、SWE-Marathon)、法律 Agent(Harvey LAB-AA)和记忆(MemoryBench),其中 DeepSWE 由第三方 Datacurve 测量最为可信。模型卡脚注也说明竞品运行属“尽力而为”,提示、工具和 harness 未针对竞品优化。独立机构 Artificial Analysis 给出 Wonder 智能指数 52、Opus 5.5 为 58,同时指出 Wonder 首 token 延迟 19.27 秒约为中位数 5.52 秒的 3.5 倍、输出 token 消耗也更高。

Meta Superintelligence Labs发布了Muse Wonder和Muse Wonder Full两款模型,但API只提供其中一个。更值得关注的是:你能调用的那个版本,定价与Claude Opus 5.5完全相同,却在Meta自家14项基准测试中输了9项。

两款模型,API只服务一个

据Meta新闻室和TechCrunch报道,Meta发布了Muse Wonder和Muse Wonder Full,称其为"最具能力的模型",在"个人和专业agentic任务上达到最先进性能"。

但只有一个版本提供API密钥:

  • Muse Wonder在Meta Model API上以muse-wonder-1.0提供,OpenRouter上为meta/muse-wonder。定价$4/百万输入token,$20/百万输出token。缓存输入报告为$0.20/百万。模型卡列出100万token上下文,支持文本、图像、视频和音频输入,文本输出。
  • Muse Wonder Full仅限Muse Code订阅用户。不通过API提供。$50/月的Power Usage计划包含它,$200的Maximum Usage层级在其之上。

Opus 5.5定价相同:$4输入/$20输出,$0.20缓存读取。GPT-6 Astra和Claude Fable 5.1均为$10输入/$50输出。

所以公平对决是Wonder对Opus 5.5——输入、输出和缓存价格完全一致。

关于 token 定价与缓存输入的说明:大模型 API 通常按处理文本的最小单位——token——计费,收费分为输入(你发给模型的提示、上下文)和输出(模型生成的内容)两档,输出通常更贵。本文中 $4/百万输入 token 意为每处理 100 万个输入 token 收费 4 美元。缓存输入(cached input) 是提示缓存(prompt caching)机制:当多次请求共享相同的前缀(如固定的系统提示、长文档)时,服务商可复用已计算的中间状态,从而以远低于常规输入的价格计费,$0.20/百万即约为标准输入价的 1/20。由于 agent 循环会反复发送相同的上下文与工具定义,缓存命中率直接决定实际账单,这也是为什么各家把缓存价格单列对比。

Meta的记分卡:逐行分析

以下数字来自Meta模型卡,均为最大推理努力设置。最后一列是Muse Wonder(API版本)对Opus 5.5的结果:

基准测试Wonder FullWonder (API)Opus 5.5Wonder vs Opus
个人超级智能指数59.154.355.2负
Harvey LAB-AA(法律)13.110.04.2胜
Vals金融Agent V259.156.658.6负
HealthBench Pro62.360.565.6负
AutomationBench-AA45.439.141.2负
GDP.pdf33.230.830.6胜
JobBench75.370.575.4负
OSWorld V2.178.472.681.8负
MemoryBench85.585.681.5胜
Terminal-Bench 4.057.152.059.6负
DeepSWE 1.179.078.874.2胜
SWE-Marathon57.553.146.3胜
ProgramBench59.050.070.5负
AA智能指数565258负

统计最后一列:5胜9负。

差距有大有小。ProgramBench是最大差距:50.0对70.5,Opus领先20.5分。OSWorld V2.1输9.2分,Terminal-Bench输7.6分,HealthBench Pro输5.1分。也有些接近的:个人超级智能指数仅差0.9分,Vals金融差2.0分,AutomationBench差2.1分。

Meta模型卡数据的哑铃图:Muse Wonder(API)和Opus 5.5在全部14行上的对比

关于“最大推理努力”与基准测试:“推理努力(reasoning effort)”指模型在回答前进行多少内部思考——思考越久,通常准确率越高,但延迟和 token 消耗也越大。厂商表格常标注为“最大努力”模式,意味着该成绩是模型以最慢最贵的配置跑出的,日常调用往往达不到这个水平。基准测试方面,常见几类:SWE-Bench 类考察真实软件仓库的缺陷修复;Terminal-Bench 考察在命令行环境中执行多步任务;OSWorld 衡量在图形操作系统里完成操作的能力;HealthBench 评估医学问答。厂商自建基准(如 Meta 的“个人超级智能指数”、MemoryBench)因数据不公开、且常由自家 LLM 充当裁判,可比性弱于第三方基准(如 Datacurve、Artificial Analysis),阅读时需区分来源。

Wonder在哪里获胜

五场胜利中,GDP.pdf以30.8对30.6仅领先0.2分——在厂商表格上这基本算平局。其余四场值得关注:

长周期编程任务。 DeepSWE 1.1上,Wonder得分78.8对Opus的74.2。模型卡脚注说明,Wonder、Wonder Full和Opus 5.5的DeepSWE结果都来自第三方Datacurve。这是表格上最干净的胜利:同一个外部来源测量了两个模型。

SWE-Marathon是Wonder对Opus的最大差距,53.1对46.3,来源是Abundant AI。但脚注补充:Astra和Fable使用Codex和Claude Code运行,"此行不是受控的通用harness对比"。这是一个有力信号,但带星号。

法律Agent任务。 Harvey LAB-AA上,Wonder得分10.0对Opus的4.2,翻了一倍多。但看绝对数字——全行最高分是Wonder Full的13.1,所有模型得分都低。如果你在做法律工具,这值得测试。

记忆能力。 MemoryBench上,Wonder得分85.6对81.5。这是Meta内部基准,使用LLM评判。Meta构建、Meta运行、模型评分。它与Meta的Active Memory功能一致,但应作为厂商数据看待。

注意编程胜利的位置:都是长周期任务行。Terminal-Bench和ProgramBench则分别输给Opus 7.6分和20.5分。

脚注透露了什么

模型卡中四行脚注改变了表格的解读方式:

  1. 分数选择方式:"存在可比的第三方或提供商报告结果时,我们使用它;否则使用内部验证运行、自报分数或官方排行榜分数中的最高值。"没有外部数字时,表格取三个中的最高分。

  2. 竞品运行是尽力而为:"内部生成的竞品运行在实际可行时使用通用设置,但仍是尽力而为:提示、工具和运行时可能未针对专有模型优化。"

  3. Harness混合使用:DeepSWE混合了Datacurve运行、OpenAI的Astra提供商数据和Anthropic的Fable系统卡。SWE-Marathon比较的是不同agent harness中的模型。

  4. 头条模型设置不同:表格标注为最大推理努力,但Wonder Full在SWE-Marathon的57.5分"以xhigh推理努力报告"。

另外,个人超级智能指数和MemoryBench都是Meta内部基准。限制部分明确说明:"性能可能因量化、服务配置、提示、工具和agent harness而变化。"

独立验证

Artificial Analysis给Muse Wonder的智能指数为52,在219个模型中排名第9。Opus 5.5为58,AA称其为"我们测量到的最高分,领先数分"。Astra得分53,Wonder Full得分56。

比Opus低6分,价格相同。

公平地说,AA指出Muse Spark 1.3得分48,距Wonder仅6周发布时间。六周内提升4个指数点相当陡峭。

操作层面的数据在放入agent循环时更关键:

指标(Artificial Analysis)Muse Wonder可比模型
首token延迟19.27秒中位数5.52秒
运行索引的输出token130M中位数85M
输出速度83.0 tokens/秒无
每智能指数任务成本$4.52无

编程agent每个任务多次调用。AA测量首token延迟19.27秒,约为5.52秒中位数的3.5倍——在agent循环中这个等待会重复。130M输出token对比85M中位数意味着更多账单落在$20那一侧。

早期反馈也呈现分歧。Hacker News线程中有人发现图像转HTML测试"比Opus 5.5差很多",另一人称其"在真实世界性能上仍落后整整一代"。也有人热情支持。这些都应作为轶事看待。Handy AI报道Meta的Alexandr Wang称API定价将"显著低于"竞品——对$10/$50的Astra和Fable确实如此,对Opus 5.5则完全一致。

关于 Agent 循环与运行指标:Agent(智能体)的工作方式是让模型不断“思考—调用工具—观察结果”循环往复,直到任务完成,因此一次任务可能触发几十次 API 调用。在这种模式下,单次请求的首 token 延迟(TTFT,Time To First Token) 会被反复累加——每次调用都要等模型吐出第一个字,19.27 秒的等待乘以循环次数会成为显著瓶颈。输出 token 消耗量 同样被放大:AA 统计 Muse Wonder 完成一整套运行索引任务需输出 130M token,远高于同类中位数 85M,叠加 $20/百万输出价,意味着单任务成本更高。每智能指数任务成本 则是把花费除以“智能指数”得分,衡量性价比。这些指标共同说明:基准分数接近的模型,在真实 agent 流水线里的可用性和开销可能差距很大。

结论

Wonder是真正的前沿级模型,在独立指数上219个模型中排名第9。但在$4/$20价位,Opus 5.5在Meta自家大部分行上是更好的选择,而能击败Opus的Wonder版本需要$50/月的Muse Code计划。Wonder在四个场景值得测试:

  • 长周期编程agent团队:DeepSWE和SWE-Marathon是其最佳行,且DeepSWE数字来自第三方。
  • 法律Agent开发者:Harvey LAB-AA是10.0对4.2的差距。
  • 当前使用Astra的金融Agent开发者:Wonder在Vals金融Agent V2上击败Astra,56.6对53.5,价格不到一半。Opus 5.5在Wonder价位得分58.6,两个都值得测试。
  • 需要$4/$20价位100万token上下文的用户:多一个同价位提供商选择。

基准领先是运行自己测试的理由。在法律或金融工作中,无论哪个模型输出,仍需专业审查。

#Muse Wonder#Opus 5.5#Meta AI模型#基准测试对比#AI模型定价#Artificial Analysis
分享:

相关推荐