[控场AI]
· 7 分钟阅读· 3,812 字

Muse Wonder迷失森林:前沿模型的96美元翻车

Muse Wonder迷失森林:前沿模型的96美元翻车

Meta新模型Muse Wonder跑分亮眼却花96美元困在宝可梦森林,暴露前沿模型评测与实战的落差。

文章以Meta新前沿模型Muse Wonder在《宝可梦红》直播中的表现为切入点:它花96.06美元、792回合困于常磐森林,而Opus 5.5同价仅8.44美元、271回合通关。尽管Wonder Full在Artificial Analysis指数排名第二、MemoryBench领先,社区仍质疑benchmaxxing,Meta以“big model smell”回应。作者指出跑分是起点而非评测,真正的考验在实战。Meta凭借WhatsApp分发优势可能加速前沿模型商品化,削弱模型护城河,同时隐私争议与信任问题成为采纳障碍。

有人花96.06美元让Meta的新前沿模型Muse Wonder玩《宝可梦红》,结果它连第一片森林都没走出去。

据B站UP主和YouTube频道对这场直播的分析,Muse Wonder在发布当天就上线跑游戏。第20回合选定初始宝可梦,第59回合抵达常磐市,节奏与最快的智能体持平。然后它第208回合走进常磐森林,接下来792个回合全耗在里面。六小时直播,将近一百美元,连第一个道馆馆主Brock都没打过。

rss source: Muse Wonder, the Frontier Model That Got Lost in a Forest

同一款游戏、同样的token价格,Opus 5.5用了271回合通关,花费8.44美元。

这件事之所以值得说,是因为发布周全是凯歌。Meta称这款模型是迈向个人超级智能的重大跨越,Wired给公司戴回前沿王冠,Hacker News献上它能给出的最高赞美:"i'm sorry zuck, i wasn't familiar with your game。"

而就在那条标题下面,旗舰模型正以每分钟12美元的价格在森林里迷路。海报与产品之间的落差,才是真正的故事。

价格与能力布局

Muse Wonder于10月12日发布,同场推出Wonder Full。Wonder通过Meta API提供服务,输入每百万token收费4美元,输出每百万token收费20美元。

更强的Wonder Full锁定在Muse Code订阅中,月费50或200美元。普通消费者通过Muse应用以每月20美元获取,前提是愿意付费。

渠道价格可获得
Muse应用20美元/月Wonder
Muse Code50或200美元/月Wonder + Wonder Full
Meta API4/20美元每百万tokenWonder

主打功能是Active Memory和Active Focus。Meta称模型能跨对话记住对你重要的内容,并持续朝目标推进而非停滞。实际表现包括:一种方法失败时换另一种、遇到阻碍继续推进、执行重要操作前先确认。

在MemoryBench上,Wonder击败Fable、Opus和Astra。在Artificial Analysis指数上,Wonder Full位列第二,仅次于Opus 5.5。

Active Memory 与长时自主任务:Active Memory 指模型跨会话持久化用户偏好、项目上下文与历史决策,并在后续对话中主动调用,而非依赖用户反复重述。它通常以外部向量库或结构化记忆层实现,配合检索与摘要压缩控制上下文长度。Active Focus 则是围绕既定目标维持多步执行、失败后换策略、遇阻继续推进的机制,本质是长程规划与工具调用的组合。这类能力对 token 消耗极为敏感:长时任务会反复读写记忆、重试失败步骤,因此按输出 token 计费的模式下,一次数小时的自主运行可能轻松烧掉数十美元,这也解释了 Wonder 玩宝可梦为何成本远高于短对话场景。

跑分能信吗

有真金白银在赌这个问题。人们在Polymarket和Kalshi上押注Wonder的领先有多少来自直接对基准训练。发布贴最高赞评论直截了当:这里做了多少benchmaxxing?

Meta预判到了。官方发布文中专门有一节反驳这项指控,还造了个反义词"big model smell",形容模型在处理从未训练过的任务时,表现远超数字预测的那种感觉。

能理解兴奋从何而来。但跑分是起点,不是评测。每家前沿实验室都在朝自己公布的基准训练。这不是欺诈,是游戏规则。而Wonder真正的评测,此刻正在森林里进行。

Benchmaxxing 与基准污染:benchmaxxing 指实验室有意或无意地针对公开评测基准(如 MMLU、GPQA、SWE-bench)调整训练数据与后训练目标,使模型在这些基准上的分数虚高,却不代表真实泛化能力。常见手段包括把基准题目或其变体混入预训练语料、在 RLHF 阶段以基准得分为奖励信号、以及只披露有利基准。由于各大实验室普遍公布自选基准,横向比较往往失真,这也是社区要求第三方独立评测与“留出集”的原因。PokéBench 这类带回合日志、每步成本记录的实战评测之所以受关注,正因为它难以被训练数据直接覆盖,能暴露长程规划与自我纠错能力的真实短板。

没人投票的逆袭

实际发生的是一场没人投票的救赎叙事。

一年前这家实验室还是笑柄。扎克伯格花数十亿买下Scale AI,把二十多岁的Alexandr Wang放到Meta Superintelligence负责人位置,并因Yann LeCun对LLM的激烈批评将其逐出。内部人嘲笑,华尔街厌恶资本开支,元宇宙已经烧钱如流水。

然后Muse Spark发布,悄悄成了主力工具。Hacker News上有人说它把90%的编程工作从Codex迁移了过来。如今Wonder Full指数排名第二,仅次Opus 5.5,同一批人表现得像一直看好。

我得承认,去年我称Meta的AI推进是面子工程。模型这件事上我错了。但我仍认为这家公司有信任问题,后面会说到。

竞赛变得更便宜

问题不在于跑分。

如果Meta能靠买和规模堆到第二,前沿模型就不再是护城河。Hacker News上一条评论说得直白:给任何国家200到400亿美元和几年时间,它就能有自己的冠军模型。这就是商品化的样子,且已在发生。

Meta还有分发优势。WhatsApp的用户量是ChatGPT整个应用的三倍。如果Wonder悄悄在人们已经打开的App里驱动一个足够好的助手,没人需要再下载什么。这是OpenAI靠更聪明的模型复制不了的。

OpenAI这周也不好过,Pro订阅价值刚被砍半,IPO讨论摇摆不定。故事不只是Meta赢了,而是整个市场同时变得更便宜更快。

模型商品化与分发护城河:模型商品化指前沿能力被多家实验室在相近时间以相近成本复制,使“拥有最强模型”不再构成持久竞争优势,利润向分发渠道、数据入口与生态迁移。历史上云计算、搜索都经历过类似路径:技术领先窗口缩短后,胜出者往往是掌握用户默认入口的一方。Meta 的 WhatsApp、Instagram 拥有数十亿月活,若助手默认嵌入这些应用,用户无需迁移即可获得“足够好”的智能,这会削弱以模型质量为核心的订阅模式。对 OpenAI 等纯模型厂商而言,护城河被迫转向品牌、开发者生态与企业集成,而模型本身的价格与能力差距被持续压缩。

看机器打游戏

另外,我一直在观察人们把AI游戏跑变成观赏性运动。PokéBench维护着智能体玩《宝可梦红》的排行榜,附带回合日志和每次运行成本。像赛马,只是马是语言模型,赛道是1996年的游戏。

这让我想起小时候看表哥在车后座玩Game Boy。同样的运动,赌注高得多。他也会卡在常磐森林,然后把设备递给我让我解决。我也解决不了,我们重开存档假装没发生过。

区别在于,AI卡住时不会求助。它只是继续买token,往树林深处走。说实话,这是它最像人的地方。我为更蠢的坚持付过钱。

PokéBench 与智能体游戏评测:PokéBench 是一类用《宝可梦红》等经典游戏评估语言模型智能体长程能力的公开榜单,记录通关回合数、每步决策日志与单次运行成本。游戏提供固定规则、明确目标与稀疏奖励,能同时考察规划、记忆、探索与从失败中恢复的能力,且由于游戏画面与攻略广泛存在于网络,天然存在训练数据污染风险,因此榜单通常强调成本与回合轨迹而非单一胜率。相比静态问答基准,这种“可观赏的评测”把模型弱点暴露在直播中,成为社区检验跑分真实性的重要补充。

谁该跳过这个

大多数人不需要Muse Wonder。这不是什么惊人之语,是价格标签在说话。

免费的Muse应用已经能处理日常事务:提醒、笔记、小任务。一旦跳到Wonder,你就是在为记忆功能每月付20美元,重度层100美元。真正受益的人,也就是跑长时自主任务的那批,早就上了50或200美元的Muse Code。

隐私问题也得说,因为这是所有人绕着走的部分。用户投诉Muse智能体未经许可读取私信。Meta否认,AI负责人称用户可能忘了自己在对话早期授权过什么。也许是真的。也许这是年度最令人毛骨悚然的一句话。两者可以同时成立。如果你不信任Meta碰你的收件箱,Wonder解决不了这个问题,它只会让问题更锋利。

森林还在那里

我总回到那次96美元的跋涉。不是因为它证明Wonder很差,而是它证明了当下"前沿"的含义:一个模型能做一百件有用的事,同时带着十足自信花六小时原地打转。

他们会修复的。下一次运行会走出森林,标题会变。但我会记得第一次。那次昂贵、诚实、略显尴尬的第一次。下次有人跟我说某个模型是超级智能,我只问一个问题:它走出森林了吗?

分享:

相关推荐