多模态决策模型能否驾驭魔兽世界？SageCraft的开源实验

一个在浴缸里诞生的疯狂实验

13天前，一位开发者在浴缸里冒出一个念头：多模态决策模型能不能玩《魔兽世界》？答案很有意思——“算是能吧”。

这个念头最终演变成了一个名为 SageCraft 的项目。它是围绕 Sage 决策模型构建的首个 harness（代理框架），目标明确且苛刻：完全依靠截图和键盘输入来玩 WoW，不修改任何游戏文件，不使用任何插件（add-ons）。整个系统只有三样东西——Sage 模型、harness 框架，以及模拟的键鼠操作。

开发者坦言自己是 Sage 背后公司 Levanto 的联合创始人之一，做这个项目一方面是想测试自家模型的极限，另一方面也是想看看：除了大家熟知的 LLM “电脑操作”能力之外，专门的决策模型（decision model）是否也具备同等的实战能力。

技术架构：截图进，键盘出

SageCraft 的运行逻辑并不复杂，但执行起来相当考验工程取舍。整个系统运行在 macOS 上，形成一个闭环：

1. harness 读取游戏画面截图和高层级的游戏状态（gamestate）
2. 同时读取 HUD（界面抬头显示）信息，并整理出一份“当前可执行动作列表”
3. 把这些信息打包交给 Sage 模型做决策
4. harness 校验模型的选择，然后执行对应的按键或点击
5. 循环往复

这里的关键设计哲学是**“harness 负责感知与执行，模型负责决策”**。开发者特意把一份可选动作清单喂给模型，而不是让模型凭空生成任意操作，这既提高了可靠性，也在无形中划定了模型自主权的边界。

值得一提的是，作者认为这套 harness 具有通用性——理论上可以替换成任何支持多模态的决策模型，并不局限于 Sage。这让项目的意义超出了单纯的产品演示，更像是一个可复用的实验范式。

HUD（Head-Up Display，抬头显示） 是游戏界面中叠加在主画面上的信息层，通常包含角色血量、法力值、小地图、技能栏、经验条等。在 SageCraft 的设计中，harness 需要从截图中解析 HUD 元素，将其转化为结构化的游戏状态数据（gamestate），再连同截图一起送入 Sage 模型。这一步骤在工程上并不简单——WoW 的 HUD 布局复杂，不同分辨率和界面缩放下坐标会发生变化，同时战斗状态、非战斗状态下显示的元素也有差异。这正是作者需要在每个会话之间手动修复 harness 问题的重要原因之一：视觉解析的鲁棒性直接决定了整个闭环能否稳定运转。

成绩单：矮人升到了5级

实验的量化结果颇具说服力，也足够诚实：

• 游戏中的矮人角色最终升到了 5级
• 全程消耗了 4,573 次决策
• 跨越 32 个游戏会话
• 累计 5小时29分钟 的实际游玩时间

这些数字背后藏着“算是能吧”这个限定词的真实含义。作者全程进行了监督，并在每个会话之间手动修复 harness 的问题。换句话说，这并非一个全自动、无人干预的 AI 玩家。

不过有一个亮点值得关注：最后 18 分钟，从4级后期到升满5级的过程，是在完全无人干预的情况下完成的。这意味着当 harness 的逻辑足够完善、环境足够稳定时，决策模型确实能够独立维持游戏进程。

真正的难题：逻辑该放在哪一边？

这个项目最有价值的讨论点，其实是开发者主动抛给社区的问题：在 harness 的硬编码逻辑和交给模型的自主决策之间，边界应该画在哪里？

这是所有 agent harness 构建者都绕不开的核心矛盾。把太多逻辑写进 harness，模型就退化成了一个执行器，失去了泛化能力；把太多决策留给模型，又会面临可靠性崩溃、决策次数暴增（4573次决策换5级就是明证）的问题。

SageCraft 选择的折中方案——提供可选动作列表 + harness 校验——是当前 agent 工程中比较主流的做法。但在像 WoW 这样状态空间庞大、实时性要求高的环境里，这条边界的最优位置仍然没有标准答案。

这一问题在 AI agent 研究中通常被称为 "工具使用粒度"（tool granularity） 或 "动作抽象层级"（action abstraction） 问题。如果 harness 提供的是高度抽象的原子动作（如"攻击最近敌人""走向目标点"），模型的决策压力降低但泛化空间受限；如果动作粒度细化到单次按键，模型则需要具备更长的规划视野才能完成有意义的行为序列。OpenAI 的 Operator、Anthropic 的 Computer Use 等项目同样面临这个取舍，目前业界普遍倾向于在中间层提供"可组合的宏动作"（macro actions），由 harness 保证执行可靠性，模型专注于意图层面的调度——SageCraft 的可选动作列表方案与这一趋势一致。

为什么这个实验值得关注

抛开“玩游戏”这个娱乐外壳，SageCraft 实际上触及了几个前沿命题。

第一，决策模型 vs 大语言模型的能力重叠。 过去一年，LLM 的“computer use”能力被反复强调。作者想提醒的是，专用决策模型同样能干这件事，甚至可能在特定场景下更高效。这对理解不同模型架构的适用边界很有启发。

第二，纯视觉+键盘的通用性。 不读取内存、不装插件、不改游戏文件，仅凭截图和模拟输入操作一个复杂3D游戏，这种“像人一样玩”的范式，正是通用智能体研究追求的目标之一。

第三，开源的价值。 作者公开了 harness 代码并录制了构建视频，这为其他研究者提供了可直接上手复现和改进的基础。他甚至半开玩笑地提到，暴雪（Blizzard）或许也该知道，除了 LLM，决策模型也有能力做这件事了。

决策模型（decision model） 与大语言模型（LLM）的核心区别在于训练目标：LLM 以语言预测为核心任务，决策能力是其涌现出的副产品；而决策模型通常基于强化学习或基于偏好的优化方法，直接以"在环境中选取最优动作"为优化目标，更贴近序列决策问题的本质。Levanto 的 Sage 属于后者范畴——此类模型在动作选择的延迟和 token 消耗上往往比通用 LLM 更高效，但在开放式语言理解和复杂推理上可能不及 GPT-4o 或 Claude 等模型。SageCraft 的价值之一，正在于提供了一个可量化对比的实验场景，让两类模型的能力边界更为清晰可见。

现实的边界

必须客观看待：目前的 SageCraft 还远谈不上“AI 独立玩转魔兽世界”。全程人工监督、会话间手动修复、5小时才升5级——这些都说明它仍处在非常早期的概念验证阶段。所谓“kinda”（算是能吧），是一个诚实而克制的自我评价。

但正是这种克制让项目更可信。它没有夸大其词，而是用真实数据展示了多模态决策模型在复杂交互环境中的潜力与局限。对于关注 AI agent 落地的开发者来说，这类“小而真”的实验，往往比宏大叙事更有参考价值。