RuneScape Bench：用MMO测试AI智能体的真实能力

当AI智能体（Agent）的评测还停留在网页导航、代码生成和办公自动化时，有人把目光投向了一个已经运营了二十多年的虚拟世界——RuneScape。Hacker News上出现了一个名为「RuneScape Bench: MMOs for Agents」的视频项目，提出用大型多人在线角色扮演游戏（MMORPG）作为智能体能力的测试场。这个思路的价值不在于多了一个跑分榜单，而在于它可能重新定义了「智能体够不够聪明」的衡量方式。

为什么是RuneScape，而不是又一个网页任务集

主流的Agent评测基准大多围绕确定性任务设计：点开链接、填写表单、调用API、在沙盒里写一段能跑通的代码。这些任务边界清晰、反馈即时，便于打分，但也因此把智能体训练成了「指令执行器」。RuneScape提供的是另一种环境：目标模糊、路径开放、反馈延迟。

在RuneScape里，一个角色要变强，可能需要先砍树攒材料、再锻造装备、然后去特定区域刷怪，过程中还要管理背包空间、评估风险、决定是否与其他玩家交易。这些步骤没有标准答案，任何一步判断失误都会在几十步之后才显现后果。这种长时序、部分可观测、且状态不可逆的特性，恰好对应了现实世界任务的核心难点。用游戏做基准，本质上是用一个足够复杂的模拟环境，去逼近真实场景中的不确定性。

RuneScape是英国Jagex公司于2001年推出的MMORPG，至今仍在持续更新运营，累积注册账号超过3亿。它最显著的特征是技能驱动的成长体系：玩家没有固定的职业或等级，而是通过重复练习伐木、采矿、锻造、钓鱼等二十余种技能来提升对应数值，技能之间又通过材料与成品形成依赖链。这种设计使得「变强」不是线性打怪升级，而是一张需要自行规划的资源网络。此外，RuneScape的客户端长期以点击式操作为主，界面信息密度高但自动化程度低，玩家社区也发展出了庞大的Wiki与攻略生态。对智能体评测而言，这意味着环境既有明确的可查询知识，又要求执行层面的精细操作，天然构成了「知道该做什么」与「能否做到」之间的落差，而这正是传统网页任务集难以复现的评测张力。

MMO作为Agent基准的三个技术看点

长程规划与记忆保持

RuneScape的技能系统天然要求长程规划。一个智能体若想完成某个复合目标，必须在数百个操作中保持对自身状态、资源库存和地图信息的记忆，并动态调整计划。这与当前多数基准只考察单步或短链任务形成鲜明对比，能够有效暴露智能体在长上下文下的「目标漂移」问题。

「目标漂移」指智能体在长序列执行中逐渐偏离最初目标的现象：随着上下文增长，早期设定的意图被中间步骤的局部反馈稀释，模型开始优化眼前的小目标而遗忘全局约束。在RuneScape这类环境中，目标漂移常表现为智能体反复采集同一种资源、在已完成子任务上打转，或忘记自己为何要前往某张地图。与之相关的是「记忆衰减」——当历史信息超出上下文窗口后被截断或压缩，智能体对自身库存、已完成进度和未完成承诺的追踪能力显著下降。当前多数基准的任务链只有几步到几十步，目标漂移几乎不会显现；而MMO任务动辄数百步，恰好把这一失效模式放大到可观测、可量化的程度，这也是把长程规划单列为评测维度的原因。

开放世界中的探索与决策

RuneScape没有预设的「通关路线」，任务解法往往有多种。智能体需要主动探索、试错并从失败中恢复，而不是沿着评测方写好的剧本走。这更接近真实业务中「没人告诉你下一步该做什么」的处境，也更能区分出具备自主决策能力的智能体和只会模式匹配的智能体。

经济系统与多智能体交互

作为MMO，RuneScape拥有玩家驱动的交易市场。如果让多个智能体同时进入这个世界，它们会自然产生资源竞争、议价、合作等行为。这为多智能体协作与博弈研究提供了一个接近真实社会的实验场，其复杂度和涌现性远高于静态的多智能体对话数据集。

「涌现性」在多智能体研究中指系统整体表现出的行为无法从单个智能体的规则中直接推导出来。当多个具备自主决策能力的智能体共享一个资源有限、规则统一的市场时，价格波动、分工形成、垄断与合谋等宏观现象会自发产生，而非由设计者预先编写。这类现象的价值在于其不可预测性：静态的多智能体对话数据集通常只规定角色和话题，交互结果高度受控；而玩家驱动的经济系统引入了真实的稀缺性与竞争压力，智能体的策略会在与其他智能体的反复博弈中被筛选和演化。研究者可以借此观察合作如何建立、信任如何崩塌、以及个体理性如何导致集体非最优，这些都是在封闭沙盒中难以稳定复现的研究对象。

这个基准可能暴露的问题

把游戏当作评测基准并非没有争议。RuneScape的界面操作繁琐，大量时间会消耗在机械性的点击和移动上，这会引入与「智能」无关的噪声，让评测结果部分取决于操作效率而非决策质量。此外，游戏规则会随版本更新而变化，基准的可复现性和长期可比性需要额外的工程维护。

更现实的问题是成本。RuneScape中的成长需要大量在线时间，如果智能体的任务周期以小时甚至天计，评测的算力与时间开销将远超传统基准。项目方是否需要设计加速机制或分阶段任务，会直接影响这个基准能否被社区广泛采用。

从Hacker News的讨论热度来看，这个项目的吸引力在于它指出了一个方向：智能体评测正在从「能不能完成任务」转向「能不能在复杂、开放、长期的环境中持续做出合理决策」。RuneScape只是一个载体，真正的问题是评测设计者愿不愿意放弃对确定性的执念，接受一个更接近真实世界的、混乱的测试环境。

「可复现性」是基准研究的基石：同一智能体在相同条件下重复评测应得到可比较的结果。游戏类基准在这一维度上面临特殊困难。一方面，MMO会随版本更新调整技能数值、地图布局和任务流程，旧评测记录在新版本下可能完全失效；另一方面，游戏世界包含其他真实玩家和随机事件，同一路径难以被精确重放。常见的缓解手段包括固定客户端版本、使用私有服务器快照、以及对随机种子和玩家干扰做隔离，但这些工程投入会显著抬高基准的维护门槛。若缺乏统一的版本锁定与回放机制，不同团队报告的成绩将难以横向比较，基准也就难以积累成社区共识。

对智能体研究的启示

如果MMO基准成为趋势，智能体的能力评估维度可能需要重构。传统的任务成功率不再是唯一指标，规划效率、错误恢复能力、资源管理水平和交互策略都会进入评分体系。这对模型训练也提出了新要求：智能体不能只学会「回答」，还要学会「在一个持续变化的世界里活着」。

RuneScape Bench目前仍是一个视频形式展示的早期探索，规模与标准化程度都还不足以称为成熟的基准。但它提出的问题足够锋利：当沙盒里的任务被智能体刷到饱和之后，我们该用什么来衡量真正的智能？也许答案不在更精巧的题库里，而在一个已经存在了二十多年、充满真实玩家的虚拟世界中。