MC-EvoBench：审视Minecraft智能体的经验驱动自我进化

具身智能体能否把一次次交互留下的经验，真正转化为可以跨任务、跨世界复用的能力？这是递归式自我改进研究中一个长期悬而未决的问题。一个被保存的记忆、一次成功的最终动作，并不足以证明智能体真的习得了某种可复用的能力。MC-EvoBench 这项工作正是围绕这一核心命题展开，构建了一个在《Minecraft》环境中可控、可复现的评测基准。

问题的本质：能力提升还是资源搬运

评估具身智能体的自我改进，最大的陷阱在于混淆几种截然不同的现象。智能体在目标任务上表现更好，可能并非因为它学到了新能力，而是因为携带了源任务里积累的资源、获得了不对等的训练暴露，或者仅仅是早期执行失败掩盖了后续表现。

换言之，如果不加区分，很容易把「把工具带过来用」误判成「学会了造工具」。研究团队强调，严谨的评测必须把能力的真实变化与资源的跨任务搬运、源暴露不均衡以及早期执行瓶颈严格剥离开来，否则所谓的「自我进化」只是一种统计幻觉。

「递归式自我改进」（Recursive Self-Improvement）是指智能体通过与环境的持续交互，自动优化自身的策略或知识表示，使其在后续任务中表现更好的过程。在具身智能领域，这通常涉及智能体将过去经验编码为某种可复用的形式——例如代码片段、技能函数、记忆摘要——并在面对新任务时调取。Voyager、DEPS 等基于大语言模型的 Minecraft 智能体是这一方向的代表性工作，它们将成功执行过的行为抽象为「技能库」并持续扩充。然而这类工作普遍缺乏严格的对照实验，难以区分「智能体真正习得了可迁移技能」与「智能体只是在新场景中复用了旧资源或旧代码」这两种截然不同的情况。MC-EvoBench 正是针对这一评测空白而设计。

MC-EvoBench 如何设计这套对照实验

MC-EvoBench 采用了一个固定的任务目录，包含 19 条已注册的进化链，其中 12 条为主评测链，另有 7 条用于校准和探针。此外还设计了三组图对齐的配对探针家族，专门用于考察能力迁移。

基准的核心设计思路有几点值得关注：

• 任务状态图表示：每个任务被建模为一张任务状态图，并定义阶段级别的环境验证器，用来确认智能体是否真正达到某个中间状态。
• 源—目标角色匹配：为任务分配匹配的源角色和目标角色，并在进入目标任务前重置目标世界。
• 严格的边界控制：只允许一个明确声明的智能体产物（artifact）跨越源—目标边界，从而杜绝资源偷偷搬运带来的干扰。

对于每个探针，研究设置了四种源条件进行对比——无先验（no-prior）、相关（related）、无关（unrelated）和打乱（shuffled），并在匹配的环境步数预算下使用五个随机种子运行，报告 TSR、WGP、VMP 三项指标，同时保留完整的溯源记录。这种设计让「相关经验到底有没有用」成为一个可以被量化检验的命题。

TSR、WGP、VMP 是 MC-EvoBench 定义的三项核心评估指标，分别对应不同层次的能力衡量维度。**TSR（Task Success Rate，任务成功率）**衡量智能体最终完成目标任务的比例，是最直接的结果指标。**WGP（Weighted Goal Progress，加权目标进度）**则基于任务状态图中各阶段的完成情况进行加权计算，能够反映智能体在任务中走了多远，即便未能全程完成也能给出部分分数。**VMP（Verified Milestone Progress，验证里程碑进度）**进一步依赖阶段级环境验证器，只统计经过外部环境验证确认的中间状态，而非仅凭智能体自我报告，从而防止智能体「声称完成但实际未完成」的情况影响评分。三项指标结合使用，可以从结果、过程和可信度三个维度立体刻画智能体的表现。

关键发现：相关经验并未带来稳定迁移

实验结果给出了一个相当清醒的结论。基准揭示出控制器变体与带规划器变体之间存在一致的直接能力差距，这说明规划能力本身确实影响表现。

但真正耐人寻味的是迁移部分：相关经验并没有产生稳定的能力迁移。具体表现为——它没有改善任何一个工具探针的表现；在木材种类任务上虽有微小增益，却高度依赖单个种子的偶然结果；而且所有置信区间都包含零，意味着从统计意义上无法拒绝「没有效果」这一假设。

这一发现对当前许多宣称实现「经验驱动自我改进」的智能体研究是一记提醒：看似相关的历史经验，未必能转化为可泛化的能力。

阶段审计揭示的隐藏瓶颈

除了迁移结论，阶段级别的审计还暴露了另一个容易被忽视的问题。早期的木材采集和合成环节常常成为瓶颈，一旦智能体卡在这些前置步骤上，后续更高级的能力就根本没有机会被观测到。

这意味着许多评测中「智能体没学会某能力」的结论，实际上可能是「还没走到那一步」造成的假象。MC-EvoBench 通过阶段验证器把这类执行失败单独识别出来，避免它们污染对能力习得的判断。这种细粒度的归因，正是以往粗放式评测所缺失的。

Minecraft 中的木材采集与合成之所以成为系统性瓶颈，与该游戏的合成树（crafting tree）结构密切相关。绝大多数进阶物品——如石镐、铁锹乃至铁锭——都以木制工具或木制工作台作为前置依赖，形成一条必须按顺序解锁的合成链。这意味着若智能体在最早期的「砍树→制作木板→合成工作台→制作木镐」环节失败，后续所有更高级的技能都将永远无法被触发执行。在粗放式的整体评测中，这类前置失败会被统一记录为「任务失败」，无法与「智能体到达了对应阶段但技能本身不足」区分开来。阶段验证器通过在每个中间状态设置独立的环境快照检查点，将「还没走到」与「走到了但失败了」两类原因精确拆分，使研究者能够更准确地定位能力瓶颈的实际位置。

价值与意义

MC-EvoBench 的贡献不在于提出一个更强的智能体，而在于提供了一套可控、可复现、可溯源的测试平台，用来严肃地检验具身能力的持久性与可迁移性。它把「自我进化」从一个模糊的叙事，拉回到可被证伪的科学命题。

对研究者而言，这类基准的意义在于设立更高的证据标准：下一次当某个系统声称从经验中习得了可复用能力时，我们有了一把尺子去检验它究竟是真的进化，还是只是把旧资源换了个场景再用一遍。相关代码与数据已在 GitHub 开源（github.com/xzw-ustc/mc-bench-open-source），为后续工作提供了可直接复用的实验框架。