MC-EvoBench
在Minecraft环境中评测具身智能体经验驱动自我进化能力的基准，通过严格对照实验区分真实能力提升与资源跨任务搬运，使用TSR、WGP、VMP三项指标进行评估
时间轴 (近 90 天)
MC-EvoBench 是在《Minecraft》环境中构建的可控、可复现的评测基准，用于评估智能体的经验驱动自我进化
MC-EvoBench 采用固定任务目录，包含 19 条已注册的进化链，其中 12 条为主评测链，7 条用于校准和探针
MC-EvoBench 设计了三组图对齐的配对探针家族，用于考察能力迁移
MC-EvoBench 将每个任务建模为一张任务状态图，并定义阶段级别的环境验证器确认智能体是否达到某个中间状态
MC-EvoBench 只允许一个明确声明的智能体产物（artifact）跨越源—目标边界，以防止资源搬运干扰评测
MC-EvoBench 为每个探针设置四种源条件对比：无先验、相关、无关和打乱，并在匹配的环境步数预算下使用五个随机种子运行
MC-EvoBench 报告 TSR（任务成功率）、WGP（加权目标进度）、VMP（验证里程碑进度）三项核心评估指标
实验揭示控制器变体与带规划器变体之间存在一致的直接能力差距，说明规划能力影响表现
实验发现相关经验并没有产生稳定的能力迁移，没有改善任何一个工具探针的表现，所有置信区间都包含零
在木材种类任务上观察到微小增益，但高度依赖单个种子的偶然结果
还有 2 条时间轴事件
全部知识事实 (12)
MC-EvoBench 是在《Minecraft》环境中构建的可控、可复现的评测基准，用于评估智能体的经验驱动自我进化
50%待验证MC-EvoBench 采用固定任务目录，包含 19 条已注册的进化链，其中 12 条为主评测链，7 条用于校准和探针
50%待验证MC-EvoBench 设计了三组图对齐的配对探针家族，用于考察能力迁移
50%待验证MC-EvoBench 将每个任务建模为一张任务状态图，并定义阶段级别的环境验证器确认智能体是否达到某个中间状态
50%待验证MC-EvoBench 只允许一个明确声明的智能体产物（artifact）跨越源—目标边界，以防止资源搬运干扰评测
50%待验证MC-EvoBench 为每个探针设置四种源条件对比：无先验、相关、无关和打乱，并在匹配的环境步数预算下使用五个随机种子运行
50%待验证MC-EvoBench 报告 TSR（任务成功率）、WGP（加权目标进度）、VMP（验证里程碑进度）三项核心评估指标
50%待验证实验揭示控制器变体与带规划器变体之间存在一致的直接能力差距，说明规划能力影响表现
50%待验证实验发现相关经验并没有产生稳定的能力迁移，没有改善任何一个工具探针的表现，所有置信区间都包含零
50%待验证在木材种类任务上观察到微小增益，但高度依赖单个种子的偶然结果
50%待验证阶段级审计发现早期的木材采集和合成环节常成为瓶颈，智能体卡在前置步骤会导致后续高级能力无法被观测
50%待验证MC-EvoBench 的相关代码与数据已在 GitHub 开源，地址为 github.com/xzw-ustc/mc-bench-open-source
50%