Grid-Bench：LLM能否预测离散世界的变化？

大型语言模型在文本生成和推理任务上表现亮眼，但当任务变成"预测一个离散世界在若干操作后变成什么样"时，它们还能保持同样的水准吗？一篇新论文通过名为 Grid-Bench 的可执行基准，对这一问题给出了相当细致的回答。

什么是 Grid-Bench

Grid-Bench 的核心设定并不复杂：用一个二维、三维或四维网格表示一个离散世界，然后对这个世界依次施加若干空间操作——移动物体、变换区域、修改周边环境等。每个操作都作用在前一步留下的配置之上，初始网格、显式规则和以文本形式给出的操作历史一并交给模型，要求它预测出完整的最终网格。

真正让这个基准有分量的是它的"可执行"属性。研究者用参考执行器真实运行这些操作，因此模型输出的每一个格子值都可以被逐一核对。这意味着一件事：模型不只是被问"你觉得会变成什么"，而是被精确地检验"你算对了吗"。这种设计把空间操作预测从模糊的感知任务，变成了可量化、可复现的精确计算任务。

可执行基准（Executable Benchmark） 是小本文中决定 Grid-Bench 可信度的关键设计。在传统基准中，模型输出通常与人工标注的"标准答案"比对，但标注本身可能含歧义、错误或覆盖不全；可执行基准则要求研究者提供一个能真实运行任务的参考执行器（Reference Executor），由它在给定输入上执行操作、产生确定性的输出，模型预测值再与这一输出逐项比对。由于执行器是代码，其行为完全可复现、可审计，不存在"标注者理解不同"的问题。这种范式在代码生成（单元测试即执行器）、SQL 生成、数学求解等领域已较成熟，但在空间推理任务上尚不多见，Grid-Bench 相当于把"跑起来看对不对"的思路迁移到了离散世界预测。

历史越长，模型越容易"崩"

研究者用 Grid-Bench 评估了六个 LLM，结果揭示了一个清晰的趋势：随着操作历史变长，完整状态的预测准确率急剧下降。

这个发现本身不算意外——序列越长，误差累积的机会越多，中间任何一步出错都会污染后续所有步骤。但研究还揭示了一个更微妙的对比：在单事件任务上表现相近的模型，一旦进入多步历史，彼此之间的差距就会显著拉开。换句话说，"单步表现"几乎无法预测"多步表现"。

这对评估实践有直接启示。如果只用短序列或单操作任务来排名模型，得出的结论很可能在真实的长链空间推理场景中失效。

准确率相同，错误分布可能完全不同

论文指出了一个容易被忽视的问题：两个模型在精确匹配准确率上可能旗鼓相当，但在共享的测试实例上，它们出错的格子数量可能相差悬殊。

这提示我们，单一的整体准确率指标会掩盖模型在"错得有多离谱"上的差异。一个模型可能只在少数实例上失败，但每次都错得面目全非；另一个模型可能在更多实例上失败，但每次只错一两个格子。对于需要部分正确结果的场景——比如辅助规划或状态预估——后者可能反而更有用。Grid-Bench 通过记录每个格子的正确与否，让这种差异变得可测量。

精确匹配准确率（Exact Match Accuracy） 指的是模型输出的整个网格与参考网格逐格完全一致才算该实例通过，哪怕只错一个格子也视为失败。这一指标严格但粗糙：它把"差一格"和"错得面目全非"同等对待，也把一个实例内部的错误累加为 0 或 1 的二值结果。当样本量有限时，几个不同模型可能因"错的恰好是不同实例"而落在同一准确率上，但它们的错误格子总数（per-cell error count）、错误是否集中在特定区域或特定操作类型上，却可能大相径庭。Grid-Bench 记录逐格正确性，相当于在精确匹配之外额外提供了部分得分（partial credit） 视角，使评估从"对/错"升级到"错在哪儿、错多少"，对辅助规划等需要中间状态的场景尤其有参考价值。

长历史下的"部分恢复"能力

即便在长历史任务中，部分模型的表现也值得注意。研究表明，一些模型能够在长序列中捕捉到相当多正确的变化，其表现明显超过"直接复制初始状态"这一基线。

这意味着模型并非完全在"瞎猜"。它们确实在执行某种空间操作追踪和状态推演，只不过这种能力在长链上会逐渐衰减。这个发现对理解 LLM 的内部机制有参考价值：模型似乎掌握了一定的"离散状态转移"能力，但还远不足以稳定地完成多步精确推演。

复制初始状态基线（Copy-Initial-State Baseline） 在长历史任务中是一个重要的对照锚点。由于多步操作后网格往往只在局部发生改变，整体格局常与初始状态相似，一个"什么都不做、直接输出初始网格"的平凡策略在格级准确率上就能取得不低的分数。若模型表现仅与该基线持平，说明它没有真正追踪状态转移，只是被"大部分格子碰巧没变"的统计规律"蒙对"了。研究者因此需要模型明显超越这一基线，才能证明其确实在做状态推演而非静态复制。这也解释了为何 Grid-Bench 要报告格级指标：单看精确匹配，平凡策略的得分会很低；但看格级准确率，基线就变得有威胁，反而更能揭示模型是否真正在"计算"。

为什么这个基准值得关注

空间指令、状态变换、多步操作——这些任务在机器人规划、游戏状态推演、代码执行模拟等场景中随处可见。Grid-Bench 的价值在于它把这些任务抽象成了一个干净、可验证的测试床。

所有预测值都能被参考执行器检查，这让不同空间操作类型、不同历史长度、不同工作负载之间的比较成为可能。对于想要评估或改进 LLM 空间推理能力的研究者来说，这是一个比"问答准确率"更精细的度量工具。

目前的结果显示，LLM 在离散世界的多步变化预测上仍有明显短板，而 Grid-Bench 恰好把这些短板暴露在了可测量的光线下。