Grid-Bench
一个用于评估大型语言模型离散空间状态预测能力的可执行基准，通过二维至四维网格模拟离散世界，施加空间操作序列，要求模型预测最终网格状态，并使用参考执行器逐格验证输出正确性。
时间轴 (近 90 天)
研究团队发布了名为 Grid-Bench 的可执行基准，用于评估 LLM 预测离散世界多步操作后最终状态的能力。
Grid-Bench 使用二维、三维或四维网格表示离散世界，并对世界依次施加移动物体、变换区域、修改周边环境等空间操作。
Grid-Bench 通过参考执行器真实运行操作，模型输出的每个格子值都可被逐项核对，是可复现、可审计的精确计算任务。
研究者用 Grid-Bench 评估了六个 LLM，发现随着操作历史变长，完整状态的预测准确率急剧下降。
在单事件任务上表现相近的模型，一旦进入多步历史，彼此之间的差距会显著拉开，单步表现几乎无法预测多步表现。
Grid-Bench 通过记录逐格正确性，提供了部分得分视角，使评估从对/错升级到错在哪儿、错多少。
LLM 在离散世界的多步变化预测上仍有明显短板，其空间操作追踪和状态推演能力在长链上会逐渐衰减。
全部知识事实 (7)
研究者用 Grid-Bench 评估了六个 LLM，发现随着操作历史变长，完整状态的预测准确率急剧下降。
50%待验证Grid-Bench 使用二维、三维或四维网格表示离散世界，并对世界依次施加移动物体、变换区域、修改周边环境等空间操作。
50%待验证Grid-Bench 通过参考执行器真实运行操作，模型输出的每个格子值都可被逐项核对，是可复现、可审计的精确计算任务。
50%待验证LLM 在离散世界的多步变化预测上仍有明显短板，其空间操作追踪和状态推演能力在长链上会逐渐衰减。
50%待验证在单事件任务上表现相近的模型，一旦进入多步历史，彼此之间的差距会显著拉开，单步表现几乎无法预测多步表现。
50%待验证Grid-Bench 通过记录逐格正确性，提供了部分得分视角，使评估从对/错升级到错在哪儿、错多少。
50%待验证研究团队发布了名为 Grid-Bench 的可执行基准，用于评估 LLM 预测离散世界多步操作后最终状态的能力。
50%