DishwasherBench：前沿模型能堆好一个洗碗机吗？

AI 基准测试的版图又被拓宽了一块。一个名为 DishwasherBench 的新测试出现在 Hacker News 上，名字直白得有些荒诞：让前沿模型来判断，洗碗机到底该怎么堆。

为什么是洗碗机？

随手打开一个模型评测榜单，你会看到数学竞赛题、代码生成、法律考试、医学问答、博士级物理题。这些测试的共同特点是把智能压缩成文本输入和文本输出，模型只需要"回答"，不需要"动手"。

DishwasherBench 选择了另一条路。洗碗机装载这件事看似琐碎，却需要真实世界的空间推理：锅该放哪一层、碗口朝向、杯子的倾斜角度、刀叉篮的分区、大件与小件之间的相互遮挡。这是一个三维约束下的优化问题，而模型只能靠视觉输入和常识去拆解它。

把日常家务做成基准，背后的逻辑并不玩笑化。真实场景往往比考试题更能暴露模型的能力边界——它是否真的理解"物体之间的关系"，而不是在背训练数据里出现过的答案。

空间推理（spatial reasoning）是认知科学和 AI 研究中的一个核心概念，指主体在三维环境中对物体的位置、朝向、尺寸、遮挡关系以及运动轨迹进行表征和推断的能力。人类在处理这类任务时依赖的是直觉物理（intuitive physics）——一种无需公式即可预测物体如何相互作用的内隐知识。对模型而言，空间推理比文本推理困难得多，因为语言可以序列化地表示知识，而空间关系是并行且连续的。当前主流的多模态模型虽然能识别图像中的物体，但在需要追踪多个物体相互约束、预判运动后果的任务上仍频繁失败。这也是机器人学和具身智能（embodied AI）领域长期关注的瓶颈之一。

前沿模型在空间推理上的真实水位

这次测试最值得留意的不是分数高低，而是它揭开了一个模型圈长期回避的问题：语言能力与物理常识之间的落差。

模型能在论文摘要里准确解释热力学第二定律，却未必能判断一个深口锅放在洗碗机上层是否会挡住旋转喷淋臂。前者是文本模式匹配，后者需要在头脑中构建一个会转动的三维空间。

DishwasherBench 之所以有价值，正是因为它把评估锚定在一个模型无法靠"背"来解决的任务上。同一套物体、同一套规则、同一套约束，模型必须做出一系列相互影响的决策。任何一个局部的错误都会传导到整体——这和真实世界里的规划问题高度同构。

多模态模型（multimodal model）是指能够同时处理文本、图像、音频等多种输入形式的模型。与纯语言模型相比，它们理论上具备理解视觉场景的能力，因此被寄予厚望来处理空间任务。然而研究表明，多模态模型在视觉理解上存在明显的"语言捷径"现象：当图像信息与文本先验冲突时，模型往往优先依赖训练数据中的语言模式而非实际看到的画面。这意味着即便模型能准确描述洗碗机的照片，也未必能在头脑中模拟喷淋臂的旋转轨迹与锅具摆放之间的冲突。DishwasherBench 恰好将这种"看得见但推不出"的能力断层暴露出来。

基准测试正在从"应试"走向"做事"

如果把近两年的评测趋势拉成一条线，会看到方向性的变化。早期基准以知识问答为主，随后出现代码竞速、Agent 任务、网页操作，再到如今的家务模拟。评测对象从"模型知道什么"逐渐转向"模型能完成什么"。

这一转向的驱动力来自应用端。当 AI 开始被接入机器人、智能家居、自动化流程时，纯文本上的得分已经不能回答核心问题：它能不能在物理世界里做对一件小事？

DishwasherBench 属于这一波"具身化"评测的早期样本。它的题目看上去轻，但指向的问题很重——评估标准如果停留在纸面上，模型能力就会停留在纸面上。

具身化评测（embodied evaluation）是近年来 AI 评测领域的一个新兴方向，核心思路是让模型在模拟或真实的物理环境中完成任务，而非仅在文本空间里作答。具身智能的经典定义强调智能体需要通过身体与环境的交互来获取知识，这一理念正被引入模型评测。与传统的静态问答基准不同，具身化评测通常涉及动作序列规划、环境状态变化和因果关系推断，任务的正确性取决于最终的环境状态而非中间答案。这类评测的兴起与 AI 向机器人、智能家居、自动驾驶等领域的渗透直接相关，因为在这些场景中，"知道"和"做到"之间的鸿沟往往是决定产品成败的关键。

这类基准会走向哪里

家务场景天然适合做评测，因为规则明确、结果可验证、变量可控。洗碗机之后，大概率会看到更多类似设计：整理冰箱、叠放衣物、装箱搬运。它们共享一个特征——人类几秒就能判断对错，但机器需要完整的空间与物流推理。

真正的考验在于评分体系能否保持稳定。装载洗碗机没有唯一正确答案，堆得下、洗得干净、不遮挡喷淋臂，多种方案都成立。如果基准只能判定"和参考方案是否一致"，那它测的就不是能力，而是对齐度。这一点，可能是 DishwasherBench 接下来需要回答的问题。

对于关注模型真实能力边界的开发者和研究者来说，这类"不体面"的测试，反而比又一份学术榜单更值得追踪。