[控场AI]
基准

DishwasherBench

一个评估前沿AI模型空间推理能力的基准测试,要求模型判断洗碗机中锅碗瓢盆的正确摆放方式,涉及三维空间约束下的优化问题。

时间轴 (近 90 天)

10月13日

DishwasherBench 是一个新出现于 Hacker News 的 AI 基准测试,用于让前沿模型判断洗碗机如何装载。

待验证50%
10月13日

DishwasherBench 要求模型通过视觉输入和常识进行三维空间推理,涉及锅具层位、碗口朝向、杯子倾斜角度、刀叉篮分区及物体遮挡等约束。

待验证50%
10月13日

如果基准只能判定'和参考方案是否一致',那它测的就不是空间推理能力,而是对齐度。

待验证50%
10月13日

DishwasherBench 接下来需要回答的核心问题是评分体系能否保持稳定,即如何处理装载洗碗机没有唯一正确答案的情况。

待验证50%

全部知识事实 (4)

来源文章