基准
DishwasherBench
一个评估前沿AI模型空间推理能力的基准测试,要求模型判断洗碗机中锅碗瓢盆的正确摆放方式,涉及三维空间约束下的优化问题。
时间轴 (近 90 天)
10月13日
DishwasherBench 是一个新出现于 Hacker News 的 AI 基准测试,用于让前沿模型判断洗碗机如何装载。
待验证50%
10月13日
DishwasherBench 要求模型通过视觉输入和常识进行三维空间推理,涉及锅具层位、碗口朝向、杯子倾斜角度、刀叉篮分区及物体遮挡等约束。
待验证50%
10月13日
如果基准只能判定'和参考方案是否一致',那它测的就不是空间推理能力,而是对齐度。
待验证50%
10月13日
DishwasherBench 接下来需要回答的核心问题是评分体系能否保持稳定,即如何处理装载洗碗机没有唯一正确答案的情况。
待验证50%