[控场AI]
基准CueClash基准

CueClash

用于评估视觉语言模型三维空间推理能力的基准,通过渲染场景分离2D图片平面线索与3D真实布局,量化模型对2D捷径的依赖程度

时间轴 (近 90 天)

11月18日

新基准CueClash通过渲染场景,让五种空间关系的2D线索在恰好一半的陈述中正确、另一半错误,从而量化视觉语言模型对2D捷径的依赖。

待验证50%
11月18日

研究者定义了“捷径差距”:当2D线索正确时的准确率减去线索错误时的准确率。

待验证50%
11月18日

对于Claude Opus 5.5、GPT-5.5和Gemini 3.6 Flash(低推理强度),捷径差距高达+18到+37个百分点。

待验证50%
11月18日

即使排除两个因遮挡或边界情况而混淆的关系,捷径差距仍为+7到+29个百分点。

待验证50%
11月18日

当直接给定地面坐标和关系定义时,三个模型(Claude Opus 5.5、GPT-5.5和Gemini 3.6 Flash)的回答准确率达到99%到100%。

待验证50%
11月18日

CueClash的研究表明,即使是最前沿的模型,在低推理强度下仍表现出显著的捷径依赖,真正的3D理解需要专门的架构和训练策略,而非仅仅扩大参数规模。

待验证50%

全部知识事实 (6)

来源文章