CueClash
用于评估视觉语言模型三维空间推理能力的基准,通过渲染场景分离2D图片平面线索与3D真实布局,量化模型对2D捷径的依赖程度
时间轴 (近 90 天)
新基准CueClash通过渲染场景,让五种空间关系的2D线索在恰好一半的陈述中正确、另一半错误,从而量化视觉语言模型对2D捷径的依赖。
研究者定义了“捷径差距”:当2D线索正确时的准确率减去线索错误时的准确率。
对于Claude Opus 5.5、GPT-5.5和Gemini 3.6 Flash(低推理强度),捷径差距高达+18到+37个百分点。
即使排除两个因遮挡或边界情况而混淆的关系,捷径差距仍为+7到+29个百分点。
当直接给定地面坐标和关系定义时,三个模型(Claude Opus 5.5、GPT-5.5和Gemini 3.6 Flash)的回答准确率达到99%到100%。
CueClash的研究表明,即使是最前沿的模型,在低推理强度下仍表现出显著的捷径依赖,真正的3D理解需要专门的架构和训练策略,而非仅仅扩大参数规模。
全部知识事实 (6)
新基准CueClash通过渲染场景,让五种空间关系的2D线索在恰好一半的陈述中正确、另一半错误,从而量化视觉语言模型对2D捷径的依赖。
50%待验证研究者定义了“捷径差距”:当2D线索正确时的准确率减去线索错误时的准确率。
50%待验证对于Claude Opus 5.5、GPT-5.5和Gemini 3.6 Flash(低推理强度),捷径差距高达+18到+37个百分点。
50%待验证即使排除两个因遮挡或边界情况而混淆的关系,捷径差距仍为+7到+29个百分点。
50%待验证当直接给定地面坐标和关系定义时,三个模型(Claude Opus 5.5、GPT-5.5和Gemini 3.6 Flash)的回答准确率达到99%到100%。
50%待验证CueClash的研究表明,即使是最前沿的模型,在低推理强度下仍表现出显著的捷径依赖,真正的3D理解需要专门的架构和训练策略,而非仅仅扩大参数规模。
50%