VCIS-Bench
一个用于评测视觉语言模型(VLM)空间推理能力的合成基准测试,核心采用7×7网格谜题设计,包含整体方案验证、空间定位验证和步骤级错误诊断三项任务,考察模型的心理模拟与状态追踪能力
时间轴 (近 90 天)
VCIS-Bench(Visual Constraint & Instruction Simulation)是一位开发者构建的合成基准测试,使用7×7网格谜题考察VLM的空间推理能力
VCIS-Bench的7×7网格谜题包含智能体(A)、钥匙(K)、上锁的门(D)、目标点(G)和墙壁(#)等固定元素,智能体只能沿基本方位移动、不能穿墙,且必须先拿到钥匙才能解锁门抵达目标
VCIS-Bench测试围绕三项核心任务展开:整体方案验证(判断VALID/INVALID)、空间定位验证(核验物体坐标)和步骤级错误诊断(找出第一次违反规则的步骤序号)
Claude Sonnet 5.5在VCIS-Bench全部三项任务中都取得100%满分,总分为1.00
该基准测试的评测时间为2026年10月11日
测试结论显示真正拉开模型差距的不是视觉感知而是逐步模拟能力——判断对错相对容易,但在多步状态转移中定位错在哪一步对模型内部状态管理是更高数量级的考验
作者已将VCIS-Bench任务代码与可交互排行榜运行结果公开在Kaggle Benchmarks平台
全部知识事实 (7)
VCIS-Bench(Visual Constraint & Instruction Simulation)是一位开发者构建的合成基准测试,使用7×7网格谜题考察VLM的空间推理能力
50%待验证VCIS-Bench的7×7网格谜题包含智能体(A)、钥匙(K)、上锁的门(D)、目标点(G)和墙壁(#)等固定元素,智能体只能沿基本方位移动、不能穿墙,且必须先拿到钥匙才能解锁门抵达目标
50%待验证VCIS-Bench测试围绕三项核心任务展开:整体方案验证(判断VALID/INVALID)、空间定位验证(核验物体坐标)和步骤级错误诊断(找出第一次违反规则的步骤序号)
50%待验证Claude Sonnet 5.5在VCIS-Bench全部三项任务中都取得100%满分,总分为1.00
50%待验证该基准测试的评测时间为2026年10月11日
50%待验证测试结论显示真正拉开模型差距的不是视觉感知而是逐步模拟能力——判断对错相对容易,但在多步状态转移中定位错在哪一步对模型内部状态管理是更高数量级的考验
50%待验证作者已将VCIS-Bench任务代码与可交互排行榜运行结果公开在Kaggle Benchmarks平台
50%