CAD World
首个面向机械CAD长流程工作流的计算机操作基准，包含200个任务，覆盖11个工作流类别，评测计算机操作智能体在专业CAD软件上的自动化操作能力
时间轴 (近 90 天)
CAD World是首个面向机械CAD长流程工作流的计算机操作基准
在CAD World的200个任务测试中，最强的GPT-5.4成功率仅有17.5%
在CAD World基准中，人类专家的成功率是87%，平均仅需26.5步
CAD World测试了七个主流计算机操作智能体
GPT-5.4在CAD World上完成率62.5%、平均动作步数104.6步，成功任务平均需46.9步
Opus-4.8在CAD World上成功率16%、平均成本10美元一个任务
Kimi K2.6在CAD World上成功率为7.5%，OpenCUA为1.5%，另有两个模型成功率为0
CAD World包含200个任务，覆盖11个工作流类别、183个不同知识点
CAD World中草图类有63个任务、零件建模类有77个任务
CAD World选用开源的FreeCAD作为运行环境，FreeCAD跑在预构建的Ubuntu虚拟机中，用Docker和QEMU管理
还有 3 条时间轴事件
全部知识事实 (13)
CAD World是首个面向机械CAD长流程工作流的计算机操作基准
50%待验证在CAD World的200个任务测试中，最强的GPT-5.4成功率仅有17.5%
50%待验证在CAD World基准中，人类专家的成功率是87%，平均仅需26.5步
50%待验证CAD World测试了七个主流计算机操作智能体
50%待验证GPT-5.4在CAD World上完成率62.5%、平均动作步数104.6步，成功任务平均需46.9步
50%待验证Opus-4.8在CAD World上成功率16%、平均成本10美元一个任务
50%待验证Kimi K2.6在CAD World上成功率为7.5%，OpenCUA为1.5%，另有两个模型成功率为0
50%待验证CAD World包含200个任务，覆盖11个工作流类别、183个不同知识点
50%待验证CAD World中草图类有63个任务、零件建模类有77个任务
50%待验证CAD World选用开源的FreeCAD作为运行环境，FreeCAD跑在预构建的Ubuntu虚拟机中，用Docker和QEMU管理
50%待验证CAD World的标注和验证过程花了约三个月、1300人时，指令中位数长度63个词
50%待验证CAD World中每个任务最大限制为100步，智能体不能直接访问文件或调用API
50%待验证随着模型能力提升，CAD任务的失败阶段会往后移而非直接消失，强模型的失败原因变为文档结构错误、几何错误、建模流程错误
50%