基准
3DCodeEdit
评估语言模型通过自然语言指令编辑Blender 3D程序代码能力的基准，包含2,592个任务，覆盖参数修改、结构变更、风格重设计和场景组合，以渲染结果对照人工检查清单评判。
时间轴 (近 90 天)
10月30日
研究者推出了3DCodeEdit，一个包含2,592个指令引导编辑任务的基准，覆盖108个完全用代码构建对象的Blender程序。
待验证50%
10月30日
3DCodeEdit的任务类型包括参数修改、结构变更、风格重设计以及场景组合。
待验证50%
10月30日
3DCodeEdit的评判方式是从渲染结果出发，对照经过人工审核的检查清单进行评判。
待验证50%
10月30日
研究者测试了17个模型在3DCodeEdit上的表现，平均成功率只有37%。
待验证50%
10月30日
表现最好的模型在结构编辑和风格编辑上的完成率也不到60%。
待验证50%
10月30日
在3DCodeEdit的多轮反馈实验中，来自独立审查模型的反馈（描述渲染结果与请求之间的差异）效果最好，优于提高推理强度和使用智能体框架。
待验证50%
10月30日
3DCodeEdit基准暴露了当前模型在结构编辑和风格编辑上的普遍不足。
待验证50%
全部知识事实 (7)
待验证
研究者测试了17个模型在3DCodeEdit上的表现，平均成功率只有37%。
50%待验证3DCodeEdit的任务类型包括参数修改、结构变更、风格重设计以及场景组合。
50%待验证3DCodeEdit的评判方式是从渲染结果出发，对照经过人工审核的检查清单进行评判。
50%待验证3DCodeEdit基准暴露了当前模型在结构编辑和风格编辑上的普遍不足。
50%待验证表现最好的模型在结构编辑和风格编辑上的完成率也不到60%。
50%待验证在3DCodeEdit的多轮反馈实验中，来自独立审查模型的反馈（描述渲染结果与请求之间的差异）效果最好，优于提高推理强度和使用智能体框架。
50%待验证研究者推出了3DCodeEdit，一个包含2,592个指令引导编辑任务的基准，覆盖108个完全用代码构建对象的Blender程序。
50%