3DCodeVerse:让AI编程智能体生成可编辑3D世界

3DCodeVerse提出将3D内容表达为可执行代码,并构建数据集、编码框架与指南三件套的研究生态。
3DCodeVerse是一项主张把3D内容表达为可执行程序而非静态网格的研究生态,包含三个部分:200万量级的可执行3D代码数据集3DCodeVerse-2M,多智能体DAG驱动的生成与修正框架3DCodeVerse Harness,以及3D编码实践指南。数据集强调程序可独立运行并附带验证记录,框架通过执行检查、空间测量和视觉反馈自动修正程序,无需人类反馈。实验表明,在3DCodeVerse上微调能显著提升开源模型的3D编码能力;由Claude Opus 5.5驱动时,该框架在成对人类评估中对Claude Design取得90%胜率。文章认为,代码即3D的路线在可编辑性、可验证性和可扩展性上具有明显优势。
引言:当3D创作变成写代码
让AI生成三维内容早已不是新鲜事,但大多数方案产出的是不可修改的"死模型"——一个网格文件,改不动、验不了、复用难。一项名为 3DCodeVerse 的研究提出了另一条路径:把3D内容表达为可执行的代码,让编程智能体(coding agent)在代码层面完成创作、验证与迭代。
该项目由研究团队构建为一套完整的研究生态,包含大规模高质量的可执行3D代码数据集、面向空间推理的编码框架(harness),以及针对3D编码的实践指南。其核心主张是:3D内容应当是"可编辑、可验证"的程序,而非黑箱式的静态资产。

可执行的代码作为3D内容表示,指的是用程序指令而非静态网格来定义三维结构。常见3D资产格式(如OBJ、FBX、GLTF)本质上是几何结果的快照,存储顶点、面片和材质数据,修改一处形状往往需要重新生成整个文件。可执行3D代码则不同:它描述的是生成几何的规则与参数,例如通过循环、布尔运算、参数化函数构造形状。运行这段代码就能得到3D内容,修改代码则得到变体。这种表示天然具备文本属性,可以被版本控制系统追踪、被diff工具比较、被程序化方法批量生成。代价是它要求生成方理解空间逻辑与编程语义,而非仅匹配几何分布,这也正是该研究设置空间推理编码框架的原因。
3DCodeVerse-2M:200万量级的可执行3D代码语料
生态的第一块基石是数据集。研究团队构建了 3DCodeVerse-2M,一个经过筛选的大规模独立可执行3D代码集合。
数据来源有三条路径:收集开源数据、转换专用表示格式,以及由编程智能体直接生成新程序。每条程序都打包了在声明环境中执行所需的源文件与关联资产,并附带可用的描述与验证记录。
这一点区别于常见的3D数据集:多数数据集存储的是几何结果,而3DCodeVerse-2M 存储的是能重新生成几何结果的代码。附带执行环境与验证记录意味着数据不仅有"内容",还携带"正确性证据",这对训练和评测智能体都至关重要。
独立可执行在这里是数据集质量的关键约束。3D代码通常需要依赖外部库、特定渲染引擎或全局变量,若这些依赖缺失,程序就只能片段式存在,无法被自动验证。3DCodeVerse-2M 要求每条程序连同所需源文件与资产打包,能在声明的环境中独立运行并产出可检查的几何结果。这类似于软件工程中的可复现构建:代码、依赖与运行说明齐备,任何智能体都能重新执行并观察输出。对训练而言,这种可执行性让奖励信号可以直接来自运行结果,而不必依赖人工标注;对评测而言,它让"程序是否真的生成了正确3D内容"变成一个可自动判定的客观问题。
编码框架:多智能体DAG驱动的生成与修正
第二部分是 3DCodeVerse Harness,一个用于生成和精炼3D内容的多智能体有向无环图(DAG)框架。
它会自动评估并修订生成的程序,依据三类信号:
- 执行检查:代码能否在目标环境中跑通
- 空间测量:产出的几何体在尺度、位置、结构关系上是否合理
- 视觉反馈:渲染结果是否与预期一致
关键在于,整个生成过程中不需要人类反馈。传统3D资产生产依赖美术人员反复调试,而该框架把"检查—修正"闭环交给智能体自动完成。DAG结构让不同环节的智能体可以按依赖关系组织,这也为后文的组件级分析提供了切分依据。
**有向无环图(DAG)**在此处描述的是一种任务编排方式。图中的每个节点代表一个智能体或一步操作,例如解析需求、生成初始代码、执行检查、根据空间测量结果修正参数等;有向边表示依赖关系——修正节点必须在执行检查之后运行,且结果只能沿一个方向流动,不允许形成循环。之所以强调无环,是因为循环可能让修正陷入无限自我迭代而无法收敛。DAG结构使生成流程模块化:可以定位是哪一环节导致了几何错误,也可以单独替换或增强某个节点,而不必重写整个流水线。文章后文提到的组件级分析,正是利用这种可切分的图结构来评估各环节的贡献。
实验发现:微调有效,框架表现亮眼
研究团队对3D编码展开了系统性实证研究,建立了基于微调开源模型的基线,并通过组件级分析给出了实践指导。
主要结论有两点。其一,在3DCodeVerse数据集上微调能显著提升开源模型的3D编码能力——这意味着数据本身具备可迁移的训练价值,而非只能服务于特定任务。其二,在成对人类评估中,由 Claude Opus 5.5 驱动时,3DCodeVerse harness 对 Claude Design(3D Object)取得了 90% 的胜率。
90%这一数字指向一个判断:在3D内容生成这个任务上,编写并验证代码的路线,在当前评估条件下明显优于直接产出三维对象的方案。不过需要注意,该对比的结论成立条件包括评估方式(成对人类偏好)与双方模型配置,读者不宜将其泛化到所有3D生成场景。
成对人类评估是一种偏好评估方法:向人类评判者同时展示两个系统对同一任务产出的结果,由评判者选择更优的一方,最终统计胜率。它衡量的是相对偏好而非绝对正确性,因此结果会受到任务分布、样本量和评判者标准的影响。90%胜率意味着在该实验设定的任务与评估者群体下,3DCodeVerse harness 的产出被显著更频繁地选中。但读者需要留意,这种对比的成立依赖于双方模型配置(Claude Opus 5.5 与 Claude Design 的对比)以及评估所覆盖的3D对象类型,不能直接推广到所有3D生成任务或所有用户群体。
为什么"代码即3D"值得关注
把3D世界当作代码来探索,带来几个直接好处。
可编辑性是最明显的一点:代码是文本,可以被diff、被版本管理、被局部修改,而不必重新生成整个模型。可验证性同样关键——执行检查与空间测量提供了客观判据,让"生成得对不对"有据可依,而不仅靠目视。可扩展性则体现在工具链上:既然输出是程序,那么程序生态里的一切调试、测试、复用手段都可以迁移过来。
这套思路也解释了研究团队为何要同时做数据集、框架和指南三件事:数据解决"学什么",框架解决"怎么做得对",指南解决"什么经验可复用"。三者互相支撑,缺一不可。
结语
3DCodeVerse 的价值不在于又造了一个3D生成模型,而在于提出并系统化了"3D内容即代码"这一范式:用可执行程序承载三维结构,用自动验证替代人工调参,用大规模数据把这条路走通。对关注AI编程与空间推理交叉方向的读者来说,这是一个值得持续跟踪的研究生态。
相关推荐

Workbuddy零基础入门:桌面AI智能体如何落地工作流
Workbuddy桌面AI智能体零基础教程解读:从安装、积分领取到文件管理与自动化工作流搭建,对比CodeX的适用场景与成本差异,帮助职场人完成从AI提问者到AI管理者的思维转变。

OpenAI智能体新栈:计算机操作、决策API与超速工作流
OpenAI Dev Day发布智能体新栈:Computer Use操作速度超越普通人,Decisions API基于Luna实现极低延迟分类,Agents API开放同源计算机操作能力,GPT-6.1 Sol成本仅为Astra七分之一。本文梳理核心更新、实测数据与开发者落地要点。

梁文峰开源推理框架DeepInfo,硬刚美国禁令
DeepSeek在开源模型后再开源推理框架DeepInfo,包含GPU/CPU交叉流水线、小模型预判大模型复核、华为昇腾与英伟达芯片全面适配等技术,直面美国联邦禁令。本文解析其对AI产业落地的意义与开源策略。