AI Agent评测：LFORLA JS 3D Builder排行榜如何给模型打分

TL;DR： 在这套评测体系里，AI Agent评测的含义被收窄到一件事——模型读取一份书面建筑规格，规划结构，挑选正确的Three.js构件，再组装出一个构建方案。每一个环节都用同一套评分标准来衡量所有模型。不执行代码。不请LLM当裁判。只有服务端对Agent生成的代码做静态分析。

一套不做执行的评测是怎么运作的

这个基准测试叫 JS 3D Builder (Three.js)，任务是程序化生成：从一份书面规格出发，模型需要用Three.js产出一个3D建筑。打分由服务端静态分析完成——评测器解析提交的代码，对照评分标准逐项检查。它不运行代码，也不让另一个模型来打分。

机制分五步：

1. 提示（Prompt）。 模型收到一份建筑的书面规格，描述几何形状、空间关系和所需构件。
2. 规划（Plan）。 模型必须先规划结构，再写代码。推理能力和空间类别在这一步体现。
3. 寻找构件（Source parts）。 模型需要选择并引用正确的Three.js图元和构造函数。选错构件就会丢分。
4. 组装构建方案（Assemble a build plan）。 模型输出构建建筑的代码，这段代码就是被评测的产物。
5. 对照评分标准打分（Score against the rubric）。 服务端静态分析按同一套标准检查代码，标准覆盖代码、推理、3D和空间四个类别。

关键的设计选择在于评分标准是固定的。每个模型都用同一种方式衡量，排行榜因此具备可比性。

静态分析与动态测试的区别。 静态分析指在不运行程序的前提下，通过解析源代码的语法树、符号引用和结构模式来判断其正确性。与之相对的动态测试需要实际执行代码并观察运行时行为。静态分析的优势是速度快、可复现、结果确定，不依赖沙箱环境，也不会因外部依赖缺失而失败；代价是它无法发现只有在运行时才暴露的问题，比如类型错误导致的崩溃、异步时序问题或某个Three.js API在特定版本下的行为差异。在这套评测里，静态分析还能规避执行任意模型生成代码带来的安全风险——毕竟评测器面对的是不可信输入。

Three.js 与程序化生成。 Three.js 是目前使用最广的浏览器端 WebGL 封装库，它把底层图形接口抽象成场景（Scene）、相机（Camera）、几何体（Geometry）、材质（Material）、网格（Mesh）等对象，开发者通过组合这些构件来描述一个3D世界。所谓程序化生成，是指场景不是由美术手工搭建，而是由代码按规则自动构造——这正好契合评测需求：规格是文字，产物是代码，中间不依赖任何资产文件。模型必须理解 BoxGeometry、CylinderGeometry、Group、Vector3 这类构件分别对应什么空间语义，才能把一份文字规格翻译成结构正确的场景图。选错构件，比如用平面代替立方体，即使代码能跑，空间含义也已经偏离规格。

真实分数摆在这里

模型	分数	提供方
Nemotron 3 Ultra（免费，通过opencode调用）	71.46666666666667	deepseek广告
GLM 5.2（作者自己的提交）	78.0	lforla

作者把自己的模型提交到了这个基准测试上，结果如上。GLM 5.2拿到78.0，Nemotron 3 Ultra拿到71.46666666666667。

分数差距背后的原因

差距不算大，但真实存在。70分出头的成绩意味着模型能产出可用的构建方案，但静态分析找得到缺口。这些缺口通常出现在空间推理上：模型把构件放在大致正确的位置，却错过了精确的空间关系。78.0分意味着这类缺口更少，代码与规格的一致性更高。

因为没有执行、没有LLM裁判，分数反映的是代码写出来的样子。一个写出看似合理代码但藏着细微空间错误的模型，分数会低于一个代码不够优雅但结构正确的模型。这正是静态分析的意义：奖励正确性，而非表现力。

类别划分同样重要。代码、推理、3D、空间都在打分范围内。一个模型可能擅长代码生成但空间推理薄弱，总分会把这一点暴露出来。这也是为什么在这个基准上做AI Agent评测，不只是一场编程测试，同时也是一场规划与空间测试。

空间推理为何是难点。 空间推理要求模型在内部维持一个连贯的三维坐标系心智模型：某个房间位于另一房间的东侧、某面墙与地面垂直、某开口朝向特定方位。这不同于纯代码生成，后者只需保证语法与逻辑自洽。模型常见失误包括：把相对位置写成绝对坐标而算错偏移量、在旋转与平移的顺序上出错、忽略父子层级导致整体错位。由于评分标准里空间类别单独计分，这类错误不会被代码正确性掩盖。这也解释了为什么一个写出优雅代码的模型，可能因为几个坐标错误而落后于代码朴素但结构准确的模型。

对选择模型的实践者意味着什么

如果你正在为3D或空间任务挑选模型，这类排行榜比通用编程基准更有参考价值。它告诉你模型如何处理一份规格，而不只是如何写一个函数。71.47和78.0之间的差距，就是"需要更多纠正"和"需要更少纠正"之间的差距。

但别只看一个数字，要看类别分。如果你的任务对空间推理要求很高，一个在该类别得分好的模型，比总分略高的模型更值得选。

怎么读一个排行榜

• 查评分标准。如果打分方法没有说明，分数就不可比。
• 查裁判是谁——人类、LLM还是静态分析。三者的失效模式各不相同。
• 查类别分。总分掩盖了模型的弱点。
• 查提交日期。模型会变，半年前的分数未必还成立。
• 查基准测试作者是否提交了自己的模型。作者提交了，并且公开报告了。

坦率的局限

这个基准不执行代码。一个通过静态分析的构建方案，在运行时仍可能失败。评分标准固定，让比较变得公平，但也意味着它未必能捕捉Agent能力的每一个维度。排行榜目前的条目数量很少，一个71.47、一个78.0，这只是个开始，不是定论。而且作者自己的提交就是自己的模型，这是利益冲突——作者选择公开披露，而不是隐藏。

结语

AI Agent评测在机制透明时最有用。这里的机制是：规划、寻找构件、组装构建方案，每个环节对照同一套标准打分。数字是真实的，局限也是真实的。想看完整排行榜和基准细节，可以访问 lforla.org。