ViBench 2.0发布：长周期软件构建基准，顶尖模型通过率不足65%

长周期软件构建能力正成为衡量AI智能体实用性的关键标尺。近日，ViBench 2.0正式发布，这是一个专门针对长周期软件构建的基准测试，旨在评估智能体在无全局视野条件下从零构建完整产品的能力。

ViBench 2.0是什么？从空项目到完整产品的极限测试

与常见的代码生成基准不同，ViBench 2.0模拟的是真实开发场景：智能体从一个空项目起步，每次只实现一个功能，并且无法预知后续需求。这种“盲人摸象”式的构建过程，高度还原了人类开发者在需求渐进明确时的工程挑战。

基准的核心在于“长周期”与“无前瞻”两个约束。智能体必须独立完成需求理解、架构设计、代码实现和集成测试，而整个过程中无法看到下一步要做什么。这要求模型具备强大的上下文保持能力、模块化设计意识以及自我验证机制。

据发布信息，ViBench 2.0已纳入FireworksAI_HQ的Specialized Intelligence Index，并附带了Fireworks官方运行结果，为基准的可复现性和横向对比提供了基础。

“上下文保持能力”指模型在长对话或长代码序列中维持对早期信息的记忆与引用能力。在长周期构建中，智能体需要反复回看已实现的模块接口、数据结构和设计约定，若上下文窗口有限或注意力衰减，早期决策就会被“遗忘”，导致后续代码与已有实现冲突。ViBench 2.0的“无前瞻”约束进一步放大了这一挑战：模型无法依赖未来需求来修正记忆偏差，只能靠主动的上下文管理与模块化封装来降低对长程记忆的依赖。

顶尖模型表现如何？通过率数据揭示的真相

根据官方披露，即便是当前最强的模型——GPT-6.1 Sol、GPT-6 Astra和Opus 5.5——在所有构建任务中通过全部检查的比例也仅有49%至65%。这意味着，在最理想的情况下，仍有超过三分之一的构建过程会出现无法通过全部检查的问题。

这一数据传递出明确信号：长周期软件构建远未达到可靠水平。模型在单点代码生成上的高分表现，并不能直接转化为端到端产品构建的成功率。随着任务链条拉长，错误累积效应和上下文衰减问题被显著放大。

从另一个角度看，49-65%的通过率也说明ViBench 2.0的难度设置具有区分度，既没有让顶尖模型轻松满分，也没有低到无法体现能力差异。

为什么长周期构建如此困难？

长周期软件构建的难点在于，智能体需要在没有全局蓝图的情况下做出局部决策，而这些决策必须与未来未知的需求相兼容。这本质上是一个序列决策问题，每一步都可能影响后续所有步骤的可行性。

当前模型的主要短板集中在三个方面：一是跨功能的一致性维护，容易在新增功能时破坏已有逻辑；二是隐式需求的推断能力不足，无法从已有代码中合理推测未明说的约束；三是自我验证的深度有限，模型往往难以发现自身实现中的深层缺陷。

ViBench 2.0的价值在于，它将评估焦点从“能否写出正确代码”转向“能否构建出正确系统”。这与真实软件工程的评价标准更为接近，也为后续模型优化指明了方向。

序列决策问题是指智能体按时间顺序逐步做出选择，且每一步的决策都会改变后续可选行动集合与收益。在软件构建中，早期选择的架构风格、接口粒度和数据模型会约束后续所有功能的实现方式。与一次性生成不同，序列决策中的错误具有累积性：一个局部看似合理的决策可能在未来某一步变得不可行，而智能体在无全局蓝图时难以回溯修正。这正是长周期构建与单点代码生成在问题性质上的根本差异。

对AI编程工具与智能体发展的意义

ViBench 2.0的发布为AI编程领域提供了一个更贴近实战的评估维度。对于智能体开发者而言，该基准揭示了从代码生成到系统构建之间的能力鸿沟，提示需要加强长上下文管理、模块化规划和迭代验证等方向的研究。

对于企业用户来说，49-65%的通过率意味着当前智能体尚不适合完全自主地承担长周期构建任务，但在辅助开发、功能原型搭建等场景中仍具有实用价值。基准结果可作为选型参考，帮助判断在何种任务复杂度下引入智能体是安全且高效的。

纳入Fireworks的Specialized Intelligence Index后，ViBench 2.0有望成为衡量智能体工程能力的重要标尺，推动行业从追求单点性能转向关注端到端可靠性。