AI编程智能体的真实水平：最佳模型仅完成35%功能开发任务

AI编程智能体遭遇现实检验

近期一项名为「Agents on Rails」的基准测试引发关注，其核心结论颇具冲击力：即便是表现最好的AI模型，在完整功能开发的基准测试中也只能成功解决约35%的任务。这个数字与当下关于「AI即将取代程序员」的乐观叙事形成鲜明反差，也为我们理解当前编程智能体（coding agent）的真实能力提供了一个更冷静的参照点。

所谓「Agents on Rails」，从命名可以推测其设计思路是让AI智能体在预设的框架与轨道（rails）中执行软件开发任务，而非漫无边际地自由发挥。这种「有约束的自主性」是目前工程实践中较为务实的方向——既利用AI的生成能力，又通过结构化的流程降低失控风险。

35%意味着什么

单看35%的通过率，容易得出「AI编程还不成熟」的简单结论，但这个数字背后的含义值得细究。

首要区别在于「功能级基准」（feature benchmark）与常见的代码补全或单函数生成测试的差异。补全一行代码、写一个孤立函数，对现代大模型而言难度不高，通过率往往能达到很高水平。但「完成一个功能」意味着要理解需求上下文、跨多个文件协调修改、处理依赖关系、通过测试验证——这是一条更接近真实工程场景的评测路径。在这样的高难度基准下，35%的成绩其实已经说明模型具备了相当的端到端能力。

换个角度看，即便按最保守的解读，一个能自动完成三分之一功能开发任务的工具，在实际生产力上的价值也不容小觑。关键不在于它能否100%替代人类，而在于它能否在人机协作中承担一部分可靠的工作份额。

基准测试为何重要

随着编程智能体产品密集涌现，市场上充斥着各家厂商的能力宣传，但缺乏统一、可复现的评测标准。「Agents on Rails」这类基准测试的价值，正在于提供一个相对客观的横向对比基础。

评测的难点在于设计合理的任务集。太简单会让所有模型都轻松通过，失去区分度；太难或太模糊则可能连人类工程师都难以达成共识。「功能开发」作为评测单元，介于原子操作与完整项目之间，是一个较有代表性的粒度。它要求智能体展现规划、执行、验证的完整闭环能力，而不只是文本生成。

需要说明的是，本次素材来源信息有限，具体的测试方法、参与评测的模型清单、任务样本设计等细节尚不明确。读者在参考35%这一数字时，应结合完整的评测报告来理解其边界条件。

在编程智能体评测领域，目前已有若干有影响力的基准可供参照。SWE-bench 是其中最广为引用的一个，它以 GitHub 上真实的 issue 修复任务为测试集，要求模型阅读问题描述后对代码库进行修改并通过既有测试套件。最新的 SWE-bench Verified 版本对任务质量做了人工筛选，Claude 3.5、GPT-4o 等主流模型在该榜单上的通过率普遍在 20%–50% 区间，与「Agents on Rails」的35%处于同一量级，侧面印证了当前技术水平的大致范围。HumanEval 和 MBPP 则属于更早期、粒度更细的代码生成基准，主要考察单函数实现，通过率通常远高于功能级基准，但也因此被批评难以反映生产环境的真实挑战。不同基准的测试粒度、验证方式和任务来源差异显著，跨基准比较数字时需格外谨慎，这也是为什么领域内呼吁统一标准的声音持续存在。

对开发者的现实启示

对于正在评估是否引入AI编程工具的团队，这类基准提供了几点务实参考。

第一，不要被营销话术过度拉高预期。当前智能体在完整功能开发上的成功率仍有明显上限，人类的审查、纠错与架构决策依然不可或缺。将AI定位为「加速器」而非「替代者」，是更符合现状的心态。

第二，「on rails」的设计哲学值得借鉴。给智能体设定清晰的边界、明确的任务分解和可验证的检查点，往往比放任其自由发挥能获得更稳定的结果。工程化的约束是提升可靠性的关键。

第三，关注失败的65%比关注成功的35%更有价值。理解智能体在哪些类型的任务上频繁失败——是需求理解、跨文件协调，还是测试通过——能帮助团队判断哪些工作适合交给AI，哪些必须保留人工。

「on rails」这一设计理念在工程实践中通常对应几种具体模式：任务分解（将一个功能拆解为若干可独立验证的子步骤）、工具调用约束（限定智能体可操作的文件范围或可执行的命令集合）、以及检查点审查（在关键节点插入人工或自动化的验证环节）。这与软件工程中「防御性编程」和「最小权限原则」的思路一脉相承——不是因为不信任AI的能力，而是通过结构化约束把不确定性控制在可管理的范围内。Anthropic 的 Claude 在系统提示设计上、以及 GitHub Copilot Workspace 在任务规划阶段，都不同程度地体现了这种「有轨运行」的工程哲学。对团队而言，设计好「轨道」本身也是一种工程投入，需要将隐性的开发规范显式化，这个过程往往能暴露并修复原有流程中的模糊地带。

结语：理性看待智能体的成长曲线

35%的通过率既不该被解读为AI编程的失败，也不该被忽视其局限。它更像是当前技术阶段的一张快照。编程智能体正处于快速迭代期，这个数字很可能在后续版本中持续上升。真正重要的是建立起可持续的评测机制，用数据而非情绪去追踪这条成长曲线。

（注：本文基于Hacker News上的简短分享撰写，原始讨论热度与信息量有限，具体评测细节建议查阅「Agents on Rails」原始报告以获得完整认识。）