基准
Agents on Rails
一项针对AI编程智能体的基准测试,以完整功能开发为评测单元,要求智能体在预设框架内完成软件开发任务,涵盖需求理解、跨文件协调和测试验证等完整闭环能力
核心事实
时间轴 (近 90 天)
9月11日
在「Agents on Rails」基准测试中,表现最好的AI模型在完整功能开发任务上只能成功解决约35%的任务
待验证50%
9月11日
本文基于Hacker News上的简短分享撰写,具体评测方法、参与模型清单和任务样本设计等细节尚不明确
已验证70%
一项针对AI编程智能体的基准测试,以完整功能开发为评测单元,要求智能体在预设框架内完成软件开发任务,涵盖需求理解、跨文件协调和测试验证等完整闭环能力
在「Agents on Rails」基准测试中,表现最好的AI模型在完整功能开发任务上只能成功解决约35%的任务
本文基于Hacker News上的简短分享撰写,具体评测方法、参与模型清单和任务样本设计等细节尚不明确