[控场AI]
基准

ProgramBench

用于评估编程智能体从零构建完整程序能力的基准测试,支持C、C++、Go、Rust等系统级编程语言的程序生成任务评估

时间轴 (近 90 天)

10月12日

在Meta自己公布的14项基准测试中,Muse Wonder赢了5项,主要集中在长周期编码、法律agent任务和Meta内部记忆测试;输掉了9项,包括ProgramBench(Opus以70.5对50.0领先)。

待验证50%
10月12日

使用 Program-Env 构建环境产生的轨迹进行微调后,Qwen3.8-27B 模型性能从 34.87% 提升至 42.84%

待验证50%
10月12日

Program-Agent 将基础模型和经过监督微调的模型分别推高到 55.71% 和 56.25%

待验证50%
10月12日

ProgramGym 的效果在 ProgramBench 基准上得到了验证

待验证50%

全部知识事实 (4)

来源文章