[控场AI]
基准

Frontier Code

由Cognition(Devin AI开发商)维护的第三方编程基准测试,专门衡量长程编程智能体能力,被认为比HumanEval更贴近真实生产场景

时间轴 (近 90 天)

10月4日

在 Frontier Code 推理基准上,medium 推理档位的表现反而比 high、extra high 更好,且接近 max 档位,Opus 和 Fable 均出现此现象

待验证50%
10月4日

在Frontier Code基准等长周期编程任务上,Opus 5.5可能略胜Astra

已过期50%
10月2日

过度推理会伤害性能,在Frontier Code基准上x-high得分高于Max

待验证50%
9月30日

Sonnet 5.5 在 Frontier Code 相关基准上的分数从 42 提升到 46 和 52

待验证50%
9月25日

在 Frontier Code 上,Opus 5.5 的 medium 档(不到 1 美元/任务)得分反而高于 max 档(超过 5 美元/任务)

待验证50%
9月25日

在 Frontier Code 上,GPT-6 Sol、Luna 与 Opus 5.5 三款模型性能差距只有约 6~7 个百分点,但价格从 10 美分、2 美元到 4 美元不等

待验证50%
9月25日

在 Frontier Code 测试中,GPT-6 Luna Max 拿下 66.6%,每任务成本仅 22 美分

待验证50%
9月16日

Cognition发布编码模型Sway 2,在Frontier Code基准上取得50.0%,据称与更强模型差距在1分以内且成本低64%

待验证50%
9月12日

在Frontier Code编程基准上,旧模型得分34.4%,Gemini 3.7 Flash提升至43.6%

待验证50%
9月4日

在 Cognition 的 Frontier Code 评测中,Fable 5 即便只开启中等推理强度,得分仍位列所有前沿模型第一

待验证50%

全部知识事实 (9)

来源文章