Frontier Code
由Cognition(Devin AI开发商)维护的第三方编程基准测试,专门衡量长程编程智能体能力,被认为比HumanEval更贴近真实生产场景
核心事实
时间轴 (近 90 天)
在 Terminal Bench 和 Frontier Code 基准上,Claude Opus 5.5 的表现略优于 Gemini 4 Neon。
Fable 5.2 在 Frontier Code 编码基准上取得 49.1%,在 Frontier SWE 智能体编码基准上取得 69.9%,两项均为第一。
Claude Fable 5.2 在 FrontierCode 2.0 基准测试中得分 49.1%,排名榜首。
在 Frontier Code 推理基准上,medium 推理档位的表现反而比 high、extra high 更好,且接近 max 档位,Opus 和 Fable 均出现此现象
在Frontier Code基准等长周期编程任务上,Opus 5.5可能略胜Astra
过度推理会伤害性能,在Frontier Code基准上x-high得分高于Max
Sonnet 5.5 在 Frontier Code 相关基准上的分数从 42 提升到 46 和 52
在 Frontier Code 上,Opus 5.5 的 medium 档(不到 1 美元/任务)得分反而高于 max 档(超过 5 美元/任务)
在 Frontier Code 上,GPT-6 Sol、Luna 与 Opus 5.5 三款模型性能差距只有约 6~7 个百分点,但价格从 10 美分、2 美元到 4 美元不等
在 Frontier Code 测试中,GPT-6 Luna Max 拿下 66.6%,每任务成本仅 22 美分
还有 4 条时间轴事件
全部知识事实 (14)
FrontierCode 1.1是面向AI编程能力的评测基准,模拟真实软件工程任务,包括代码补全、Bug修复、多文件重构和单元测试生成等场景
75%已验证Claude Fable 5.2 在 FrontierCode 2.0 基准测试中得分 49.1%,排名榜首。
70%已验证Claude Opus 5 approaches Fable-level performance on the FrontierCode 1.1 benchmark while costing only half as much
70%待验证在 Terminal Bench 和 Frontier Code 基准上,Claude Opus 5.5 的表现略优于 Gemini 4 Neon。
50%待验证Fable 5.2 在 Frontier Code 编码基准上取得 49.1%,在 Frontier SWE 智能体编码基准上取得 69.9%,两项均为第一。
50%待验证在 Frontier Code 推理基准上,medium 推理档位的表现反而比 high、extra high 更好,且接近 max 档位,Opus 和 Fable 均出现此现象
50%待验证过度推理会伤害性能,在Frontier Code基准上x-high得分高于Max
50%待验证Sonnet 5.5 在 Frontier Code 相关基准上的分数从 42 提升到 46 和 52
50%待验证在 Frontier Code 上,Opus 5.5 的 medium 档(不到 1 美元/任务)得分反而高于 max 档(超过 5 美元/任务)
50%待验证在 Frontier Code 上,GPT-6 Sol、Luna 与 Opus 5.5 三款模型性能差距只有约 6~7 个百分点,但价格从 10 美分、2 美元到 4 美元不等
50%待验证在 Frontier Code 测试中,GPT-6 Luna Max 拿下 66.6%,每任务成本仅 22 美分
50%待验证Cognition发布编码模型Sway 2,在Frontier Code基准上取得50.0%,据称与更强模型差距在1分以内且成本低64%
50%待验证在Frontier Code编程基准上,旧模型得分34.4%,Gemini 3.7 Flash提升至43.6%
50%待验证在 Cognition 的 Frontier Code 评测中,Fable 5 即便只开启中等推理强度,得分仍位列所有前沿模型第一
50%