Frontier Code
由Cognition(Devin AI开发商)维护的第三方编程基准测试,专门衡量长程编程智能体能力,被认为比HumanEval更贴近真实生产场景
时间轴 (近 90 天)
在 Frontier Code 推理基准上,medium 推理档位的表现反而比 high、extra high 更好,且接近 max 档位,Opus 和 Fable 均出现此现象
在Frontier Code基准等长周期编程任务上,Opus 5.5可能略胜Astra
过度推理会伤害性能,在Frontier Code基准上x-high得分高于Max
Sonnet 5.5 在 Frontier Code 相关基准上的分数从 42 提升到 46 和 52
在 Frontier Code 上,Opus 5.5 的 medium 档(不到 1 美元/任务)得分反而高于 max 档(超过 5 美元/任务)
在 Frontier Code 上,GPT-6 Sol、Luna 与 Opus 5.5 三款模型性能差距只有约 6~7 个百分点,但价格从 10 美分、2 美元到 4 美元不等
在 Frontier Code 测试中,GPT-6 Luna Max 拿下 66.6%,每任务成本仅 22 美分
Cognition发布编码模型Sway 2,在Frontier Code基准上取得50.0%,据称与更强模型差距在1分以内且成本低64%
在Frontier Code编程基准上,旧模型得分34.4%,Gemini 3.7 Flash提升至43.6%
在 Cognition 的 Frontier Code 评测中,Fable 5 即便只开启中等推理强度,得分仍位列所有前沿模型第一
全部知识事实 (9)
在 Frontier Code 推理基准上,medium 推理档位的表现反而比 high、extra high 更好,且接近 max 档位,Opus 和 Fable 均出现此现象
50%待验证过度推理会伤害性能,在Frontier Code基准上x-high得分高于Max
50%待验证Sonnet 5.5 在 Frontier Code 相关基准上的分数从 42 提升到 46 和 52
50%待验证在 Frontier Code 上,Opus 5.5 的 medium 档(不到 1 美元/任务)得分反而高于 max 档(超过 5 美元/任务)
50%待验证在 Frontier Code 上,GPT-6 Sol、Luna 与 Opus 5.5 三款模型性能差距只有约 6~7 个百分点,但价格从 10 美分、2 美元到 4 美元不等
50%待验证在 Frontier Code 测试中,GPT-6 Luna Max 拿下 66.6%,每任务成本仅 22 美分
50%待验证Cognition发布编码模型Sway 2,在Frontier Code基准上取得50.0%,据称与更强模型差距在1分以内且成本低64%
50%待验证在Frontier Code编程基准上,旧模型得分34.4%,Gemini 3.7 Flash提升至43.6%
50%待验证在 Cognition 的 Frontier Code 评测中,Fable 5 即便只开启中等推理强度,得分仍位列所有前沿模型第一
50%