Forge 2.0
用于评估智能体编程能力的基准测试，通过多次构建任务对模型进行评分。
时间轴 (近 90 天)
Forge 2.0 的 Build 1 在 28 分钟内做了 262 次工具调用得 0.2422，Build 2 在 30 分钟内做了 270 次得 0.6618；Build 1 在 19 个检查层级中有 15 个未达标，Build 2 只有 9 个。
Forge 2.0 基准交给 goose 一个可运行的 Jira Forge 应用和一份 v2 长规格说明，给 300 次调用，然后对三个预置的 Jira 站点运行 105 项检查。
DeepSeek V4.1 Flash 1017 在 Forge 2.0 基准上中位数为 0.4520，超过九月版本的 0.3342。
同一 DeepSeek V4.1 Flash 1017 模型在两次 Forge 2.0 构建中得分分别为 0.2422 和 0.6618，两次构建使用相同的任务指纹、相同的起始应用和相同的三个评分站点。
Forge 2.0 的速率模型给应用每小时 2400 点配额，后台工作最多占 1680 点。
Forge 2.0 Build 1 的评分站点 sprint 弹窗打开了 12 次且均为空白，解析器返回了 14 次 `{"rateLimited": true, "retryAfter": 2237}` 结果，Build 1 的 `static/shared/bridge.js` 保留了起始应用的重试循环。
该数据集成本字段不完整：Gauntlet 仅一行记录了成本；Forge 1.0 的数字是下界；Forge 2.0 的大部分数字完整。
该数据集目前包含 94 行记录，每行对应一个模型在一个榜单上的表现，覆盖 Gauntlet 7.2、Forge 1.0 和 Forge 2.0 三个榜单。
Gauntlet 7.2 基准要求模型构建一个支付应用；Forge 1.0 和 Forge 2.0 要求构建或升级一个面向 Jira 的 Atlassian Forge 应用。
GPT-6.1 Sol 单独参赛时在 Forge 2.0 榜单排名第三，分数为 0.5933。
还有 4 条时间轴事件
全部知识事实 (14)
Forge 2.0 的 Build 1 在 28 分钟内做了 262 次工具调用得 0.2422，Build 2 在 30 分钟内做了 270 次得 0.6618；Build 1 在 19 个检查层级中有 15 个未达标，Build 2 只有 9 个。
50%待验证Forge 2.0 基准交给 goose 一个可运行的 Jira Forge 应用和一份 v2 长规格说明，给 300 次调用，然后对三个预置的 Jira 站点运行 105 项检查。
50%待验证DeepSeek V4.1 Flash 1017 在 Forge 2.0 基准上中位数为 0.4520，超过九月版本的 0.3342。
50%待验证同一 DeepSeek V4.1 Flash 1017 模型在两次 Forge 2.0 构建中得分分别为 0.2422 和 0.6618，两次构建使用相同的任务指纹、相同的起始应用和相同的三个评分站点。
50%待验证Forge 2.0 的速率模型给应用每小时 2400 点配额，后台工作最多占 1680 点。
50%待验证Forge 2.0 Build 1 的评分站点 sprint 弹窗打开了 12 次且均为空白，解析器返回了 14 次 `{"rateLimited": true, "retryAfter": 2237}` 结果，Build 1 的 `static/shared/bridge.js` 保留了起始应用的重试循环。
50%待验证该数据集成本字段不完整：Gauntlet 仅一行记录了成本；Forge 1.0 的数字是下界；Forge 2.0 的大部分数字完整。
50%待验证该数据集目前包含 94 行记录，每行对应一个模型在一个榜单上的表现，覆盖 Gauntlet 7.2、Forge 1.0 和 Forge 2.0 三个榜单。
50%待验证Gauntlet 7.2 基准要求模型构建一个支付应用；Forge 1.0 和 Forge 2.0 要求构建或升级一个面向 Jira 的 Atlassian Forge 应用。
50%待验证GPT-6.1 Sol 单独参赛时在 Forge 2.0 榜单排名第三，分数为 0.5933。
50%待验证Forge 2.0 中单个模型的两次构建差距中位数为 0.0832，Jev Router 两次构建相差 0.2125，Gemini 4 Argon 两次构建相差 0.4983（0.7926 对 0.2943）。
50%待验证Forge 2.0 要求每个模型跑两次独立构建，按中位数排名，且榜单要求在同一比较组内比较模型；Jev Router 和 Gemini 4 Argon 属比较组 1，Claude Opus 5.5 和 GPT-6.1 Sol 属比较组 2。
50%待验证GPT-6.1 Sol 单独参赛时两次构建中位数为 0.5933，排名第三。
50%待验证TypeSafe 的 Jev Router 在 Forge 2.0 智能体编程基准上两次构建得分分别为 0.6398 和 0.8523，中位数 0.746，排名第一。
50%