[控场AI]
概念

pass@1

代码生成评测中的标准计分口径,模型对每个任务只生成一次答案,通过得1分失败得0分,最终取全部任务平均值,衡量一次交付的成功率

时间轴 (近 90 天)

10月11日

pass@1 衡量首次响应即符合 schema 的比例,pass@repair 衡量经一次修复后累计可用比例,reject rate 衡量应拒绝的比例

待验证50%
9月7日

经过GRPO强化学习后,使用TailSFT的检查点最终pass@1提升最高达3.9分

待验证50%
9月7日

如果pass@16远高于pass@1,说明模型的概率分布中包含正确答案但未将其置于最高概率位置,这正是RL可以通过奖励信号发挥作用的空间

待验证50%

全部知识事实 (3)

来源文章