概念
pass@1
代码生成评测中的标准计分口径,模型对每个任务只生成一次答案,通过得1分失败得0分,最终取全部任务平均值,衡量一次交付的成功率
时间轴 (近 90 天)
10月11日
pass@1 衡量首次响应即符合 schema 的比例,pass@repair 衡量经一次修复后累计可用比例,reject rate 衡量应拒绝的比例
待验证50%
9月7日
经过GRPO强化学习后,使用TailSFT的检查点最终pass@1提升最高达3.9分
待验证50%
9月7日
如果pass@16远高于pass@1,说明模型的概率分布中包含正确答案但未将其置于最高概率位置,这正是RL可以通过奖励信号发挥作用的空间
待验证50%