概念Pass@1 / Pass@n
Pass@k
评估语言模型代码生成能力的标准化指标,由OpenAI在HumanEval基准测试中引入。Pass@k表示在k次采样中至少有一次生成正确结果的概率,用于衡量模型生成质量与稳定性,后被广泛借用于Agent系统评估领域。
时间轴 (近 90 天)
9月18日
Pass@k是评估语言模型代码生成能力的标准化指标,由OpenAI在HumanEval基准测试中引入
待验证50%
9月18日
Pass@1表示模型在单次采样时就生成正确结果的概率,Pass@k表示在k次采样中至少有一次正确的概率
待验证50%