待验证50% 置信事实精确时间

pass@1指标最初从代码生成评测领域（如HumanEval基准）借鉴而来，用于衡量模型一次生成正确代码的概率

1

来源数

50%

置信度

长期有效

时效性

2026/7/14

首次发现

来源

QuantaMind：本地验证AI Agent可靠性的开源测试工具

相关事实

待验证pass@k指标衡量模型生成k个候选代码片段时至少有一个能通过全部测试用例的概率68% 相似待验证传统代码评测基准（如HumanEval、MBPP）主要测试模型在孤立函数级别的生成准确率66% 相似待验证HumanEval、SWE-bench等代码评测基准的排名是评估执行型Agent底层模型选型的重要参考维度65% 相似待验证在Pass@1 Codeforces基准测试中，o1和o1 pro得分非常接近64% 相似待验证HumanEval通过让模型根据函数签名和文档字符串生成完整函数实现来衡量编码准确率64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/507772

API

curl https://kongchang.com/api/v1/knowledge/claims/507772

MCP

get_claim(id=507772)