待验证50% 置信事实精确时间
Pass@k是评估语言模型代码生成能力的标准化指标，由OpenAI在HumanEval基准测试中引入
1
来源数
50%
置信度
长期有效
时效性
2026/9/18
首次发现
来源
涉及实体
相关事实
待验证OpenAI的Evals框架和EleutherAI的Language Model Evaluation Harness是常用的开源自动化评测工具69% 相似待验证HumanEval由OpenAI设计，包含164道代码补全题目，考察模型将自然语言转化为可运行代码的能力67% 相似已验证HumanEval由OpenAI提出，包含164道Python编程题，主要测试函数级别的代码生成能力66% 相似待验证模型通过读取 OpenAPI 文档中的自然语言描述字段（summary、description）来理解每个接口的用途和触发条件65% 相似待验证该功能基于VS Code的LLM Language Tool API实现65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/931851API
curl https://kongchang.com/api/v1/knowledge/claims/931851MCP
get_claim(id=931851)