待验证50% 置信注意事项精确时间
不同版本或不同采样策略（如 pass@1 与 pass@k）的 FrontierCode 基准结果不可直接横向比较
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证FrontierCode 1.1的测试用例通常来自真实开源项目，要求模型具备跨文件上下文理解和长序列推理能力67% 相似待验证在Pass@1 Codeforces基准测试中，o1和o1 pro得分非常接近63% 相似待验证不同实验室评估设置差异（如pass@k、思维链提示、代码执行工具）会导致同一模型在不同报告中呈现不同分数，使跨实验室对比复杂63% 相似待验证pass@1指标最初从代码生成评测领域（如HumanEval基准）借鉴而来，用于衡量模型一次生成正确代码的概率61% 相似待验证同一个模型用同一套假设检查自己的代码天然看不到盲点，跨模型审查因训练侧重点不同才具备互补价值61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1010673API
curl https://kongchang.com/api/v1/knowledge/claims/1010673MCP
get_claim(id=1010673)