待验证50% 置信事实精确时间

FrontierCode 相比 HumanEval 或 MBPP 等单函数补全基准更贴近生产环境的复杂度

1

来源数

50%

置信度

长期有效

时效性

2026/9/28

首次发现

来源

Claude Sonnet 5.5 登陆 Devin：编码性能大幅跃升

涉及实体

FrontierCodeconcept HumanEvalconcept MBPPconcept

相关事实

待验证传统代码基准如 HumanEval 和 MBPP 主要考察独立封闭问题，与真实开发场景存在较大差距69% 相似待验证圈复杂度衡量代码中独立执行路径的数量，与缺陷密度存在显著正相关65% 相似待验证对于任务边界清晰、输出空间受限的问题，将其建模为约束分类可获得更好的可控性、可解释性和资源效率63% 相似待验证受控离线评估与真实生产环境存在差距，其局限性包括无法完全模拟动态上下文、代码库复杂度差异和工程因素影响63% 相似待验证代码量越大、依赖越多、构建流程越复杂，隐藏恶意代码的空间就越大，因此代码量精简且完全透明的设计本身就是一种安全策略63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/957492

API

curl https://kongchang.com/api/v1/knowledge/claims/957492

MCP

get_claim(id=957492)