待验证60% 置信基准精确时间

SWE-bench评估模型解决真实GitHub issue的能力，LiveCodeBench使用竞赛编程题目防止数据泄露

2

来源数

60%

置信度

长期有效

时效性

2026/8/13

首次发现

来源

Meta Muse Glimmer：30B开源本地编程模型深度解析

相关事实

待验证SWE-bench使用真实GitHub Issue评测代码能力，但仍是离线静态评估，无法模拟真实Agent任务中的网络延迟、API变更等动态因素77% 相似待验证SWE-bench要求模型阅读真实GitHub仓库的Issue，自主生成补丁并通过隐藏测试集验证，被认为是最贴近工程实战的代码能力基准之一76% 相似已验证SWE-bench要求模型从真实GitHub Issue出发自主完成代码修改并通过测试用例，比HumanEval更接近真实工程场景75% 相似已验证SWE-bench要求模型解决GitHub上真实的软件缺陷，是评估Agent级编程能力的权威基准74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/741001

API

curl https://kongchang.com/api/v1/knowledge/claims/741001

MCP

get_claim(id=741001)