待验证50% 置信事实精确时间
SWE-Bench由普林斯顿大学团队提出，分为Full（2294个任务）、Verified（500个任务）、Pro Public三个子集，跨子集直接对比分数可能失真
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
待验证SWE-Bench Verified是经人工验证的500道高质量子集，SWE-Bench Lite是300道较简单的子集67% 相似待验证Bullet 在 SWE-bench Verified 基准测试中取得 95.8% 的成绩，位列前三，平均每个任务耗时 119 秒58% 相似待验证在每道题15分钟的时间限制下，证明智能体在StochBench上的成功证明率为34.9%（157/450）57% 相似待验证据Partha Sarkar记录，CrewAI一个三Agent支持团队在层级模式下收到纯技术查询时，经理调用了全部三个Agent包括账单Agent，账单响应覆盖了正确技术答案，运行消耗38秒和15,759个token，产出约200个token输出且无错误报出；根因是层级模式不强制执行条件分支或真正的委派。57% 相似待验证在StructTokenBench的七个基准、14项任务和28个测试划分上，ProTok在纯结构分词器中取得了平均排名1.4的成绩，在21个划分上排名第一，28个划分中有27个进入前两名。56% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1046048API
curl https://kongchang.com/api/v1/knowledge/claims/1046048MCP
get_claim(id=1046048)