待验证50% 置信事实精确时间
SWE-bench Verified得分受harness(评测脚手架)影响较大,不同实现方式下的结果不一定可直接比较。
1
来源数
50%
置信度
长期有效
时效性
2026/10/24
首次发现
来源
涉及实体
相关事实
待验证在SWE-bench等代码评测中,框架层的优化对最终得分的影响甚至超过了模型本身的能力差异80% 相似待验证SWE-bench 得分受外层Agent脚手架框架设计影响显著,不同来源的分数未必完全可比79% 相似待验证评测结果表明,推理强度与正确率之间并非线性关系;低档强度下部分任务会出现明显的推理断裂,高档强度带来的正确率提升往往伴随Token成本的显著上升。77% 相似待验证当对可能出现的故障形态有先验认识时,选择与之匹配的稀疏惩罚结构往往比通用算法带来显著的性能收益73% 相似待验证回归测试的指标建议同时记录精确匹配率、关键事实召回率、拒答率与幻觉率,多指标并看能避免通过率上升但回答变得更保守或更啰嗦的隐性退化72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1094034API
curl https://kongchang.com/api/v1/knowledge/claims/1094034MCP
get_claim(id=1094034)