基准task success rate
任务成功率
Agent评测中的核心指标,衡量普通任务中产出的产物与冻结的oracle逐字节匹配的比例。单独使用时可能掩盖在拒绝切片上的失败,必须与放弃准确率、无效完成率等指标绑定阅读。
时间轴 (近 90 天)
9月18日
任务成功必须是可验证的业务终态(数据库真写了、文件真落地),而不是模型嘴上说完成了
待验证50%
Agent评测中的核心指标,衡量普通任务中产出的产物与冻结的oracle逐字节匹配的比例。单独使用时可能掩盖在拒绝切片上的失败,必须与放弃准确率、无效完成率等指标绑定阅读。
任务成功必须是可验证的业务终态(数据库真写了、文件真落地),而不是模型嘴上说完成了