基准task success rate
任务成功率
Agent评测中的核心指标,衡量普通任务中产出的产物与冻结的oracle逐字节匹配的比例。单独使用时可能掩盖在拒绝切片上的失败,必须与放弃准确率、无效完成率等指标绑定阅读。
时间轴 (近 90 天)
10月22日
任务成功率是机器人学习基准中最常用的聚合指标,通常定义为在多次试验中完成预设目标的次数比例。
待验证50%
10月22日
任务成功率存在归因盲区:无法区分智能体是碰巧成功还是预判并验证后成功,也无法区分感知误差与规划失误。
待验证50%
10月21日
业界常用任务成功率而非单次演示效果来衡量智能体能力:同一任务重复多次,看有多少次能一次交付合格结果,以及失败时能否自我发现并修正
待验证50%
9月18日
任务成功必须是可验证的业务终态(数据库真写了、文件真落地),而不是模型嘴上说完成了
待验证50%