概念Task Completion Rate
任务完成率
衡量代理是否成功满足用户原始请求的指标,是评估代理效用的核心量化标准,与攻击成功率常存在张力
时间轴 (近 90 天)
10月28日
智能体评测的难点在于传统静态基准难以衡量多步交互中的动态决策质量,当前社区关注的维度包括任务完成率、工具调用的准确性、长期规划的一致性以及对抗环境下的鲁棒性。
待验证50%
9月19日
任务完成率指无人工干预下独立完成目标的比例,资源完成比等于价值除以成本
待验证50%
9月5日
任务完成率定义为无需人工干预即可完成既定编程任务的比例,比BLEU分数等传统指标更能反映真实可用性
待验证50%