概念Agent Evaluation / Agent评测
智能体评测
针对AI智能体的评测范式,关注智能体在多轮交互中调用工具、读取环境反馈并调整策略的完整行为轨迹,评测指标包括任务完成率、步数效率、工具调用正确性和行为安全性等
时间轴 (近 90 天)
10月28日
智能体评测的难点在于传统静态基准难以衡量多步交互中的动态决策质量,当前社区关注的维度包括任务完成率、工具调用的准确性、长期规划的一致性以及对抗环境下的鲁棒性。
待验证50%
10月26日
在智能体多轮工具调用场景中比较成绩时,应同时参考任务成功率和总生成 token 数,而非仅看 headline 分数。
待验证50%