概念Agent Evaluation

Agent 评估

对多步 AI Agent 任务正确性的评估方法，包括基于最终状态的结果评估、基于轨迹的过程评估以及以 LLM 作为裁判的评估方式

时间轴 (近 90 天)

10月15日

Agent 评估的目标不是 100% 准确，而是让结论和操作结果趋近于 100%，应设定可量化的趋近目标，例如关键事实准确率达到某个阈值。

待验证50%

10月15日

Agent 评估与大模型评估不同：大模型评估通常是给一个问题看生成答案，而 Agent 涉及多步推理、工具调用、状态流转，评估对象从单次输出变成整条执行轨迹。

待验证50%

10月15日

Agent 评估不等于软件测试：传统软件测试是确定性判断（功能是否正常、流程是否走通），而 Agent 评估是概率性判断（回答是否可信、推理是否合理、工具选择是否正确）。

待验证50%

Agent 评估的目标不是 100% 准确，而是让结论和操作结果趋近于 100%，应设定可量化的趋近目标，例如关键事实准确率达到某个阈值。