概念系统级评估 / System-level Evaluation
代理系统评估
对由模型、工具、软件等组成的完整AI系统进行评估的方法,考察工具调用、权限边界、多步任务中的错误累积和外部依赖引入的攻击面
时间轴 (近 90 天)
10月19日
Hugging Face的Irene Solaiman指出,行业正在从简单的模型级基准测试转向代理系统评估,但测试协议缺乏共识,导致结果难以复现。
待验证50%
对由模型、工具、软件等组成的完整AI系统进行评估的方法,考察工具调用、权限边界、多步任务中的错误累积和外部依赖引入的攻击面
Hugging Face的Irene Solaiman指出,行业正在从简单的模型级基准测试转向代理系统评估,但测试协议缺乏共识,导致结果难以复现。