概念per-step accuracy
单步准确率
衡量Agent在单个步骤或单次模型调用中正确执行动作的比例,是评估AI Agent性能的基础指标之一,但无法反映长任务中的错误累积效应。
时间轴 (近 90 天)
11月5日
在长程任务中,单步准确率可视为每步正确概率的上界估计,而任务成功率近似于各步正确概率的连乘,步数越多差距越大。
待验证50%
10月30日
仅关注单步准确率会掩盖长任务中的系统性风险。
待验证50%
衡量Agent在单个步骤或单次模型调用中正确执行动作的比例,是评估AI Agent性能的基础指标之一,但无法反映长任务中的错误累积效应。
在长程任务中,单步准确率可视为每步正确概率的上界估计,而任务成功率近似于各步正确概率的连乘,步数越多差距越大。
仅关注单步准确率会掩盖长任务中的系统性风险。