概念cost per correct answer / 单位产出成本
每个正确答案的成本
AI Agent评测中衡量效率的指标,计算方式为总费用除以成功完成的任务数,等价于经济学中的单位产出成本,同时惩罚高失败率和高单次成本两种极端
时间轴 (近 90 天)
10月12日
12个模型×任务组合中有7个,high只改变了价格而准确率不变,每个正确答案的成本上升了1.5到3.4倍。
待验证50%
10月12日
在算术对照组任务上,所有模型准确率不变但每个正确答案的成本上升了1.65到2.5倍。
待验证50%