概念compute confound
计算混淆
在AI评测中,被评估方法因消耗更多计算资源(如token或调用轮次)而导致性能提升,使性能差异无法归因于方法本身的现象。
时间轴 (近 90 天)
10月16日
严格的智能体研究需要匹配计算预算,或至少报告调用次数与延迟,以避免计算混淆。
待验证50%
在AI评测中,被评估方法因消耗更多计算资源(如token或调用轮次)而导致性能提升,使性能差异无法归因于方法本身的现象。
严格的智能体研究需要匹配计算预算,或至少报告调用次数与延迟,以避免计算混淆。