概念刷榜炫技 / 刷榜
Benchmaxxing
AI公司为在特定基准测试上取得亮眼成绩而对模型进行针对性优化的行为,也泛指选择性展示最有利测试结果的营销策略,导致"在测试上表现好"与"真实能力强"逐渐脱钩
时间轴 (近 90 天)
9月30日
Benchmaxxing指AI公司为在特定基准测试上取得亮眼成绩而对模型进行针对性优化的行为,也泛指选择性展示最有利测试结果的营销策略
待验证50%
9月30日
benchmaxxing的典型手段包括在训练数据中混入与测试集相似的内容(污染测试集)、精选有利子任务单独展示、刻意回避在权威测试上公开成绩
待验证50%