[控场AI]
概念paired test / paired evaluation

配对测试

对同一组用例逐例比较两个模型输出是否一致的评测方法,通过分析不一致对子检测统计显著的性能差异,避免平均分掩盖回归

时间轴 (近 90 天)

11月5日

配对测试揭示了一个系统性偏差:部分模型无论是否已提供最优计划,都会声称存在更好的替代方案。

待验证50%
11月5日

配对测试是一种实验设计:对同一场景构造两个变体,一个包含最优计划,另一个移除最优计划,要求模型判断“是否存在更好方案”。

待验证50%
10月19日

两个后端在同一个冻结测试集上都得到71%的平均分,但逐例对比后可能发现九个用例变差、九个用例变好,平均分掩盖了这些翻转。

待验证50%
10月19日

配对测试只关注不一致对子(discordant pairs),因此即使两次运行的平均分相同,也能检测出统计上显著的回归。

待验证50%

全部知识事实 (4)

来源文章