概念matched-pair design / 配对实验设计
配对设计
统计实验设计方法,通过将研究对象两两配对来消除个体差异噪声,专注于两种处理方式的净效应,在机器学习中对应同一测试集上的样本级对比
时间轴 (近 90 天)
10月19日
配对设计将同一案例分别喂给两个模型,比较同一案例上的通过/失败状态,以消除案例难度差异带来的方差。
待验证50%
10月19日
在配对设计下,任何路由抖动、温度采样或重跑不稳定端点,都会把配对数据退化成非配对数据,使 McNemar 检验的前提失效。
待验证50%
10月19日
在配对设计下,每个案例在固定后端下只判定一次(或 k 次重复后多数决),并保证两条腿使用完全相同的提示词。
待验证50%