概念Population-Majority Bias
种群多数偏差
模型对群体级别多数答案的偏好所导致的系统性误差,与提示无关,属于先验或训练数据分布带来的结构性偏差。
时间轴 (近 90 天)
11月9日
论文将在线直接偏好优化(DPO)下的多数投票监督误差分解为种群多数偏差(population-majority bias)和提示依赖的有限 rollout 变异(prompt-dependent finite-rollout variation)两部分。
待验证50%
11月9日
种群多数偏差源于模型对群体-level多数答案的偏好,在没有外部监督的情况下通常无法识别和消除。
待验证50%
11月9日
虽然种群多数偏差无法完全消除,但通过控制变异的下游影响,PC-Dr.DPO 显著提升了TTRL的可靠性。
待验证50%