[控场AI]
概念Population-Majority Bias

种群多数偏差

模型对群体级别多数答案的偏好所导致的系统性误差,与提示无关,属于先验或训练数据分布带来的结构性偏差。

时间轴 (近 90 天)

11月9日

论文将在线直接偏好优化(DPO)下的多数投票监督误差分解为种群多数偏差(population-majority bias)和提示依赖的有限 rollout 变异(prompt-dependent finite-rollout variation)两部分。

待验证50%
11月9日

种群多数偏差源于模型对群体-level多数答案的偏好,在没有外部监督的情况下通常无法识别和消除。

待验证50%
11月9日

虽然种群多数偏差无法完全消除,但通过控制变异的下游影响,PC-Dr.DPO 显著提升了TTRL的可靠性。

待验证50%

全部知识事实 (3)

来源文章