[控场AI]
概念position bias

位置偏差

LLM评审器在成对比较中倾向于选择固定位置候选答案的系统性偏差,与内容质量无关,交换选项位置即可导致判定翻转

时间轴 (近 90 天)

11月5日

在语言模型评估中,位置偏差通常表现为对某一固定位置(如第一位或第二位)的偏好,且该偏好与文本内容无关。

待验证50%
11月5日

识别位置偏差的常用方法是交换候选顺序并观察选择是否翻转,若翻转率显著高于随机水平,则表明存在位置敏感性。

待验证50%
10月15日

位置偏差指裁判模型对上下文中信息的判断受该信息出现位置的影响:靠近结尾的内容往往被赋予更高权重,而早期出现的关键警告在长对话中被稀释。

待验证50%

全部知识事实 (3)

来源文章