待验证50% 置信事实精确时间

LLM 裁判存在位置偏见：成对比较时，裁判倾向于偏爱某个位置上的答案，通常是第一个；仅交换候选答案的顺序就能翻转排名（Wang et al.）。

1

来源数

50%

置信度

长期有效

时效性

2026/10/19

首次发现

来源

LLM裁判有偏见？三个校准步骤让评测可信

涉及实体

LLM-as-a-Judgeconcept 位置偏见concept Wang et al.person

相关事实

待验证「位置偏好」是已被多项研究记录的系统性偏差：LLM在两选项比较中倾向选择列在第一位或最后一位的选项79% 相似待验证单一LLM评判者存在位置偏见（倾向于给出现在前面的答案更高评分）和自我增强偏见（倾向于给自家风格的输出打高分）79% 相似已验证LLM-as-a-Judge方法存在位置偏差、冗长偏差和自我偏好偏差等已知系统性偏差76% 相似待验证LLM-as-Judge存在位置偏见（Position Bias）和奉承偏见（Sycophancy Bias）等问题74% 相似待验证配对比较设计将模态偏好与证据位置两个因素分开，使交换顺序后的答案变化可直接归因于位置本身72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1066479

API

curl https://kongchang.com/api/v1/knowledge/claims/1066479

MCP

get_claim(id=1066479)