待验证50% 置信事实精确时间
LLM-as-a-Judge 存在三类已知偏差：倾向偏好更长的回答、对自身系列模型的输出更宽容、对位置敏感（先出现的选项更容易被选中）。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
涉及实体
相关事实
已验证LLM-as-a-judge模式即用一个能力更强的模型来评判另一个模型的输出质量，降低评测成本但引入评判模型自身的偏见问题78% 相似待验证使用LLM-as-Judge时，裁判与生成Agent最好使用不同模型或不同system prompt，以避免共享偏见导致互相背书77% 相似待验证分类模型对候选答案顺序敏感的现象被称为位置偏差（position bias），单向自回归模型靠近序列末尾的候选项有时获得更高权重75% 相似待验证评分函数往往需要精心设计，甚至借助另一个 LLM 来打分，即 LLM-as-judge 模式75% 相似待验证LLM裁判仅作辅助，不可单独作为最终评判依据，缓解策略包括多模型交叉打分、结构化评分Rubric、定期与人工标注对齐72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1036734API
curl https://kongchang.com/api/v1/knowledge/claims/1036734MCP
get_claim(id=1036734)