LLM-as-a-Judge
一种LLM评估方法，使用强大的语言模型（如GPT-4）作为裁判对其他模型的输出进行评分，由LMSYS团队于2023年系统化提出
Core Facts
Timeline (last 90 days)
裁判模型存在系统性偏差：偏爱与自身训练分布相似的输出风格、对更长回答给出更高分（verbosity bias）、对答案在提示中出现位置敏感（position bias）
官方建议裁判模型应不同于基线模型，以避免模型自己给自己打分导致偏袒与自身风格相近的输出
用语言模型判断工具调用是否正确或返回数据是否真实这类客观事实校验，与语言质量评价职责不匹配
LLM-as-a-Judge方法在MT-Bench、Chatbot Arena等基准中被广泛采用
在该研究主要的十个LLM评审组成的评审库中，评审错误之间的平均两两相关系数为0.21
arXiv论文2609.22512指出，多个LLM评审的共识被视为强证据的前提是各评审的错误相互独立，而现实中LLM评审因训练数据和评估方式相似而会犯相同错误，导致共识夸大证据强度
不应将LLM评审数量等同于证据强度，也不应认为用不同厂商的顶级模型交叉验证能免除错误相关性；在宣称某系统显著更好前应先做错误相关性校正
修正LLM评审共识的做法：用一小组可信样本估计评审准确率并识别共享错误，在分析结果时纳入共享错误，并在应用于新数据前用可信样本提前选定投票方法
在高达28%的系统对比中，忽略评审共享错误会得出'系统A显著优于系统B'的结论，而纳入共享错误后该显著性差异消失
该团队用一个独立的裁判模型（judge model）阅读运行记录和成功标准，输出通过或失败的判定并给出理由
31 more timeline events
All Facts (20)
智能体评估的主流方案包括LLM-as-Judge、轨迹匹配和结果验证
90%VerifiedLLM-as-Judge方法利用GPT-4等大语言模型作为裁判对Agent输出质量进行自动化评分
90%VerifiedLLM-as-a-Judge方法存在位置偏差、冗长偏差和自我偏好偏差等已知系统性偏差
80%UnverifiedAI系统评测分为离线评测和在线评测,离线评测可使用更强模型作为评判者(LLM-as-a-Judge)
60%UnverifiedLLM-as-a-Judge范式最初用于评估生成式AI输出质量，现被应用于简历-职位匹配等复杂推理判断场景
60%Unverified裁判模型存在系统性偏差：偏爱与自身训练分布相似的输出风格、对更长回答给出更高分（verbosity bias）、对答案在提示中出现位置敏感（position bias）
50%Unverified官方建议裁判模型应不同于基线模型，以避免模型自己给自己打分导致偏袒与自身风格相近的输出
50%Unverified用语言模型判断工具调用是否正确或返回数据是否真实这类客观事实校验，与语言质量评价职责不匹配
50%UnverifiedLLM-as-a-Judge方法在MT-Bench、Chatbot Arena等基准中被广泛采用
50%Unverified不应将LLM评审数量等同于证据强度，也不应认为用不同厂商的顶级模型交叉验证能免除错误相关性；在宣称某系统显著更好前应先做错误相关性校正
50%Unverified在该研究主要的十个LLM评审组成的评审库中，评审错误之间的平均两两相关系数为0.21
50%Unverified在高达28%的系统对比中，忽略评审共享错误会得出'系统A显著优于系统B'的结论，而纳入共享错误后该显著性差异消失
50%UnverifiedarXiv论文2609.22512指出，多个LLM评审的共识被视为强证据的前提是各评审的错误相互独立，而现实中LLM评审因训练数据和评估方式相似而会犯相同错误，导致共识夸大证据强度
50%Unverified修正LLM评审共识的做法：用一小组可信样本估计评审准确率并识别共享错误，在分析结果时纳入共享错误，并在应用于新数据前用可信样本提前选定投票方法
50%Unverified该团队用一个独立的裁判模型（judge model）阅读运行记录和成功标准，输出通过或失败的判定并给出理由
50%UnverifiedDischargeBench从四个维度进行打分：对话质量、主题清单、理解度和事实一致性，评分由对齐了医生标注的LLM-as-a-Judge完成
50%UnverifiedDischargeBench依赖LLM-as-a-Judge的评审可靠性，其与医生真实判断的对齐程度仍需持续验证
50%Unverified传统评估做法依赖强大的裁判模型（LLM-as-a-Judge），效果好但成本高、延迟大
50%Unverified语义验证器并非取代 LLM-as-a-Judge，而是与其形成分层评估策略的补充
50%Unverified利用模型自身辅助安全判断的思路在业界被称为LLM-as-a-Judge或模型自我审查（Self-Critique）机制
50%