LLM-as-Judge
使用语言模型作为裁判对AI输出进行评分的范式，已被多项研究证实与人类评估具有较高相关性，但存在位置偏见（倾向于给排在前面的选项更高评分）和奉承偏见（倾向于认可权威来源输出）等问题。
核心事实
时间轴 (近 90 天)
输出质量门控的常见应对策略包括基于规则的启发式检测、使用LLM-as-Judge实时打分、以及对比新旧模型响应差异的Shadow Mode
级联策略先用单次调用过滤明确通过/失败的案例，只对不确定区间记录做多次采样，可在精度和成本间取得平衡
将多条标准拆成独立的提示词调用可消除标准之间的相互干扰，降低交叉污染，但成本更高
在推理后端中，temperature设为0并固定seed并不能保证确定性输出，结果仍会翻转
重写一个提示词中的某条标准会导致同一提示词里其他标准的通过率波动5-10个百分点
主观性判断标准（如内容是否全面）在LLM评审中几乎是随机的，而事实性检查（如X是否存在）基本不翻转
评估基准（Eval）是一套系统化的测试集与评分机制，评分可基于规则或采用LLM-as-Judge方式
由于智能体输出往往是开放式文本，Evals通常需要结合基于规则的检查、人工标注黄金答案对比和LLM-as-Judge打分等多种手段
Agent评测需应对非确定性输出，通常结合规则匹配、LLM-as-Judge和人工标注多种方式
用AI模型评价其他AI模型的输出被称为LLM-as-Judge，其局限包括倾向给措辞流畅、格式规整的输出打高分，且对逻辑硬伤识别能力参差不齐
还有 14 条时间轴事件
全部知识事实 (20)
智能体评估的主流方案包括LLM-as-Judge、轨迹匹配和结果验证
90%已验证LLM-as-Judge方法利用GPT-4等大语言模型作为裁判对Agent输出质量进行自动化评分
90%已验证LLM-as-a-Judge方法存在位置偏差、冗长偏差和自我偏好偏差等已知系统性偏差
80%已验证LLM-as-Judge方法与人类专家评分的一致性可达80%以上
80%已验证LLM-as-Judge方法论最早由UC Berkeley等机构在2023年系统提出
80%已验证LLM-as-a-judge模式即用一个能力更强的模型来评判另一个模型的输出质量，降低评测成本但引入评判模型自身的偏见问题
65%已验证业界普遍采用黄金测试集方法评估提示词，用LLM-as-Judge或人工评分量化效果变化
65%已验证GPT-4级别的模型作为Judge时，其评判结果与人类专家的一致性超过80%
65%待验证基于规则的确定性评估框架相比LLM-as-Judge方法，在可重复性和可解释性方面具有优势，每条规则都是二元判断，不受评估模型本身偏差的影响
80%待验证AI模型A/B测试业界通常采用基于规则的自动评估、LLM-as-Judge方法以及人工标注的黄金数据集对比三种评估框架
80%待验证AI Agent评估领域正在经历从人工标注到LLM-as-Judge再到主动对抗性测试的三代技术演进
65%待验证一些团队引入LLM-as-Judge方式，用另一个模型评估Agent输出质量以形成自动化质量闭环
60%待验证LLM-as-a-Judge范式最初用于评估生成式AI输出质量，现被应用于简历-职位匹配等复杂推理判断场景
60%待验证MLflow的评估框架采用了LLM-as-Judge范式，用一个强模型来评判另一个模型的输出
60%待验证输出质量门控的常见应对策略包括基于规则的启发式检测、使用LLM-as-Judge实时打分、以及对比新旧模型响应差异的Shadow Mode
50%待验证将多条标准拆成独立的提示词调用可消除标准之间的相互干扰，降低交叉污染，但成本更高
50%待验证重写一个提示词中的某条标准会导致同一提示词里其他标准的通过率波动5-10个百分点
50%待验证主观性判断标准（如内容是否全面）在LLM评审中几乎是随机的，而事实性检查（如X是否存在）基本不翻转
50%待验证在推理后端中，temperature设为0并固定seed并不能保证确定性输出，结果仍会翻转
50%待验证级联策略先用单次调用过滤明确通过/失败的案例，只对不确定区间记录做多次采样，可在精度和成本间取得平衡
50%