LLM裁判
由Zheng等人在2023年系统化提出的评估范式，利用能力更强的LLM对被测模型输出进行打分或排序，可评估语义相关性、逻辑连贯性等难以规则化的维度，成本低于大规模人工标注
核心事实
时间轴 (近 90 天)
LLM裁判本身可能犯错，包括将正确行为误判为违规、漏掉真实违规、对相似情境给出不一致判断；论文用人工校验的合成黄金对话验证裁判，但成本高且难以规模化。
缓解裁判自身不可靠的手段包括多裁判交叉、情境标签盲化、情境定义预校验和沙箱隔离；生产部署还需裁判置信度分数、低置信度人工复核、裁判版本A/B测试。
要求LLM裁判先推理再评分，能显著提升准确率。
在 LLM 裁判场景中，kappa 能揭示准确率掩盖的偏差——例如裁判全部判 PASS 时准确率可能很高，但 kappa 会接近 0，提示裁判没有区分能力。
LLM裁判不应作为唯一评估手段，因为它成本高、有随机性，且可能被Agent的输出风格欺骗。
LLM裁判需要明确的评分维度（如事实准确性、完整性、安全性），并提供少量标注示例和结构化输出（分数与理由）以便人工审计。
使用模型作为裁判逐条阅读论断和引文判断是否支撑，并让第二个agent反驳发现，45%的发现被推翻。
LLM裁判模型继承了自己训练数据中的偏见，可能系统性偏好某种语气、长度或表达风格，因此该审计框架把裁判模型名称单独记录为一个字段以实现透明化。
LLM作为裁判评分时，即使将温度设为0，相同的对话轨迹和裁判模型运行五次仍有一次得到不同判决，这种非确定性对于想要接入CI的测试套件是不可接受的。
该评估工具采用混合方案：确定性关键词/结构匹配作为主要信号，LLM作为裁判只作为次要层，用于评估自由文本推理质量；裁判必须引用其判决所依据的确切轨迹片段，否则判决会被自动丢弃。
还有 5 条时间轴事件
全部知识事实 (16)
LLM-as-a-judge模式即用一个能力更强的模型来评判另一个模型的输出质量，降低评测成本但引入评判模型自身的偏见问题
65%待验证缓解裁判自身不可靠的手段包括多裁判交叉、情境标签盲化、情境定义预校验和沙箱隔离；生产部署还需裁判置信度分数、低置信度人工复核、裁判版本A/B测试。
50%待验证LLM裁判本身可能犯错，包括将正确行为误判为违规、漏掉真实违规、对相似情境给出不一致判断；论文用人工校验的合成黄金对话验证裁判，但成本高且难以规模化。
50%待验证要求LLM裁判先推理再评分，能显著提升准确率。
50%待验证在 LLM 裁判场景中，kappa 能揭示准确率掩盖的偏差——例如裁判全部判 PASS 时准确率可能很高，但 kappa 会接近 0，提示裁判没有区分能力。
50%待验证LLM裁判不应作为唯一评估手段，因为它成本高、有随机性，且可能被Agent的输出风格欺骗。
50%待验证LLM裁判需要明确的评分维度（如事实准确性、完整性、安全性），并提供少量标注示例和结构化输出（分数与理由）以便人工审计。
50%待验证使用模型作为裁判逐条阅读论断和引文判断是否支撑，并让第二个agent反驳发现，45%的发现被推翻。
50%待验证LLM裁判模型继承了自己训练数据中的偏见，可能系统性偏好某种语气、长度或表达风格，因此该审计框架把裁判模型名称单独记录为一个字段以实现透明化。
50%待验证LLM作为裁判评分时，即使将温度设为0，相同的对话轨迹和裁判模型运行五次仍有一次得到不同判决，这种非确定性对于想要接入CI的测试套件是不可接受的。
50%待验证该评估工具采用混合方案：确定性关键词/结构匹配作为主要信号，LLM作为裁判只作为次要层，用于评估自由文本推理质量；裁判必须引用其判决所依据的确切轨迹片段，否则判决会被自动丢弃。
50%待验证幻觉护栏可通过LLM裁判自动化实现：一个辅助的小型LLM在流水线中充当裁判角色，在最终答案到达用户之前将它与检索到的文本进行比对，决定放行还是拦截；当检查不通过时可选择重试检索或直接返回'我不知道'。
50%待验证裁判LLM本身也可能出错，因此需要对其决策进行抽样审查，裁判模型同样需要评估和校准，不能默认它永远正确。
50%待验证概率性判断（如回答是否有害、是否引用不存在的文档）没有唯一正确答案，必须依赖模型语义理解，成本和延迟高出几个数量级。
50%待验证官方文档给出粗略数字：月10万请求、10%抽样的情况下，一个mini级裁判大约每月花费自有provider支出的2到10美元。
50%待验证Agent 评估当前主流方案分为三类：基于确定性断言的任务完成率、LLM-as-Judge、端到端基准测试集（如 SWE-Bench、WebArena）
50%