概念LLM评判 / LLM-as-a-Judge

LLM as Judge

使用大语言模型作为裁判来评估AI输出的方法，能理解语义并判断准确性、忠实度、语气等维度，但成本高且非确定性，需人工校准

时间轴 (近 90 天)

9月21日

LLM 评判器的结果受 temperature、prompt 措辞、模型版本迭代等因素影响，导致同一批测试用例在不同时间运行可能产生不同结论

待验证50%

9月21日

每次 LLM 评估都需要额外的 LLM API 调用，成本随测试规模线性增长

待验证50%

9月21日

依赖 LLM Judge 的评估方案在 CI/CD 场景下存在障碍，因为不确定的评判结果会导致流水线时而通过时而失败

待验证50%

LLM 评判器的结果受 temperature、prompt 措辞、模型版本迭代等因素影响，导致同一批测试用例在不同时间运行可能产生不同结论

每次 LLM 评估都需要额外的 LLM API 调用，成本随测试规模线性增长

依赖 LLM Judge 的评估方案在 CI/CD 场景下存在障碍，因为不确定的评判结果会导致流水线时而通过时而失败