概念LLM-as-a-Judge / LLM裁判
LLM as a Judge
一种AI评估范式，使用大语言模型作为评审员对另一模型的输出进行质量评判，由斯坦福等机构研究推动普及，核心思想是用语言理解能力替代硬编码规则进行灵活评估
时间轴 (近 90 天)
8月28日
Ragas、TruLens、DeepEval等开源框架提供RAG指标的自动化计算，其中不少采用LLM as a judge方式评分
待验证50%
一种AI评估范式，使用大语言模型作为评审员对另一模型的输出进行质量评判，由斯坦福等机构研究推动普及，核心思想是用语言理解能力替代硬编码规则进行灵活评估
Ragas、TruLens、DeepEval等开源框架提供RAG指标的自动化计算，其中不少采用LLM as a judge方式评分