待验证50% 置信事实精确时间

「LLM-as-a-judge」范式的代表性工作包括Zheng等人的MT-Bench/Chatbot Arena，他们发现GPT-4作为裁判与人类偏好的一致性超过80%

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

XAI-Arena：用大语言模型评判可解释AI的解释质量

涉及实体

MT-Benchproduct Chatbot Arenaproduct GPT-4model Zhengperson

相关事实

已验证GPT-4级别的模型作为Judge时，其评判结果与人类专家的一致性超过80%75% 相似待验证研究表明GPT-4作为评估者与人类专家评分的一致性超过80%，显著高于BLEU、ROUGE等基于词汇匹配的自动化指标68% 相似已验证LLM-as-Judge方法利用GPT-4等大语言模型作为裁判对Agent输出质量进行自动化评分68% 相似待验证LLM-as-Judge使用另一个强力模型（如GPT-4）来评判输出质量，因其灵活性正在成为主流评估方式66% 相似待验证GPT-4等模型在作为评判者时会系统性地偏好特定位置的回答66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/907809

API

curl https://kongchang.com/api/v1/knowledge/claims/907809

MCP

get_claim(id=907809)