待验证50% 置信基准精确时间

2023年学术界研究发现，顶级大模型作为评判者与人类专家的判断一致性可达80%以上

1

来源数

50%

置信度

长期有效

时效性

2026/7/14

首次发现

来源

AI Agent上线后如何做在线评估？四种方法全解析

相关事实

待验证2023年加州大学伯克利分校发布的MT-Bench基准测试发现，顶级大模型作为评判者与人类专家判断一致性可达80%以上84% 相似已验证LLM-as-Judge方法与人类专家评分的一致性可达80%以上81% 相似待验证Zheng等人2023年发表的MT-Bench论文及多项后续研究证实，裁判模型的评分与人类专家评估具有80%以上的相关性76% 相似待验证2024年的多项研究表明，LLM裁判与人类专家的一致率通常在70%-85%之间75% 相似待验证研究表明LLM裁判与人类专家的一致性在许多任务上可达80%以上74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/503313

API

curl https://kongchang.com/api/v1/knowledge/claims/503313

MCP

get_claim(id=503313)