已验证65% 置信事实精确时间
GPT-4级别的模型作为Judge时，其评判结果与人类专家的一致性超过80%
3
来源数
65%
置信度
长期有效
时效性
2026/3/2
首次发现
来源
Cursor 2.0实战：Vibe Coding方法论与10倍效率编码指南
bilibili认真的笨笨2026/3/2
涉及实体
相关事实
待验证研究表明GPT-4作为评估者与人类专家评分的一致性超过80%，显著高于BLEU、ROUGE等基于词汇匹配的自动化指标84% 相似待验证GPT-4等模型在作为评判者时会系统性地偏好特定位置的回答77% 相似待验证「LLM-as-a-judge」范式的代表性工作包括Zheng等人的MT-Bench/Chatbot Arena，他们发现GPT-4作为裁判与人类偏好的一致性超过80%75% 相似待验证OpenAI与Nature合作评估了GPT-4的审稿能力，发现其与人类审稿人的意见重合度约为50-60%74% 相似已验证LLM-as-Judge方法利用GPT-4等大语言模型作为裁判对Agent输出质量进行自动化评分74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/2105API
curl https://kongchang.com/api/v1/knowledge/claims/2105MCP
get_claim(id=2105)