Unverified50% confidenceBenchmarkExact time

研究表明LLM裁判与人类专家的一致性在许多任务上可达80%以上

1

Sources

50%

Confidence

Long-term

Relevance

7/10/2026

First Seen

Sources

企业级AI Agent生产落地：从Demo到上线的五大支柱

bilibiliEasonlee的AI笔记6/29/2026

Related Claims

Unverified研究表明经过良好校准的LLM裁判与人工标注的一致性可达80%以上83% similar VerifiedLLM-as-Judge方法与人类专家评分的一致性可达80%以上80% similar Unverified研究发现强大的LLM在评估开放式问答质量方面与人类评分者的一致性可达80%以上79% similar Unverified研究表明LLM裁判与人类评分的一致率约为80%，接近但尚未超越人类自身一致性水平（约81%）76% similar Unverified2024年的多项研究表明，LLM裁判与人类专家的一致率通常在70%-85%之间75% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/447811

API

curl https://kongchang.com/api/v1/knowledge/claims/447811

MCP

get_claim(id=447811)