待验证50% 置信事实精确时间

研究显示经典自动化指标和无参考的LLM-as-a-Judge方法在大规模专家判断下都被证明是不可靠的

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

LLM评判员为何常与专家意见相左？混合评判框架破局之道

涉及实体

LLM-as-a-Judgeconcept 自动化指标concept

相关事实

待验证无参考的LLM打分虽然方便，但可能系统性地偏离专家判断74% 相似待验证评估体系为基础自测，缺乏专业运动表现测试或外接设备数据联动，无法精准量化体能变化71% 相似待验证审稿人因数据规模拒稿需区分两种情况：方法本身需要大数据才有效（合理缺陷）与审稿人只是期待大数据实验（评价标准单一）70% 相似待验证自动化深伪检测工具存在漏判和误判，应作为辅助判断手段而非绝对权威70% 相似待验证自动化指标（如BLEU、COMET、chrF）与人类判断的相关性有限，在评估语气和细微含义时尤其容易失真，应作为辅助而非主要依据70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/911451

API

curl https://kongchang.com/api/v1/knowledge/claims/911451

MCP

get_claim(id=911451)