待验证50% 置信解决方案精确时间

直接让裁判LLM做主观的好坏判断不靠谱，应将评判拆解为一组明确的是非题（rubric评分标准）以获得量化指标

1

来源数

50%

置信度

长期有效

时效性

2026/9/16

首次发现

来源

Eval驱动开发：如何科学测试你的AI技能与Agent

涉及实体

LLM as a judgeconcept

相关事实

待验证无参考的LLM打分虽然方便，但可能系统性地偏离专家判断72% 相似待验证'只看答案'和'部分得分'的评估指标可能系统性地高估AI系统能力，评估必须检查过程而不只是终点71% 相似待验证大模型评估应超越选择题范式，仅测试选对答案不足以衡量真实的事实理解，必须引入拒绝错误的对抗性评估71% 相似待验证高风险不可逆操作（如封号）应引入分级处理机制，低置信度判断交由人工复核而非直接执行70% 相似待验证研究显示经典自动化指标和无参考的LLM-as-a-Judge方法在大规模专家判断下都被证明是不可靠的70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/925609

API

curl https://kongchang.com/api/v1/knowledge/claims/925609

MCP

get_claim(id=925609)