待验证50% 置信事实精确时间

在LLM-as-a-judge评估中，裁判的判断高度依赖提示词措辞，不同的评估标准描述可导致通过率从100%骤降至0%

1

来源数

50%

置信度

长期有效

时效性

2026/10/3

首次发现

来源

LangSmith实战指南：用Python做好LLMOps全流程

涉及实体

LLM-as-a-judgeconcept

相关事实

待验证作为评判者的 LLM judge 提示词给几乎所有输出都打 7 分或 8 分，导致失去区分度76% 相似待验证研究表明在某些任务上仅将提示词中的'请判断'改为'请分析'就可能导致准确率波动5-10个百分点67% 相似待验证评估的核心是打分，通常用0到1的连续值表达结果的好坏程度66% 相似待验证评估基准测试质量的关键指标是假阳性率和假阴性率，理想基准应将两者控制在较低水平65% 相似待验证LLM-as-a-Judge这类评估会带来双倍甚至多倍的Token开销，因为既要生成待评估答案，又要消耗Token让另一个模型打分65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/969005

API

curl https://kongchang.com/api/v1/knowledge/claims/969005

MCP

get_claim(id=969005)