待验证50% 置信事实精确时间

评估套件本身也是一个模型，相对于人类判断存在精确率和召回率，两者都应追踪

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

你的LLM评估套件在骗你：构建真正可靠的对抗性测试

涉及实体

评估套件concept 精确率concept 召回率concept

相关事实

待验证锚定样本技术在评估提示词中加入已由人类专家标注明确分数的示例，覆盖评分量表各个档位，可帮助裁判模型准确理解评分标准76% 相似待验证评估大模型时更可靠的做法是构建与自身业务强相关的领域专属评测集，在真实输入分布上进行盲测对比76% 相似待验证验证器关注结果是否满足可机械验证的约束，是二元客观判断；评估器关注产出质量是否符合目标，是语义层面的主观判断76% 相似已验证基准测试倾向于评估模型知道多少，而非能带来多少认知增量75% 相似待验证判断模型是否'知道'某件事需要直接探测其内部表征，而非依赖外部可检测性作为代理指标74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1000835

API

curl https://kongchang.com/api/v1/knowledge/claims/1000835

MCP

get_claim(id=1000835)