待验证50% 置信权衡取舍精确时间

应按失败严重程度加权评分而非单纯追踪通过率，一个92%通过率但其中8%是灾难性失败的系统比70%通过率但能优雅降级的系统更糟糕

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

你的LLM评估套件在骗你：构建真正可靠的对抗性测试

涉及实体

严重度加权评分concept

相关事实

待验证把每一次失败都当作等权重的扣分项是一种严重的评估误区，一个95%的平均分可能掩盖了那5%里最昂贵、最难挽回的失败79% 相似待验证对小样本切片设置绝对失败数上限比设置百分比门槛更稳健，且对样本量不敏感76% 相似待验证一个 90% 成功、10% 出错的工具调用系统几乎无法投入实际使用，因为单次错误会污染后续上下文造成级联失败75% 相似待验证传统的成功率指标难以全面反映策略的鲁棒性，一个策略可能在90%的常规任务中表现出色却在剩余10%的关键场景中出现灾难性失败74% 相似待验证用完成度式的代理指标评分会把干净终止但结果错误的失败判为成功，这是当前许多智能体评估的缺陷73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1000837

API

curl https://kongchang.com/api/v1/knowledge/claims/1000837

MCP

get_claim(id=1000837)