待验证50% 置信事实精确时间

聚合指标（如平均分）会掩盖长尾场景中的失败，当95%常规case表现优异时，剩余5%边缘案例的崩溃不会在总分上留下明显痕迹

1

来源数

50%

置信度

长期有效

时效性

2026/8/7

首次发现

来源

从生产事故到评估用例：LLM回归测试的实战方法论

相关事实

已验证ReAct的误差会链式放大：若每步准确率为p，经过n步后整体成功率约为p的n次方，单步95%准确率经过10步后整体成功率约降至59.9%，20步后仅剩35.8%68% 相似已验证在长链路任务中，若每一步约5%的错误率，经过20步后整体成功率可能跌至不足36%67% 相似已验证在样本极度不平衡的场景下，即便准确率高达95%，模型也可能完全无法识别少数类67% 相似待验证把每一次失败都当作等权重的扣分项是一种严重的评估误区，一个95%的平均分可能掩盖了那5%里最昂贵、最难挽回的失败67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/705566

API

curl https://kongchang.com/api/v1/knowledge/claims/705566

MCP

get_claim(id=705566)