待验证50% 置信事实精确时间

作者故意将Agent成功率从92%降到52%的真实严重退化，其最初设计的统计规则却放行了这次PR，因为退化集中在少数任务上而非均匀分布

1

来源数

50%

置信度

长期有效

时效性

2026/9/27

首次发现

来源

AI Agent的CI难题：分数波动到底该不该阻断PR？

涉及实体

AgentSeismproduct

相关事实

待验证Agent在多步骤任务中存在错误累积效应，每步95%准确率的十步串联后成功率跌至约60%74% 相似待验证移除候选筛选环节后，FEVER准确率下降到76.24%69% 相似待验证在一个真实案例中，一个编码Agent在没有任何改动的情况下成功率从92%掉到88%，这属于误报而非真实能力退化69% 相似待验证作者坦承80%的通过率阈值在最初选定时感觉很随意，但实践下来站得住脚68% 相似待验证73.4% 的基准分意味着仍有约四分之一的任务表现不达标，且该分数是在最大算力下取得67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/953019

API

curl https://kongchang.com/api/v1/knowledge/claims/953019

MCP

get_claim(id=953019)