产品
AgentSeism
一个开源的AI Agent持续集成评估框架，采用统计实验设计方法处理Agent评估的非确定性问题，支持多维度能力检验与多重检验校正
时间轴 (近 90 天)
9月27日
在一个真实案例中，一个编码Agent在没有任何改动的情况下成功率从92%掉到88%，这属于误报而非真实能力退化
待验证50%
9月27日
作者故意将Agent成功率从92%降到52%的真实严重退化，其最初设计的统计规则却放行了这次PR，因为退化集中在少数任务上而非均匀分布
待验证50%
9月27日
Agent评估应拆分为两个独立问题：整个套件的可靠性是否普遍变差，以及某个原本稳定的能力是否突然崩溃，单一平均值规则无法同时回答这两个问题
待验证50%
9月27日
AgentSeism引入了第三种明确状态'证据不足'（insufficient evidence），在数据无法支撑可靠判断时坦承不确定，而非二元的通过/失败
待验证50%