待验证50% 置信事实精确时间

Agent Trials 明确不是排行榜，而是一个烟雾测试，其分数和中位数在不同运行之间会波动。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/14

首次发现

有效期至：2027/1/12

来源

不再轻信Coding Agent演示：我用Agent Trials让它们真刀真枪跑一遍

涉及实体

Agent Trialsproduct

相关事实

已验证基准污染指模型在训练过程中已见过测试题目，导致评分虚高、无法反映真实泛化能力67% 相似待验证用单一测试案例评估模型性能是一个统计陷阱，即小样本偏差（Small Sample Bias）64% 相似待验证任何单一基准测试的高分（如99.9%）只说明模型在该测试题目分布内表现优异，不能直接等同于通用智能。62% 相似待验证AI测试用例不能只执行一次就判定，业界通常建议同一测试用例至少执行5-10次以统计输出的稳定性和质量分布62% 相似待验证测试中出现模型自称某步有95%把握但按评分标准得0分的案例61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1026002

API

curl https://kongchang.com/api/v1/knowledge/claims/1026002

MCP

get_claim(id=1026002)