待验证50% 置信事实精确时间
在二分类任务中，若正负样本比例为6:4，则永远输出‘正’的基线得分为60分，此时Agent得65分只有5分真实信号。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
别再自欺欺人：Agent基准测试的六大陷阱与诚实之道
rss2026/10/15
涉及实体
相关事实
待验证在 n=100 且正负样本各半的条件下，55% 准确率的 95% 置信区间大致在 45%–65%，覆盖 50% 的基线，因此 5 个百分点的差距可能是随机波动。70% 相似待验证在具体实验案例中，重叠锚点方案（n=912）显示模型55.2%对多数类51.1%，净优势+4.1pp，约2.4个标准误；非重叠锚点方案（n=163）显示59.5%对54.0%，净优势+5.5pp，约1.4个标准误。70% 相似待验证该基准给每个模型输出两个永不合并的数字：任务得分和虚假自信率（本应上报却强行作答的比例）69% 相似待验证按题目难度排序，所有模型都答对的60道题坚持率91.4%，至少一个模型答错的52道题坚持率仅73.5%，表明谄媚追踪不确定性69% 相似待验证公平性指令效果有限：在集群六模型面板上仅使家族准确率变化−0.3个百分点，在Kaggle上为+2.5个百分点，区间均跨越零点68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1037052API
curl https://kongchang.com/api/v1/knowledge/claims/1037052MCP
get_claim(id=1037052)