Unverified50% confidenceTradeoffExact time
基准测试面临饱和（Saturation）和数据污染（Data Contamination）两个系统性挑战，当多个主流模型得分超过95%时测试集失去区分能力
1
Sources
50%
Confidence
Long-term
Relevance
7/10/2026
First Seen
Sources
「GPT-5.6」真相揭秘：虚假传闻与第三方充值陷阱辨析
bilibili小小阿白6667/9/2026
Related Claims
Partially Verified基准污染指模型在训练过程中已见过测试题目，导致评分虚高、无法反映真实泛化能力74% similarUnverified多重比较问题指同时测试多个模型变体时，即使每个单独检验显著性水平设为0.05，整体假阳性率也会急剧膨胀72% similarUnverified对同一测试用例执行多次调用统计成功比例得到通过率，比二元的通过/失败判断更能反映模型真实表现69% similarVerified在样本极度不平衡的场景下，即便准确率高达95%，模型也可能完全无法识别少数类69% similarUnverifiedInfoNCE 损失通过在一批候选中最大化正样本对相似度、最小化负样本对相似度进行训练，温度超参数τ越小分布越集中68% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/472661API
curl https://kongchang.com/api/v1/knowledge/claims/472661MCP
get_claim(id=472661)