待验证50% 置信基准精确时间

所有测试模型在TranSGrid上的表现都远差于常规的留出测试集

1

来源数

50%

置信度

长期有效

时效性

2026/9/18

首次发现

来源

系统性泛化评测的盲区：TranSGrid揭示三种推理缺失

涉及实体

TranSGridproduct

相关事实

待验证对于训练数据欠覆盖的细胞类型或物种，这类模型的预测结果可靠性会显著下降67% 相似待验证该用户指出这些模型在基准测试中拿到很高分数，却在最简单的任务上频频失败63% 相似待验证多重比较问题指同时测试多个模型变体时，即使每个单独检验显著性水平设为0.05，整体假阳性率也会急剧膨胀61% 相似待验证即使只有5-10%的训练样本存在错位，也会导致VLM模型在下游任务上出现显著的性能退化60% 相似待验证一个早期迭代版本在IFEval指令遵循基准测试上比Huihui母模型低了五个百分点60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/931094

API

curl https://kongchang.com/api/v1/knowledge/claims/931094

MCP

get_claim(id=931094)