待验证50% 置信事实精确时间

基准泄漏是指测试题目或其变体在模型预训练阶段已经出现在训练语料中

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

LLM能力认知鸿沟、OpenAI营收缩水与AI反编译新突破

涉及实体

benchmark contaminationconcept

相关事实

待验证该方法产生的信号能标记出前沿模型分类器会漏掉的问题训练样本79% 相似待验证数据泄漏防范要求测试集必须在实验开始前锁定，数据预处理的fit操作仅在训练折上执行再transform到验证折74% 相似待验证固定基准测试的测试集一旦公开就可能被纳入训练数据导致评测失效73% 相似待验证探针式提示（probing prompt）在NLP研究中最初指用简单分类器检测预训练模型内部表征中是否编码了语言学特征，后被拓展到价值观和偏见检测领域70% 相似待验证Checkpoint（检查点）是深度学习训练中的一种容错机制，将模型权重参数、优化器状态和当前训练步数等信息序列化保存到磁盘70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1001713

API

curl https://kongchang.com/api/v1/knowledge/claims/1001713

MCP

get_claim(id=1001713)