待验证50% 置信事实精确时间
MMLU、HumanEval、GSM8K等主流评测集长期公开在互联网上，模型在预训练或微调阶段极可能接触过这些题目
1
来源数
50%
置信度
长期有效
时效性
2026/10/2
首次发现
来源
涉及实体
相关事实
待验证当前主流LLM普遍采用预训练加微调范式，先在互联网规模语料上无监督预训练，再通过RLHF等技术对齐人类偏好76% 相似待验证MMLU、GSM8K、HumanEval三大基准均已出现不同程度的污染问题，研究者发现多款主流模型训练数据中存在与测试题高度重叠的内容76% 相似待验证主流基准测试题目在互联网上已被广泛讨论，模型训练数据中可能存在对题目的记忆，导致基准分数高估模型在真实未见任务上的能力74% 相似待验证Arena排名比GSM8K、MMLU等固定基准测试更能反映真实用户体验，因为固定基准测试容易被针对性优化且测试集公开后会被训练数据污染72% 相似待验证通用大模型的训练依赖于海量、公开、可爬取的互联网数据72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/968799API
curl https://kongchang.com/api/v1/knowledge/claims/968799MCP
get_claim(id=968799)