待验证50% 置信事实精确时间

通用基准如MMLU、HumanEval、MT-Bench与具体任务之间存在分布偏差（distribution shift）

1

来源数

50%

置信度

长期有效

时效性

2026/10/6

首次发现

来源

换新模型反而让自动化崩溃？先问这三个问题

涉及实体

MMLUconcept HumanEvalconcept MT-Benchconcept

相关事实

待验证随着HumanEval、MMLU等基准被广泛采用，已出现针对性优化现象，导致排行榜分数与真实能力脱节74% 相似待验证基础任务性能与泛化能力的正相关关系在显著分布偏移下会减弱66% 相似待验证综合指数在模型某几项任务大幅提升、另几项原地踏步时，分数变化会被平均掉，无法反映真实的任务级能力差异65% 相似待验证通用评测分数接近的大模型在特定垂直任务上可能表现差异巨大64% 相似待验证对齐问题涉及目标规范、内部对齐和分布偏移等多个技术层面63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/981206

API

curl https://kongchang.com/api/v1/knowledge/claims/981206

MCP

get_claim(id=981206)