已验证80% 置信事实精确时间

MMLU（Massive Multitask Language Understanding）包含57个学科的选择题，用于测试模型的知识广度

4

来源数

80%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

CriticGen：将AI评估转化为可执行改进反馈的新框架

涉及实体

相关事实

待验证MMLU的生物医学部分主要来源于教材和标准化考试题库，主要考察概念性知识记忆而非数据分析推理能力71% 相似待验证MMLU曾是衡量大语言模型知识水平的黄金标准，在ChatGPT问世年代几乎是每份模型发布报告的必备指标70% 相似待验证社区常用的量化评估基准包括MMLU、HumanEval和GSM8K，困惑度是衡量语言模型流畅度的通用指标61% 相似待验证在推理场景中处理长上下文、多轮对话和复杂推理链时，模型需要频繁读写大量中间状态（如KV Cache），对内存容量和带宽提出极高要求61% 相似已验证大语言模型的上下文窗口决定了模型在单次推理中能处理的信息量上限60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/895389

API

curl https://kongchang.com/api/v1/knowledge/claims/895389

MCP

get_claim(id=895389)