基准
CMMLU
中文多任务语言理解评测基准,覆盖多个学科领域,用于评估中文大模型能力
时间轴 (近 90 天)
11月4日
评估集由固定的 5,112 条样本组成,混合了 ARC-Challenge、ANLI-R3,以及 MMLU-Pro 和 CMMLU 的分层子集。
待验证50%
11月3日
在16B MoE模型上,DepthGraft在MMLU-Pro上取得7.0%的绝对提升,CMMLU提升6.6%,C3提升6.4%。
待验证50%
中文多任务语言理解评测基准,覆盖多个学科领域,用于评估中文大模型能力
评估集由固定的 5,112 条样本组成,混合了 ARC-Challenge、ANLI-R3,以及 MMLU-Pro 和 CMMLU 的分层子集。
在16B MoE模型上,DepthGraft在MMLU-Pro上取得7.0%的绝对提升,CMMLU提升6.6%,C3提升6.4%。