GLUE
通用语言理解评估基准，包含多项NLP任务（文本分类、推理、问答等），是衡量自然语言处理模型综合能力的权威基准之一。
核心事实
时间轴 (近 90 天)
UltraBERT蒸馏后380M模型在GLUE上从90.2提升到90.8，但在高掩码率下反而损害了检索表现。
ImageNet、GLUE等早期基准测试重塑了整个机器学习研究领域的优化方向
基准饱和现象：ImageNet 被攻克后催生 ObjectNet、ImageNet-A，GLUE 饱和后出现 SuperGLUE，再后出现 BIG-Bench 和 BIG-Bench Hard
学界通常依赖GLUE、SuperGLUE、BIG-Bench等由独立机构维护的标准化评测集横向比较模型性能
DistilBERT在GLUE基准上保留原版约97%的性能，推理速度提升约60%，模型体积缩减40%
传统的AI评价标准往往聚焦于模型参数量、推理速度或基准测试得分
ImageNet图像分类在2015年被超越后逐渐失去权威性,GLUE基准促使研发者推出更难的SuperGLUE
传统基准测试如GLUE、SuperGLUE、MMLU在短短几年内就被模型刷出超越人类平均水平的分数
GLUE自然语言理解基准很快被多个模型超越人类水平，促使研究者推出更难的SuperGLUE，但SuperGLUE也在两年内被攻克
全部知识事实 (9)
传统的AI评价标准往往聚焦于模型参数量、推理速度或基准测试得分
65%待验证UltraBERT蒸馏后380M模型在GLUE上从90.2提升到90.8，但在高掩码率下反而损害了检索表现。
50%待验证ImageNet、GLUE等早期基准测试重塑了整个机器学习研究领域的优化方向
50%待验证基准饱和现象：ImageNet 被攻克后催生 ObjectNet、ImageNet-A，GLUE 饱和后出现 SuperGLUE，再后出现 BIG-Bench 和 BIG-Bench Hard
50%待验证学界通常依赖GLUE、SuperGLUE、BIG-Bench等由独立机构维护的标准化评测集横向比较模型性能
50%待验证DistilBERT在GLUE基准上保留原版约97%的性能，推理速度提升约60%，模型体积缩减40%
50%待验证ImageNet图像分类在2015年被超越后逐渐失去权威性,GLUE基准促使研发者推出更难的SuperGLUE
50%待验证传统基准测试如GLUE、SuperGLUE、MMLU在短短几年内就被模型刷出超越人类平均水平的分数
50%待验证GLUE自然语言理解基准很快被多个模型超越人类水平，促使研究者推出更难的SuperGLUE，但SuperGLUE也在两年内被攻克
50%