模型
TinyBERT
华为提出的超轻量BERT蒸馏模型，通过两阶段知识蒸馏大幅压缩参数量，适合资源受限环境下的NLP任务部署
时间轴 (近 90 天)
9月28日
采用频率感知训练调度（对稀有词元采样高于均匀采样）后，模型在最稀有词频区间上追平了参数量匹配的BERT与TinyBERT基线
待验证50%
9月21日
TinyBERT、MobileBERT等模型进一步将蒸馏与结构搜索结合以提高参数压缩比
待验证50%
华为提出的超轻量BERT蒸馏模型，通过两阶段知识蒸馏大幅压缩参数量，适合资源受限环境下的NLP任务部署
采用频率感知训练调度（对稀有词元采样高于均匀采样）后，模型在最稀有词频区间上追平了参数量匹配的BERT与TinyBERT基线
TinyBERT、MobileBERT等模型进一步将蒸馏与结构搜索结合以提高参数压缩比