DistilBERT
BERT的轻量蒸馏版本，参数量约为原始BERT的40%，推理速度提升60%，常用于意图分类等NLP任务的轻量化部署
核心事实
时间轴 (近 90 天)
在分层抽样的1,000条测试子集上，最强的LLM提示配置准确率为0.477，而微调后的DistilBERT达到0.879。
通过模型蒸馏、量化（INT8/FP16）等压缩技术可将轻量神经网络（如DistilBERT）参数量降至千万级以下，使其在CPU上达到可接受的推理速度
一篇发布于arXiv的研究（arXiv:2609.28703v1）提出了一套兼顾多层级分类与可解释性的仇恨言论检测框架，核心由DistilBERT、双向LSTM和注意力机制三个组件组成
微调后的DistilBERT在同分布测试中F1=0.9993，但在主题偏移下损失12.9个平均精度点，退化比线性模型的5.2点更严重
DistilBERT于2019年由Hugging Face提出，以原始BERT-base（1.1亿参数）为教师训练出仅6600万参数的学生模型
DistilBERT在GLUE基准上保留原版约97%的性能，推理速度提升约60%，模型体积缩减40%
DistilBERT在预训练阶段即引入蒸馏，证明蒸馏可以在无监督预训练阶段发挥作用，而不仅限于监督微调阶段
DistilBERT是Hugging Face团队通过知识蒸馏从BERT压缩得到的轻量模型，仅保留6层Transformer，参数量减少40%，推理速度提升60%
DistilBERT将BERT-base从110M参数压缩至66M,推理速度提升60%,保留97%性能
DistilBERT 的蒸馏过程使用了三重损失函数：蒸馏损失、遮蔽语言模型损失和余弦嵌入损失
还有 3 条时间轴事件
全部知识事实 (16)
知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布
80%已验证DistilBERT通过蒸馏将BERT参数量减少40%，推理速度提升60%，性能仅损失约3%
75%待验证DistilBERT将BERT体积压缩40%同时保留97%性能
60%待验证在分层抽样的1,000条测试子集上，最强的LLM提示配置准确率为0.477，而微调后的DistilBERT达到0.879。
50%待验证通过模型蒸馏、量化（INT8/FP16）等压缩技术可将轻量神经网络（如DistilBERT）参数量降至千万级以下，使其在CPU上达到可接受的推理速度
50%待验证一篇发布于arXiv的研究（arXiv:2609.28703v1）提出了一套兼顾多层级分类与可解释性的仇恨言论检测框架，核心由DistilBERT、双向LSTM和注意力机制三个组件组成
50%待验证微调后的DistilBERT在同分布测试中F1=0.9993，但在主题偏移下损失12.9个平均精度点，退化比线性模型的5.2点更严重
50%待验证DistilBERT在预训练阶段即引入蒸馏，证明蒸馏可以在无监督预训练阶段发挥作用，而不仅限于监督微调阶段
50%待验证DistilBERT于2019年由Hugging Face提出，以原始BERT-base（1.1亿参数）为教师训练出仅6600万参数的学生模型
50%待验证DistilBERT在GLUE基准上保留原版约97%的性能，推理速度提升约60%，模型体积缩减40%
50%待验证DistilBERT是Hugging Face团队通过知识蒸馏从BERT压缩得到的轻量模型，仅保留6层Transformer，参数量减少40%，推理速度提升60%
50%待验证DistilBERT将BERT-base从110M参数压缩至66M,推理速度提升60%,保留97%性能
50%待验证DistilBERT 由 Hugging Face 的 Sanh 等人于 2019 年提出，是通过知识蒸馏将 BERT-base 压缩至 6 层、6600 万参数的轻量模型
50%待验证DistilBERT 的蒸馏过程使用了三重损失函数：蒸馏损失、遮蔽语言模型损失和余弦嵌入损失
50%待验证DistilBERT 在保留 BERT 97% 语言理解能力的同时，将推理速度提升 60%，模型体积缩减 40%
50%待验证经过 DRET 增强的 DistilBERT 仅 6600 万参数，在平衡准确率、召回率、ROC-AUC 等核心指标上达到与体量大一个数量级的生物医学专用模型相当的水平
50%