待验证50% 置信事实精确时间

DistilBERT于2019年由Hugging Face提出，以原始BERT-base（1.1亿参数）为教师训练出仅6600万参数的学生模型

1

来源数

50%

置信度

长期有效

时效性

2026/9/21

首次发现

来源

知识蒸馏详解：如何让小模型学会大模型的本领

涉及实体

DistilBERTmodel Hugging Facecompany BERTmodel

相关事实

待验证一个 700 亿参数的教师模型指导训练出的 70 亿参数学生模型在多数任务上可能保留 80-90% 的能力70% 相似待验证可以在Hugging Face上搜索与目标模型同架构的LoRA训练示例和公开训练参数61% 相似待验证字节跳动Seed团队计划训练超过5万亿参数的基座大模型，目前处于早期论证阶段，拒绝蒸馏路线坚持原生预训练59% 相似待验证2019年前后随着BERT等预训练语言模型普及，序列标注方法成为技能抽取的主流，将技能抽取建模为BIO标注任务59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/937980

API

curl https://kongchang.com/api/v1/knowledge/claims/937980

MCP

get_claim(id=937980)