待验证50% 置信基准精确时间

DistilBERT在GLUE基准上保留原版约97%的性能，推理速度提升约60%，模型体积缩减40%

1

来源数

50%

置信度

长期有效

时效性

2026/9/21

首次发现

来源

知识蒸馏详解：如何让小模型学会大模型的本领

涉及实体

DistilBERTmodel GLUEconcept

相关事实

待验证DistilBERT将BERT-base从110M参数压缩至66M,推理速度提升60%,保留97%性能80% 相似待验证DistilBERT将BERT体积压缩40%同时保留97%性能78% 相似待验证DistilBERT通过蒸馏将BERT参数量减少40%，推理速度提升60%，性能仅损失约3%77% 相似待验证DistilRoBERTa是RoBERTa的蒸馏版本，参数量减少40%但保留97%的性能76% 相似待验证DistilBERT将参数量压缩至6600万（原版1.1亿），推理速度提升60%，精度损失不足3%75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/937981

API

curl https://kongchang.com/api/v1/knowledge/claims/937981

MCP

get_claim(id=937981)