待验证50% 置信事实精确时间

知识蒸馏能让小模型取得远超从零单独训练的效果，本质在于软标签传递了比硬标签更丰富的监督信号

1

来源数

50%

置信度

长期有效

时效性

2026/9/21

首次发现

来源

知识蒸馏详解：如何让小模型学会大模型的本领

涉及实体

知识蒸馏concept

相关事实

待验证小模型通过知识蒸馏通常比直接在标注数据上训练精度高出2-5个百分点79% 相似已验证模型蒸馏使用大型教师模型的软标签来训练小型学生模型，软标签携带的暗知识使蒸馏效率超过普通监督学习78% 相似待验证使用假词作为提示词可以让模型进入训练数据中较少被激活的潜空间区域，从而产出更具多样性的结果75% 相似待验证Few-shot Learning相比全量微调的优势在于零训练成本和即时切换能力，只需更换几个示例即可调整品牌语气75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/937984

API

curl https://kongchang.com/api/v1/knowledge/claims/937984

MCP

get_claim(id=937984)