待验证50% 置信事实精确时间

白盒教师可访问权重和logits，支持软标签蒸馏；黑盒教师只能提供文本输出，只能做硬标签的离线蒸馏

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

Agent蒸馏实战：用小模型复刻大模型的智能体能力

涉及实体

白盒蒸馏concept 黑盒蒸馏concept

相关事实

待验证蒸馏可拆解为四个维度：硬标签/软标签、数据来源、离线/在线时间节点、教师身份66% 相似待验证传统知识蒸馏通常使用教师模型输出的软标签来传递类别间相似性等暗知识61% 相似待验证Alpaca、Vicuna采用黑盒蒸馏策略，通过收集教师模型的输出文本进行监督微调61% 相似待验证跨分词器蒸馏的标准做法是将教师top-K logits投影到学生token上，在分段边界处把教师token映射到对应学生token序列的第一个token，这是一种多对一映射59% 相似待验证标签系统相比CLIP等自由文本编码器的优势在于语义边界清晰、歧义更少，但代价是无法表达训练时未见过的概念组合59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/911345

API

curl https://kongchang.com/api/v1/knowledge/claims/911345

MCP

get_claim(id=911345)