待验证50% 置信事实精确时间

蒸馏可拆解为四个维度：硬标签/软标签、数据来源、离线/在线时间节点、教师身份

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

Agent蒸馏实战：用小模型复刻大模型的智能体能力

涉及实体

相关事实

待验证白盒教师可访问权重和logits，支持软标签蒸馏；黑盒教师只能提供文本输出，只能做硬标签的离线蒸馏66% 相似待验证跨分词器蒸馏的标准做法是将教师top-K logits投影到学生token上，在分段边界处把教师token映射到对应学生token序列的第一个token，这是一种多对一映射63% 相似待验证在条件生成中，每个标签通常被映射为固定维度（通常64-512维）的可学习嵌入向量，多个标签的嵌入向量通过求和、拼接或注意力池化等方式聚合为单一条件向量59% 相似待验证传统知识蒸馏通常使用教师模型输出的软标签来传递类别间相似性等暗知识59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/911347

API

curl https://kongchang.com/api/v1/knowledge/claims/911347

MCP

get_claim(id=911347)