待验证50% 置信事实精确时间
DRET 把知识迁移的焦点放在嵌入层，直接操作词嵌入矩阵，将教师模型训练好的词向量移植到学生模型中，无需教师模型参与推理过程
1
来源数
50%
置信度
长期有效
时效性
2026/9/6
首次发现
来源
涉及实体
相关事实
待验证知识蒸馏的中间层对齐策略（如PKD、TinyBERT）通过强制学生模型的隐藏表示模仿教师模型的分布间接约束嵌入几何结构72% 相似待验证DRET（Distilled Rapid Embedding Transfer，蒸馏式快速嵌入迁移）是一种知识迁移范式，能将大型专用模型的生物医学领域知识注入更小的通用模型，且无需在原始专业语料上重新训练69% 相似已验证知识蒸馏通过软标签传递教师模型输出的完整概率分布信息，起到隐式数据增强效果69% 相似已验证提示词工程的有效性根植于大语言模型的「上下文学习」（In-Context Learning）能力，无需修改模型权重即可实现任务切换67% 相似待验证DRET 3.x 提出优先级迁移机制（priority-based embedding-transfer），以层级化方式从最权威的源模型中为每个词元挑选最可信的嵌入66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/866058API
curl https://kongchang.com/api/v1/knowledge/claims/866058MCP
get_claim(id=866058)