待验证50% 置信事实精确时间
策略蒸馏是一种将多个专家策略的知识压缩到单一学生策略中的技术，通常通过最小化学生网络与专家输出的 KL 散度或交叉熵来实现。
1
来源数
50%
置信度
长期有效
时效性
2026/10/26
首次发现
来源
涉及实体
相关事实
待验证策略蒸馏通常指用一个学生策略去模仿一个或多个教师策略的行为。79% 相似待验证推理蒸馏是知识蒸馏的一个分支，指用大型教师模型生成的推理过程（而非仅最终答案）来训练较小的学生模型，使其习得逐步推理的能力。70% 相似待验证效率型模型的常见技术路径包括知识蒸馏、稀疏激活（MoE架构只激活部分专家网络）以及任务特化微调70% 相似待验证模型蒸馏是指通过大量查询目标模型、收集其输入输出对，进而训练出能力相近的学生模型70% 相似待验证策略内蒸馏（on-policy distillation）让学生模型先自己生成轨迹，再由教师模型对这些路径提供监督信号，从而避免离线数据与学生行为之间的分布偏移。69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1098988API
curl https://kongchang.com/api/v1/knowledge/claims/1098988MCP
get_claim(id=1098988)