待验证50% 置信事实精确时间
前向KL倾向于让学生策略覆盖教师策略的所有模式，学得全但可能不够精准；反向KL倾向于让学生策略集中在教师策略的高概率区域，学得精但可能遗漏某些模式。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证知识蒸馏的中间层对齐策略（如PKD、TinyBERT）通过强制学生模型的隐藏表示模仿教师模型的分布间接约束嵌入几何结构76% 相似待验证流式模型蒸馏的挑战在于教师模型若采用非因果架构，其潜在表征包含未来信息，而学生模型推理时无法获取，需设计对齐策略避免学生被迫拟合无法复现的信息72% 相似待验证策略蒸馏通常指用一个学生策略去模仿一个或多个教师策略的行为。69% 相似待验证LISCO（学习型约束优化迭代求解器）学习预测原始-对偶步长，逐步逼近满足KKT最优性条件的解，而非直接预测最终控制量69% 相似待验证自回归生成系统训练采用Teacher Forcing策略，推理阶段切换为自回归模式后产生分布偏移导致误差累积放大68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1023683API
curl https://kongchang.com/api/v1/knowledge/claims/1023683MCP
get_claim(id=1023683)