待验证50% 置信事实精确时间
在线策略蒸馏让学生模型在训练过程中生成自己的排序，教师针对这些排序提供反馈，从而避免离线蒸馏中教师分布与学生分布不匹配的问题（暴露偏差）。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
已验证在线策略蒸馏（OPD）让学生模型自己生成训练响应，再由教师模型提供监督信号79% 相似待验证Token级在线策略蒸馏将学生模型的隐藏状态与教师信号对齐，并加入门控机制进行信用分配，在数学和工具使用基准上取得提升。79% 相似待验证在线策略蒸馏的训练数据由学生当前策略与环境交互产生，状态分布随学生策略更新而变化，与 DAgger 思想一脉相承，可缓解分布偏移。78% 相似待验证教师-学生蒸馏框架先训练可访问完整环境信息的教师策略，再蒸馏到仅依赖机载传感器的学生策略中以实现真实硬件部署76% 相似待验证DINOv2的核心训练策略基于自蒸馏，模型同时维护教师网络和学生网络，学生网络通过预测教师网络对同一图像不同裁剪视角的输出来学习特征表示76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1125725API
curl https://kongchang.com/api/v1/knowledge/claims/1125725MCP
get_claim(id=1125725)