待验证50% 置信事实精确时间
On-policy distillation（OPD）是一种知识蒸馏变体，训练数据由学生模型在当前参数下实时生成，教师模型对自生成回答逐token提供概率分布作为监督信号。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
涉及实体
相关事实
待验证策略内蒸馏（on-policy distillation）让学生模型先自己生成轨迹，再由教师模型对这些路径提供监督信号，从而避免离线数据与学生行为之间的分布偏移。75% 相似待验证在线策略蒸馏（OPD）让学生模型自己生成轨迹，再由教师模型在这些轨迹上提供监督信号73% 相似待验证知识蒸馏（Knowledge Distillation）由Hinton等人在2015年系统提出，核心思想是用大模型的输出概率分布指导小模型训练68% 相似已验证模型蒸馏（Model Distillation）在机器学习领域指用大型教师模型的输出训练小型学生模型，以压缩模型规模同时保留能力66% 相似待验证在知识蒸馏中，off-policy蒸馏使用教师模型生成的轨迹作为训练样本，存在教师访问状态分布与学生自身状态分布不一致的分布偏移问题。66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1114712API
curl https://kongchang.com/api/v1/knowledge/claims/1114712MCP
get_claim(id=1114712)