待验证50% 置信事实精确时间

On-policy distillation（在线策略蒸馏）的训练数据由学生模型在当前参数下实时采样生成，而非预先准备好的固定语料，这与离线蒸馏形成对比

1

来源数

50%

置信度

长期有效

时效性

2026/10/15

首次发现

来源

CriticOPD：用批判引导纠正On-Policy蒸馏的监督失效

rss2026/10/14

涉及实体

On-policy distillationconcept 离线蒸馏concept

相关事实

待验证DistilBERT在预训练阶段即引入蒸馏，证明蒸馏可以在无监督预训练阶段发挥作用，而不仅限于监督微调阶段72% 相似待验证作者推测开源模型带有坚持己见的倾向可能与蒸馏训练有关，因训练数据来自被默认正确的商业大模型输出71% 相似已验证在线策略蒸馏（OPD）让学生模型自己生成训练响应，再由教师模型提供监督信号71% 相似待验证基于 SWE-bench Verified 训练的经验能否泛化到风格迥异的真实私有仓库、跨25个模型汇总的规律用于具体模型是否水土不服、额外模型调用的延迟与收益比等问题仍待验证70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1037914

API

curl https://kongchang.com/api/v1/knowledge/claims/1037914

MCP

get_claim(id=1037914)