待验证50% 置信事实精确时间
WISD 的弱化模型与原始模型同源，共享预训练知识、分词方式和推理风格，从而消除教师-学生分布不匹配问题。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
涉及实体
相关事实
待验证当通用推理范式在特定领域失效时，用领域结构约束推理过程，再用教师模型蒸馏推理轨迹，可能是小模型获得专业能力的有效路径。75% 相似待验证在知识蒸馏中，off-policy蒸馏使用教师模型生成的轨迹作为训练样本，存在教师访问状态分布与学生自身状态分布不一致的分布偏移问题。75% 相似待验证知识蒸馏的中间层对齐策略（如PKD、TinyBERT）通过强制学生模型的隐藏表示模仿教师模型的分布间接约束嵌入几何结构74% 相似待验证用教师模型生成训练数据会无声地转移教师的盲区、风格习惯和失败模式，学生模型会继承教师犯错的特定形状。73% 相似待验证传统推理蒸馏将教师模型的完整推理轨迹连同正确答案一起提供给学生模型，但一条推理轨迹即使伴随正确答案，也未必能为特定学生提供有效的监督信号。73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1114238API
curl https://kongchang.com/api/v1/knowledge/claims/1114238MCP
get_claim(id=1114238)