待验证50% 置信事实精确时间
推理蒸馏是知识蒸馏的一个分支,指用大型教师模型生成的推理过程(而非仅最终答案)来训练较小的学生模型,使其习得逐步推理的能力。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
待验证思维泄漏指的是在强化学习训练大语言模型过程中,模型用于内部推理的思维链内容以非预期方式泄漏到最终输出、训练信号或外部可观测接口中。76% 相似待验证传统推理蒸馏将教师模型的完整推理轨迹连同正确答案一起提供给学生模型,但一条推理轨迹即使伴随正确答案,也未必能为特定学生提供有效的监督信号。76% 相似待验证输出蒸馏是直接用教师模型生成的对话、推理链等文本作为训练数据微调学生模型,无需访问教师内部参数75% 相似待验证模型蒸馏是指通过大量查询目标模型、收集其输入输出对,进而训练出能力相近的学生模型73% 相似待验证论文《Beyond the Answer: Student-Conditioned Trace Construction for Reasoning Distillation》提出ReDiST框架,用于构建推理蒸馏中能提升学习效果的推理轨迹。73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1064841API
curl https://kongchang.com/api/v1/knowledge/claims/1064841MCP
get_claim(id=1064841)