待验证50% 置信事实精确时间
知识蒸馏在 LLM 推理能力迁移中，通常指用强模型生成的带思维链回答作为监督数据训练弱模型，DeepSeek-R1 的蒸馏系列即属此类。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
大模型RL训练中的思维泄漏问题
hackernewshackernews2026/10/16
涉及实体
相关事实
待验证o1、DeepSeek-R1等模型将思维链内化为训练目标，在输出答案前生成大量内部草稿推理78% 相似待验证知识蒸馏通过大模型的软标签指导小模型训练，而剪枝则直接从大模型的权重中继承知识77% 相似待验证LLM 后训练中，模型把本应隐藏的中间推理步骤直接吐给用户，或者在 RL 奖励计算时，本该只评估最终答案的奖励模型看到了推理过程，从而扭曲优化方向。76% 相似待验证作者认为LLM的'思维链'（Chain-of-Thought）输出更可能是对训练数据中推理模式的高度拟合与复现，而非真正意义上的逻辑演绎75% 相似待验证推理模型与普通 LLM 的核心区别在于训练方式而非架构，推理模型在预训练和监督微调基础上引入了强化学习阶段75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1044678API
curl https://kongchang.com/api/v1/knowledge/claims/1044678MCP
get_claim(id=1044678)