待验证50% 置信权衡取舍精确时间

合成数据蒸馏使学生模型无法习得教师的置信度分布，在模糊样本上的泛化能力相对有限

1

来源数

50%

置信度

长期有效

时效性

2026/9/17

首次发现

来源

9美元让Gemini训练出替代自己的小模型：模型蒸馏实践观察

涉及实体

合成数据蒸馏concept

相关事实

待验证监督学习模型的能力受限于数据质量天花板，无法超越教师算法水平80% 相似待验证蒸馏训练的教师模型输出极少包含自我纠错示例，导致学生模型形成「强模型不犯错」的隐性信念，在校验失败时选择重复而非修正79% 相似待验证许多开源模型继承教师模型的自信偏差，导致工具调用错误时不愿自我纠正75% 相似待验证私有评测的题目未公开，模型无法通过在训练数据中背题来提升成绩，因此更能反映真实泛化能力73% 相似待验证多对一映射导致教师token间的不确定性在投影到学生第一个token时被直接加和抹平，这是投影方式的固有属性而非实现错误72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/929637

API

curl https://kongchang.com/api/v1/knowledge/claims/929637

MCP

get_claim(id=929637)