待验证50% 置信事实精确时间
同家族过滤器（如使用教师输出训练的奖励模型）会系统性地偏袒流畅、格式规整的样本，导致方差缩减而非偏差纠正。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
涉及实体
相关事实
待验证现有少步蒸馏方法大致分为两类：一类依赖额外的 score 模型来估计教师分布，另一类引入对抗损失来拉近学生与教师的输出分布。71% 相似待验证同一家族不同尺寸的模型往往共享大量训练语料和对齐策略，盲点高度重叠，审查效果有限；来自不同厂商、不同架构的模型审查更有价值。71% 相似待验证对嵌入模型进行对比学习微调能提升招聘场景匹配效果，关键在于使用难负样本（如同领域但不同层级的岗位）而非随机负样本68% 相似待验证蒸馏后的偏好优化（post-distillation preference optimization）能提升学生的危害规避能力，但无法消除源教师带来的差异。66% 相似已验证模型蒸馏使用大型教师模型的软标签来训练小型学生模型，软标签携带的暗知识使蒸馏效率超过普通监督学习65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1053600API
curl https://kongchang.com/api/v1/knowledge/claims/1053600MCP
get_claim(id=1053600)