待验证50% 置信事实精确时间
在知识蒸馏与Ambient SFT中,损失函数通常由任务损失与KL散度正则项组成:前者拉近模型输出与硬标签的距离,后者约束模型分布不偏离教师分布太远。
1
来源数
50%
置信度
长期有效
时效性
2026/11/18
首次发现
来源
涉及实体
相关事实
已验证对比学习的核心损失函数(如InfoNCE、NT-Xent)本质是拉近同类样本表征距离、推远不同类样本表征距离74% 相似待验证SFT的损失函数平等对待轨迹中的每个token,无法区分关键决策点与普通操作,因此难以纠正过度探索。73% 相似待验证论文提出了JurisCoT-SFT,对推理链和最终答案分别计算损失,并按序列长度做归一化,使两部分的学习信号处于可比较的量级。73% 相似待验证监督学习本质上是函数逼近问题,通过最小化损失函数实现,常见损失函数包括回归任务的均方误差(MSE)和分类任务的交叉熵(Cross Entropy)72% 相似待验证使用像素级损失函数(L1+MSE)训练学生模型导致画面发灰、发平,像是所有可能结果的平均值,这是回归类损失在生成任务上的经典失败模式72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1182995API
curl https://kongchang.com/api/v1/knowledge/claims/1182995MCP
get_claim(id=1182995)