待验证50% 置信解决方案精确时间
GAD-RL用学生对教师Top-1 token的预测概率来加权前向KL散度，当学生对教师推荐token支持度低时抑制局部辅助更新
1
来源数
50%
置信度
长期有效
时效性
2026/10/1
首次发现
来源
涉及实体
相关事实
待验证在传统白盒蒸馏中学生模型可以直接访问教师模型输出层的完整概率分布（logits），而大语言模型商业API通常只返回最终生成文本或top-k的token概率64% 相似待验证Direct Preference Optimization（DPO，2023年）通过数学变换将RLHF的两阶段问题压缩为单阶段监督学习，无需显式奖励模型64% 相似待验证RLCD通过构造正负样本对进行对比学习，结合强化学习信号蒸馏模型输出分布，在无需人工标注奖励的场景下具有优势64% 相似已验证知识蒸馏通过软标签传递教师模型输出的完整概率分布信息，起到隐式数据增强效果62% 相似待验证GNoME采用主动学习策略，迭代式地生成候选、预测稳定性、筛选最有价值结构送入DFT计算验证，再更新模型61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/963913API
curl https://kongchang.com/api/v1/knowledge/claims/963913MCP
get_claim(id=963913)