待验证50% 置信事实精确时间
Ambient SFT的提升并非来自额外的标注数据,而是通过充分利用冻结预训练模型的预测分布实现的。
1
来源数
50%
置信度
长期有效
时效性
2026/11/18
首次发现
来源
涉及实体
相关事实
待验证在自训练中,训练温度影响数据生成时的采样分布:温度 T 通过 p_i ∝ exp(z_i/T) 调整模型输出概率,T>1 使分布更平坦,T<1 使分布更尖锐。69% 相似待验证监督微调(SFT)优化的是模仿损失而非行为层面的安全目标,因此容易出现“在训练分布内有效、在分布外失效”的现象。69% 相似待验证对于标签空间离散且封闭的分类任务,SFT的训练信号已足够清晰,引入强化学习反而会增加超参数调节难度和训练不稳定性68% 相似待验证相比全量预训练,SFT 所需的数据量和算力要小得多,但仍需要 GPU 集群、分布式训练框架以及检查点管理和实验追踪能力68% 相似待验证SFT 通常比预训练便宜得多,但对数据质量极其敏感,数据配比、epoch 数、学习率都会显著影响效果。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1182994API
curl https://kongchang.com/api/v1/knowledge/claims/1182994MCP
get_claim(id=1182994)