待验证50% 置信事实精确时间

标准SFT流程中模型会持续在已经拟合良好的序列上消耗梯度，导致输出分布收窄、熵降低，从而压缩了后续RL的探索空间

1

来源数

50%

置信度

长期有效

时效性

2026/9/7

首次发现

来源

微软TailSFT：过滤已拟合样本，让SFT更好地为RL铺路

涉及实体

SFTconcept RLconcept

相关事实

待验证过度充分的SFT可能损害后续RL的探索空间，一个完美收敛的SFT模型未必是RL的最佳起点71% 相似待验证SFT微调有效但导致小模型通用知识下降，即灾难性遗忘现象，因小模型容量瓶颈突出69% 相似待验证基于过程变量的闭环控制属于条件维护策略，相比定时维护能显著降低资源消耗68% 相似待验证通过'不要按常规套路'这样的约束性提示词，本质上是在调整模型的采样分布，降低高频方案的输出权重，迫使模型探索低概率但可能更具创新性的输出区域68% 相似待验证交叉熵损失在分类任务中往往比MSE收敛更快，因为它与softmax输出配合，梯度不会在饱和区消失68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/873212

API

curl https://kongchang.com/api/v1/knowledge/claims/873212

MCP

get_claim(id=873212)