Unverified50% confidenceFactExact time
标准SFT流程中模型会持续在已经拟合良好的序列上消耗梯度，导致输出分布收窄、熵降低，从而压缩了后续RL的探索空间
1
Sources
50%
Confidence
Long-term
Relevance
9/7/2026
First Seen
Sources
Related Entities
Related Claims
Unverified过度充分的SFT可能损害后续RL的探索空间，一个完美收敛的SFT模型未必是RL的最佳起点71% similarUnverifiedSFT微调有效但导致小模型通用知识下降，即灾难性遗忘现象，因小模型容量瓶颈突出69% similarUnverified基于过程变量的闭环控制属于条件维护策略，相比定时维护能显著降低资源消耗68% similarUnverified通过'不要按常规套路'这样的约束性提示词，本质上是在调整模型的采样分布，降低高频方案的输出权重，迫使模型探索低概率但可能更具创新性的输出区域68% similarUnverified交叉熵损失在分类任务中往往比MSE收敛更快，因为它与softmax输出配合，梯度不会在饱和区消失68% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/873212API
curl https://kongchang.com/api/v1/knowledge/claims/873212MCP
get_claim(id=873212)