待验证50% 置信观点精确时间

过度充分的SFT可能损害后续RL的探索空间，一个完美收敛的SFT模型未必是RL的最佳起点

1

来源数

50%

置信度

长期有效

时效性

2026/9/7

首次发现

来源

微软TailSFT：过滤已拟合样本，让SFT更好地为RL铺路

涉及实体

SFTconcept RLconcept

相关事实

待验证SFT微调有效但导致小模型通用知识下降，即灾难性遗忘现象，因小模型容量瓶颈突出72% 相似待验证标准SFT流程中模型会持续在已经拟合良好的序列上消耗梯度，导致输出分布收窄、熵降低，从而压缩了后续RL的探索空间71% 相似待验证离线RL的核心挑战是分布偏移，可能导致外推误差，使学到的策略在部署时表现远不如预期65% 相似待验证RRF对各路检索的原始分数分布不敏感，相比简单的线性加权在混合检索场景中更加鲁棒64% 相似待验证仅靠微调阶段的RLHF或许永远无法产生真正鲁棒的安全对齐62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/873213

API

curl https://kongchang.com/api/v1/knowledge/claims/873213

MCP

get_claim(id=873213)