概念强化微调 / Reinforcement Fine-Tuning
RFT
强化微调是一种基于强化学习信号对预训练语言模型进行微调的方法，通过奖励加权的策略梯度更新模型参数，相比监督微调在风格对称性保持和灾难性遗忘方面具有一定优势
时间轴 (近 90 天)
10月7日
拒绝采样微调（RFT）是一种无需人工偏好标注的后训练范式，最初由Meta在LLaMA 2研究中推广
待验证50%
10月5日
监督微调（SFT）往往比强化微调（RFT）带来更严重的灾难性遗忘
待验证50%
10月5日
SFT和RFT在语义更新上是平行一致的，但在风格动态上截然不同
待验证50%
10月5日
从没有类内风格偏好的策略出发，使用精确策略梯度的RFT能够保持风格对称性，不引入风格偏向
待验证50%
10月5日
RFT能够维持零语义误差
待验证50%
10月5日
RFT优化结果正确性而非逐token模仿特定风格，从而避免风格漂移副作用，这解释了RLHF/RFT在保持通用能力方面更稳健
待验证50%