概念Rejection Sampling Fine-Tuning / RFT / 拒绝采样
拒绝采样微调
一种无需人工偏好标注的模型后训练范式，通过让模型对同一输入采样多条输出，用外部标准过滤错误样本，再用剩余成功轨迹做监督微调，相比RLHF实现成本更低
时间轴 (近 90 天)
10月24日
JOLT并非首个尝试压缩后训练成本的工作，此前的方向包括拒绝采样微调、直接偏好优化（DPO）系列方法以及各类自奖励机制。
待验证50%
一种无需人工偏好标注的模型后训练范式，通过让模型对同一输入采样多条输出，用外部标准过滤错误样本，再用剩余成功轨迹做监督微调，相比RLHF实现成本更低
JOLT并非首个尝试压缩后训练成本的工作，此前的方向包括拒绝采样微调、直接偏好优化（DPO）系列方法以及各类自奖励机制。