FSPO
一种用于大模型强化学习的策略优化框架，通过稀疏存储历史策略输出的next-token分布作为固定时间锚点目标，替代持续演化的教师模型，解决自蒸馏中目标漂移问题并节省显存
时间轴 (近 90 天)
FSPO（Function-Space Policy Optimization）提出在训练过程中稀疏存储历史策略在特定输入下的next-token分布，作为固定的时间锚点目标，而非维护持续更新的教师模型。
FSPO在Olmo3-7B-Instruct上训练时，峰值显存从约70GB降至56GB，节省14GB。
FSPO包含三个关键组件：特权分歧纠正（Privileged Disagreement Correction）、可靠性自适应基础（Reliability-Adaptive Grounding）和质量与覆盖感知的时序记忆（Quality and Coverage-Aware Temporal Memory）。
在推理和工具使用基准上，FSPO在5小时训练预算内取得了最高的平均准确率，比最强基线平均高出约4个百分点。
FSPO在函数空间直接操作策略的输出分布（给定输入的next-token概率分布），避免参数对称性和优化路径复杂性，比参数空间对齐更直接稳定。
FSPO的锚点一旦存储就完全冻结，不随当前策略更新而变化，从而数学上保证了目标分布的平稳性。
FSPO论文摘要中未披露具体的基准名称和基线方法，因此4%的提升是否统计显著、是否所有任务稳定尚不明确。
FSPO方法引入三个额外组件，每个都有超参数需要调节，实际使用中的调参成本不容忽视。
FSPO在5小时训练预算下的表现已验证，但在更长训练周期下的表现（尤其存储的历史分布是否会过时）尚不明确。
FSPO的思路与经验回放（experience replay）有精神上的相似之处，但操作的是策略分布而非状态转移。
全部知识事实 (10)
FSPO的思路与经验回放（experience replay）有精神上的相似之处，但操作的是策略分布而非状态转移。
50%待验证FSPO在Olmo3-7B-Instruct上训练时，峰值显存从约70GB降至56GB，节省14GB。
50%待验证FSPO包含三个关键组件：特权分歧纠正（Privileged Disagreement Correction）、可靠性自适应基础（Reliability-Adaptive Grounding）和质量与覆盖感知的时序记忆（Quality and Coverage-Aware Temporal Memory）。
50%待验证在推理和工具使用基准上，FSPO在5小时训练预算内取得了最高的平均准确率，比最强基线平均高出约4个百分点。
50%待验证FSPO在函数空间直接操作策略的输出分布（给定输入的next-token概率分布），避免参数对称性和优化路径复杂性，比参数空间对齐更直接稳定。
50%待验证FSPO的锚点一旦存储就完全冻结，不随当前策略更新而变化，从而数学上保证了目标分布的平稳性。
50%待验证FSPO论文摘要中未披露具体的基准名称和基线方法，因此4%的提升是否统计显著、是否所有任务稳定尚不明确。
50%待验证FSPO方法引入三个额外组件，每个都有超参数需要调节，实际使用中的调参成本不容忽视。
50%待验证FSPO（Function-Space Policy Optimization）提出在训练过程中稀疏存储历史策略在特定输入下的next-token分布，作为固定的时间锚点目标，而非维护持续更新的教师模型。
50%待验证FSPO在5小时训练预算下的表现已验证，但在更长训练周期下的表现（尤其存储的历史分布是否会过时）尚不明确。
50%