FOCUS
一种用于长程语言模型智能体信用分配的强化学习方法，通过选择性分支和主动学习策略，在采样预算内高效训练评论家网络，并结合TD(λ)优势估计，解决稀疏奖励下的信用分配难题。
时间轴 (近 90 天)
FOCUS 方法使用选择性分支和主动学习来缓解稀疏结果奖励下长程智能体信用分配中的评论家估值不准与续写采样成本高昂两个问题。
在每步生成预算匹配的条件下，FOCUS 在 Qwen3.5-9B 规模上于 BrowseComp-Plus 基准比最强基线（GRPO/VinePPO 中较高者）提升 7.2 个百分点，达到 55.4 对 48.2。
FOCUS 的选择性分支由 rollout 控制器主动选择预期最能降低评论家估计误差的状态进行续写采样，而非在所有状态均匀采样。
FOCUS 使用 TD(λ) 优势为连续状态之间的片段打分，结合精细化价值估计进行片段级信用分配。
FOCUS 将上下文管理与 rollout 分配解耦，使上下文压缩产生的片段边界可直接用于价值估计和信用分配。
FOCUS 实验集中在 9B 规模模型和特定基准上，方法在更大模型和更广泛任务上的泛化性还有待验证。
FOCUS 在合法推理、深度搜索和代码定位三类基准上进行实验，对比 GRPO 和 VinePPO，表现优于两者。
全部知识事实 (7)
FOCUS 方法使用选择性分支和主动学习来缓解稀疏结果奖励下长程智能体信用分配中的评论家估值不准与续写采样成本高昂两个问题。
50%待验证在每步生成预算匹配的条件下，FOCUS 在 Qwen3.5-9B 规模上于 BrowseComp-Plus 基准比最强基线（GRPO/VinePPO 中较高者）提升 7.2 个百分点，达到 55.4 对 48.2。
50%待验证FOCUS 的选择性分支由 rollout 控制器主动选择预期最能降低评论家估计误差的状态进行续写采样，而非在所有状态均匀采样。
50%待验证FOCUS 使用 TD(λ) 优势为连续状态之间的片段打分，结合精细化价值估计进行片段级信用分配。
50%待验证FOCUS 将上下文管理与 rollout 分配解耦，使上下文压缩产生的片段边界可直接用于价值估计和信用分配。
50%待验证FOCUS 实验集中在 9B 规模模型和特定基准上，方法在更大模型和更广泛任务上的泛化性还有待验证。
50%待验证FOCUS 在合法推理、深度搜索和代码定位三类基准上进行实验，对比 GRPO 和 VinePPO，表现优于两者。
50%