SAO
一种用于大语言模型后训练的强化学习算法，结合单轮次采样与异步优化机制，旨在提升长程训练稳定性与效率，在编程和数学推理基准上表现优于GRPO
Timeline (last 90 days)
weight recipes 循环包括 SAO、OpenClaw-RL、TTT-Discover、Guidance-TTT，需要 GPU 和完整的训练栈
Reef Infra 在仓库中提供了名为 SAO 的小而完整的示例，包含配方、处理器、目标和后端损失代码
SAO的Single-rollout（单轮次采样）特征意味着在每次策略更新时采用更精简的采样与轨迹生成机制，减少了对多次rollout的依赖
SAO的Asynchronous（异步优化）指数据采集（rollout）与策略更新之间解耦并行执行
SAO（单轮次异步优化，Single-rollout Asynchronous Optimization）能够在长达一千步的训练过程中保持稳定
SAO同时在编程与数学推理两个差异较大的任务域上取得领先，说明该方法具备一定的通用性
目前SAO公开的信息主要来自研究团队的初步披露，尚缺少完整技术报告或论文
SAO团队选取了SWE-Bench Verified、BeyondAIME和IMOAnswerBench三个高难度基准进行验证
SAO在多个高难度基准测试上持续超越GRPO及其各类变体
All Facts (8)
weight recipes 循环包括 SAO、OpenClaw-RL、TTT-Discover、Guidance-TTT，需要 GPU 和完整的训练栈
50%UnverifiedReef Infra 在仓库中提供了名为 SAO 的小而完整的示例，包含配方、处理器、目标和后端损失代码
50%UnverifiedSAO的Single-rollout（单轮次采样）特征意味着在每次策略更新时采用更精简的采样与轨迹生成机制，减少了对多次rollout的依赖
50%UnverifiedSAO的Asynchronous（异步优化）指数据采集（rollout）与策略更新之间解耦并行执行
50%UnverifiedSAO（单轮次异步优化，Single-rollout Asynchronous Optimization）能够在长达一千步的训练过程中保持稳定
50%UnverifiedSAO同时在编程与数学推理两个差异较大的任务域上取得领先，说明该方法具备一定的通用性
50%UnverifiedSAO团队选取了SWE-Bench Verified、BeyondAIME和IMOAnswerBench三个高难度基准进行验证
50%UnverifiedSAO在多个高难度基准测试上持续超越GRPO及其各类变体
50%