固定任务集RL vs 线上流量持续RL：智能体训练路线之争

一个被忽略的问题：模型发布之后

大多数关于强化学习训练智能体的讨论，都聚焦在发布之前：任务集怎么设计、奖励怎么定义、训练跑多久。但Reddit上一位从业者提出了一个更实际的问题——发布之后怎么办？

他以微软的4B编程智能体为例。这个模型几乎完全靠RL训练，没有更大的教师模型蒸馏，本质上是一个做得不错的离线RL流程：固定任务集、奖励函数、一次训练、一次发布。发布那一刻，模型在测试集上的表现是确定的。但真正上线服务后，它失败的那些任务，恰恰是没有人放进任务集里的那些。

这个问题引出了两种截然不同的训练哲学：按计划在固定集上重训，还是从智能体上次更新以来实际服务的流量中持续学习？

离线RL的边界在哪里

微软这个4B编程智能体的案例值得细看。它证明了小模型通过纯RL也能达到可用的编程能力，不需要依赖大模型蒸馏。这本身是离线RL方法论的一次有力验证。

但离线RL的隐含假设是：任务集能代表真实分布。一旦上线，这个假设就开始松动。用户提交的请求千奇百怪，失败模式也远超任务集设计者的想象。如果只在固定集上周期性重训，模型永远在追赶一个它从未见过的分布。

这并不是说离线RL没有价值。固定任务集的好处是评分清晰、流程可控、结果可复现。对于需要严格审计的场景，这可能是唯一可接受的方式。问题在于，当智能体作为一个持续运行的服务存在时，离线循环和真实需求之间的缝隙只会越来越大。

离线强化学习（Offline RL）是一类只在预先收集好的固定数据集上训练策略、训练期间不再与环境交互的强化学习方法。与之相对的是在线RL（Online RL），后者边训练边从环境中采样新数据。离线RL的核心优势在于训练过程完全可复现、可审计：数据集固定、奖励函数固定、训练轮次固定，因此结果稳定、便于回归测试。但它有一个著名的理论难点——分布偏移（distribution shift）：策略在训练中会倾向于选择数据集中不存在或极少出现的动作，而这些动作的真实价值无法从离线数据中估计，容易导致价值高估。实践中通常用保守惩罚或约束策略偏离数据分布来缓解。对于代码智能体这类以固定任务集训练后发布的场景，离线RL意味着发布后模型能力就被“冻结”在任务集覆盖的范围内，无法自动适应线上新出现的失败模式。

线上持续RL的设计思路

另一条路线是把智能体已经在服务的请求本身当作任务流。逻辑很直接：请求进来，模型回答，系统对回答打分，用打分结果训练一个更新，但这个更新必须通过门控才能进入服务权重。

据该帖提到的开源实现，reef的OpenClaw^广告-RL配方是这条路线的一个具体样本。按照配方页面所描述的设置：72道GSM8K题目作为任务流，Qwen3-4B同时充当策略模型和过程奖励模型，Qwen3-32B作为学生模型，七块GPU，以及一个更新被接受前必须达到的阈值。学习曲线按session逐次记录在配方页面上。

这个设计和离线循环有两个关键区别，都跟服务有关，而不是跟训练有关：

更新热切换。 被接受的更新会被热切换到服务引擎中，推理在更新过程中持续应答。同一套技术栈同时服务和训练一个LoRA适配器。这意味着不需要停机窗口，也不需要双轨运行。

拒绝的更新不进服务，接受的更新可回滚。 没通过阈值的更新永远不会到达服务权重。已接受的更新如果后续发现问题，可以通过重新发布之前的版本来回滚。

这两个机制把"训练"和"服务"之间的边界从一道墙变成了一个阀门。

LoRA（Low-Rank Adaptation）是一种参数高效微调技术，它在预训练模型的权重旁额外挂上两个低秩矩阵，只训练这两个小矩阵而冻结原始权重。因为可训练参数量通常只有原模型的百分之几，LoRA适配器文件极小、加载和切换都很快，这使得“热切换”成为工程上可行的操作：服务引擎可以在不停机的情况下卸载旧适配器、挂载新适配器。在线上持续RL中，每次门控通过的更新往往就是一个新的LoRA适配器，因此既可以把训练和服务部署在同一套技术栈上（同一基座模型加不同适配器），也能通过重新加载上一版适配器实现秒级回滚。这种“基座不动、适配器可替换”的架构，是把训练与服务之间的墙降级为阀门的关键工程前提。

门控机制才是核心

两种路线的真正分歧不在训练数据从哪来，而在什么在权重前面把关。

离线RL的门控是发布流程本身：人工审核、离线评估、灰度发布。它慢，但每一步都可追溯。线上持续RL的门控是一个自动阈值：更新必须在评分流上达到某个标准才会被接受。它快，但阈值本身的合理性需要持续验证。

该帖作者也指出了当前实现的局限。GSM8K让评分变得毫无歧义——答案对就是对，错就是错，这让整个配方异常整洁。但真实场景中，大多数任务没有这样一个现成的验证器。所以他认为，下一步有价值的工作是找一个自带验证器的任务来测试这套流程，而不是停留在GSM8K这种已经被验证过无数次的基准上。

另一个限制是：一条学习曲线只是一次运行的结果，所有条件都写在页面上，但它不是一个基准测试。单次运行不能证明这套方法在不同条件下都能工作。

GSM8K（Grade School Math 8K）是一个包含约8500道小学数学应用题的基准数据集，每道题都有明确的数值答案，因此可以用精确匹配做自动判分。它在强化学习与推理模型研究中被广泛使用，原因是奖励信号“无歧义”——模型输出最终答案，程序比对即可给出0或1的奖励，不需要人类标注或额外奖励模型来判断对错。这种自带验证器（verifier）的特性让训练管线异常干净，但也掩盖了真实场景的困难：多数真实任务（如代码、写作、客服）没有现成的程序化判分器，奖励需要学习或人评，噪声大、易被钻空子。因此文章强调，在GSM8K上跑通一套持续RL流程，只能证明机制可行，不能证明它适用于奖励信号模糊的真实业务任务。

对做智能体RL的人意味着什么

如果你正在做agentic RL，这两个问题值得认真回答：

你的训练数据来自固定集还是线上服务流量？如果是前者，你的重训周期是否跟得上分布漂移的速度？如果是后者，你的门控阈值是怎么定的，拒绝率是多少，回滚机制是否经过测试？

更根本的问题是：当智能体本身就是一个持续运行的服务时，训练和服务的边界应该画在哪里？ 离线RL给出的答案是把它们分开，线上持续RL给出的答案是用门控连接。两种答案都有道理，取决于你对可审计性和自适应性的权重分配。

从工程角度看，线上持续RL的吸引力在于它把"模型上线"从一个终点变成了一个起点。但这个转变的代价是引入了新的失败模式：门控被绕过、阈值漂移、回滚触发条件不明确。这些问题在离线RL里根本不存在，因为离线RL里模型和服务是解耦的。

选择哪条路线，最终取决于你更怕什么：怕模型跟不上真实分布，还是怕自动更新带来不可控的风险。