[控场AI]
· 5 分钟阅读· 2,642 字

RL微调专家任务:Nemotron 3.5 Super的12项基准提升

RL微调专家任务:Nemotron 3.5 Super的12项基准提升

NVIDIA Nemotron 3.5 Super 通过五个专家任务的独立 RL 训练,在十二项基准上实现全面性能提升。

NVIDIA 的 Nemotron 3.5 Super(120B 总参数、12B 活跃参数)在五个专家构建的任务数据集上分别进行强化学习后训练,每个任务训练独立的 rank-32 LoRA 适配器,全程无监督阶段。十二项基准测试显示全面提升,其中 GDP_pdf 提升最大(+13.8 分),SWE-bench Pro V2 和 Terminal-Bench 2.1 也有显著进步。行为分析表明,适配器并非学习新知识,而是更频繁地采用基础模型遗漏的正确策略,如先找数据再行动、自行编写测试文件等。实验证明 RL 在专家任务后训练中的潜力,但每个任务需单独训练适配器且依赖高质量专家数据,数据成本和适配器融合仍是实际应用的门槛。

引言:当强化学习遇见专家数据

NVIDIA 的 Nemotron 3.5 Super 拥有 120B 总参数和 12B 活跃参数,近期通过强化学习(RL)在五个专家构建的任务数据集上进行后训练,每个数据集单独训练一个 LoRA 适配器。这项实验的核心问题是:用高质量的专家数据做 RL,到底能让大模型学会什么?答案体现在十二项基准测试的显著提升上。

rss source: What RL on Expert-Built Tasks Teaches Nemotron 3.5 Super

方法论:五个任务,五次独立RL训练

任务数据集与训练配置

研究团队选择了五个专家构建的任务领域:真实软件工程、复杂约束、长程工具使用、专业图表理解和企业文档推理。每个领域对应一次独立的 RL 训练,使用 CISPO 算法在 Tinker 平台上训练全新的 rank-32 LoRA 适配器,全程没有监督阶段。每个适配器都在相同任务、相同测试框架和设置下与基础模型对比。

CISPO 算法是一种面向大模型强化学习的策略优化方法,全称为 Clip-Inspired Sequential Policy Optimization(名称可能因论文而异)。其核心思路借鉴了 PPO(近端策略优化)中的裁剪机制,但针对序列生成任务进行了调整,旨在稳定训练过程并避免策略更新幅度过大。CISPO 通常结合基于规则的奖励或可验证的奖励信号,在无需监督微调的情况下直接优化模型输出。与传统的 RLHF 依赖人类偏好模型不同,CISPO 更适合有明确正确性判定的任务(如代码通过测试、约束满足),因此在本实验的专家任务场景中具有天然优势。

LoRA(Low-Rank Adaptation)适配器是一种参数高效微调技术,通过冻结基础模型参数,仅训练低秩分解矩阵来适配下游任务。rank-32 表示低秩矩阵的秩为 32,决定了适配器的参数量和表达能力。本实验为每个任务训练独立的 rank-32 LoRA 适配器,意味着每个适配器只占用少量参数(通常为原模型参数的 0.1%-1%),却能在特定任务上显著改变模型行为。这种方式的好处是:基础模型保持不变,多个适配器可以即插即用;缺点是每个任务需要单独训练和存储适配器,难以直接融合多任务能力。

评估基准的构成

十二项主要基准中,八项由其他团队构建,四项由 Surge AI 构建。这种混合评估设计既保证了外部有效性,也提供了更贴近实际应用场景的测试维度。

Surge AI 是一家专注于数据标注和专家任务构建的公司,为本实验提供了四个基准测试。与学术界常见的基准(如 SWE-bench、Terminal-Bench)不同,Surge AI 构建的基准更贴近企业实际应用场景,通常涉及复杂的约束遵循、多轮对话和文档推理。引入第三方团队构建的基准(八项)和 Surge AI 构建的基准(四项)混合评估,旨在平衡外部有效性和实际应用相关性,避免模型仅在公开基准上过拟合。

结果:从代码到文档的全面进步

软件工程与终端任务

SWE-bench Pro V2 从 86.9% 提升到 92.1%,Terminal-Bench 2.1 从 63.9% 提升到 70.3%。这两个基准直接反映模型解决实际软件问题和操作终端的能力,提升幅度说明 RL 训练确实改善了模型的工程实践水平。

约束遵循与多轮对话

IFBench 获得 +4.5 分的提升,MultiChallenge 从 58.3% 提升到 66.6%。后者特别考察模型在多轮交互中维持约束和上下文的能力,提升表明约束适配器学会了将早期轮次的信息带入后续回答。

自动化与图表理解

AutomationBench 从 14.8% 提升到 27.5%,Chartography 从 39.4% 提升到 50.6%。你可能没注意到,文档适配器在未使用 API 工具的情况下,在 AutomationBench 上也获得了 +8.0 分的提升,说明模型学会了直接读取电子表格数据。

文档推理的重大突破

GDP_pdf 从 10.4% 跃升至 24.2%,提升 +13.8 分,是所有基准中增幅最大的。这显示 RL 训练对企业文档推理这类复杂任务有特别显著的效果。

GDP_pdf 是一个评估模型从企业文档(尤其是 PDF 格式)中提取和推理信息的基准。它要求模型理解表格、图表、多栏排版等复杂文档结构,并基于文档内容回答需要多步推理的问题。该基准的难度在于:文档布局多样、信息分散,且需要模型具备空间推理和跨段落整合能力。GDP_pdf 从 10.4% 提升到 24.2% 的增幅虽然绝对值不高,但相对提升超过 130%,表明 RL 训练显著改善了模型处理复杂企业文档的策略,例如更系统地定位关键信息、更有效地利用文档结构线索。

行为分析:适配器如何弥补基础模型的缺陷

研究团队并排阅读了基础模型和新适配器在任务上的尝试记录,发现基础模型的失败集中在几种模式上,而每个适配器都更频繁地做到了基础模型遗漏的事情。

  • 工具使用适配器:在行动之前先找到数据和规则;
  • 编程适配器:在 SWE-bench Pro V2 上自行编写测试或临时文件;
  • 约束适配器:将较早轮次的内容带入答案;
  • 图表适配器:在代码中测量图表标记;
  • 文档适配器:读取 AutomationBench 的电子表格。

这些行为变化揭示了 RL 训练的本质:不是教会模型新知识,而是引导它更频繁地采用正确的解题策略。

意义与启示

这项实验展示了 RL 在专家任务上的后训练潜力:无需监督微调,仅靠强化学习就能在多个专业领域带来实质性提升。对于希望定制大模型能力的企业和开发者,这意味着可以针对特定任务构建专家数据集,通过 RL 训练出专用的 LoRA 适配器,在不改变基础模型的情况下获得领域专家级的表现。

不过,每个任务需要单独训练适配器,且依赖高质量的专家数据,这仍然是实际应用中的门槛。如何降低数据构建成本、实现多任务适配器的融合,将是后续值得关注的方向。

#Nemotron 3.5 Super#强化学习#RL微调#LoRA适配器#专家任务#基准测试#NVIDIA
分享:

相关推荐