[控场AI]
· 5 分钟阅读· 2,908 字

Axion 1.0:35B开源智能体基础模型的极简训练配方

Axion 1.0:35B开源智能体基础模型的极简训练配方

字节跳动发布35B全开放智能体模型Axion 1.0,用极简训练配方挑战复杂流水线。

字节跳动团队发布 Axion 1.0,一个 35B 参数的全开放智能体基础模型,核心主张是强大的智能体能力未必需要复杂训练流水线。其训练配方仅包含两个轻量级监督微调阶段和一个强化学习阶段,明确不含中训练、DPO 与在线策略蒸馏。第一阶段 SFT 通过模型感知的数据构造合成难题并做对抗性强化,第二阶段 SFT 用可扩展流水线构造可自动验证的工具调用任务,RL 阶段则打磨长程推理与工具交互。官方称其在广泛智能体基准上表现强劲,并在若干基准上与领先商业模型具备竞争力,但未给出具体分数。开放范围超出权重,涵盖数据构造、生成、过滤、验证、提示词与训练代码,并同步发布论文、代码仓库、数据集与项目主页。文章认为其价值在于可复现性与数据流水线设计的核心地位。

Axion1-0/Axion-1.0-35B 在 Reddit 的发布帖截图

开源智能体模型领域出现了一个值得关注的选手。字节跳动团队发布的 Axion 1.0 是一个 35B 参数的全开放智能体基础模型,它的核心主张很直接:强大的智能体能力未必需要复杂的训练流水线。官方将其定位为「既开放又简单」的智能体基础模型,并同步放出了论文、代码、数据集与项目主页。

三阶段训练:砍掉中间环节的极简路线

Axion 1.0 的训练配方只有三步:两个轻量级监督微调(SFT)阶段,加上一个强化学习阶段。官方明确表示,整个流程不包含专门的中训练(mid-training)、直接偏好优化(DPO)和在线策略蒸馏(OPD)。

这与当前主流做法形成对照。许多模型在预训练之后会堆叠多轮对齐与蒸馏,训练管线越拉越长,复现门槛也随之抬高。Axion 1.0 选择做减法,把能力构建集中在两个 SFT 阶段和一次 RL 上,隐含的判断是:数据构造的质量比训练阶段的堆叠更关键。

第一阶段 SFT:让模型自己出题

第一个 SFT 阶段的目标是建立扎实的自包含推理能力。其做法是「模型感知的数据构造」——先合成具有挑战性的问题,再根据基座模型自身成功的解题策略对这些题目进行对抗性强化。

这套思路的巧妙之处在于以模型自身的能力边界为锚点:题目难度不是凭感觉设定,而是围绕基座模型「能解但吃力」的区间生成,避免题目过易或过难导致的训练信号浪费。对抗性强化则进一步逼近能力上限。

第二阶段 SFT:把推理延伸到工具调用

第二个 SFT 阶段将能力扩展到依赖工具的推理场景。团队搭建了一条可扩展的数据流水线,用于构造多样且可自动验证的任务,任务扎根于真实数据源和确定性计算。

「可自动验证」是这里的关键词。工具调用任务如果依赖人工评判,规模就上不去;而基于确定性计算构造的任务天然带有可验证的答案,这让数据规模化和质量过滤成为可能,也为后续的强化学习提供了可靠的奖励信号来源。

可自动验证任务与可验证奖励(RLVR)。 「可自动验证」指任务的正确性可以由确定性程序判定,例如代码执行结果、数学表达式求值、数据库查询返回、API 调用的结构化输出校验等。这类任务无需人工标注或模型评判,就能为每个样本生成二值或连续的奖励信号,这正是可验证奖励强化学习(RLVR)的基础。相比依赖奖励模型的主观打分,可验证奖励更稳定、更难被奖励黑客攻击,也更容易规模化。对智能体训练而言,工具调用天然适合这种范式:一次工具调用是否成功、返回是否符合预期,往往可以被程序直接检查。这也解释了为什么 Axion 1.0 要把第二阶段 SFT 建立在真实数据源与确定性计算之上——它为后续 RL 阶段预置了可靠的奖励来源。

强化学习:打磨长程推理与工具交互

最后的强化学习阶段进一步强化长程推理能力,以及模型与外部工具和环境的交互能力。结合前两个阶段打下的推理与工具使用基础,RL 更多承担的是「打磨」而非「从零构建」的角色。

什么是中训练(mid-training)? 中训练是介于预训练与后训练之间的一个阶段,通常使用大规模、高质量、特定领域的数据(如代码、数学、长上下文或智能体轨迹)对基座模型做继续预训练,以注入通用 SFT 数据难以覆盖的能力。近年不少模型把中训练视为提升推理与工具使用能力的关键环节,但它的代价是额外的算力开销与数据工程复杂度。Axion 1.0 明确跳过这一环节,意味着它主张把领域能力的注入交给高质量的 SFT 数据与 RL 来完成,而非依赖一次大规模继续预训练。

DPO 与 OPD 是什么? 直接偏好优化(DPO)是一种不依赖显式奖励模型的偏好对齐方法,直接用成对的「优/劣」回答数据优化策略,常用于替代 RLHF 中的奖励建模与 PPO 环节。在线策略蒸馏(OPD)则是在训练过程中由更强的教师模型对当前策略采样的轨迹进行实时打分或分布蒸馏,让学生模型在线模仿。两者都是当前后训练管线的常见组件。Axion 1.0 同时舍弃二者,把对齐与能力塑造压缩进 SFT 与 RL,减少了组件间的耦合与调参负担,但也意味着偏好信号需要以其他形式(如可验证奖励)进入训练。

性能表现:与商业模型同台竞争

官方称,尽管训练配方紧凑,Axion 1.0 在广泛的一组智能体基准测试上取得了强劲表现,并在其中若干基准上与领先的商业模型具备竞争力。

需要说明的是,官方素材并未给出具体的基准分数与对比数值,因此这里只能做定性描述:其竞争力主张覆盖的是「广泛套件」而非单项刷榜。对于智能体模型而言,多基准的综合表现比单一指标更能反映实际可用性,因为智能体任务跨度大,从单步推理到多轮工具调用差异显著。

开放的不只是权重

Axion 1.0 在开放性上走得比多数「开源」模型更远。官方强调,开放范围超出模型权重本身,完整配方一并放出,包括数据构造、生成、过滤、验证、提示词以及训练代码,使整个开发过程可以被复现和扩展。

同时发布的相关资源包括 arXiv 论文、GitHub 代码仓库、Hugging Face 训练数据集以及项目主页。这种「配方级开放」对社区的价值在于:研究者不仅能拿到一个能用的模型,还能拆解每个环节的设计取舍,并在此基础上做消融实验或迁移到自己的场景。

「开源」与「开放配方」的区别。 在模型社区中,「开源」常被宽松地用于指代「权重可下载」,但训练数据、数据构造流程、过滤规则与训练代码往往并不公开,这使模型难以被真正复现或审计。开放配方(open recipe)则要求连同数据生成、清洗、验证、提示词模板与训练脚本一起发布,使第三方能够端到端重跑整个流程。两者的差别直接影响研究的可累积性:只有权重时,社区只能做推理层面的评测与微调;开放配方后,才能对训练阶段的取舍做消融、替换数据源或将方法迁移到新领域。Axion 1.0 声称做到后者,其实际价值取决于发布资源的完整度与可运行性。

几点观察

首先,Axion 1.0 的价值主张本质上是可复现性。智能体模型的训练长期存在「效果宣称多、细节披露少」的问题,配方级开放直接针对这一痛点。

其次,极简配方与强性能之间的张力值得关注。如果去掉中训练、DPO 和 OPD 仍能维持竞争力,说明这些环节在智能体场景下的边际收益可能被高估了——当然,这一判断需要社区复现后才能坐实。

第三,数据构造在两个 SFT 阶段中都处于核心位置:第一阶段靠模型感知的合成与对抗强化,第二阶段靠可自动验证的真实数据任务。这条线索指向一个更广泛的结论——在智能体训练中,数据流水线的设计能力可能比训练算法的复杂度更能决定上限。

Axion 1.0 是否真能成为开源智能体基础模型的可复现范本,取决于社区对其配方的检验结果。但它至少提供了一个清晰的实验起点:用更少的技术环节,换取更高的透明度。

#Axion 1.0#智能体基础模型#开源大模型#35B模型#SFT训练#强化学习#可复现训练配方
分享:

相关推荐