Axion 1.0
字节跳动发布的 35B 参数全开源智能体基础模型,采用两阶段 SFT 加强化学习的极简训练配方,跳过中训练、DPO 和 OPD,强调可验证奖励与工具调用能力。
时间轴 (近 90 天)
字节跳动团队发布了 Axion 1.0,一个 35B 参数的全开放智能体基础模型,并同步放出了论文、代码、数据集与项目主页。
Axion 1.0 的训练配方只有三个阶段:两个轻量级 SFT 阶段和一个强化学习阶段。
Axion 1.0 的训练流程不包含专门的中训练(mid-training)、直接偏好优化(DPO)和在线策略蒸馏(OPD)。
第一个 SFT 阶段采用「模型感知的数据构造」方法:先合成具有挑战性的问题,再根据基座模型自身成功的解题策略对这些题目进行对抗性强化。
第二个 SFT 阶段搭建了可扩展的数据流水线,用于构造多样且可自动验证的任务,任务基于真实数据源和确定性计算。
强化学习阶段旨在进一步强化长程推理能力,以及模型与外部工具和环境的交互能力。
官方称 Axion 1.0 在广泛的一组智能体基准测试上取得了强劲表现,并在其中若干基准上与领先的商业模型具备竞争力。
官方素材并未给出具体的基准分数与对比数值。
Axion 1.0 的开放范围超出模型权重,完整配方一并放出,包括数据构造、生成、过滤、验证、提示词以及训练代码。
全部知识事实 (9)
Axion 1.0 的开放范围超出模型权重,完整配方一并放出,包括数据构造、生成、过滤、验证、提示词以及训练代码。
50%待验证Axion 1.0 的训练配方只有三个阶段:两个轻量级 SFT 阶段和一个强化学习阶段。
50%待验证Axion 1.0 的训练流程不包含专门的中训练(mid-training)、直接偏好优化(DPO)和在线策略蒸馏(OPD)。
50%待验证第一个 SFT 阶段采用「模型感知的数据构造」方法:先合成具有挑战性的问题,再根据基座模型自身成功的解题策略对这些题目进行对抗性强化。
50%待验证第二个 SFT 阶段搭建了可扩展的数据流水线,用于构造多样且可自动验证的任务,任务基于真实数据源和确定性计算。
50%待验证强化学习阶段旨在进一步强化长程推理能力,以及模型与外部工具和环境的交互能力。
50%待验证官方称 Axion 1.0 在广泛的一组智能体基准测试上取得了强劲表现,并在其中若干基准上与领先的商业模型具备竞争力。
50%待验证官方素材并未给出具体的基准分数与对比数值。
50%待验证字节跳动团队发布了 Axion 1.0,一个 35B 参数的全开放智能体基础模型,并同步放出了论文、代码、数据集与项目主页。
50%