[控场AI]
· 5 分钟阅读· 2,908 字

RadixArk发布DaisyRose-27B:纯强化学习炼成的智能体编程模型

RadixArk发布DaisyRose-27B:纯强化学习炼成的智能体编程模型

RadixArk 开源 DaisyRose-27B,纯 RL 后训练使终端智能体基准成绩翻倍且单卡可跑。

RadixArk 发布 DaisyRose-27B,一个基于 Qwen3.8-27B 后训练、跳过监督微调、仅用强化学习完成训练的智能体编程模型,以 Apache 2.0 许可开放并支持单 GPU 运行。其 Terminal Bench 4.1 pass@1 提升至 12.0,相比基座模型翻倍以上。文章分析了纯 RL 路线与智能体编程长序列决策特性的契合点,指出其优势在于用任务成败信号教会模型失败后如何搜索正确路径,但代价是奖励设计与训练稳定性难度更高。绝对成绩仍处早期水平,但翻倍增幅说明中等规模模型上纯 RL 仍有可观增量空间,为预算有限的团队提供了可参考路径。文章也提示单一基准、未披露训练细节、纯 RL 可能带来的指令遵循偏差与量化部署风险等局限。

RadixArk DaisyRose-27B 发布

RadixArk 发布了 DaisyRose-27B,一个基于 Qwen3.8-27B 后训练、仅用强化学习完成的智能体编程模型,采用 Apache 2.0 许可开放。官方信息显示,它在 Terminal Bench 4.1 上的 pass@1 从原模型水平提升到 12.0,实现翻倍以上,并且可以单卡 GPU 运行。这三个关键词——纯 RL 训练、智能体编程、单卡可跑——构成了这条发布消息的真正看点。

纯强化学习:跳过 SFT 的后训练路线

DaisyRose-27B 最不寻常的地方在于训练流程。主流后训练通常先做监督微调(SFT),把人类标注的优质轨迹灌给模型,再用强化学习做偏好对齐或能力强化。DaisyRose-27B 直接跳过了监督微调阶段,仅依靠强化学习完成能力塑造。

这条路线的意义在于:智能体编程任务本质是长序列决策——读文件、改代码、跑测试、根据报错回退重试。SFT 能教模型“像人一样写”,但很难教会模型“在失败后如何搜索正确路径”。强化学习以任务成败作为奖励信号,恰好匹配这种探索型能力。RadixArk 选择纯 RL,等于把后训练预算全部押在“用结果教模型”上,而非“用示范教模型”上。这种做法对奖励设计和训练稳定性要求更高,但一旦跑通,模型的行为更贴近真实任务的反馈循环。

监督微调(SFT)与强化学习(RL)的差异

SFT 通过最小化模型输出与人类示范轨迹之间的 token 级交叉熵损失来更新参数,本质上是一种模仿学习:模型学习"在给定上下文中,人类会怎么说"。它的优点是训练稳定、收敛可预测,缺点是只能覆盖示范数据中出现过的行为模式,且对错误恢复、多步探索这类难以用单条轨迹示范的能力传递效率低。RL 则以任务级奖励(如测试是否通过)为信号,通过策略梯度类方法优化整条轨迹的期望回报,模型必须自己采样、失败、再试,从而学到示范数据之外的搜索策略。代价是奖励稀疏、方差大,需要精心设计奖励塑形与方差控制手段(如 GRPO 等组相对策略优化方法)才能稳定训练。

Terminal Bench 成绩翻倍意味着什么

Terminal Bench 是衡量模型在终端环境中完成多步骤工程任务的基准,pass@1 指模型首次尝试即通过的比例。DaisyRose-27B 将该指标提升到 12.0,相比基座模型翻倍以上。

单看绝对数值,12.0 的 pass@1 并不算高——这说明终端级智能体任务本身仍处于早期攻坚阶段。但“翻倍以上”的增幅值得注意:它表明在 27B 这个参数量级上,纯 RL 后训练仍能释放出可观的智能体能力增量,而没有触碰基座模型的能力天花板。对于预算有限、无法自研基座的团队,这提供了一条明确的参考路径:选一个能力尚可的开源基座,把资源集中在 RL 后训练上。

DaisyRose-27B 训练与评测信息来源

pass@1 与 Terminal Bench 的评测口径

pass@k 源自代码生成评测(如 HumanEval),指对同一问题采样 k 次、只要有一次通过即算成功的比例;pass@1 则要求首次生成的答案即通过,是最严格的单次成功率指标。Terminal Bench 属于智能体式基准,任务通常要求在真实 shell 环境中完成多步操作(如配置依赖、修复脚本、运行测试并迭代),评测时模型需自主调用工具、读取反馈并决定下一步动作,单条轨迹可能包含数十次交互。因此其 pass@1 远低于单轮代码补全类基准,个位数到十几个百分点是当前开源模型的常见区间。

27B 与单卡部署:工程落地的现实考量

DaisyRose-27B 从 27B 规模的 Qwen3.8-27B 后训练而来,并明确支持单 GPU 运行。这两个条件叠加,指向的是一类具体的落地场景:中小团队或个体开发者在本地或单机上部署一个能执行终端任务的编程智能体。

相比动辄需要多卡集群的大模型方案,单卡可跑的智能体模型更接近“日常工具”而非“实验项目”。Apache 2.0 许可进一步降低了商用与二次开发的门槛——使用者可以修改、分发甚至闭源集成,只需保留版权声明。对于想在内部工具链里嵌入编程智能体的工程团队,这套组合的摩擦成本相当低。

27B 模型单卡运行所需的显存条件

以 FP16/BF16 精度部署 27B 参数模型,仅权重就约需 54 GB 显存,加上 KV Cache 与激活值,通常需要 80 GB 级别的单卡(如 H100/A100 80GB)才能完整加载。若采用 4-bit 量化(如 GPTQ、AWQ),权重可压至约 14-16 GB,配合 KV Cache 后可在 24 GB 消费级显卡(如 RTX 4090)上运行;8-bit 量化则大致落在 40 GB 级别。智能体任务的长上下文会显著放大 KV Cache 占用,量化带来的精度损失也可能在长序列多步推理中累积,这正是原文所提"量化部署可能影响长任务稳定性"的技术根源。

局限与观察点

原始发布信息只给出了 Terminal Bench 一项指标,没有披露训练数据构成、RL 算法细节、奖励函数设计,也没有提及其他编程基准上的表现。单一基准的翻倍提升足以证明路线可行,但不足以判定模型的通用编程能力。

另一个观察点是纯 RL 训练的副作用。跳过 SFT 可能让模型在指令遵循、输出格式稳定性上出现偏差,这类问题往往在真实使用中才暴露。单卡可跑与 27B 规模之间也存在权衡——量化部署会进一步压缩显存占用,但可能影响智能体长任务的稳定性。这些都需要实际试用验证。

对关注智能体编程的开发者来说,DaisyRose-27B 的价值更多在方法论层面:它用一个可复现的开源权重,证明了纯 RL 后训练在中等规模模型上能显著强化终端任务能力。这条路线是否可扩展到更大参数量、是否在其他编程基准上同样成立,会决定它是一次单点突破,还是一种可推广的范式。

本文信息来自 MarkTechPost 的发布报道,具体训练细节与评测数据以 RadixArk 官方发布为准。

背景补充

Apache 2.0 许可的实际含义

Apache 2.0 是 OSI 认可的开源许可,允许使用者自由使用、修改、分发软件及衍生作品,包括用于商业目的和闭源集成,不要求衍生作品以相同许可开源(这一点与 GPL 类copyleft 许可不同)。使用者需履行的义务主要是:保留原始版权声明、许可文本与 NOTICE 文件,并在修改过的文件中标明变更。它还包含明确的专利授权条款,降低了下游使用者的专利诉讼风险。对于模型权重而言,采用该许可意味着团队可将其嵌入内部产品而不必公开自研代码,这是其商用摩擦成本低的关键原因。

#DaisyRose-27B#RadixArk#智能体编程模型#强化学习后训练#Terminal Bench#Qwen3.8-27B#开源编程模型#单卡部署
分享:

相关推荐