[控场AI]
· 7 分钟阅读· 3,519 字

Fireworks AI:开源模型如何靠训练部署飞轮比肩闭源

Fireworks AI:开源模型如何靠训练部署飞轮比肩闭源

Fireworks 拆解开源模型从推理优化到分层训练再到同平台飞轮的工程闭环。

文章整理了 Fireworks AI 的 Jet 在 AI Engineer 的分享,讨论开源模型如何在生产中追平闭源。她先给出三个判断:开源模型大多已具备生产可用性,质量差距要靠场景化定制训练来补,AI 技术栈正从一次性部署转向训练—推理—再训练的持续循环。推理侧,自研引擎 Fire Attention 直接编写 CUDA 内核,按客户负载调优,并用投机解码、分离式推理和量化压低延迟与成本。训练侧分三档:面向非专业用户的训练 Agent、使用最广的托管训练、以及给 ML 工程师完全控制权的训练 API,均支持 SFT、RFT 与 DPO。训练与推理同平台带来热加载、数值保真与一键部署,支撑飞轮运转。案例显示 Cursor 获 13 倍推理加速、WordCell 延迟改善 40 倍、GenSpark 质量提升 12%。

闭源模型用起来越来越贵,很多团队都在考虑迁往开源模型,但迁移路上最大的拦路虎往往不是成本,而是质量。Fireworks AI 应用机器学习团队负责人 Jyotishree(Jet)在 AI Engineer 的分享中,完整拆解了开源模型从训练到部署的持续飞轮,以及他们如何让开源模型的表现追平闭源。

三个基本事实:开源模型已经能上生产

Jet 开场先抛出了当下 AI 生态的三个判断。第一,开源模型大部分已经具备生产可用性,她以 GLM 5.2 在编程场景中的表现为例,认为这类模型已经能撑起真实业务。第二,如果开源模型在质量上无法追平甚至超过闭源模型,那么真正的差异点就落在如何针对具体场景做定制、训练和持续改进。第三,AI 技术栈正在从「部署一次就结束」转向「训练—推理—再训练」的持续循环,同一套开源模型在不断迭代中变强。

这三点构成了 Fireworks 产品设计的出发点:把训练和推理放在同一个平台上,让这个循环尽可能顺滑、便宜。

推理侧:自研引擎如何压低延迟

在讲训练之前,Jet 先交代了推理的规模。Fireworks 在生产环境中服务的 token 量已达数十万亿级别(她提到这个数字还是 GLM 5.2 发布前的统计),支持全球超过一万家企业,每秒处理约 20 万次请求。

这些数字背后是自研推理引擎 Fire Attention。常规链路里,模型通过 CUDA 这一层与 GPU 交互,而 Fireworks 自己写了 CUDA 内核,因此可以针对客户的特定负载做端到端优化。客户通常带着输入 token 数、输出 token 数、prompt 缓存命中率和延迟目标来找他们,团队据此调优推理栈与内核,在满足性能目标的同时把价格压下来。

在具体技术上,Fire Attention 也用上了投机解码、分离式推理和量化等业界成熟手段。投机解码方面,客户可以在平台上训练自己的 draft 模型,上传数据的方式和微调类似;draft 模型训练得当,主模型的延迟和吞吐都会明显受益。

推理与训练平台界面

投机解码(Speculative Decoding) 是一种在不改变主模型输出分布的前提下加速推理的技术。它引入一个更小、更快的 draft 模型,先由 draft 模型自回归地「猜」出若干后续 token,再让主模型一次性并行验证这些候选 token 是否可接受;被接受的 token 直接保留,第一个被拒绝的位置之后回退到主模型重新采样。由于验证是并行的,整个过程的输出与只用主模型时在数学上等价,但实际耗时显著下降。加速比取决于 draft 模型的命中率:draft 与主模型分布越接近、任务越可预测,接受率越高,收益越大。这也是 Fireworks 允许客户用自己的业务数据训练 draft 模型的原因——通用 draft 模型在垂直场景下接受率往往偏低,定制化训练能把这部分收益拿回来。

训练侧:三种形态覆盖不同用户

当客户认可模型质量、决定从闭源迁往开源时,最大的缺口就是质量,Fireworks 用训练产品来补。训练产品分三种形态,对应不同的人群。

训练 Agent:面向产品经理和构建者

这是给刚进入 AI 训练领域的非专业用户准备的。通过 UI 接入平台上已上传的数据集,写清楚训练目标,Agent 会自己选模型、清洗数据、调超参数。Jet 特别提到超参数并不好调,这正是 Agent 要替用户解决的问题。演示中 Agent 选中了 Qwen3-8B 作为基座,会先给出 SFT 计划、选型理由和超参数说明,用户确认后逐步执行并汇报每一步结果;训练结束给出准确率、F1 等指标和配置总结,还会推荐下一步动作。

托管训练:大多数客户的选择

托管训练是当前使用最广的形态,API 和 UI 都能用。流程简单到选模型、传数据集、填超参数、点按钮。训练启动后的可观测性是常见痛点,平台提供了看板展示每个 epoch 的学习情况和 loss 曲线,也支持填入 Weights & Biases 的 API key 把指标导出到外部平台。训练完成后可以克隆任务,换一套配置复现。

托管训练是多数客户的选择

SFT、RFT 与 DPO 是三种目标不同的训练范式,常被组合使用。监督微调(SFT)用「输入—理想输出」的成对数据做 next-token 训练,本质是让模型模仿标注答案,适合注入领域知识与输出格式。强化微调(RFT)不直接给答案,而是定义可自动计算的奖励或评估函数,让模型在采样—打分—更新的循环中提升,适合答案空间大、难以人工标注但对错可判的任务,如代码通过测试、答案可验证的推理题。直接偏好优化(DPO)则用「好答案 / 坏答案」的偏好对训练,绕过显式奖励模型,让模型直接偏向被偏好的输出。实践中常见路径是先 SFT 打底,再用 RFT 或 DPO 精调,这也是平台三种形态都同时支持这三类方法的原因。

训练 API:给 ML 工程师的完全控制权

第三种形态面向组织内的 ML 工程师,允许自定义训练循环和损失函数。当需求超出托管训练能覆盖的范围时,这条路径提供了必要的灵活性。三种形态都支持监督微调、强化微调和 DPO。Jet 提到 RFT 近来极受欢迎,如果客户需要定义好的评估函数,Fireworks 会像服务 GenSpark 那样协助清洗数据、设计评估函数和调参。不过训练 Agent 目前不支持 RFT,这部分需要人工介入。

数据飞轮:训练与推理同平台的价值

把训练和推理放在同一个平台上,是这套飞轮成立的关键。模型训练完,一键即可部署到生产;部署后可以监控 token 数、缓存命中率、投机模型的表现等指标。

监控指标看板

几个平台能力让这个循环更顺:

  • 热加载:有新 checkpoint 时可以直接切到线上部署,无需停机。Jet 说这个功能最初是为 Cursor 专门实现的,后来开放给所有用户。
  • 数值保真:不少客户在 A 平台训练、B 平台部署,结果质量出问题,原因往往是数值不兼容。同平台训练推理可以避免这类差异。
  • 一键部署:训练完成后离生产只有一步,平台还提供吞吐优先、低延迟、极简等部署模板,适配通用负载。

数值保真(Numerical Fidelity) 指的是同一份模型权重在不同推理栈上运行时,输出结果保持一致的程度。深度学习推理涉及大量浮点运算,内核实现、累加顺序、量化策略、注意力计算的并行切分方式,甚至 GPU 型号与驱动版本,都会引入微小但可累积的数值差异。对于多数对话任务这些差异无感,但在长链推理、结构化输出、低温度采样等场景下,微小偏差会被放大成明显的行为变化,表现为「训练时评估指标很好,上线后效果变差」。跨平台训练与部署正是这类问题的常见来源:训练框架与推理引擎对同一算子的实现不同,就会出现训练—推理不匹配。同平台训练推理让两侧共享同一套内核与量化路径,从工程上消除了这一类隐性损耗。

客户案例:延迟与质量的实证

Jet 给出了几个有代表性的客户结果。Cursor 的 Composer 2 模型在 Fireworks 上完成训练和托管,借助 Fire Attention 实现了 13 倍的推理加速。WordCell 通过微调和托管获得了 40 倍的延迟改善。GenSpark 的瓶颈则在质量,团队帮它做 RFT、清洗数据、定义评估函数,训练结束后质量提升了 12%。

这些案例也说明,迁移开源模型的价值不只是省钱:推理层的深度优化能换来数量级的延迟收益,训练层的定制则直接补上质量短板。

超参数与训练配置

写在最后

Jet 的分享本质上在回答一个问题:开源模型凭什么比肩闭源?答案不在模型本身,而在模型之外的一整套工程能力——自研推理引擎把延迟和成本打下来,分层的训练产品把质量差距补上去,训练与推理同平台让数据飞轮转起来。对正在评估迁移的团队来说,这套思路提供了一个可参照的框架:先看推理成本能否接受,再看训练侧有没有补齐质量的路径,最后确认迭代循环是否足够顺滑。

#Fireworks AI#开源模型#模型微调#推理优化#Fire Attention#数据飞轮#强化微调
分享:

相关推荐