Flame
开源分布式训练引擎，支持将训练循环拆分为独立可伸缩的Python服务，提供热执行器、弹性rollout和增量权重同步等功能，用于高效训练大语言模型智能体。
时间轴 (近 90 天)
增量同步带来的复杂度与放宽同步约束换取更高GPU利用率之间存在权衡。
开源分布式引擎Flame加入了一个Search-R1风格的训练示例，用于训练会搜索的智能体。
Flame将训练循环抽象为多个可独立伸缩的Python服务，其中vLLM执行器负责生成轨迹，PyTorch训练器副本利用组相对优势更新策略，对象缓存承担批次和权重更新的传输。
热执行器使模型、检索索引和优化器状态在多次调用之间保持常驻内存，避免重复初始化开销。
弹性rollout允许生成容量随待处理任务弹性增长，当队列积压时临时增加执行器数量。
Flame训练器采用gang调度，要求一组训练器同时获得其最小资源配额，避免半调度僵局，保证集合通信同步性。
增量权重同步在首次全量导出后，只拉取发生变化的bf16数值。
在实测的100步训练中，稳态下每步权重发布量仅约165MB，而完整模型大小为6.17GB。
在14块rollout GPU加2块训练器GPU的配置下，运行100步训练后，留出集上的精确匹配率从14.5%提升到47%。
前两步之后，平均每步耗时24.3秒。
还有 4 条时间轴事件
全部知识事实 (14)
增量同步带来的复杂度与放宽同步约束换取更高GPU利用率之间存在权衡。
50%待验证同步训练循环仍造成大量GPU空闲时间。
50%待验证Flame的做法是在同步循环下用增量传输代替全量广播来压缩同步成本。
50%待验证Flame将训练循环抽象为多个可独立伸缩的Python服务，其中vLLM执行器负责生成轨迹，PyTorch训练器副本利用组相对优势更新策略，对象缓存承担批次和权重更新的传输。
50%待验证热执行器使模型、检索索引和优化器状态在多次调用之间保持常驻内存，避免重复初始化开销。
50%待验证弹性rollout允许生成容量随待处理任务弹性增长，当队列积压时临时增加执行器数量。
50%待验证Flame训练器采用gang调度，要求一组训练器同时获得其最小资源配额，避免半调度僵局，保证集合通信同步性。
50%待验证增量权重同步在首次全量导出后，只拉取发生变化的bf16数值。
50%待验证在实测的100步训练中，稳态下每步权重发布量仅约165MB，而完整模型大小为6.17GB。
50%待验证在14块rollout GPU加2块训练器GPU的配置下，运行100步训练后，留出集上的精确匹配率从14.5%提升到47%。
50%待验证前两步之后，平均每步耗时24.3秒。
50%待验证该实验仅使用单一随机种子，评估集只有200个问题，且语料库由所选问题的上下文段落构建，因此分数不能直接与已发表的Search-R1基准结果比较。
50%待验证Flame（2012年）是一个体积高达 20MB 的超大规模间谍平台，具备录音、截屏、蓝牙设备扫描等功能
50%待验证开源分布式引擎Flame加入了一个Search-R1风格的训练示例，用于训练会搜索的智能体。
50%