概念weight refit / 权重同步
权重重载
在强化学习后训练中,将训练引擎更新后的模型权重同步到推理引擎的过程。由于训练与推理常采用不同的并行策略,权重需要重新分片才能被推理端加载,是影响RL训练循环效率的关键环节。
时间轴 (近 90 天)
11月6日
通用集合通信原语完成权重重载需采用“先all-gather聚合为完整权重、再按目标布局切分”的两步方式,中间产生完整权重的额外显存占用与冗余通信。
待验证50%
11月6日
在RL后训练中,权重重载并非一次性操作,而是每个训练迭代都要执行。
待验证50%