概念Context Parallelism

上下文并行

分布式训练策略：沿序列长度维度切分输入，用于超长上下文/序列的并行训练

时间轴 (近 90 天)

11月5日

Split-KV 是一种精确的上下文并行（CP）方法，在 CP 规模为 64 时保持 85–91% 的弱扩展效率。

待验证50%

11月5日

Split-KV 相比现有最快的 CP 基线最高实现 3.67 倍加速。

待验证50%

11月5日

传统上下文并行方法（如环形注意力 Ring Attention）通常需要在每层传输完整的 KV 或其分块，通信量随上下文长度线性增长。

待验证50%

Split-KV 是一种精确的上下文并行（CP）方法，在 CP 规模为 64 时保持 85–91% 的弱扩展效率。

Split-KV 相比现有最快的 CP 基线最高实现 3.67 倍加速。

传统上下文并行方法（如环形注意力 Ring Attention）通常需要在每层传输完整的 KV 或其分块，通信量随上下文长度线性增长。