CHARM+
一种面向跨硬件分布式注意力计算的优化机制，通过多流并行与跨硬件/硬件内通信解耦，减少带宽不均衡带来的同步开销，提升GPU利用率
时间轴 (近 90 天)
CHARM+ 将原本顺序执行的通信重新组织为多个层级，在同一层级内实现并行，并让计算与通信相互重叠。
CHARM+ 的 Re-Merge Multistream 机制借助多流把原本串行的“计算—通信—计算”链条拆成可交错执行的片段，在环形通信的等待间隙填入有效计算。
CHARM+ 将跨硬件通信和硬件内通信解耦处理，使快链路不必跟随慢链路节奏同步，从而消除带宽不均衡造成的同步等待。
论文在前向和反向算法上分别评估了多种硬件架构，均优于当前最优方法（Ring-Attention）。
在双 NUMA PCIe 架构上，CHARM+ 前向平均加速 1.3 倍，反向平均加速 1.7 倍，对比对象为 Ring-Attention。
反向传播的加速幅度普遍高于前向，因为反向计算涉及的通信轮次更多、依赖关系更复杂，通信优化带来的收益在反向路径上更容易被放大。
将顺序通信拆分为可并行的层级、把跨硬件与硬件内通信解耦的思路，对其他依赖频繁集合通信的并行策略同样有参考价值。
随着序列长度继续增长，通信效率会成为比单卡算力更关键的约束。
全部知识事实 (8)
CHARM+ 将原本顺序执行的通信重新组织为多个层级，在同一层级内实现并行，并让计算与通信相互重叠。
50%待验证CHARM+ 的 Re-Merge Multistream 机制借助多流把原本串行的“计算—通信—计算”链条拆成可交错执行的片段，在环形通信的等待间隙填入有效计算。
50%待验证CHARM+ 将跨硬件通信和硬件内通信解耦处理，使快链路不必跟随慢链路节奏同步，从而消除带宽不均衡造成的同步等待。
50%待验证论文在前向和反向算法上分别评估了多种硬件架构，均优于当前最优方法（Ring-Attention）。
50%待验证在双 NUMA PCIe 架构上，CHARM+ 前向平均加速 1.3 倍，反向平均加速 1.7 倍，对比对象为 Ring-Attention。
50%待验证反向传播的加速幅度普遍高于前向，因为反向计算涉及的通信轮次更多、依赖关系更复杂，通信优化带来的收益在反向路径上更容易被放大。
50%待验证将顺序通信拆分为可并行的层级、把跨硬件与硬件内通信解耦的思路，对其他依赖频繁集合通信的并行策略同样有参考价值。
50%待验证随着序列长度继续增长，通信效率会成为比单卡算力更关键的约束。
50%