Split-KV
一种精确的上下文并行（CP）方法，将 key/value 分片保留在各设备本地，每层注意力仅通信与查询规模相当的张量，使通信量与上下文长度解耦，适用于查询极短、上下文极长的非对称训练场景。
时间轴 (近 90 天)
Split-KV 是一种精确的上下文并行（CP）方法，在 CP 规模为 64 时保持 85–91% 的弱扩展效率。
Split-KV 相比现有最快的 CP 基线最高实现 3.67 倍加速。
Split-KV 的核心机制是将 key/value 分片保留在各设备本地，每层注意力只通信与查询规模相当的张量，从而使通信量与上下文长度解耦。
Split-KV 采用代价感知的最长处理时间优先（LPT）策略分配上下文 KV 块，负载不均衡率低于 1%。
Split-KV 的 LPT 调度规划速度比最好的负载均衡基线快三个数量级。
Split-KV 的代码已在 GitHub 的 verl 仓库开源，地址为 https://github.com/zxgx/verl。
Split-KV 是精确（exact）方法，其计算结果与不分片时严格一致，不牺牲数值正确性。
全部知识事实 (7)
Split-KV 采用代价感知的最长处理时间优先（LPT）策略分配上下文 KV 块，负载不均衡率低于 1%。
50%待验证Split-KV 相比现有最快的 CP 基线最高实现 3.67 倍加速。
50%待验证Split-KV 的核心机制是将 key/value 分片保留在各设备本地，每层注意力只通信与查询规模相当的张量，从而使通信量与上下文长度解耦。
50%待验证Split-KV 是一种精确的上下文并行（CP）方法，在 CP 规模为 64 时保持 85–91% 的弱扩展效率。
50%待验证Split-KV 的 LPT 调度规划速度比最好的负载均衡基线快三个数量级。
50%待验证Split-KV 是精确（exact）方法，其计算结果与不分片时严格一致，不牺牲数值正确性。
50%待验证Split-KV 的代码已在 GitHub 的 verl 仓库开源，地址为 https://github.com/zxgx/verl。
50%