概念token-ring handshake
token-ring握手
一种环形缓冲区式的跨kernel同步机制,dispatch每填满一批ring block就递增计数器,计算kernel轮询计数器实现分发与计算的流水重叠
时间轴 (近 90 天)
11月4日
token-ring握手让计算在第一批ring block被填充时就开始,而不是等整个分发完成;双缓冲的接收计数器消除了replay之间尾部的跨rank barrier。
待验证50%
一种环形缓冲区式的跨kernel同步机制,dispatch每填满一批ring block就递增计数器,计算kernel轮询计数器实现分发与计算的流水重叠
token-ring握手让计算在第一批ring block被填充时就开始,而不是等整个分发完成;双缓冲的接收计数器消除了replay之间尾部的跨rank barrier。