GC-MoE
基于CUDA Green Contexts的资源分区机制实现通信与计算解耦的MoE推理算子，通过将GPU划分为独立通信分区和计算分区，提升专家并行解码效率
时间轴 (近 90 天)
GC-MoE是一个面向NVIDIA Hopper和Blackwell GPU的开源FP8/FP4 MoE推理算子，它借助CUDA Green Contexts把设备划分成两个分区：一个小的通信分区，一个大的计算分区。
在B300上，GC-MoE只从148个SM中划出20个给分发使用，剩下的全部留给计算。
GC-MoE在8张H20 GPU上对DeepSeek-V4.1-Flash的decode在routed和shared-expert两个套件上平均加速1.188倍，峰值分别为1.296倍和1.353倍。
GC-MoE在调度层面使用三节点CUDA Graph将dispatch kernel和grouped-GEMM kernel作为并发的根节点启动（Hopper上因为有融合的shared experts，图是四节点）。
token-ring握手让计算在第一批ring block被填充时就开始，而不是等整个分发完成；双缓冲的接收计数器消除了replay之间尾部的跨rank barrier。
GC-MoE计算分区在Blackwell上运行operand-swapped的tcgen05 block-scaled MMA，在Hopper上运行register-A的WGMMA并在寄存器内完成FP4解码，两者都融合了SwiGLU、requantization以及可选的shared experts。
GC-MoE方案依赖Hopper/Blackwell这一代硬件特性，且分区比例（如B300上的20/148）需要针对具体模型和拓扑调优；对于decode批量很小的推理服务，通信分区占比是一个需要实测扫参的关键参数。
GC-MoE给出了一种工程范式：用硬件级的资源分区把不同职责彻底隔离，让各自的调度策略互不干扰，而不是把所有阶段塞进一个kernel里靠共享SM做重叠。
全部知识事实 (8)
GC-MoE是一个面向NVIDIA Hopper和Blackwell GPU的开源FP8/FP4 MoE推理算子，它借助CUDA Green Contexts把设备划分成两个分区：一个小的通信分区，一个大的计算分区。
50%待验证在B300上，GC-MoE只从148个SM中划出20个给分发使用，剩下的全部留给计算。
50%待验证GC-MoE在8张H20 GPU上对DeepSeek-V4.1-Flash的decode在routed和shared-expert两个套件上平均加速1.188倍，峰值分别为1.296倍和1.353倍。
50%待验证GC-MoE在调度层面使用三节点CUDA Graph将dispatch kernel和grouped-GEMM kernel作为并发的根节点启动（Hopper上因为有融合的shared experts，图是四节点）。
50%待验证token-ring握手让计算在第一批ring block被填充时就开始，而不是等整个分发完成；双缓冲的接收计数器消除了replay之间尾部的跨rank barrier。
50%待验证GC-MoE计算分区在Blackwell上运行operand-swapped的tcgen05 block-scaled MMA，在Hopper上运行register-A的WGMMA并在寄存器内完成FP4解码，两者都融合了SwiGLU、requantization以及可选的shared experts。
50%待验证GC-MoE方案依赖Hopper/Blackwell这一代硬件特性，且分区比例（如B300上的20/148）需要针对具体模型和拓扑调优；对于decode批量很小的推理服务，通信分区占比是一个需要实测扫参的关键参数。
50%待验证GC-MoE给出了一种工程范式：用硬件级的资源分区把不同职责彻底隔离，让各自的调度策略互不干扰，而不是把所有阶段塞进一个kernel里靠共享SM做重叠。
50%