概念
NVSHMEM
NVIDIA提供的基于OpenSHMEM规范的PGAS通信库，支持GPU之间的直接内存访问和高效通信。
时间轴 (近 90 天)
10月14日
Olmo-core 3 将实现从 FSDP 切换到 DDP：每个 rank 在整个累积窗口内持有模型分区，每个优化器步骤只同步一次梯度，并由分布式优化器对 FP32 主权重和优化器状态做分片；专家并行将路由专家分散到各 rank，只通过 NVSHMEM 将被选中的 token 行直接写入目标 rank 缓冲区。
待验证50%
NVIDIA提供的基于OpenSHMEM规范的PGAS通信库，支持GPU之间的直接内存访问和高效通信。
Olmo-core 3 将实现从 FSDP 切换到 DDP：每个 rank 在整个累积窗口内持有模型分区，每个优化器步骤只同步一次梯度，并由分布式优化器对 FP32 主权重和优化器状态做分片；专家并行将路由专家分散到各 rank，只通过 NVSHMEM 将被选中的 token 行直接写入目标 rank 缓冲区。