Olmo-core 3 将实现从 FSDP 切换到 DDP：每个 rank 在整个累积窗口内持有模型分区，每个优化器步骤只同步一次梯度，并由分布式优化器对 FP32 主权重和优化器状态做分片；专家并行将路由专家分散到各 rank，只通过 NVSHMEM 将被选中的 token 行直接写入目标 rank 缓冲区。