MoRI

MoRI（Mixed-precision or Reduced-precision Interconnect，或相关缩写）是一种面向分布式机器学习训练场景的通信优化技术，通过对All-to-All集合通信中传输的数据进行量化压缩，以降低节点间通信带宽需求。其核心思路是在保持模型训练精度可接受的前提下，减少通信数据量，从而缓解大规模并行训练中的通信瓶颈，提升整体训练效率。