产品
Ray Data
Ray生态中的分布式数据处理组件,采用流式执行引擎和DAG流水线架构,支持跨节点并行数据预处理,专为大规模多模态AI训练数据处理优化
时间轴 (近 90 天)
9月30日
Ray Data 采用流式执行引擎,将数据读取、变换与模型训练构建为有向无环图(DAG)流水线,实现在 GPU 计算时异步预取处理下一批数据
待验证50%
9月30日
Ray Data 相比 PyTorch 的 IterableDataset 的优势在于将数据处理算力与训练算力解耦,二者可独立弹性伸缩
待验证50%