[控场AI]
产品

Ray Data

Ray生态中的分布式数据处理组件,采用流式执行引擎和DAG流水线架构,支持跨节点并行数据预处理,专为大规模多模态AI训练数据处理优化

时间轴 (近 90 天)

9月30日

Ray Data 采用流式执行引擎,将数据读取、变换与模型训练构建为有向无环图(DAG)流水线,实现在 GPU 计算时异步预取处理下一批数据

待验证50%
9月30日

Ray Data 相比 PyTorch 的 IterableDataset 的优势在于将数据处理算力与训练算力解耦,二者可独立弹性伸缩

待验证50%

全部知识事实 (2)

来源文章