FBTriton
由 PyTorch 团队用 Triton 编写的推荐系统 Table Batched Embedding 算子实现,替代手工 CUDA 内核,支持前向 gather 与反向 scatter 计算,提升可维护性与跨硬件可移植性。
时间轴 (近 90 天)
PyTorch 官方博客发布了技术文章《Modernizing Table Batched Embeddings with FBTriton》,介绍用 Triton 编写的 FBTriton 内核重新设计 TBE 算子。
FBTriton 的核心思路是用 Triton 这一高层 GPU 编程语言,重新表达 TBE 的前向与反向计算。
FBTriton 前向 pass 根据稀疏索引从 embedding table 中 gather 出向量并按样本维度聚合,反向 pass 将上游梯度 scatter 回被查到的 embedding 行,并在同一行被多次命中时做累加。
FBTriton 重构的核心价值在于可维护性:将 TBE 算子逻辑迁移到更易迭代的框架上,可降低针对新硬件、新模型结构的优化门槛。
全部知识事实 (4)
FBTriton 的核心思路是用 Triton 这一高层 GPU 编程语言,重新表达 TBE 的前向与反向计算。
50%待验证FBTriton 前向 pass 根据稀疏索引从 embedding table 中 gather 出向量并按样本维度聚合,反向 pass 将上游梯度 scatter 回被查到的 embedding 行,并在同一行被多次命中时做累加。
50%待验证FBTriton 重构的核心价值在于可维护性:将 TBE 算子逻辑迁移到更易迭代的框架上,可降低针对新硬件、新模型结构的优化门槛。
50%待验证PyTorch 官方博客发布了技术文章《Modernizing Table Batched Embeddings with FBTriton》,介绍用 Triton 编写的 FBTriton 内核重新设计 TBE 算子。
50%