#分布式训练
共 24 篇相关文章

PyTorch与TorchTitan:在欧盟公共设施上训练1T参数MoE
PyTorch 博客分享在欧盟公共基础设施上使用 PyTorch 与 TorchTitan 训练约 1 万亿参数 MoE 模型的经验,分析公共集群训练 MoE 的瓶颈与细粒度并行灵活性的破局思路。

微软专利:用你的闲置GPU训练AI,积分换电费值吗?
微软专利提出将AI训练任务拆分到用户闲置GPU上执行,以积分奖励参与者。本文分析其激励设计、网络延迟瓶颈及与现有分布式训练的差异,探讨该模式能否落地。

GPU加速权重传送:分布式AI训练新思路
探讨GPU加速权重传送在分布式AI训练中的应用前景,分析其技术路径、与现有通信方案的对比及潜在应用场景,指出该方向尚处早期、缺乏实测数据。

NVIDIA归因工具诊断分布式AI训练故障
NVIDIA开发者博客介绍用归因(Attribution)方法诊断分布式AI训练故障,区分症状与根因,减少跨rank错误传播带来的排查成本,并分析其工程价值与局限。

NVIDIA自动化工作负载恢复:让分布式训练不再中断
NVIDIA提出自动化工作负载恢复方案,应对分布式AI训练中硬件与软件依赖故障导致的训练中断,让训练任务在故障后快速可靠恢复,减少算力空转。

虚拟点差分隐私:可观测批次大小下的隐私放大新机制
针对DP-SGD中批次大小可被观测及截断导致隐私损失增加的问题,介绍一种注入随机虚拟点的隐私放大机制,可在分布式场景下同时私有化批次大小并保持隐私保证,实证优于截断直接核算方法。

PyTorch 2.15 发布:NCCL后端重写并成为默认
PyTorch 2.15 发布,重写后的 NCCL 后端成为默认,并引入 flight recorder 用于通信问题调试。本文解读这一变更对多 GPU 分布式训练的影响与升级注意事项。

CrowdGPT:去中心化协作训练LLM的野心与挑战
CrowdGPT项目试图通过全球志愿者协作训练10亿参数开源LLM,公开全部训练数据和权重。本文分析其去中心化训练模式的技术挑战、社区激励机制及与主流开源模型的差异。

AMD RCCL GPU发起网络集成TorchTitan:MoE通信性能提升15%
AMD将RCCL的GPU发起网络(GIN)集成到PyTorch TorchTitan框架,优化MoE模型的all-to-all通信,实现内核性能最高提升30%、端到端训练性能提升12%至15%,为分布式大模型训练提速。
前沿研究Cursor Composer 2训练揭秘:分布式强化学习架构全解析
深度解析Cursor如何在Fireworks上训练Composer 2模型,涵盖异步流水线架构、MoE模型数值精度挑战、Router Replay技术、全球分布式GPU集群协同等核心技术方案,揭示AI编程工具从应用公司迈向基础模型公司的关键路径。
前沿研究Cursor Composer 2分布式RL训练技术解析
深度解析Cursor如何通过分布式强化学习训练Composer 2模型,涵盖异步流水线设计、MoE数值对齐、全球权重同步、在线离线RL协同等核心技术细节,揭示AI编程工具从应用到基础模型的转型路径。
教程攻略NCCL Inspector详解:GPU集群通信实时监控与Prometheus集成实践
深入解析NVIDIA NCCL Inspector工具,介绍其与Prometheus深度集成实现GPU集群通信实时监控的方案,涵盖慢节点定位、告警配置、Grafana可视化等实际应用场景,助力大规模分布式训练性能优化。
产品体验Cube Studio深度解析:腾讯开源一站式MLOps平台
深度解析腾讯音乐开源的Cube Studio一站式AI平台,涵盖架构设计、分布式训练、大模型微调推理、国产化适配等核心能力,帮助企业高效落地MLOps全流程。
深度解读Decoupled DiLoCo详解:让大规模GPU训练不再怕宕机
深入解析Decoupled DiLoCo分布式训练方法,了解它如何通过解耦训练单元实现容错能力,让大规模AI训练在节点故障时仍能继续运行,将停机损失从100%降至1%。
产品体验Cube Studio:腾讯开源云原生AI平台全面解析
深度解析腾讯音乐开源的Cube Studio云原生AI平台,涵盖分布式训练、大模型微调推理、Pipeline编排、国产化适配等核心能力,助力企业快速构建一站式MLOps基础设施。
产品体验Cube Studio:腾讯开源一站式AI平台,MLOps全流程深度解析
深度解析腾讯音乐开源的Cube Studio云原生AI平台,涵盖Notebook开发、Pipeline编排、分布式训练、大模型微调、推理部署及国产化适配等核心能力,助力企业快速构建MLOps全流程基础设施。
产品体验Cube Studio:腾讯开源云原生一站式AI平台深度解析
产品体验Cube Studio:腾讯开源一站式AI平台,覆盖大模型训练到推理全流程
深度解析腾讯音乐开源的Cube Studio云原生AI平台,涵盖分布式训练、大模型微调、vLLM推理部署、VGPU虚拟化及国产化昇腾适配等核心能力,助力企业高效落地MLOps全流程。

