#AllReduce
共 42 篇相关文章
·17 分钟
强化学习算力优化实战：提升CPU与GPU利用率的核心策略
深入讲解强化学习训练中CPU与GPU利用率低的根本原因，涵盖向量化环境并行、分布式Actor-Learner架构、GPU端环境模拟（Isaac Gym/Brax）及Ray RLlib实践，帮助RL工程师最大化计算资源效率。
阅读全文 →
·7 分钟
AI智能体辅助SGLang内核优化：实测性能提升与工程方法论
SGLang团队将专家经验转化为可执行的智能体技能，实现吞吐量提升71.4%、TTFT从456ms压缩至168ms等实测收益。本文深度解析Agent辅助开发的核心方法论，包括基准测试防作弊机制与人机协同审查闭环。
阅读全文 →
·13 分钟
6大开源大模型私有化部署实测对比：选型避坑指南
基于真实私有化部署实测，对比DeepSeek、千问3、智谱GLM、Kimi K2、MiniMax M3、腾讯混元3六款开源大模型的硬件成本、推理效率与落地难度，帮助企业找到最匹配的内网部署方案。
阅读全文 →
·12 分钟
TensorRT多设备推理：突破单GPU显存瓶颈的工程实践
NVIDIA TensorRT正式支持多设备推理，通过流水线并行与张量并行将大模型分布到多张GPU，突破单卡显存墙。本文深入解析其核心机制、媒体生成流水线应用场景及工程落地要点。
阅读全文 →
·10 分钟
AI周报：GPT-5.6三档发布、开源推理框架与机器人安全全线突破
本周AI行业重磅：OpenAI发布GPT-5.6三档模型（Sol/Terra/Luna），编程基准达91.9%；DeepSeek联合北大开源DSpark推理框架提速85%；Prime Intellect仅28台H200训练万亿参数模型；Anthropic Claude入驻Slack，具身智能安全成焦点。
阅读全文 →
·17 分钟
Unsloth重磅更新：DeepSeek-V4支持与NVFP4量化导出全解析
Unsloth v0.1.481-beta正式发布，新增DeepSeek-V4-Flash完整支持、NVFP4/FP8/imatrix GGUF多格式量化导出，GRPO训练提速1.3倍，MoE训练加速3-5倍，Studio升级为OpenAI兼容API服务系统，覆盖微调、导出、推理全链路。
阅读全文 →
·8 分钟
NVIDIA金融交易基础模型构建指南：从预训练到下游应用全解析
深度解读NVIDIA发布的金融交易基础模型构建指南，涵盖交易数据表征学习、Transformer架构预训练、分布式GPU训练策略，以及欺诈检测、信用评估等下游应用场景的微调方案。
阅读全文 →
·9 分钟
vLLM深度解析：PagedAttention如何实现高吞吐量LLM推理
深入解析vLLM高吞吐量LLM推理引擎的核心技术，包括PagedAttention内存管理、连续批处理机制、分布式部署方案，以及与TensorRT-LLM等方案的对比和适用场景建议。
阅读全文 →
教程攻略·5 分钟
NCCL多GPU通信优化实战：HPC高性能计算扩展指南
深入解析NVIDIA NCCL多GPU通信库的核心原理与优化策略，涵盖AllReduce、NVLink、GPUDirect RDMA等关键技术，帮助HPC和AI开发者掌握从单机多卡到超大规模集群的通信扩展之道。
阅读全文 →
教程攻略·6 分钟
GB200 NVL72块调度实战：Slurm如何榨干机架级NVLink性能
深入解析NVIDIA GB200 NVL72机架级NVLink架构特点，详解Slurm块调度策略如何通过拓扑感知分配、减少资源碎片化来最大化72 GPU互联效率，附配置要点与工作负载优化实践。
阅读全文 →
教程攻略·11 分钟
NCCL Inspector详解：GPU集群通信实时监控与Prometheus集成实践
深入解析NVIDIA NCCL Inspector工具，介绍其与Prometheus深度集成实现GPU集群通信实时监控的方案，涵盖慢节点定位、告警配置、Grafana可视化等实际应用场景，助力大规模分布式训练性能优化。
阅读全文 →
深度解读·9 分钟
NVIDIA Fleet Intelligence详解：GPU集群实时监控与智能优化方案
深入解析NVIDIA Fleet Intelligence集群智能平台，涵盖GPU集群实时可视化监控、AI异常检测、利用率优化与能效管理等核心功能，帮助数据中心运营者提升大规模GPU基础设施的运维效率与资源利用率。
阅读全文 →
产品体验·10 分钟
Cube Studio深度解析：腾讯开源一站式MLOps平台
深度解析腾讯音乐开源的Cube Studio一站式AI平台，涵盖架构设计、分布式训练、大模型微调推理、国产化适配等核心能力，帮助企业高效落地MLOps全流程。
阅读全文 →
深度解读·8 分钟
Decoupled DiLoCo详解：让大规模GPU训练不再怕宕机
深入解析Decoupled DiLoCo分布式训练方法，了解它如何通过解耦训练单元实现容错能力，让大规模AI训练在节点故障时仍能继续运行，将停机损失从100%降至1%。
阅读全文 →
深度解读·8 分钟
微软Tutel：MoE模型加速库深度解析，支持FP4/FP8低精度计算
深度解析微软开源Tutel MoE优化库，支持FP8、NVFP4、MXFP4多精度计算，适配DeepSeek、Kimi-K2、Qwen3等主流MoE模型，解决All-to-All通信瓶颈与显存管理难题。
阅读全文 →
产品体验·9 分钟
Cube Studio：腾讯开源云原生AI平台全面解析
深度解析腾讯音乐开源的Cube Studio云原生AI平台，涵盖分布式训练、大模型微调推理、Pipeline编排、国产化适配等核心能力，助力企业快速构建一站式MLOps基础设施。
阅读全文 →
产品体验·8 分钟
Cube Studio：腾讯开源一站式AI平台，MLOps全流程深度解析
深度解析腾讯音乐开源的Cube Studio云原生AI平台，涵盖Notebook开发、Pipeline编排、分布式训练、大模型微调、推理部署及国产化适配等核心能力，助力企业快速构建MLOps全流程基础设施。
阅读全文 →
产品体验·11 分钟
Cube Studio：腾讯开源一站式AI平台，覆盖大模型训练到推理全流程
深度解析腾讯音乐开源的Cube Studio云原生AI平台，涵盖分布式训练、大模型微调、vLLM推理部署、VGPU虚拟化及国产化昇腾适配等核心能力，助力企业高效落地MLOps全流程。
阅读全文 →
