#PyTorch
共 35 篇相关文章
开发者自研PyTorch优化器ApexW：显存减半、提速1.5倍
开发者发布PyTorch优化器ApexW，采用紧凑优化器状态与Triton执行路径，在仅优化器基准中比fused AdamW快约1.5倍、状态显存约减半，但小张量与自动模式仍有明显短板，作者公开征集基准与实现反馈。
11小时视频课程：从零构建推理模型
一套超过11小时的视频课程，用Python和PyTorch讲解推理模型的评估、推理时扩展、强化学习与蒸馏四大模块，适合有基础的开发者系统学习推理模型构建。
从零手写Transformer：5.3万参数造恐龙名字生成器
开发者用 PyTorch 从零手写 Transformer，打造 5.3 万参数的 DinoGPT 恐龙名字生成器，训练于 1535 个恐龙名称，并封装成 Streamlit 可交互 demo。本文解析其技术思路、小模型学习价值与产品化启示。
从零实现Transformer架构：训练加速与效果提升实战
Reddit开发者从零实现Transformer架构但训练慢效果差。本文分析瓶颈并提供PyTorch 2.0注意力优化、混合精度、学习率调度等加速方法，以及小数据下的效果提升策略。
TorchTitan更新：新SOTA模型、规模化性能与TitanRL
PyTorch官方TorchTitan项目更新，新增SOTA模型支持、大规模训练性能优化，并引入TitanRL强化学习组件。本文解读其PyTorch原生训练平台定位、规模化性能方向与后训练能力扩展。
Google开源TorchTPU：PyTorch原生后端打通TPU生态
Google开源TorchTPU，为TPU提供PyTorch原生后端。本文解析其与XLA路线的差异、对CUDA生态的潜在影响，以及开发者迁移时需关注的成本与性能问题。
谷歌开源TorchTPU：PyTorch原生后端如何重塑TPU生态
谷歌与Meta联合开源TorchTPU，这是面向Cloud TPU的PyTorch原生后端，默认eager执行并支持torch.compile与XLA编译，将替代PyTorch/XLA用于新工作负载。本文解析其架构定位、执行模式取舍及对开发者与TPU生态的实际影响。
Nscale以白金会员身份加入PyTorch基金会
PyTorch基金会宣布Nscale以白金会员身份加入，这是该基金会最高级别企业会员形式。本文解析Nscale背景、白金会员的治理含义，以及算力服务商与开源AI框架深度绑定对开发者的实际影响。
TorchTPU发布：PyTorch原生支持谷歌TPU
Google与Meta联合发布TorchTPU，为PyTorch提供原生TPU后端，支持模型开箱即用运行。本文解读这一开源协作的技术定位、对开发者的迁移成本影响，以及尚待验证的性能与治理问题。
Nebius以白金会员身份加入PyTorch基金会
PyTorch基金会宣布AI云公司Nebius以白金会员身份加入。本文分析这一变动对开源AI生态、算力厂商与框架社区关系的影响，以及白金会员席位背后的竞争逻辑。
PyTorch基金会新增九家成员，开源AI格局生变
PyTorch基金会新增九家成员，Nebius、Nscale和Shopify作为白金会员加入，开源AI生态的治理竞争与引力中心格局正在变化。
TorchNeuron：AWS Trainium的PyTorch原生后端
PyTorch 官方发布 TorchNeuron，为 AWS Trainium 提供原生 PyTorch 后端。本文解读其背景、原生后端的意义及对 AI 基础设施格局的潜在影响。
PyTorch 原生跑在 AWS Trainium 上：零代码改动意味着什么
AWS 在 PyTorch 大会上宣布 Trainium 原生支持 PyTorch，零代码改动即可运行 eager mode、Torch.compile 与标准分布式 API。本文解析 Torch Neuron 开源后端、六场实战 session 及其对训练硬件选型的实际影响。
torch-pointcloud：对标timm的3D点云预训练模型库
torch-pointcloud是一个对标timm的纯PyTorch点云库，统一了PointNet++、Point Transformer v3、PointMamba等模型的接口与预训练权重，支持分类、分割、检测和自监督预训练，旨在解决点云研究中代码复现和评测不一致的问题。
Spyre 如何成为 PyTorch 原生设备
PyTorch 官方博客详解 Spyre 如何通过 PrivateUse1 成为原生设备，打通设备、内存分配器、流和编译器四层抽象，为 AI 加速器接入主流框架提供标准化样本。
PyTorch媒体处理生态演进：TorchCodec与TorchVision的职责划分
PyTorch官方博客梳理媒体处理生态：解码或编码媒体请使用TorchCodec，图像和视频变换使用TorchVision。本文解读这一职责划分对开发者的实际影响与管线调整建议。
设了随机种子却训出不同模型？PyTorch可复现性真相
设置了随机种子，训出来的模型却不一样？本文通过 ResNet18 实测揭示 PyTorch 可复现性的真相：浮点运算与 GPU 并行调度导致训练从第 1 步就分叉，并给出 use_deterministic_algorithms 的修复方法与仅 16% 的真实性能开销。
PyTorch社区聚焦：端侧AI与推理优化的技术交流
PyTorch大使社区成员分享其关注的四大技术方向：端侧AI、高效推理、语音智能体与机器学习编译器，解读AI工程化落地的核心命题与社区协作价值。
