CUDA
CUDA（Compute Unified Device Architecture）是NVIDIA推出的并行计算平台和编程模型，允许开发者利用NVIDIA GPU的并行处理能力加速通用计算任务。它提供C/C++等语言的扩展接口，使程序员能够直接调度GPU上的大量并行线程，广泛应用于科学计算、深度学习、图像处理和数据分析等高性能计算领域。
核心事实
时间轴 (近 90 天)
本次补丁仅针对 Metal 后端，不构成对其他平台（如 CUDA、Vulkan 后端）类似库编译错误的通用解决方案。
A100的CUDA生态成熟、显存容量仍能满足多数推理场景，因此在二手市场仍有较高残值。
大量开源模型和算子默认针对CUDA优化，迁移到MPS/MLX需要额外适配，部分算子甚至缺乏原生支持。
“后端重写”通常指 PyTorch 侧对 ProcessGroupNCCL 的封装逻辑、流管理、错误处理和与 CUDA 流的协作方式做了重构，而非替换 NCCL 库本身。
显存上限的强制执行需要运行时在每次分配时进行检查，配额越密集、分配越频繁，管理开销越明显。
在细粒度显存配额共享场景中，每个进程的内存池会各自保留空闲显存，配额切得越细，碎片占比越高，有效利用率反而下降。
RTX 软件栈包括用于实时光追与神经渲染的 SDK（如 DLSS、RTXDI）、用于 AI 推理加速的 TensorRT 与 CUDA，以及模型优化与部署工具。
CUDA内核启动本质上是异步的：CPU将内核及参数写入命令队列后立即返回，实际执行由GPU调度器稍后完成。
使用标准CPU计时器测量内核执行时间时，如果没有调用 cudaDeviceSynchronize() 或使用CUDA事件，测得的往往是内核入队的时间而非实际执行时间。
CUDA事件（cudaEvent_t）提供计时能力，cudaEventRecord 在流中插入时间戳标记，cudaEventElapsedTime 计算两个事件之间的GPU时间，精度约为0.5微秒。
还有 40 条时间轴事件
全部知识事实 (20)
llama.cpp是由Georgi Gerganov开发的纯C/C++推理引擎，支持在纯CPU环境下运行大模型
90%已验证NVIDIA CUDA于2006年推出，最初是让开发者利用GPU进行通用计算的编程框架
90%已验证CUDA（Compute Unified Device Architecture）是NVIDIA推出的并行计算平台
90%已验证ROCm是AMD面向高性能计算和AI工作负载的开源软件平台，包含HIP编程接口，允许CUDA代码以较低成本移植到AMD GPU
90%已验证NVIDIA的CUDA生态是AI推理行业的事实标准
85%已验证CUDA几乎是所有主流深度学习框架的底层支撑
85%已验证CUDA自2006年推出以来已成为AI/深度学习领域事实上的行业标准，PyTorch、TensorFlow等主流框架的默认后端均为CUDA
80%已验证llama.cpp支持Metal、CUDA、Vulkan和SYCL等GPU加速后端
80%已验证Ollama自动识别系统中的NVIDIA GPU并选择最优推理后端（CUDA、Metal或纯CPU），对Apple Silicon用户通过Metal API实现GPU加速
80%已验证llama.cpp是一个高度优化的C++推理引擎，支持Apple Silicon的Metal加速、NVIDIA的CUDA加速以及AMD的ROCm加速
80%已验证CUDA是NVIDIA于2006年推出的并行计算平台和编程模型
80%已验证英伟达的CUDA生态已形成强大的护城河
75%已验证Triton是OpenAI开源的项目，让开发者能用类Python语法编写高性能GPU Kernel，降低CUDA编程门槛
75%已验证ROCm（Radeon Open Compute）是AMD对抗NVIDIA CUDA生态的核心开源GPU计算平台
75%已验证CUDA Toolkit包含编译器nvcc、调试器、性能分析工具以及cuBLAS、cuFFT等数学库
75%已验证CUDA是NVIDIA的专有平台,需要显式编写kernel函数,学习曲线陡峭但性能潜力最大
75%已验证HIP是AMD推出的对标CUDA的方案，语法与CUDA高度相似，旨在实现GPU代码的跨平台可移植性
75%已验证AMD的ROCm和Intel的oneAPI在生态完整度、社区支持和性能调优工具方面与CUDA仍存在显著差距
75%已验证M1的统一内存架构使CPU和GPU物理共享同一块内存，无需显式数据拷贝，只需传递指针或虚拟地址
75%已验证截至2024年，CUDA开发者社区已超过400万人，基于CUDA优化的软件库超过900个
75%