统一内存架构
苹果M系列芯片采用的内存架构,将CPU、GPU、神经网络引擎所使用的内存整合为一个高速共享内存池,封装在SoC芯片旁边,消除数据搬运延迟,但导致对高品质LPDDR内存高度依赖
核心事实
时间轴 (近 90 天)
PS5的16GB GDDR6统一内存架构使CPU和GPU共享同一内存池,模型权重无需在设备间反复拷贝,理论上只需加载一次。
diffusers 的 enable_model_cpu_offload() 策略基于『把模型留在 CPU、仅在运行时移到 GPU』的思路,但在 UMA 上该策略未必能有效降低内存压力。
在 UMA 上,所谓『在 CPU 上』的权重其实停在 GPU 也需要的那块统一 RAM 里,把张量从 MPS 移到 CPU 并不降低整体内存压力,只是改变访问路径与页的状态。
Apple Silicon的统一内存架构在单机共享基础上能降低中小模型推理的延迟与功耗,但扩展到分布式环境后跨设备通信仍需走网络,统一内存的带宽红利无法直接传递。
在 Apple Silicon 上,CPU、GPU 和神经引擎共享同一块物理内存,无需在设备间拷贝数据
共享系统内存的带宽通常低于专用GDDR显存
统一内存架构能够显著降低数据在不同处理单元之间搬运的开销,对于运行本地大模型、代码辅助工具等场景尤为友好
统一内存架构消除了数据复制开销,但引入了带宽争用问题,且内存无法升级
Jetson Orin系列提供最高64GB统一内存,CPU和GPU共享同一块物理内存池,无需通过PCIe总线在两者之间拷贝数据
NVIDIA Jetson系列采用SoC统一内存架构,CPU和GPU共享同一块物理内存
还有 4 条时间轴事件
全部知识事实 (19)
自M1芯片起,苹果采用统一内存架构(Unified Memory Architecture),CPU、GPU和神经网络引擎共享同一内存池
80%已验证Apple M系列芯片采用统一内存架构(UMA),CPU和GPU共享同一块高带宽内存池
80%已验证M1的统一内存架构使CPU和GPU物理共享同一块内存,无需显式数据拷贝,只需传递指针或虚拟地址
75%已验证Apple Silicon的Neural Engine与CPU、GPU共享统一内存架构(Unified Memory Architecture),消除了传统异构计算中数据在不同内存池之间搬运的瓶颈
75%已验证为本地大模型推理选择硬件时应优先考虑内存容量,其次是架构和内存带宽
70%已验证AMD Ryzen AI Max+ 395拥有16核N5工艺CPU,搭配40个RDNA 3.5计算单元,最高支持128GB LPDDR5X统一内存
65%待验证Apple Silicon M-series unified memory architecture allows CPU and GPU to share the same physical memory, eliminating data copy overhead beneficial for LLM inference
90%待验证NVIDIA Jetson系列采用SoC统一内存架构,CPU和GPU共享同一块物理内存
70%部分验证统一内存架构使CPU、GPU与NPU共享同一块内存池,避免数据在处理单元间反复搬运的开销
65%待验证PS5的16GB GDDR6统一内存架构使CPU和GPU共享同一内存池,模型权重无需在设备间反复拷贝,理论上只需加载一次。
50%待验证diffusers 的 enable_model_cpu_offload() 策略基于『把模型留在 CPU、仅在运行时移到 GPU』的思路,但在 UMA 上该策略未必能有效降低内存压力。
50%待验证在 UMA 上,所谓『在 CPU 上』的权重其实停在 GPU 也需要的那块统一 RAM 里,把张量从 MPS 移到 CPU 并不降低整体内存压力,只是改变访问路径与页的状态。
50%待验证Apple Silicon的统一内存架构在单机共享基础上能降低中小模型推理的延迟与功耗,但扩展到分布式环境后跨设备通信仍需走网络,统一内存的带宽红利无法直接传递。
50%待验证在 Apple Silicon 上,CPU、GPU 和神经引擎共享同一块物理内存,无需在设备间拷贝数据
50%待验证共享系统内存的带宽通常低于专用GDDR显存
50%待验证统一内存架构能够显著降低数据在不同处理单元之间搬运的开销,对于运行本地大模型、代码辅助工具等场景尤为友好
50%待验证统一内存架构消除了数据复制开销,但引入了带宽争用问题,且内存无法升级
50%待验证Jetson Orin系列提供最高64GB统一内存,CPU和GPU共享同一块物理内存池,无需通过PCIe总线在两者之间拷贝数据
50%待验证配备统一内存架构的迷你PC能够运行700亿参数(70B)的大模型,而高端独立显卡因显存不足无法完整加载
50%