[控场AI]
概念UMA / Unified Memory Architecture

统一内存架构

苹果M系列芯片采用的内存架构,将CPU、GPU、神经网络引擎所使用的内存整合为一个高速共享内存池,封装在SoC芯片旁边,消除数据搬运延迟,但导致对高品质LPDDR内存高度依赖

核心事实

时间轴 (近 90 天)

10月16日

PS5的16GB GDDR6统一内存架构使CPU和GPU共享同一内存池,模型权重无需在设备间反复拷贝,理论上只需加载一次。

待验证50%
10月13日

diffusers 的 enable_model_cpu_offload() 策略基于『把模型留在 CPU、仅在运行时移到 GPU』的思路,但在 UMA 上该策略未必能有效降低内存压力。

待验证50%
10月13日

在 UMA 上,所谓『在 CPU 上』的权重其实停在 GPU 也需要的那块统一 RAM 里,把张量从 MPS 移到 CPU 并不降低整体内存压力,只是改变访问路径与页的状态。

待验证50%
10月12日

Apple Silicon的统一内存架构在单机共享基础上能降低中小模型推理的延迟与功耗,但扩展到分布式环境后跨设备通信仍需走网络,统一内存的带宽红利无法直接传递。

待验证50%
10月6日

在 Apple Silicon 上,CPU、GPU 和神经引擎共享同一块物理内存,无需在设备间拷贝数据

待验证50%
10月4日

共享系统内存的带宽通常低于专用GDDR显存

待验证50%
9月9日

统一内存架构能够显著降低数据在不同处理单元之间搬运的开销,对于运行本地大模型、代码辅助工具等场景尤为友好

待验证50%
9月7日

统一内存架构消除了数据复制开销,但引入了带宽争用问题,且内存无法升级

待验证50%
9月6日

Jetson Orin系列提供最高64GB统一内存,CPU和GPU共享同一块物理内存池,无需通过PCIe总线在两者之间拷贝数据

待验证50%
9月3日

NVIDIA Jetson系列采用SoC统一内存架构,CPU和GPU共享同一块物理内存

待验证70%

还有 4 条时间轴事件

全部知识事实 (19)

已验证

自M1芯片起,苹果采用统一内存架构(Unified Memory Architecture),CPU、GPU和神经网络引擎共享同一内存池

80%
已验证

Apple M系列芯片采用统一内存架构(UMA),CPU和GPU共享同一块高带宽内存池

80%
已验证

M1的统一内存架构使CPU和GPU物理共享同一块内存,无需显式数据拷贝,只需传递指针或虚拟地址

75%
已验证

Apple Silicon的Neural Engine与CPU、GPU共享统一内存架构(Unified Memory Architecture),消除了传统异构计算中数据在不同内存池之间搬运的瓶颈

75%
已验证

为本地大模型推理选择硬件时应优先考虑内存容量,其次是架构和内存带宽

70%
已验证

AMD Ryzen AI Max+ 395拥有16核N5工艺CPU,搭配40个RDNA 3.5计算单元,最高支持128GB LPDDR5X统一内存

65%
待验证

Apple Silicon M-series unified memory architecture allows CPU and GPU to share the same physical memory, eliminating data copy overhead beneficial for LLM inference

90%
待验证

NVIDIA Jetson系列采用SoC统一内存架构,CPU和GPU共享同一块物理内存

70%
部分验证

统一内存架构使CPU、GPU与NPU共享同一块内存池,避免数据在处理单元间反复搬运的开销

65%
待验证

PS5的16GB GDDR6统一内存架构使CPU和GPU共享同一内存池,模型权重无需在设备间反复拷贝,理论上只需加载一次。

50%
待验证

diffusers 的 enable_model_cpu_offload() 策略基于『把模型留在 CPU、仅在运行时移到 GPU』的思路,但在 UMA 上该策略未必能有效降低内存压力。

50%
待验证

在 UMA 上,所谓『在 CPU 上』的权重其实停在 GPU 也需要的那块统一 RAM 里,把张量从 MPS 移到 CPU 并不降低整体内存压力,只是改变访问路径与页的状态。

50%
待验证

Apple Silicon的统一内存架构在单机共享基础上能降低中小模型推理的延迟与功耗,但扩展到分布式环境后跨设备通信仍需走网络,统一内存的带宽红利无法直接传递。

50%
待验证

在 Apple Silicon 上,CPU、GPU 和神经引擎共享同一块物理内存,无需在设备间拷贝数据

50%
待验证

共享系统内存的带宽通常低于专用GDDR显存

50%
待验证

统一内存架构能够显著降低数据在不同处理单元之间搬运的开销,对于运行本地大模型、代码辅助工具等场景尤为友好

50%
待验证

统一内存架构消除了数据复制开销,但引入了带宽争用问题,且内存无法升级

50%
待验证

Jetson Orin系列提供最高64GB统一内存,CPU和GPU共享同一块物理内存池,无需通过PCIe总线在两者之间拷贝数据

50%
待验证

配备统一内存架构的迷你PC能够运行700亿参数(70B)的大模型,而高端独立显卡因显存不足无法完整加载

50%

来源文章