[控场AI]
产品Multi-Instance GPU

MIG

NVIDIA Ampere架构引入的硬件级GPU分区技术,可将一块物理GPU切割成最多七个完全独立的实例,每个实例拥有专属显存、缓存和计算引擎,隔离性接近独立物理卡

核心事实

时间轴 (近 90 天)

10月12日

MIG的粒度较粗、分区方式固定,无法完全替代软件层面的时间切片调度

待验证50%
10月11日

NVIDIA的MIG仅在数据中心级卡(如A100、H100)上可用,消费级RTX卡不支持

待验证50%
10月6日

Green Contexts 与MIG、MPS目标相似(提升GPU利用率与隔离性),但定位不同:MIG是硬件物理分区隔离性最强灵活度较低,MPS面向多进程共享,Green Contexts在单进程内提供编程式控制粒度更细

待验证50%
9月22日

降低GPU空闲功耗更可靠的手段是通过nvidia-smi设置功率上限、使用MIG分区或在无请求时卸载模型,而非依赖来路不明的环境变量

待验证50%
9月10日

NVIDIA于2020年在Ampere架构中引入MIG技术,允许将一块物理GPU最多划分为7个独立实例

待验证50%
8月26日

Kubernetes原生不具备感知GPU的能力,GPU设备插件以DaemonSet形式运行在每个GPU节点上,用户可通过nvidia.com/gpu声明申请GPU;GPU不支持超卖,除非使用MIG或MPS等虚拟化技术

待验证50%
8月26日

GPU不支持超卖,一张卡要么整卡分配要么不分配,除非使用MIG或MPS等虚拟化技术

待验证50%

全部知识事实 (10)

来源文章