MIG
NVIDIA Ampere架构引入的硬件级GPU分区技术,可将一块物理GPU切割成最多七个完全独立的实例,每个实例拥有专属显存、缓存和计算引擎,隔离性接近独立物理卡
核心事实
时间轴 (近 90 天)
MIG的粒度较粗、分区方式固定,无法完全替代软件层面的时间切片调度
NVIDIA的MIG仅在数据中心级卡(如A100、H100)上可用,消费级RTX卡不支持
Green Contexts 与MIG、MPS目标相似(提升GPU利用率与隔离性),但定位不同:MIG是硬件物理分区隔离性最强灵活度较低,MPS面向多进程共享,Green Contexts在单进程内提供编程式控制粒度更细
降低GPU空闲功耗更可靠的手段是通过nvidia-smi设置功率上限、使用MIG分区或在无请求时卸载模型,而非依赖来路不明的环境变量
NVIDIA于2020年在Ampere架构中引入MIG技术,允许将一块物理GPU最多划分为7个独立实例
Kubernetes原生不具备感知GPU的能力,GPU设备插件以DaemonSet形式运行在每个GPU节点上,用户可通过nvidia.com/gpu声明申请GPU;GPU不支持超卖,除非使用MIG或MPS等虚拟化技术
GPU不支持超卖,一张卡要么整卡分配要么不分配,除非使用MIG或MPS等虚拟化技术
全部知识事实 (10)
NVIDIA的MIG技术可在A100/H100等高端GPU上实现硬件级别的资源隔离
80%待验证NVIDIA MIG仅支持A100/H100等高端卡且切分粒度有限,vGPU方案需要额外购买商业许可证
85%待验证NVIDIA MIG技术允许将单个GPU划分为多个独立实例,可将资源利用率从传统方案的30-50%提升到更高水平
70%待验证MIG的粒度较粗、分区方式固定,无法完全替代软件层面的时间切片调度
50%待验证NVIDIA的MIG仅在数据中心级卡(如A100、H100)上可用,消费级RTX卡不支持
50%待验证Green Contexts 与MIG、MPS目标相似(提升GPU利用率与隔离性),但定位不同:MIG是硬件物理分区隔离性最强灵活度较低,MPS面向多进程共享,Green Contexts在单进程内提供编程式控制粒度更细
50%待验证降低GPU空闲功耗更可靠的手段是通过nvidia-smi设置功率上限、使用MIG分区或在无请求时卸载模型,而非依赖来路不明的环境变量
50%待验证NVIDIA于2020年在Ampere架构中引入MIG技术,允许将一块物理GPU最多划分为7个独立实例
50%待验证Kubernetes原生不具备感知GPU的能力,GPU设备插件以DaemonSet形式运行在每个GPU节点上,用户可通过nvidia.com/gpu声明申请GPU;GPU不支持超卖,除非使用MIG或MPS等虚拟化技术
50%待验证GPU不支持超卖,一张卡要么整卡分配要么不分配,除非使用MIG或MPS等虚拟化技术
50%