Green Contexts
NVIDIA推出的GPU资源分区机制,允许开发者在单进程内通过API为不同逻辑组件划定SM(流多处理器)使用边界,实现延迟敏感型和吞吐密集型任务的资源隔离与精细调度控制
时间轴 (近 90 天)
NVIDIA Green Contexts 是一种资源分区机制,允许开发者在单进程内对GPU计算资源分配进行编程式控制,为不同逻辑组件划定SM使用边界
Green Contexts 的核心思路是对GPU计算资源进行软性划分,让开发者显式指定某部分工作负载使用多少SM资源
Green Contexts 与MIG、MPS目标相似(提升GPU利用率与隔离性),但定位不同:MIG是硬件物理分区隔离性最强灵活度较低,MPS面向多进程共享,Green Contexts在单进程内提供编程式控制粒度更细
通过Green Contexts将实时请求和后台批量任务分区,可使实时请求响应时间更加稳定,不会因后台任务突发计算而被拖慢
使用Green Contexts需要开发者对应用负载特征有清晰认知(哪些任务延迟敏感、哪些吞吐优先、各需多少计算资源),否则资源分区难以发挥作用
全部知识事实 (5)
NVIDIA Green Contexts 是一种资源分区机制,允许开发者在单进程内对GPU计算资源分配进行编程式控制,为不同逻辑组件划定SM使用边界
50%待验证Green Contexts 的核心思路是对GPU计算资源进行软性划分,让开发者显式指定某部分工作负载使用多少SM资源
50%待验证Green Contexts 与MIG、MPS目标相似(提升GPU利用率与隔离性),但定位不同:MIG是硬件物理分区隔离性最强灵活度较低,MPS面向多进程共享,Green Contexts在单进程内提供编程式控制粒度更细
50%待验证通过Green Contexts将实时请求和后台批量任务分区,可使实时请求响应时间更加稳定,不会因后台任务突发计算而被拖慢
50%待验证使用Green Contexts需要开发者对应用负载特征有清晰认知(哪些任务延迟敏感、哪些吞吐优先、各需多少计算资源),否则资源分区难以发挥作用
50%