Ai2 GPU调度新方案：时间预算与公平分配如何榨干算力

GPU集群调度的核心矛盾

大规模AI研究机构普遍面临一个棘手问题：GPU资源永远不够用，而排队等待又在不断拖慢研究进度。Ai2（Allen Institute for AI）公开了其新一代GPU调度器的设计思路，试图在三个相互冲突的目标之间找到平衡——优先支持高影响力研究、缩短队列等待时间、同时让GPU始终保持忙碌状态。

这三个目标看似都合理，但在实践中往往互相拉扯。如果一味追求GPU利用率最大化，就可能让一些长时间占用资源的低优先级任务挤占高价值研究；如果强制为重点项目预留资源，又会导致空闲算力浪费。Ai2的方案通过几种机制的组合来缓解这些张力。

三大核心机制

时间预算（Time Budgets）

调度器引入了时间预算的概念，为不同团队或项目分配可用的GPU时间额度。这种做法把算力资源抽象成一种可量化、可分配的"货币"，让资源分配不再是模糊的先到先得，而是有明确的额度约束。时间预算的好处在于，它天然地鼓励团队更谨慎地规划任务，避免无节制地占用集群资源。

公平分配（Fair-share Allocation）

公平分配机制确保各个团队或用户群体能够按照既定比例获得算力，而不会出现某一个团队长期垄断集群的情况。这是多租户环境下的经典调度难题——如何在保证整体效率的同时，让每个参与方都能获得应得的份额。公平分配通过动态调整优先级来实现这一点：近期用得多的团队，其后续任务的优先级会相应下降，从而给其他团队让出空间。

公平分配调度的主流实现参考了经典的"主导资源公平"（Dominant Resource Fairness，DRF）算法，该算法由UC Berkeley于2011年提出，已被Hadoop YARN、Apache Mesos等主流集群管理系统采用。其核心思想是：在多种资源（GPU、CPU、内存）同时存在的情况下，以每个用户消耗最多的那种资源作为"主导资源"，并确保所有用户在主导资源上获得相同比例的份额。在GPU集群的具体场景中，动态优先级调整通常通过"衰减历史用量"来实现——系统会持续追踪每个团队在过去一段时间内消耗的GPU小时数，并以指数加权的方式逐渐"遗忘"较早的历史，使得长期平均用量成为优先级判断的基准，而非瞬时占用量。这种设计避免了因某团队某一天集中提交大量任务而永久性地被降权，同时仍能有效约束长期过度使用的行为。

时间切片（Time-slicing）

时间切片允许多个任务在同一组GPU上交替运行，而不是让单个任务独占硬件直到结束。通过将GPU时间切分成小片段并在任务间轮转，调度器能够显著降低短任务的等待时间，同时保持长任务的持续推进。这一机制对于缩短队列等待尤其关键——研究人员提交一个小规模实验时，不必再苦等某个大训练任务彻底跑完。

时间切片在GPU场景下的实现远比CPU调度复杂。CPU任务的上下文切换开销极小，而GPU任务切换时需要保存和恢复大量显存状态，这一过程本身可能消耗数秒甚至更长时间，在训练大模型时尤为明显。NVIDIA从Volta架构（2017年）开始引入MPS（Multi-Process Service）和后续的MIG（Multi-Instance GPU，安培架构，2020年）技术，允许在硬件层面将单块GPU划分为相互隔离的实例，从而在一定程度上实现真正的空间复用，降低对时间切片的依赖。然而MIG的粒度较粗，分区方式固定，无法完全替代软件层面的时间切片调度。Ai2的方案在软件调度层面进行时间切片，意味着切片粒度和切换频率的选择需要在"响应延迟"与"切换开销"之间仔细权衡，切片过短会导致大量时间浪费在状态迁移上，切片过长则难以改善短任务的等待体验。

为高影响力研究让路

整套调度系统的设计理念，最终服务于一个明确目标：优先保障高影响力的研究工作。在资源有限的现实下，Ai2选择不以纯粹的技术指标（如GPU利用率）为唯一导向，而是将研究价值纳入调度决策。

这种取向反映了学术型AI机构与纯商业公司的差异。对于Ai2这样的研究机构来说，产出突破性研究成果的意义，往往高于单纯把每一块GPU都塞满任务。时间预算和公平分配机制共同作用，使得重点项目能够获得稳定、可预期的算力供给，而不至于被日常性的小实验淹没。

对AI基础设施团队的启示

Ai2这套方案对于任何管理大规模GPU集群的团队都有参考价值。随着大模型训练和研究对算力需求的指数级增长，调度策略正在从一个纯技术问题，演变为涉及资源治理、团队协作和研究优先级的综合性决策。

几个值得关注的实践要点：第一，把算力抽象为可分配的时间预算，有助于建立清晰的问责机制；第二，公平分配不是简单的平均主义，而是通过动态优先级实现长期均衡；第三，时间切片在提升资源利用率的同时，也改善了用户体验，这是双赢的设计。

补充一点，这类调度策略的具体效果高度依赖于集群规模、任务特征和组织文化。Ai2的方案提供了一个有价值的框架，但各机构仍需根据自身实际情况进行调整。对于正在搭建或优化GPU集群的团队来说，这些设计思路至少提供了一个可以借鉴的起点。