[控场AI]
· 5 分钟阅读· 2,665 字

RSIBench-Infra:智能体能否自主优化生产级训练与推理基础设施?

RSIBench-Infra:智能体能否自主优化生产级训练与推理基础设施?

RSIBench-Infra 用20个生产级任务评测智能体自主优化训练推理基础设施的能力。

RSIBench-Infra 是一个面向智能体递归自我改进的基础设施优化基准,包含20个训练与推理任务,部署规模最高32个加速器,同时支持NVIDIA GPU与昇腾NPU。智能体从官方recipe基线出发,可在引擎、kernel、指令三个层面修改软件栈,并通过OCI镜像层提交协议保证改动可复现,由独立评估在质量约束下测量端到端性能。结果显示66.2%的任务超过1.10倍验证加速,但约三分之一未达标,表明智能体已能在生产规模带来可验证提升,但将局部优化稳定转化为端到端收益仍是主要挑战。

RSIBench-Infra 基准概览

智能体能否像优化普通软件一样,自主优化自己的训练与推理基础设施?这是递归自我改进(recursive self-improvement)中一个非常实际的环节。现有面向智能体优化的基准大多只盯着 kernel 这类单一软件层,至于智能体能否在生产级负载下带来端到端的性能提升,答案并不清楚。RSIBench-Infra 正是冲着这个问题来的。

从单一软件层到生产级端到端

RSIBench-Infra 是一个包含 20 个训练与推理任务的基准,覆盖多种模型族与模态,部署规模最高达到 32 个加速器,同时支持 NVIDIA GPU 和昇腾 NPU。这个规模使得它区别于那些在单卡或小规模环境里跑通就行的评测——生产级意味着通信、调度、内存、编译等多个环节都会参与进来。

智能体的起点是来自官方 recipe 的可运行基线,而不是从零开始写代码。它们可以在引擎、kernel 和指令三个层面修改软件栈。换句话说,智能体不是只调一个 CUDA kernel,而是可以动整个技术栈的多个抽象层,这更接近真实工程团队的优化路径。

递归自我改进(Recursive Self-Improvement) 指智能体具备改进自身能力(包括其运行所依赖的软件与硬件基础设施)的闭环能力,是AI安全与能力评估中的关键议题。在基础设施语境下,它意味着智能体能够自主分析训练/推理系统的瓶颈、提出修改、验证效果并迭代。RSIBench-Infra 将这一宏大概念落地为可测量的工程任务:智能体在给定的计算集群上优化软件栈,基准衡量其端到端性能提升。这比“智能体写代码”更严格,因为它要求修改在真实负载和多加速器通信下仍然有效,而非仅在隔离环境中通过单元测试。

提交协议与质量约束如何保证可比性

为了保证结果可复现,基准采用 OCI 镜像层(OCI image-layer)提交协议来捕获智能体所做的修改,独立评估则在任务特定的质量约束下测量端到端性能。这两点设计很关键:镜像层提交让软件栈的任何改动都能被完整记录和重建,避免“我这跑得快、你那跑不起来”的复现困境;质量约束则防止智能体用牺牲精度的方式换取速度。

独立评估意味着性能数字不是智能体自己汇报的,而是由基准方在受控条件下测得,这与一些依赖自我报告指标的评测有本质区别,也提高了结论的可信度。

OCI 镜像层(OCI Image Layer) 是容器镜像规范的组成部分,每个层代表文件系统的一组增量变更,层叠后可完整重建容器环境。在 RSIBench-Infra 中,智能体对软件栈的任何修改(如更换算子实现、调整编译选项、修改调度逻辑)都被封装为新的镜像层,与基线镜像组合后即可精确复现运行环境。相比仅提交代码 diff,镜像层还捕获了二进制依赖、环境变量和构建产物,避免“代码相同但环境不同”导致的复现失败。独立评估方只需拉取镜像层并运行标准化测试,即可获得可比较的性能数字,这是基准可信度的技术基础。

66.2% 的任务超过 1.10 倍加速意味着什么

在所有任务结果中,66.2% 超过了经过验证的 1.10 倍加速。这个数字要两面看。

积极的一面是,当前智能体已经能够在生产规模的训练和推理负载上带来可验证的性能提升,而不只是玩具级别的 kernel 微优化。三分之二的任务跨过 1.10 倍这条线,说明能力是普遍存在的,不是个别任务的偶然。

但另一面同样清楚:仍有约三分之一的任务没有达到这一门槛。论文的作者也直言,识别有效的优化策略、并把局部改进稳定地转化为端到端收益,仍然是难点。局部优化不等于全局收益——一个 kernel 快了,未必能抵消新增的编译开销或通信成本,这类问题在生产规模下会被放大。

1.10 倍加速阈值 是基准设定的“经过验证的加速”门槛,用以区分统计噪声与真实性能改进。在分布式训练与推理中,端到端耗时受通信、调度、内核启动开销等多因素影响,测量本身存在波动;设定 1.10 倍线并要求独立复测,可过滤掉测量误差或仅靠一次性调参获得的偶然收益。该阈值也呼应工程实践:生产系统通常要求优化带来至少 10% 的净收益才值得引入额外复杂度。因此,66.2% 的任务跨过此线,意味着多数优化在统计与工程意义上均站得住脚。

对智能体自我改进路线的启示

RSIBench-Infra 给出的结论是克制的:当前智能体可以改善生产规模的训练与推理性能,但离“稳定地自我优化基础设施”还有距离。这对递归自我改进的叙事是一个校准——基础设施优化不是单一技能点,而是需要在引擎、kernel、指令多层之间做权衡的系统工程,智能体在单点上的能力已经显现,系统级的策略选择仍是短板。

对工程实践的参考价值在于:把智能体放进真实的多加速器环境、用可复现的提交协议和独立评估来衡量,比在受控小环境里刷指标更能反映实际可用性。昇腾 NPU 与 NVIDIA GPU 并存的设定,也让结论对异构算力场景更有参考意义。

昇腾 NPU 与 NVIDIA GPU 异构并存 是本基准区别于多数智能体优化评测的设定。两类加速器在编程模型(如昇腾的 CANN 与 NVIDIA 的 CUDA)、算子库和通信原语上差异显著,智能体需针对不同后端调整优化策略,而不能依赖单一生态的经验。这使结论对真实异构算力场景更具参考价值:生产中常混用多种加速器,优化方案需具备跨后端迁移或分别适配的能力。同时,异构设定也提高了任务难度,部分任务未达 1.10 倍门槛可能与此相关,提示智能体在跨栈知识迁移上仍有提升空间。

常见问题

RSIBench-Infra 和以往的智能体优化基准有什么不同?

以往基准多聚焦 kernel 等单一软件层,RSIBench-Infra 强调生产规模下的端到端性能,任务覆盖训练与推理,部署最高 32 个加速器,并同时覆盖 NVIDIA GPU 与昇腾 NPU。

智能体可以修改哪些层面的软件栈?

引擎、kernel 和指令三个层面都可以动,起点是来自官方 recipe 的可运行基线。

66.2% 的加速比例说明什么?

说明多数任务能获得超过 1.10 倍的可验证加速,但仍有部分任务未达标,局部优化转化为端到端收益依然困难。

#RSIBench-Infra#智能体优化#训练推理基础设施#端到端性能#递归自我改进#生产级基准#昇腾NPU
分享:

相关推荐