RSIBench-Infra
面向智能体自主优化生产级训练与推理基础设施的基准,包含20个跨模型族与模态的任务,支持多加速器规模,采用OCI镜像层提交协议与独立评估。
时间轴 (近 90 天)
RSIBench-Infra 是一个包含20个训练与推理任务的基准,覆盖多种模型族与模态,部署规模最高达到32个加速器。
RSIBench-Infra 支持 NVIDIA GPU 和昇腾 NPU 两种加速器。
在 RSIBench-Infra 的所有任务结果中,66.2% 的任务超过了经过验证的 1.10 倍加速。
RSIBench-Infra 采用 OCI 镜像层提交协议来捕获智能体所做的修改,并进行独立评估。
在 RSIBench-Infra 中,智能体的起点是来自官方 recipe 的可运行基线,而非从零开始写代码。
在 RSIBench-Infra 中,智能体可以在引擎、kernel 和指令三个层面修改软件栈。
RSIBench-Infra 的独立评估在任务特定的质量约束下测量端到端性能,以防止智能体通过牺牲精度来换取速度。
论文作者指出,识别有效的优化策略并将局部改进稳定转化为端到端收益仍然是难点。
RSIBench-Infra 的结论是:当前智能体可以改善生产规模的训练与推理性能,但离稳定地自我优化基础设施还有距离。
1.10 倍加速阈值是基准设定的经过验证的加速门槛,用于区分统计噪声与真实性能改进。
全部知识事实 (10)
RSIBench-Infra 是一个包含20个训练与推理任务的基准,覆盖多种模型族与模态,部署规模最高达到32个加速器。
50%待验证RSIBench-Infra 支持 NVIDIA GPU 和昇腾 NPU 两种加速器。
50%待验证在 RSIBench-Infra 的所有任务结果中,66.2% 的任务超过了经过验证的 1.10 倍加速。
50%待验证RSIBench-Infra 采用 OCI 镜像层提交协议来捕获智能体所做的修改,并进行独立评估。
50%待验证在 RSIBench-Infra 中,智能体的起点是来自官方 recipe 的可运行基线,而非从零开始写代码。
50%待验证在 RSIBench-Infra 中,智能体可以在引擎、kernel 和指令三个层面修改软件栈。
50%待验证RSIBench-Infra 的独立评估在任务特定的质量约束下测量端到端性能,以防止智能体通过牺牲精度来换取速度。
50%待验证论文作者指出,识别有效的优化策略并将局部改进稳定转化为端到端收益仍然是难点。
50%待验证RSIBench-Infra 的结论是:当前智能体可以改善生产规模的训练与推理性能,但离稳定地自我优化基础设施还有距离。
50%待验证1.10 倍加速阈值是基准设定的经过验证的加速门槛,用于区分统计噪声与真实性能改进。
50%