AMD MI355X 推理性能反超 B300：8卡吞吐高24.4%

AMD 与 NVIDIA 在 AI 推理市场的较量出现了新的转折点。根据 SemiAnalysis 的 AgentX 智能体编程基准测试，8 卡 AMD MI355X 在 Kimi K3 模型服务中，于 50 tok/s/user 的交互延迟下，实现了每 GPU 7,567 tok/s 的吞吐量，比 HGX B300 的 6,083 tok/s/GPU 高出 24.4%；若按每美元可处理的 token 数计算，优势扩大到 87.4%。这一结果由 @Kimi_Moonshot、@AMD 与 @embeddedLLM 联合披露，并附带了完整的 vLLM 优化与 AMD kernel 实现细节。

基准测试结果：吞吐与性价比双杀

AgentX 是 SemiAnalysis 推出的智能体编程评测套件，其负载特征贴近真实编码代理场景：长上下文、多轮工具调用、频繁的短输出。在这种负载下，8× MI355X 不仅吞吐领先，还在单位成本产出上拉开显著差距。

关键数据对比如下：

• 吞吐量：MI355X 7,567 tok/s/GPU vs. B300 6,083 tok/s/GPU，领先 24.4%
• 每美元 token 数：MI355X 高出 87.4%
• 测试条件：50 tok/s/user 的交互速度，Kimi K3 模型，vLLM 推理框架

87.4% 的成本效率优势并非单纯来自硬件峰值算力，而是软硬协同优化的结果。这也解释了为什么 AMD 选择与 embeddedLLM 这类专注推理栈的团队合作，而非仅靠芯片规格说话。

tok/s/user 与 tok/s/GPU 的区别：前者衡量单个用户感受到的生成速度，即解码阶段每个用户每秒获得的 token 数；后者衡量整机或整卡的聚合吞吐。在批处理推理中，两者存在权衡：提高批大小可推高总吞吐，但会拉长单请求延迟。因此“50 tok/s/user 下实现 7,567 tok/s/GPU”意味着在保证交互流畅的前提下仍获得高聚合吞吐，这比单纯堆批大小的跑分更能反映生产可用性。

PagedAttention：vLLM 的核心内存管理机制，借鉴操作系统虚拟内存分页思想，将 KV Cache 切分为固定大小的块并按需分配，从而消除因预留最大序列长度造成的内存浪费，显著提升批处理规模。其内存布局与块调度策略高度依赖 GPU 架构特性，迁移到 ROCm 平台时往往需要重新调优。

差距是如何缩小的：vLLM 优化与 AMD Kernel

据披露，此次性能提升主要归功于三类工作：vLLM 层面的调度与内存管理优化、针对 AMD 架构定制的 kernel 实现，以及硬件层面的细节调优。

vLLM 作为主流开源推理引擎，其默认路径长期围绕 NVIDIA GPU 优化。要让 MI355X 发挥实力，需要重新审视 PagedAttention 的内存布局、连续批处理策略以及 MoE 模型的专家路由开销。AMD kernel 的贡献则在于填补特定算子（如注意力与归一化）在 ROCm 生态中的效率缺口。

这套组合拳的意义超出单次跑分：它提供了一套可复用的瓶颈识别模式，让使用者在自己的 GPU 上也能从 vLLM 中榨出更多性能。

ROCm 与 kernel 实现：ROCm 是 AMD 的开源 GPU 计算软件栈，对标 CUDA。kernel 指在 GPU 上执行的并行计算函数，注意力、归一化、MoE 路由等算子若没有针对特定架构手写优化，性能会大幅落后于峰值。AMD 与 embeddedLLM 的合作重点之一，就是为 MI355X 的矩阵核心与内存层级补齐这些高频算子的高效实现，减少框架默认路径中的低效访存与同步开销。

MoE 模型的服务挑战：混合专家模型每次前向只激活部分专家，显存占用大但计算量相对稀疏。服务时的主要瓶颈在于专家路由带来的不规则访存与负载不均，需要调度器与 kernel 协同处理，否则 GPU 利用率会明显下降。Kimi K3 属于此类架构，这也是基准结果对推理栈优化高度敏感的原因。

对推理市场的信号

NVIDIA 在推理侧的优势长期建立在 CUDA 生态与工程成熟度上，而非单纯的硬件参数。MI355X 此次在真实 agentic 负载中追平甚至反超 B300，说明 AMD 的短板正在从“硬件不行”转向“软件待完善”，而后者是可以靠投入追赶的。

对采购方而言，每美元 token 数接近翻倍的差距足以改变 TCO 测算。对开发者而言，ROCm 与 vLLM 的组合开始具备生产可用性。当然，单一基准不能代表全部负载，训练、微调与超长上下文场景仍需独立验证。

仍需观察的变量

此次数据由 AMD 与合作方联合发布，独立第三方复现尚未公开。AgentX 虽贴近编码代理场景，但模型服务表现高度依赖具体 kernel 版本与编译选项。B300 方面也可能存在尚未释放的软件优化空间。

可以确定的是，推理硬件的竞争已从“谁的芯片快”进入“谁的栈更完整”的阶段，这对整个行业是好事。