AIPerf：NVIDIA大规模LLM推理性能基准测试工具解析

在生产环境部署大语言模型时，一个看似简单却极难回答的问题始终萦绕在工程师心头：这套系统到底跑得够不够快？模型启动了，提示词也能得到响应，但速度是否达到了硬件应有的水平？NVIDIA推出的AIPerf正是为回答这个问题而生的基准测试工具。

为什么单发请求测不出真实性能

很多人的第一反应是：随便发一条请求，掐表看看响应时间。这种直觉性的做法恰恰是评估LLM推理性能最大的误区。

单条请求的延迟只能反映系统在空载状态下的表现，而真实的生产环境往往面对成百上千的并发请求。推理服务的性能特征在负载压力下会发生显著变化——吞吐量、首token延迟（TTFT）、token间延迟（ITL）等指标之间存在复杂的权衡关系。当并发量上升时，单个请求可能变慢，但整体系统吞吐反而更高，这种规模效应是单发测试永远无法捕捉的。

换句话说，评估推理性能的核心不是"一条请求有多快"，而是"在特定服务水平目标（SLO）下，系统能承载多大的规模"。这正是AIPerf这类专业基准测试工具存在的意义。

服务水平目标（SLO，Service Level Objective）是理解推理性能评估框架的关键概念。SLO是对服务质量的量化承诺，例如"99%的请求TTFT需低于500毫秒"或"ITL不超过50毫秒/token"。在LLM推理场景中，SLO通常同时包含延迟和可用性两个维度。基准测试的核心任务不是找出系统的绝对峰值吞吐，而是找到在满足SLO约束条件下的最大可持续吞吐——这个数字才是容量规划和成本核算的真实依据。当系统超过这个临界点继续加压时，延迟会急剧恶化，SLO违约率骤升，系统进入不稳定状态。因此，规模化测试的本质是绘制"负载-延迟"曲线，找到SLO约束下的有效工作区间。

AIPerf解决的核心问题

AIPerf是一款面向大规模LLM推理场景的基准测试工具，其设计目标是模拟真实生产负载，帮助工程团队量化推理服务在压力下的表现。

与简单的压测脚本不同，专业的推理基准测试需要精确控制请求的到达模式、并发级别、输入输出长度分布等变量。这些参数直接决定了测试结果能否真实反映线上场景。例如，聊天类应用与代码补全类应用的输入输出长度分布截然不同，用错误的负载模式测试会得出误导性的结论。

关键性能指标

在大规模推理评估中，几个指标构成了性能画像的核心：

• 吞吐量（Throughput）：单位时间内系统能处理的token数量或请求数量，是衡量系统承载能力的关键。
• 首token延迟（TTFT）：从发出请求到收到第一个token的时间，直接影响用户的感知响应速度。
• token间延迟（ITL）：生成过程中相邻token之间的时间间隔，决定了文本"流式输出"的流畅度。
• 端到端延迟：完整请求的总耗时，是SLO约束的常见对象。

这些指标之间并非独立，而是相互制约。追求极致吞吐往往以牺牲单请求延迟为代价，反之亦然。基准测试的价值就在于帮助团队在这条权衡曲线上找到最适合自身业务的工作点。

理解这些指标需要结合LLM推理的两阶段架构。推理过程分为**预填充（Prefill）和解码（Decode）**两个阶段：预填充阶段并行处理输入的所有token，计算密集、耗时相对固定，直接决定TTFT；解码阶段则逐token自回归生成输出，每一步都依赖前一步的结果，受内存带宽瓶颈影响更大，决定了ITL。这两个阶段对硬件资源的消耗模式截然不同，因此在多请求并发时，预填充任务和解码任务会相互争抢GPU资源，形成所谓的"预填充-解码干扰"问题。部分先进推理框架（如vLLM、TensorRT-LLM）引入了连续批处理（Continuous Batching）和分离式预填充（Disaggregated Prefill）等技术来缓解这一矛盾。了解这一底层机制，有助于理解为何单发测试无法暴露并发场景下的真实瓶颈。

大规模测试的工程意义

对于部署LLM服务的企业而言，性能基准测试直接关系到成本效率和用户体验两大命题。

从成本角度看，GPU资源昂贵，若不能通过测试找到系统的最优并发配置，就可能出现算力浪费或过度采购。通过AIPerf这类工具进行规模化测试，团队可以精确判断在满足延迟约束的前提下，一套硬件究竟能服务多少并发用户，从而做出更合理的容量规划和采购决策。

从用户体验角度看，TTFT和ITL直接决定了终端用户对产品"快不快"的主观感受。一个吞吐量很高但首token延迟过长的系统，用户体验依然糟糕。基准测试让这些抽象的体验指标变得可量化、可优化。

写在最后

AIPerf代表了LLM工程化落地过程中一个日益重要的环节——从"能跑"到"跑得好"的跨越。随着大模型服务规模的持续扩大，凭直觉判断性能的时代已经过去，取而代之的是基于严谨基准测试的数据驱动决策。对于任何认真对待推理服务质量的团队来说，掌握规模化性能评估的方法论，已经成为一项不可或缺的基础能力。

（注：本文基于NVIDIA开发者博客的原始素材整理，因原文内容有限，部分技术细节为基于行业通识的补充分析。）