AI Agent 性能评估：两条路线与测试实践

传统软件测试那套「固定输入、固定输出」的方法，放到大模型驱动的 AI Agent 上经常失灵：回答每次可能不同，上下文会改变结果，性能指标也不只看响应时间。B站一节公开课从测试工程师视角，把「AI 测试」拆成了两条路线，并解释了为什么 AI 产品的质量保障是另一套思路。

先分清两条路线：AI 赋能测试与测试 AI 产品

讲师 Tracy 把软件测试领域的 AI 应用分成两个方向。

第一条是 AI 赋能测试：用 AI 工具、智能体、skills 去生成测试用例、编写自动化脚本、辅助性能测试，本质是提效。这是目前大多数测试同学已经在接触的部分，比如用 AI 编程工具做自动化测试开发。

第二条是 测试 AI 产品本身：公司已经有一个 AI 智能体、AI 应用要上线，测试人员需要保证它的质量。这条路线关注的不是「用 AI 帮测试」，而是「怎么测 AI」。

两条路线并不是互斥的，也没有严格的先后顺序。讲师建议两者都学：传统软件岗位可以用 AI 工具提效，而 AI 产品测试是随智能体普及而增长的岗位方向。

为什么传统测试方法在 AI Agent 上失灵

智能客服是个典型例子。过去的客服机器人被用户调侃为「人工智障」，交互逻辑非常固定；现在大量客服应用底层接入生成式大模型，回答更精准，但输出不再可枚举。

这带来三个直接变化：同一问题多次提问，答案可能不一样；对话上下文会影响后续结果；性能评估不能只盯着平均响应时间，还要考虑生成质量与稳定性。传统的等价类、边界值、固定预期结果那套断言方式，很难直接套用。

因此，AI 产品上线前的测试，功能测试与非功能测试（性能就是其中一类）都需要重新设计测试对象和质量风险模型。

传统功能测试依赖「oracle 问题」——即存在一个确定性的预期结果作为判定依据。等价类划分、边界值分析等方法的前提是输入与输出之间存在稳定的映射关系，测试用例通过断言实际输出是否等于预期输出来判定通过与否。生成式大模型的输出本质上是概率采样结果，同一输入在不同采样参数（如 temperature、top-p）下会产生不同文本，因此不存在唯一正确答案。业界常用的替代思路包括：基于 rubric 或评分标准的评估、用 LLM 作为评判者（LLM-as-a-Judge）对输出打分、以及基于语义相似度或关键信息覆盖率的软断言。这些方法把「对不对」转化为「够不够好」，与传统断言在判定逻辑上有本质区别。

智能体已经嵌入哪些真实产品场景

课程列举的场景很接地气：视频软件里自动生成字幕和视频介绍、招聘平台上的简历优化助手、教学平台的作业批改智能体，以及淘宝、银行类应用的智能客服。这些功能以前靠人工完成，现在由内嵌的 AI 模块承担。

产品形态在变，测试对象也随之变化：不只是页面和接口，还包括模型输出的合理性、上下文处理能力，以及在高并发调用下的表现。性能测试的价值在这里体现——AI 服务往往调用成本高、响应链路长，压测能提前暴露瓶颈。

性能测试在 Agent 评估中的位置

原始标题提到了 Python+Locust 自动化与 AIES 测评平台，课程也把性能测试定位为非功能测试的一类场景。Locust 这类基于 Python 的压测工具适合模拟并发用户对智能体接口发起请求，而 AIES 这类测评平台则偏向对模型或智能体输出质量做评估。

两者的组合思路是：用压测工具回答「系统扛不扛得住」，用测评平台回答「回答得好不好」。对 AI Agent 而言，这两个问题缺一不可——只测吞吐会漏掉质量退化，只测质量又无法保证上线后的稳定性。

Locust 是一个基于 Python 的开源负载测试工具，测试人员用普通 Python 代码定义用户行为，通过协程并发模拟大量虚拟用户，无需单独编写复杂的压测脚本语言。它支持分布式部署以产生更高并发，并提供 Web UI 实时查看请求速率、响应时间分布和失败率。相比 JMeter 等工具，Locust 的优势在于脚本即代码，便于与 CI/CD 流水线集成和复用现有 Python 生态。压测大模型接口时需特别注意：token 级流式响应使响应时间指标含义变化，首 token 延迟（TTFT）与整体生成时长需分开统计，同时并发升高后服务端可能触发限流或降级，这些都需要在脚本中设计相应的观测点。

AIES 这类测评平台面向的是模型或智能体输出质量的量化评估，与压测工具关注的维度不同。它通常围绕准确性、相关性、安全性、指令遵循等维度设计评测集，通过自动评分或人工标注给出可比较的分数。在智能体场景下，评估还需考虑多轮对话的上下文一致性、工具调用的正确率以及任务完成率等指标。把测评平台纳入上线流程的价值在于建立质量基线：每次模型版本迭代或提示词调整后重新跑评测集，用分数变化判断是否发生质量退化。这与压测回答的「系统扛不扛得住」形成互补，共同构成 AI 产品上线前的质量门禁。

对测试从业者的现实建议

讲师在课堂上直接问学员：测一个 AI 智能助手，方法和传统软件一样吗？这个互动本身就说明，多数人的直觉是「不一样」，但具体哪里不一样、该怎么测，还需要系统学习。

从职业角度看，两条路线都学是性价比更高的选择。AI 赋能测试能立刻用在现有工作中，测试 AI 产品则对应一个正在扩张的岗位需求——每家公司都在把 AI 模块嵌入自己的产品，上线前的质量把关绕不开。

课程本身偏导入性质，具体到 Locust 脚本怎么写、AIES 平台怎么用，还需要结合实操资料练习。对想入门的测试同学来说，先建立「两条路线」的认知框架，再挑一条深入，是比较务实的路径。