AI大模型测试三阶段：从大模型到智能体评估入门

AI软件已经渗透到我们日常使用的App中，从国企的智能客服到各类AI原生应用，测试人员面临一个现实问题：当软件里嵌入了AI能力，传统的功能测试还能覆盖吗？B站上有一场关于AI大模型测试的分享，提出了一个清晰的框架——用"评估"替代"断言"，并把AI测试对象拆成三个递进阶段。

为什么AI测试要改叫"评估"

传统软件测试的核心手段是断言：给定输入，预期输出是确定的，对就是对，错就是错。但AI系统的输出往往落在对与错之间的灰色地带。分享者指出，这时候需要用分数来表达结果，而不是简单的通过/失败判定，所以更准确的叫法是"AI评估"。

这个术语变化背后是测试思维的转变。传统功能测试关注"功能是否OK"，而AI软件还需要考察它的"智力方面、能力方面、行为约束方面"，这些维度很难用布尔值断言。分享者强调，这不是文字游戏，而是因为AI系统的输出具有概率性和开放性，必须引入评分机制。

AI与测试结合的三种关系

分享者回顾了此前讨论过的三种结合方式，这个分类框架有助于理解当前所处的阶段：

• 用AI测试：AI是助手，人主导测试过程，用AI工具辅助测传统软件。
• 让AI测试：AI变成主角，绝大部分测试工作由AI展开，人做其他工作。
• 对AI测试：人和AI不再协作，而是站在对手位置——测试对象就是AI本身。

前两种本质上是"用AI这种技术测传统软件"，主角配角不同而已。第三种才是当前的新课题：AI从工具变成了被测对象。分享者提到，这正是此前预测中必然会走到的一步。

现实驱动：AI已经无处不在

为什么现在必须学AI评估？分享者给出两个理由。

一是AI原生软件增多。Claude Code、CodeX以及国内多家厂商的产品，都是为AI能力直接打造的软件，而非在传统软件里塞入AI功能。

二是传统软件也在集成AI。中国移动、中国电信这类超级国企的App已经用上了AI功能，2B软件背后基本都有智能体或智能客服。分享者直言，就算测试人员只想做纯手工测试、不写代码，也无法与AI隔离——因为被测软件本身就包含AI能力，必须掌握如何测试这类软件。

三阶段评估框架：LM、RAG、Agent

分享者把AI评估对象归纳为三个递进层次，对应三种主流AI能力：

第一阶段：大语言模型（LM）

接入大模型就能获得基础的AI能力，典型场景是聊天。拼多多曾上线过一个聊天功能，用户可以和大量不同角色的"人"聊天，沉浸感很强，但门槛较低——接入大模型即可。不过这类应用仅限于聊天，无法处理具体业务，因为业务需要大量规则和经验，光靠大模型不够。

大语言模型（Large Language Model，LLM）是基于海量文本数据训练、通过预测下一个词元（token）来生成文本的深度学习模型。其核心架构是Transformer，参数规模通常从数十亿到数千亿不等。Llama、Qwen、DeepSeek^广告等开源模型以及GPT、Claude等闭源模型均属此类。

从测试视角看，LLM具有几个关键特性：输出具有概率性（同一输入可能产生不同输出）、对提示词敏感、存在幻觉（生成看似合理但事实错误的内容）、上下文长度有限。这些特性正是传统断言式测试失效的根源，也是评估必须引入评分机制的原因。评估LLM时通常关注准确性、相关性、流畅性、安全性等维度，并借助人工评分或LLM-as-a-Judge等自动化方法完成。

第二阶段：知识库（RAG）

RAG即检索增强生成，为AI提供确切的规则依据。分享者举了一个生鲜退款的例子：网上买的鱼到货后有一条化了，该不该退款、退多少，取决于知识库里的规则——生鲜签收后多长时间内检查、变质占比多少、按什么比例退款。有了知识库，AI才能处理复杂售后，而非只是安慰用户却不解决问题。

RAG的评估要覆盖三个部分：检索质量、增强生成质量、结论是否有确切依据。分享者特意指出一个值得玩味的场景：买了三条鱼坏了一条，AI全退合理吗？退三分之一也合理吗？关键在于它读取了什么知识——这正是需要评估的地方。

检索增强生成（Retrieval-Augmented Generation，RAG）是一种将外部知识库与大语言模型结合的技术架构。其流程通常为：用户提问后，系统先将问题向量化，在向量数据库中检索最相关的文档片段，再将这些片段作为上下文拼入提示词，交由大模型生成最终回答。

RAG解决了大模型知识陈旧、无法访问私有数据、容易幻觉等问题，使AI能够基于企业规则和实时文档作答。评估RAG时需分别考察检索环节（召回率、准确率、排序质量）和生成环节（忠实度、答案相关性、是否忠于检索到的证据）。常用的自动化评估框架包括RAGAS、TruLens等，它们通过分解问题、比对证据的方式给出量化分数，而非简单判定对错。

第三阶段：智能体（Agent）

有了知识依据还不够，退款这个动作得有人执行。智能体负责做实事：发起退款、把钱转回用户账户。这里的问题变成：它有没有做、做得对不对、有没有做完、过程中有没有额外披露。分享者强调，即便前面知识依据没问题，执行环节的对错同样需要评估。

智能体（Agent）是指以大语言模型为决策核心，能够自主规划、调用工具、执行多步动作以完成目标的系统。与单轮问答不同，Agent具备记忆、工具调用（如API、数据库、支付接口）和任务分解能力，常见实现模式包括ReAct（推理与行动交替）、Plan-and-Execute等。

在退款场景中，Agent需要理解用户诉求、查询订单、依据知识库判断退款比例、调用支付接口执行退款，并最终向用户反馈。评估Agent的难点在于其行为是序列化的、路径不唯一，因此需要从任务完成率、动作正确性、步骤效率、安全性（是否越权或泄露信息）等维度进行综合评分，常借助轨迹评估（trajectory evaluation）和端到端任务成功率来衡量。

入门需要准备什么

分享给出了实操层面的最低配置：Python、Node，以及一个大模型接口。安装包都是双击运行即可。大模型接口目前基本没有免费的，工作中通常由公司提供；自己玩的话DeepSeek一元起充。接口要求是OpenAI兼容，国内主流厂商如阿里、MiniMax、智谱、DeepSeek都满足这一条件，可以认为条件自动满足。

OpenAI兼容接口是指遵循OpenAI API规范的HTTP接口，包括相同的端点路径（如/v1/chat/completions）、请求与响应JSON结构以及鉴权方式（Bearer Token）。这一规范已成为事实标准，国内阿里云^广告百炼、智谱GLM、MiniMax、DeepSeek等平台均提供兼容端点。

对测试人员而言，这意味着只需掌握一套SDK（如官方openai Python包）即可切换不同厂商的模型，无需为每家单独适配。入门时可将API Key配置为环境变量，使用少量费用即可完成调用实验；在企业环境中，通常由平台团队统一提供网关和配额，测试人员只需申请接口地址与密钥即可开始构建评估脚本。

关键结论

这场分享的核心贡献是把看似庞大的AI评估拆成了可操作的三个层次：先理解大模型，再进阶到知识库，最后到智能体。评估的目标对象就是这三者，对应英文缩写LM、RAG、Agent。具体怎么测涉及工具方法和场景案例，分享者表示会在后续内容展开。

对测试从业者而言，最值得记住的一点是：AI软件不再只是"功能上OK就行"，它还需要在智力、能力和行为约束方面接受评估，而这些要求往往无法简单断言对错，必须用评分的方式来做判断。