AI测试转型指南：从测AI到用AI测的评估实战

AI测试正在经历一场静默的范式转移。过去我们习惯用断言判断对错，如今面对大模型、知识库和智能体，传统的"通过/失败"二值逻辑开始失效——分数、阈值和人工研判成为新的度量语言。B站一场关于大模型评测的实战分享，恰好把这个转变讲透了。

为什么AI测试要改叫"评估"

传统功能测试的核心是断言：输入确定，输出可预期，对错分明。但AI系统的输出天然带有概率性和模糊性，同一个问题两次回答可能不同，一个回答"部分正确"的情况远比"完全错误"常见。

演讲者用"对与错之间的过渡角色"来描述这种状态，并指出这正是"评估"一词的来源——用分数表达程度，而非用布尔值表达结论。这个术语区分不是文字游戏，它决定了后续工具链的选择：你需要的是评分器、评测集和统计分析，而不是简单的断言库。

从工程视角看，这个转变意味着测试工程师需要补充概率思维和数据集设计能力。断言思维关注"这个用例过不过"，评估思维关注"这批样本的整体表现如何、置信区间在哪"。两者的工作方法截然不同。

AI评估的三层对象：大模型、知识库、智能体

演讲者把评估对象归纳为递进的三层，这个划分方式值得借鉴，因为它对应着AI应用复杂度的真实增长路径。

第一层：大语言模型

最基础的形态是接入大模型提供聊天能力。演讲者以某电商平台的AI聊天功能为例，指出这类应用门槛低，但能力也仅限于"陪聊"——能理解情绪、能给出安慰，却无法执行退款、售后等具体业务动作。

评估这一层，关注点在于基础的语言理解与生成质量：回答是否相关、是否准确、是否存在幻觉。这是最容易被量化的一层，也是大多数评测工具最先覆盖的场景。

幻觉（Hallucination） 指大模型生成看似合理但与事实或输入不符的内容，是评估语言模型时最常被提及的缺陷类型。其成因在于模型以概率方式生成 token，优先保证语言流畅而非事实正确，因此在缺乏外部依据时容易“编造”细节。评估幻觉通常需要构建带有标准答案的评测集，或借助检索增强、引用校验等手段交叉验证。对测试人员而言，识别幻觉不能只看单次输出，而要设计多轮、多角度的探测用例，并区分“事实性幻觉”与“忠实性幻觉”——前者违背世界知识，后者偏离给定上下文。

第二层：RAG知识库

当业务需要具体规则时，单纯的大模型不够用了。演讲者举了一个生动的例子：网购冰鲜鱼到货后发现其中一条化冻，该不该退款、退多少，取决于生鲜品类是否有明确的售后规则——比如"化冻比例对应退款比例"。这类规则必须放进知识库，AI才能给出有依据的答复。

RAG的评估因此拆成三块：检索质量（能否找到正确规则）、生成质量（能否正确表达规则）、依据一致性（结论是否有确切出处）。演讲者特别提到"三条鱼坏一条却全退"这类案例——全退和退三分之一在直觉上都说得通，区别只在于AI读取了哪条知识。这正是评估知识库价值的核心场景：判断输出的合理性必须回溯到检索环节。

RAG（Retrieval-Augmented Generation，检索增强生成） 是一种将外部知识检索与大模型生成结合的技术架构：系统先从知识库中检索与问题相关的片段，再把片段作为上下文交给模型生成答案。它解决了大模型知识陈旧、无法访问私有数据的问题，但也引入了新的失败模式——检索不到、检索错误、生成时忽略检索结果。因此 RAG 的评估天然分为检索与生成两个阶段，并需要“依据一致性”指标来确认最终答案确实来自检索片段，而非模型臆造。理解这一管线结构，是设计 RAG 评测用例的前提。

第三层：智能体（Agent）

有了知识依据还不够，退款动作最终要有人执行。智能体承担的就是"做事"的角色。演讲者指出，这一层的评估维度与前两层有本质差异：不仅要看决策对不对，还要看动作有没有执行、执行得对不完整、过程中有没有额外披露。

换句话说，智能体评估是"决策质量+执行质量"的复合评估，难度最高，也最贴近真实业务风险。

三种测试与AI的结合方式

演讲者回顾了此前讨论过的三种结合路径，这个框架有助于理解当前所处的阶段：

• 用AI测试：AI作为辅助工具，帮人测传统软件，人是主角；
• 让AI测试：AI承担主要测试工作，人退居配角；
• 对AI测试：AI成为被测对象，人与AI形成对等的测试关系。

前两种已在实践中大量落地，第三种正是当下的新战场。演讲者的判断是，随着AI能力嵌入各类软件——从运营商APP到代码助手——测试人员即使不主动拥抱AI，也迟早要面对"被测系统里包含AI"的现实。

环境准备与工具门槛

实战部分的要求相当朴素：Python、Node环境，加上一个OpenAI兼容的大模型接口。演讲者提到国内主流厂商（阿里、MiniMax、智谱、DeepSeek^广告等）基本都兼容OpenAI协议，因此接口条件通常自动满足。

有意思的是成本问题——演讲者直言"现在基本没有免费的大模型"，并建议以DeepSeek一元起充作为个人练手的低成本方案，同时指出企业场景中通常由公司提供接口，个人不必过度担心。这个提醒很务实：评测工作往往需要批量调用接口，token消耗不容小觑，提前建立成本意识是必要的。

OpenAI 兼容接口指遵循 OpenAI Chat Completions 等 API 规范的 HTTP 接口，包括请求路径、消息角色结构和返回字段格式。国内厂商普遍提供兼容层，使得同一套客户端代码只需替换 base_url 与 api_key 即可切换模型。这对评测工作意义重大：评测框架通常依赖统一的调用协议批量跑用例，兼容接口让“换模型对比”成为低成本操作。实践中需注意兼容层可能不支持全部参数（如某些函数调用或结构化输出选项），评测前应先用小样本验证接口行为一致性。

写在最后

这场分享的价值不在于教会某个具体工具，而在于厘清了AI评估的认知框架：从断言到评分、从单一模型到模型-知识库-智能体的三层递进、从辅助工具到被测对象的关系转变。对于想切入这个方向的测试从业者，先建立这个坐标系，再选工具深入，比盲目堆砌技术栈更有效率。

演讲者提到的思维导图和大纲资料可在评论区向助教获取，可作为进一步学习的索引。