AI大模型测试三阶段：从断言到评估的测试变革

AI正在重塑软件测试的边界。过去半年，行业对"AI+测试"的认知从模糊走向清晰：用AI辅助测试已成过去式，AI主导测试正在成为主流，而对AI应用本身进行测试（评估）则是必须补上的第三块拼图。本文基于B站技术分享，梳理AI大模型测试的三阶段演进路径，并深入解析为何传统断言式测试在AI时代失效，以及评估体系如何落地。

一、AI测试的三阶段演进：从辅助到主导再到评估

据B站UP主的行业观察，AI测试体系可划分为三个递进阶段：用AI测试、和AI测试、对AI测试。

用AI测试指借助AI工具辅助人工完成测试任务，提升效率。这一阶段在半年多前还是热门话题，但如今已被国内头部大厂翻篇。腾讯、阿里、字节以及DeepSeek^广告等公司在AI测试领域的实践表明，单纯"AI辅助"已不足以应对当前需求。

和AI测试则进入人机分工阶段。测试工作中的需求分析、用例设计、系统探索、代码编写、自动化回归等大部分工作可交由AI完成，人退居协作者角色。UP主指出，这一模式正在被领先公司推动为新的标准实践。

对AI测试是最新且最复杂的阶段。随着AI客服、AI视频生成、AI占卜等应用大量涌现，这些系统内部集成了AI能力，其测试思路、流程与传统软件截然不同。UP主将其称为"AI应用测试"，并预测这类需求将随AI软件普及而持续增长。

二、为什么必须从"断言"转向"评估"？

传统软件测试依赖断言：状态码是否等于200、字段内容是否匹配、返回值是否存在。断言给出的是二元结果——通过或失败，确定且稳定。但AI大模型的输出具有天然概率性。

从原理层面看，当前主流大模型多基于Transformer架构，其输出本质上是概率选择，同一个问题可能得到不同回答。从结果层面看，即便输出确定（比如数字2），其表现形式也多种多样——中文大写、阿拉伯数字、英文单词、二进制、十六进制等，风格差异巨大。模型参数或提示词的微小改动即可导致结果显著变化。

因此，UP主强调：对AI的测试不能再用简单粗暴的断言，而应采用评分制评估。这一做法并非新创，而是国际惯例——如同高考用分数选拔、医学用评分量表评估抑郁或肿瘤，复杂系统天然适合用连续分数表达"有多好"或"有多差"。

说个细节，评估并不完全取代测试。评估给出分数，测试则划定及格线。UP主解释：分数是连续值（0到1），但也可以离散化为0和1来表示通过与否。AI产品能否上线发布，仍需基于评估分数的阈值做出明确判定。

Transformer架构是当前主流大语言模型（如GPT、DeepSeek等）的基础神经网络结构，由Vaswani等人于2017年在论文《Attention Is All You Need》中提出。其核心是自注意力机制（Self-Attention），允许模型在处理每个词时动态关注输入序列中的所有位置，从而捕捉长距离依赖关系。与循环神经网络（RNN）不同，Transformer可以并行处理整个序列，大幅提升训练效率。模型通过海量文本预训练，学习到的是词语间的概率分布关系，因此生成答案时并非检索固定结果，而是根据上下文逐词采样，这使得同一输入可能产生不同输出——这正是AI输出具有概率性、传统断言式测试失效的根本原因。

三、版本固定：AI评估的双重约束

AI评估的波动性对版本管理提出更高要求。UP主提出必须固定两个版本：

被测系统版本：包括使用的模型、传入参数、提示词、上下文等。任何一项变化都意味着被测版本改变。例如测试时用DeepSeek，后来换成GPT，结果需重新评估解读。

评估版本：包括数据集、断言、提示词模板、评分门槛等测试手段。数据集或门槛变化，结果同样不可比。

两个版本同时固定，才能保证结果可比性。若只替换其中一个版本，可做横向对比（如相同评估手段下对比不同模型质量）；若两者同时变化，则结果完全独立，需重新解读。

四、评估什么？三层对象与递进路线

UP主将评估对象分为三层，复杂度递增：

大语言模型（LLM）：评估生成内容的正确性、完整性、安全性和稳定性。普通公司虽不训练模型，但可通过评估进行模型选型、提示词优化，甚至微调小模型后的效果验证。

知识库（RAG）：原理是检索相关资料后结合资料回答。评估重点在检索准确性和生成忠实度——生成结果是否基于指定参考资料，即"忠实度"指标。

智能体（Agent）：涉及任务规划、工具使用、任务推进。评估需覆盖工具选择、任务编排、知识库使用等环节。UP主指出三层是递进关系而非三选一：智能体往往包含知识库和大模型，复杂度最高。

学习路线因此清晰：先测大模型，再测知识库，最后测智能体。

RAG（Retrieval-Augmented Generation，检索增强生成） 是一种将外部知识库与生成模型结合的技术架构。其工作流程通常分为两步：首先根据用户问题从知识库中检索相关文档片段（检索阶段），然后将这些片段作为上下文与原始问题一起输入大语言模型，让模型基于给定资料生成回答（生成阶段）。RAG能有效缓解大模型幻觉（编造事实）和知识过时问题，广泛应用于企业知识问答、客服等场景。评估RAG系统时，需分别考察检索质量（如召回率、准确率，即是否找到了正确资料）和生成忠实度（即生成内容是否严格基于检索到的资料，而非模型自行发挥），这两类指标共同决定RAG系统的可靠性。

五、工具选型：Promptfoo为何被推荐

UP主对比了多款AI评估工具，重点推荐Promptfoo。理由包括：支持CLI命令行驱动，意味着可被AI自身调用，实现"AI评估AI"的潜力；支持YAML方式编写用例，对零代码背景友好；支持批量调用和Python自定义扩展；已被OpenAI收购，生态前景明确。

对于需要做指标研究的场景，可选用其他学术型工具；对于线上智能体的生产监控，则有相应监控类工具。但多数测试同学的目标是验收判定——评估软件能否上线，Promptfoo在此场景下覆盖大模型、知识库、智能体三层评估，是较为均衡的选择。

Promptfoo 是一款开源的AI评估与红队测试工具，最初专注于提示词（Prompt）的对比与优化，后扩展为覆盖大模型、RAG和智能体的评估平台。其核心设计理念是配置即代码：用户通过YAML文件定义测试用例、评估指标和模型配置，然后通过命令行（CLI）批量执行评估并生成可视化报告。CLI驱动意味着它可以被脚本或AI代理自动调用，实现持续集成中的自动化评估。Promptfoo内置了多种断言类型（如包含、相似度、LLM评分等），并支持Python自定义评分函数，方便团队根据业务需求扩展指标。2024年，Promptfoo被OpenAI收购，表明其技术路线获得主流认可，生态整合前景明确。

六、性能测试经验为何成为优势

UP主用一个类比帮助理解AI评估：性能测试同样不关心单次对错，而是在特定条件下通过一组数据发现问题，且需两轮对比才能提交问题。这与AI评估的逻辑高度相似——两者都依赖对比和评分，而非二元断言。

有性能测试经验的同学，可将并发率、RPS等指标思维迁移到AI评估的忠实度、召回率等指标上，理解门槛会显著降低。UP主坦言，大部分测试同学未系统学过性能测试，因此建议补充这部分知识，作为理解AI评估的桥梁。

性能测试中的关键指标如并发率（单位时间内同时处理的请求数）、RPS（Requests Per Second，每秒请求数）、响应时间和错误率，反映的是系统在特定负载下的整体表现，而非单次请求的对错。性能测试通常需要多轮对比（如优化前后、不同配置下）才能定位瓶颈，这与AI评估中通过多组数据对比评分来发现问题的逻辑一致。将性能测试的指标思维迁移到AI评估，例如把RPS的“吞吐量”类比为评估的“样本覆盖率”，把响应时间的“分布”类比为评分的“分布”，能帮助测试人员更快理解连续评分、统计对比和阈值判定的方法论，降低从传统测试转向AI评估的认知门槛。

结语

AI测试的变革不是工具层面的小修小补，而是方法论层面的范式转移：从断言到评估、从单版本到双版本固定、从单一对象到三层递进。UP主用30分钟理论铺垫强调，方向性认知比工具操作更重要——面试中能聊清这些概念，工作中能把握大致方向，远比照猫画虎跑通一个demo有价值。对于测试从业者，补上"对AI测试"这一课，已不是选择题。