AI大模型评测实战指南：从断言到评估的测试体系转型

AI正在同时改变开发与测试。开发者要学会测试，测试工程师则要学会写代码——这位从测开转型、如今用JS写项目的B站UP主坦言："行业在变化，学习不能停下来。"本文基于其分享的AI评测实战课程，系统梳理AI时代测试体系的演进逻辑、核心概念转变，以及LLM/RAG/Agent的评测路径。

AI测试的三层体系：从辅助到主导

半年前还只是"懵懂的意识"，如今行业格局越来越明朗。作者早在公开课中就提出了AI时代测试的三种体系，而这三种体系正在逐一落地。

第一种是用AI测试，即借助AI进行辅助测试、提高效率。这在半年前还是测试领域最热门的话题，但如今已逐渐成为"基本功"。

第二种是和AI测试，也就是AI主导测试。腾讯、阿里、字节等国内AI发力最猛的公司，以及开始做工程化研究的DeepSeek，都在推动这一模式。在这种模式下，人不再处于完全主导地位，需求分析、用例设计、系统探索、代码编写、自动化回归等大部分工作都可以交给AI，人与AI各司其职。

第三种是对AI测试，也就是AI应用测试。随着AI客服、AI占卜、AI视频生成等越来越多的软件在内部集成AI功能，如何测试这些AI应用成为全新命题。这类测试的思路、流程与传统软件测试截然不同，也是本文的核心。

为什么是评估而非测试：确定性与概率性的鸿沟

传统软件测试的核心是断言——对或错、通过或失败，没有第三种结果。你可以断言状态码、断言返回字段、断言某个值相等或不相等，输出基本一致、断言稳定可靠。

但AI大模型打破了这种确定性。概率性的来源可以从两个角度理解：

原理层面的天然概率

当下主流的生成式大模型大多基于Transformer架构，而Transformer在输出时天生带有概率选择机制。你问AI同一个问题，它可能给出不同回答——这种概率性是刻在底层架构里的。

Transformer架构的概率性输出源于其「自回归生成」机制：模型每次只预测下一个token（词或字），预测结果是词表上所有词的概率分布，再通过采样策略（如Top-K、Top-P）从中随机抽取，而非总是选概率最高的那个。温度参数（temperature）直接控制这个分布的「平坦程度」：温度越高，低概率词被选中的机会越大，输出越随机多样；温度趋近于0时，模型几乎每次都选概率最高的词，输出趋于稳定但也容易单调。这就是为什么同一个问题、不同时刻问出来可以得到截然不同的答案——从架构设计上，它本来就不是一个确定性函数。

结果层面的多样性

即便结果在语义上是确定的，表现形式也千变万化。比如一个确定的数字"2"，可以用中文大写、小写，可以用阿拉伯数字，可以用二进制、十六进制，可以用ASCII，风格也可能截然不同。更不用说模型参数、温度（temperature）等任何微小改变都会导致结果的显著差异。

正因如此，简单粗暴的相等断言不再适用。作者用了一个直观的类比：判断一个人不能只说"好人"或"坏人"，这种二元判断有巨大局限性；正如高考通过分数而非"能上/不能上"来体现差距，医学上对智商、癌症分期、抑郁症程度等复杂场景也都采用评分方式。对模仿人的AI，同样应该用打分、用评估的方式来衡量。

评估不等于抛弃测试：打分之后仍需及格线

需要澄清一个常见误区：评估并不完全取代测试。作者强调，评估指的是"打分"这个概念，但打完分之后仍需要一个测试环节——为分数划定及格线。

就像高考有录取分数线、肿瘤诊断有分数阈值一样，AI产品能否上线、能否发布，最终还是要给出明确结论。这个结论依据的正是评估分数与及格线的对比。

在具体打分方式上，AI领域一般使用0到1的连续值（如0.1、0.3、0.999）。但也可以离散化：用0表示不通过，用1表示满分，这样就退化为传统的断言式测试。因此评估既可以是连续的，也可以做传统断言式判定，二者并非对立关系。

版本固定：AI评估的双版本原则

由于AI评估既复杂又模糊、还可能存在波动，作者特别强调版本固定的重要性，且必须同时固定两个版本：

被测版本——即被测系统的版本，包括使用了什么模型、传了什么参数、用了什么提示词（Prompt）、添加了什么上下文。任何一项变化都意味着被测版本发生变化。比如你原本测DeepSeek，回头换成GPT，版本就不对了，结果需要重新评估解读。

评估版本——即用什么手段来测试，包括数据集、断言规则、评估提示词、门槛阈值等。数据集或门槛一变，结果也会不同。

关键原则在于：只替换一个版本时才可以做横向对比。相同评估手段换不同模型，可对比模型质量；相同被测系统换不同门槛，可对比门槛效果。但如果两个版本同时变化，就失去了对比价值，只能作为独立的全新结果重新解读。

作者还给出一个实用类比——AI评估与性能测试高度相似：都不特别关心单次对错，都在特定条件下通过一组数据发现问题，且都需要通过对比（至少两轮）才能提交有意义的结论。有性能测试经验的同学理解起来会更有优势。

评估什么：LLM、RAG、Agent三层递进

很多人一上来就纠结"忠实度""召回率"等指标，但作者指出这个思路不对——必须先确定评估对象，因为不同对象的目的与指标完全不同。评估对象分为三层，且呈递进关系：

第一层：大模型（LLM）评估

主要评估大模型生成内容的正确性、完整性、安全性和稳定性。对DeepSeek这样的模型公司来说是刚需；对普通公司而言，则可用于模型选型（哪个模型更好、更快、更聪明）、提示词优化（用数据对比而非拍脑门决定哪个Prompt更好），以及模型微调后的效果验证。如今千问等已发布大量可在个人电脑上微调的小模型，微调后同样需要评估来量化效果。

第二层：知识库（RAG）评估

RAG（检索增强生成）先检索资料，再结合资料回答问题。因此评估要覆盖各个环节：检索是否准确、召回是否完整、生成结果是否正确。召回率通常用于知识库场景，衡量相关文档是否被完整检索到；忠实度则衡量生成结果是否有对应参考资料、是否根据指定资料生成答案而非"自由发挥"。

RAG（Retrieval-Augmented Generation，检索增强生成）的核心思路是将外部知识库与语言模型结合：先用向量检索或关键词匹配从文档库中召回相关片段，再将这些片段作为上下文拼入提示词，让模型「有据可查」地生成回答，从而减少幻觉、提升时效性。评估RAG系统时，召回率（Recall）衡量「该找到的文档有没有找全」，精确率（Precision）衡量「找回来的文档是否真的相关」，而忠实度（Faithfulness）则专门检验模型的回答有多少内容能在检索到的文档中找到依据——三个维度各自对应检索和生成的不同故障模式，缺一不可。

第三层：智能体（Agent）评估

客服Agent、数据Agent，乃至旅游、法律、医疗领域的Agent会越来越多。智能体涉及任务规划、工具调用、任务推进等多个环节，因此评估指标又有所不同。它是复杂度最高的一层，因为内部通常包含知识库，又要调用大模型，是前两层能力的综合。

这三层并非"三选一"，而是递进关系：先掌握LLM评估，再到RAG，最后到最复杂的Agent。

Agent（智能体）是在大模型之上引入「感知—规划—行动」循环的系统：模型不仅生成文本，还能调用外部工具（搜索、数据库查询、代码执行、API调用等），并根据工具返回结果继续推理、多轮迭代直到完成目标。这使得评估远比单次问答复杂——除了最终答案的质量，还需要评估任务分解是否合理、工具调用序列是否正确、中间步骤是否存在冗余或错误路径，以及在长链路中错误的「传播放大」效应。目前Agent评估尚无成熟标准，轨迹评估（Trajectory Evaluation）是主流研究方向之一，即对完整的工具调用路径打分，而非只看最终输出。

评测工具选型：为什么推荐Promptfoo

确定了评估体系和对象之后，最后一步是选择合适的评测工具。作者列举了多款工具，重点推荐了Promptfoo，理由有以下几点：

首先，它是命令行（CLI）+ YAML驱动的工具。CLI意味着它可以被AI自身调用——这个用来评估AI的工具，本身又能被AI使用，因此"AI评估AI"的闭环极具潜力。

其次，它同时支持人工评估（写YAML用例断言，人工评估在AI评测中仍是金标准）、批量调用，以及用Python做自定义扩展，扩展性极强。

更重要的是，Promptfoo已被OpenAI收购，其优秀性得到了顶级AI公司的认可。而且它能覆盖LLM、RAG、Agent三类评测对象，一个工具解决全链路评估需求。

作者也给出了灵活的选型建议：做学术性指标研究可选专门的指标工具（如RAGAS）；做线上智能体、依赖生产环境监控评估实际效果可选相应的观测工具；而对于大部分测试工程师而言，评估是为了判定产品能否上线、带有"验收"属性，Promptfoo会更加合适。

方向比工具更重要：AI测试转型的核心竞争力

作者反复强调，整节课最枯燥但最有价值的内容恰恰是这些理论与方向——从断言到评估的观念转变、双版本固定原则、三层评估对象的递进关系、工具选型逻辑。至于后面的具体工具操作，"看一眼就行"。

因为当你真正动手时，遇到的往往不是执行层的问题，而是方向层的困惑。理解了从测试到评估的底层逻辑，即便没有实操经验，也能在面试或工作中准确把握大方向。这正是AI时代测试工程师转型的核心竞争力所在。