模型每周更新，如何判断哪款适合你的产品？Notion AI负责人谈自建评估

为什么「自建评估」成了AI产品团队的必修课

新模型、新Agent几乎每周都在发布，速度快到让产品团队应接不暇。GPT、Claude、Gemini轮番迭代，开源模型也层出不穷——但一个尴尬的现实是：榜单上的高分，并不等于它在你的产品场景里真的好用。

Notion的AI负责人 Sarah Sachs 在即将于旧金山举办的 Forge 活动上，提出了一个颇具说服力的观点：与其盲目追逐最新模型，不如为自己的产品构建一套专属的评估体系（evals）。这条看似朴素的建议，正击中了当下大量AI团队的痛点。

公开榜单的局限：高分不等于好用

模型评测榜单（如MMLU、各类Leaderboard）衡量的是通用能力，但产品面对的是具体任务。一个在数学推理上表现优异的模型，未必擅长你的客服对话总结；一个在综合榜单上领先的Agent，放到你的工作流里可能频繁出错。

问题的核心在于：通用基准测试与你的真实业务场景之间存在鸿沟。当每周都有新模型声称「刷新SOTA」时，如果没有一把贴合自身需求的尺子，团队很容易陷入「换了一个又一个模型，却说不清到底好了多少」的困境。

这也是Sachs主张自建评估的根本理由——只有你最懂自己的用户要什么、产品的失败案例长什么样。

MMLU（Massive Multitask Language Understanding）是目前最常被引用的大模型评测基准之一，涵盖数学、历史、法律、医学等57个学科的选择题，用于衡量模型的综合知识水平。Leaderboard泛指各类公开排行榜，如Hugging Face Open LLM Leaderboard、LMSYS Chatbot Arena等。这些基准的共同特点是追求广度与通用性，测试集往往是固定的、公开的，这也意味着模型厂商有动机针对性地优化这些题目，即"刷榜"现象。更根本的问题在于，这些基准无法覆盖垂直场景的细粒度需求：比如法律文书的格式规范、特定行业的术语准确性、或某类用户问法下的语义理解。SOTA（State of the Art）是AI领域常用缩写，指当前在某项基准上达到最优水平的模型，但"刷新SOTA"与"在你的产品里表现更好"之间，往往存在相当大的落差。

自建评估能解决什么问题

一套为产品量身定制的评估体系，至少能带来三方面的确定性：

1. 把模型选型变成数据驱动的决策

当新模型发布时，团队可以直接用自己的评估集跑一遍，用真实的任务表现数据来决定是否切换，而不是依赖社交媒体上的热度或他人的主观体验。这让「要不要升级模型」从拍脑袋变成了可量化的判断。

2. 持续监控线上质量

评估不只是选型时用一次。随着提示词调整、模型版本更新、用户输入分布变化，产品质量会悄然波动。一套持续运行的评估能及时发现回退（regression），避免「改了一个地方，坏了另一个地方」的隐患。

3. 对齐团队对「好」的定义

评估集本质上是把「什么样的输出算合格」显性化、标准化。它让产品、工程、设计团队对质量有了共同语言，减少了无谓的主观争论。

在工程实践中，"评估集"（eval set）通常由三部分构成：输入样本（代表真实用户请求）、期望输出（人工标注或规则定义的参考答案）、以及评判标准（可以是精确匹配、相似度阈值、或由另一个LLM担任"裁判"的LLM-as-judge模式）。其中回退检测（regression testing）是持续评估最核心的价值之一——每当提示词（prompt）、模型版本或系统参数发生变更时，自动跑一遍评估集，可以量化"这次改动让哪些case变好了、哪些变差了"，防止在优化某个维度时无意间破坏其他已经稳定的能力。构建评估体系的早期成本较高，但一旦建立，它就成为团队迭代速度的倍增器，使工程师可以更大胆地实验，同时保留快速回滚的信心。

对AI产品团队的启示

Sachs的分享来自Notion的一线实践——作为一款深度集成AI能力的生产力工具，Notion对模型质量的敏感度极高。她的观点可以提炼为一条清晰的行动路径：

• 先定义你的核心任务，收集真实用户场景下的输入输出样本；
• 构建评估集并设定明确指标，无论是准确率、相关性还是人工打分；
• 把评估接入迭代流程，让每次模型或提示词变更都要「过一遍考试」。

在模型层高速演进、同质化加剧的今天，产品的护城河越来越取决于「怎么用好模型」而非「用了哪个模型」。而评估能力，正是把模型能力转化为产品价值的关键一环。

结语

Sarah Sachs将在11月3日旧金山的Forge活动上详细阐述Notion的评估实践。对于每一个正在被「每周都有新模型」节奏裹挟的团队来说，这或许是一个值得停下来思考的提醒：真正重要的不是追上每一次发布，而是建立起判断「什么对我的产品真正有效」的能力。