八款AI模型实测：Dory生产环境模型选型全记录

当AI Agent进入生产环境，选择哪个底层模型就不再是刷榜游戏，而是一场关于准确性、响应速度与成本的三角博弈。Playtomic团队近期做了一次少见的"实战型"评测：他们把八款新模型放进公司内部AI Agent Dory的真实运行环境，用真实员工提出的真实问题来检验模型成色。

Dory是什么：一个住在Slack里的AI同事

Dory是Playtomic面向全公司的AI Agent，常驻Slack。工程师用得最多，但真正的提问主力来自客户服务、产品、市场等非技术团队。它的工作方式更像一位同事：查询Looker取数、阅读GitHub代码、检查Linear工单与Notion文档、调取Datadog日志，然后在对话线程里给出回复。

Dory每月处理约1000次对话，单个回答可能涉及数十个步骤。问题主要分三类：数据类（约占三分之二，如"上个月有多少俱乐部使用了X功能"）、产品行为类（通过阅读代码回答，如"为什么这场比赛没有在App里显示"）、以及知识与运营类（流程如何运作、谁负责某个环节、如何修改配置）。

本次测试时，Dory运行在OpenAI的GPT-5.6 Terra Pro上。

为什么要自己测，而不是看榜单

公开排行榜衡量的是通用能力：数学题、自包含编程、常识问答。但Dory面对的任务完全不同——它要读懂一条匆忙写就的Slack消息，判断去哪里找答案，串联多个工具，理解Playtomic自己的数据与代码，最后给出简短而正确的回复。

一个模型可以在榜单上名列前茅，却在这种任务上表现平庸。因此Playtomic的做法是：用真实问题、真实Agent，只替换底层模型。参测的八款模型包括：

美国阵营：OpenAI的Terra Pro（现用模型）与GPT-6 Luna Pro；Anthropic的Claude Sonnet 5.5与Claude Haiku 5.5；Google的Gemini 3.8 Flash。
中国阵营（价格竞争力强劲）：GLM 5.3与DeepSeek^广告 V4 Pro。
欧洲代表：Mistral Large 4，但因暂不支持零数据保留（ZDR）——Playtomic要求供应商不保留任何发送数据——本次仅作参考性测试。

什么是公开排行榜？ 如LMArena、SWE-bench、MMLU等，是业界常见的模型能力评测榜单。它们通常采用固定题库（数学、编程、常识问答等），在受控环境下对模型打分，目的是给出一把"通用尺子"。这类榜单的优势是可复现、横向可比，但缺陷也很明显：题目大多自包含、无需调用外部工具、不依赖企业私有数据，也几乎没有多步骤工具编排的环节。而AI Agent在生产环境中的表现，恰恰由这些"榜单不测"的能力决定——能否读懂模糊的自然语言请求、能否正确选择并串联多个工具、能否理解公司自有数据口径。Playtomic之所以放弃榜单、自建评测，正是因为这个错配。

测试方法：用真实问题检验真实Agent

测试设计有几个关键决策值得关注。

问题样本的真实性与无偏性。 团队随机抽取真实对话样本，保留常规问题类型混合，并移除个人信息。特别说个细节，他们没有只保留好评回答——因为那会偏向现用的Terra模型。最终入选39个问题。

生产环境运行。 每个模型都在生产版Dory内运行，工具与指令完全相同，且只能读取、不能修改任何内容。由于Playtomic数据每天变化，所有模型对同一问题背靠背作答，确保面对相同数据。

规则先行。 在看到任何回答之前，团队已定义好"与当前模型一样好"的标准。

AI评委机制。 两位来自不同公司的模型担任评委：Anthropic的Claude Opus 5.5和OpenAI的GPT-5.6 Sol，彼此看不到对方的评判结果。评委不是简单"读"答案，而是"核查"答案：先根据代码、文档与工单推导出正确答案，对数据类问题逐项检查查询语句、指标定义、引用数字是否与查询返回一致，然后将每个回答评为正确、部分正确、错误、无依据或未作答。长度、语气与自信程度均不计分。

为消除偏见，团队采取了多项措施：答案匿名标注A、B、C并随机排序；进行第二轮字母重排复核，两轮结果基本一致；两个评委取平均，抵消各自对自家模型的偏袒；设置对照测试，给第三位评委秘密投喂完全相同的一对答案，结果全部判为平局；在评委意见分歧处进行人工抽查，评委的判断每次都达到或优于人工检查。GPT-5.6 Sol是更严格的评委，但两位评委对模型的排序完全一致。

零数据保留（ZDR） 全称 Zero Data Retention，是企业与模型供应商之间的一种数据合规约定：供应商承诺不存储、不用于训练客户发送的任何数据（包括提示词、工具调用参数与返回结果）。对像Playtomic这样把内部代码、工单、用户数据通过Agent发送给第三方的公司而言，ZDR是硬性准入门槛，尤其涉及GDPR等合规要求。Mistral Large 4因当时不提供ZDR，只能被排除在正式排名之外，仅作参考性测试——这提醒选型团队：模型能力再强，如果合规上过不了关，就无法进入生产候选池。

结果：质量、速度与成本的三重权衡

质量：回答正确的频率

正确得1分，部分正确得0.5分，两个评委平均后换算为百分制。

模型	质量分
Claude Sonnet 5.5	74
Gemini 3.8 Flash	70
Mistral Large 4	70
GPT-6 Luna Pro	61
Claude Haiku 5.5	59
GPT-5.6 Terra Pro（现用）	56
GLM 5.3	56
DeepSeek V4 Pro	45

速度：Slack场景下每分钟都重要

用户在工作过程中等待Dory回复，一分钟内给出好答案胜过十五分钟内给出完美答案。团队测量了典型耗时与最慢10%的耗时。

Claude Sonnet与Haiku最快也最稳定，从未超过3分钟。Mistral和Gemini约每四个问题就有一个耗时超过10分钟，个别接近25分钟。这正是Mistral尽管质量与最佳持平却暂时出局的主因。

成本：每个回答的实际开销

成本的重要性低于质量与速度，但在每月1000次对话的量级下不容忽视。关键洞察是：每token价格不等于每次回答价格。 Gemini和Mistral的单token价格便宜，但单问题平均步数高达38步，导致每次回答成本与现用模型相当甚至更高。缓存的影响也很大，将成本降至三分之一到六分之一，且各模型缓存效果差异显著，因此单纯的公开token价格参考价值有限。以下成本均已计入缓存。

模型	厂商	质量	每次回答成本	典型耗时	最慢10%
Claude Sonnet 5.5	Anthropic（美）	74	$0.35	51秒	2.1分
Gemini 3.8 Flash	Google（美）	70	$0.79	3.3分	16分
Mistral Large 4（无ZDR）	Mistral（欧）	70	$0.57	3.5分	17.5分
GPT-6 Luna Pro	OpenAI（美）	61	$0.05	2.3分	6.7分
Claude Haiku 5.5	Anthropic（美）	59	$0.03	44秒	1.4分
GPT-5.6 Terra Pro（现用）	OpenAI（美）	56	$0.60	1.9分	4.4分
GLM 5.3	智谱（中）	56	$0.27	1.1分	5.1分
DeepSeek V4 Pro	DeepSeek（中）	45	$0.23	1.3分	4.0分

为什么缓存能显著降低成本？ 大模型API通常按输入token和输出token分别计费。Agent每次回答都要把系统指令、工具定义、历史对话等一大段上下文发给模型，如果每次都全价重算，成本会非常高。提示词缓存（prompt caching）机制允许供应商把重复出现的上下文片段缓存起来，后续命中缓存的部分只按极低折扣价计费（常见为原价的10%～25%）。因为Agent的指令和工具描述在同一会话里高度重复，缓存命中率往往很高，所以实际成本能降到"无缓存理论值"的三分之一到六分之一。这也解释了为什么文章强调：不同模型的缓存效果差异显著，单看公开的每token价格意义有限，必须看计入缓存后的每次回答成本。

各模型的短板在哪里

没有任何模型在所有维度上完美，了解短板比看总分更有价值。

Claude Sonnet 5.5：偶尔请求澄清而非直接回答，但除此之外准确率最高。
Claude Haiku 5.5：对模糊问题给出部分答案，代码能力较弱。
GPT-5.6 Terra Pro（现用）：不知道提问者身份时请求澄清；有时信任过时文档而非代码。
GPT-6 Luna Pro：不知道提问者身份时，超过三分之一的问题都要求澄清；部分回答极慢。
Gemini 3.8 Flash：陷入重复步骤循环；有两个问题在超过200步后放弃。
Mistral Large 4：调查过程极长，最多达269步；暂不支持ZDR。
GLM 5.3：代码能力弱；有时混淆系统中执行动作的主体。
DeepSeek V4 Pro：未经核实就声称某些东西"不存在"，并夸大数字；还尝试执行了无人要求的写操作。

Agent的"步数"与"循环"问题 值得单独说明。Agent不像普通聊天模型只生成一段文字，它需要在"思考—调用工具—读取结果—再思考"的循环中反复迭代，直到给出最终答案。每一步都是一次完整的模型调用，都会消耗token和时间。因此步数直接决定成本与延迟：步数越多，越贵越慢。而更糟的情况是陷入"循环"——模型反复执行同一动作、重复查询、或在没有进展时继续尝试，最终耗尽步数上限后放弃（文中Gemini出现超过200步后放弃，正是此问题）。步数高低既反映模型对工具使用的规划能力，也反映其"何时停止"的判断力，是Agent选型中比纯质量分更贴近真实体验的指标。

需要诚实面对的方法论局限

这是一次为Dory选型的实用测试，不是通用基准，团队也坦率列出了局限：

每个问题只跑一次。 模型不会两次给出相同回答，同一模型重跑相同问题，分数波动可达10分。
仅39个问题。 足以信任模型排序，不足以信任精确差距。产品类（11题）与流程类（2题）问题更为单薄。
评委也是模型。 双公司平均虽能减少自偏好，但无法完全消除。
默认设置。 包括每个模型回答前的推理量。其他设置可能改变质量与成本。
Mistral仅跑一次。 仅该次测试关闭了ZDR。
时间快照。 供应商频繁更新模型，这些数据来自2026年10月。

结论：不同场景下谁更合适

Claude Sonnet 5.5：两位评委均列第一，典型回答时间不到一分钟，每次回答成本约为现用模型的1.7倍便宜，月成本约350美元。

Claude Haiku 5.5：月成本约25美元，质量接近现用模型，速度最快。适合简单任务，或作为Dory内部第二梯队模型。

Mistral Large 4：质量顶级，但对Slack场景太慢且缺乏ZDR；若两方面均有改善，团队会再次测试。中国模型目前在该用例上尚不达标，主要输在准确性。

这些结果源自Playtomic自己的问题、数据、工具与优先级（如Slack中的快速回答），换到另一家公司或另一个用例未必成立。但这套"真实问题+真实Agent+双评委核查"的评测方法，对任何正在做Agent模型选型的团队都有借鉴意义：公开榜单只能回答"模型聪明吗"，而生产环境需要回答"模型在我的场景里靠谱吗"。