如何打造个人AI评测基准：5步选对适合你的大模型

新模型正以平均11天一个的频率涌现——Opus 5.5、GPT 6.1、Grok、各类开源权重模型接踵而至。每一次发布都附带一张漂亮的基准测试表，但这些跑分真的能告诉你哪个模型适合你的工作吗？在 AI Daily Brief 主持人 NLW 与 Nufar Gaspar 联合主办的这场操作者视角研讨会中，答案很明确：不能。你需要的是一套个人AI评测基准（personal AI benchmark）。

为什么公开基准测试越来越不可靠

Nathaniel 在节目中反复强调一个观点：对发布时的跑分保持怀疑。这并非指责厂商造假，而是因为大多数基准测试数据早已进入模型的训练集，成为"正典"的一部分。基准存在的时间越久，参考价值就越低。

更关键的是，当前阶段模型之间的差异，已经不再是简单的"更强"或"更弱"，而是模型给你的感觉，以及它如何融入你自己搭建的模型栈。NLW 直言：几乎可以保证，总有些时候，某个在特定基准上代表最高水准的模型，在你实际要做的那个版本的任务上反而更差——尤其在写作这类高度主观的场景。

除了跑分，还有一类噪声同样需要警惕：模型发布后的"七天热议期"。早期体验往往严重偏向制作3D小游戏、可复现的炫技应用这类"社交媒体友好"的用例。甚至有人认为，部分模型是专门针对influencer测试优化的。真正有价值的反馈要等七天甚至更久之后，当真实工作中的报告浮现——比如"它在合同审查里悄悄漏掉了一个条款"，这对律师的意义远大于一个漂亮的复古3D游戏。

第一步：选对要测的任务（最关键的一步）

Nufar 把整个流程拆解为五步，而第一步被她称为"最具决定性的一步"：决定哪些任务要进入你可复用的基准。

挑选任务的原则值得逐条消化：

• 多样且平衡：覆盖你真实的工作与个人使用，比例应与你实际使用AI的分布一致。
• 你信任其结果到足以据此做决策：如果测试结果无法让你放心地做出决定，这个基准就是无效的。
• 优先选高频任务：日常反复做的事，提升空间带来的回报最大。
• 考虑风险成本：如果你清楚某类任务"错得很离谱"长什么样，这反而是个好用例——能快速识别失败，有时比定义"什么是好"更有效。
• 区分"从零开始"与"基于已有素材"：润色邮件、打磨PPT这类任务需要先有底稿。
• 至少放一个"心愿清单"任务：某件你曾用AI尝试但不满意、因而不常做的事。这样当前沿出现新模型时，它能第一时间成为你的兴奋点。

Nufar 自己的六个用例包括：从原始笔记生成LinkedIn帖子、与利益相关方进行价格博弈/敏感邮件、按套餐层级调研AI工具功能、课程学员门户网站、为新受众一次性生成练习题，以及她的心愿清单——一份真正合理、无需反复调教的每周计划。她坦言，至今没有模型能在一次生成中把复杂周计划做对。

第二步与第三步：选候选、盲测

确定任务后，接着选择候选对象。这里有个重要提醒：候选不一定是模型，也可能是新的harness（工具框架）或agentic工具与模型的组合。

Nufar 用亲身教训给出建议：她这次测了七个模型选项，结果发现"七个实在太多了"——为六个任务逐一评审七种输出极其繁琐。她推荐最多四个候选，且必须包含一个代表你现有工作方式的基线。

运行时的两条铁律：每个请求都在全新对话中执行以避免上下文污染；以及隐藏模型名称。因为我们对偏爱的工具存在强烈偏见，盲测才能看到真相。打分建议采用1-5分数值加一句话主观评价的组合。

关于匿名化，Nufar 给出四种方法：请朋友帮忙打乱、用电子表格生成随机编号、用AI工具重新标注，或直接使用她分享的脚本。脚本方式需要API密钥，可以通过 OpenRouter 用单一密钥调用多个模型，这对非技术人员也完全可行。

她还强调一个实用技巧：尽量包含视觉类任务（网站设计、应用界面、图像生成），因为视觉结果更容易快速打分、形成偏好。

OpenRouter 是一个API聚合中间层，允许开发者和非技术用户用同一个API密钥调用来自不同厂商的数百个模型（包括GPT、Claude、Gemini、Grok等），无需分别注册各家平台的API账号。对于个人基准测试而言，它的实用价值在于：用单一账户完成多模型的平行调用，且在同一账单下对比各模型的真实用量成本。Harness 在AI工程语境中指对模型调用进行封装的工具框架——它决定了如何组织提示词、如何处理输出、是否引入重试逻辑等，同一个底层模型配上不同的harness可能产生截然不同的实际效果，因此"候选"不限于模型本身。

用AI当裁判：好用但要留一手

除了你自己打分，流程还支持引入"AI as a judge"——让一个模型按预设评分标准（rubric）给结果打分，再和你的偏好交叉对比。

但Nufar 对此有明确警告：

• 要评估裁判本身：如果裁判与你的品味完全不相关，那就是个坏裁判，直接丢掉。
• 裁判应来自不同模型家族：存在"AI裙带关系"，模型往往偏爱自家族成员。她因未测试Gemini，便用Gemini Pro作为裁判。
• 裁判看不到视觉效果：评判网站时，裁判只能读到代码和文本，无法像人类一样看到渲染出的画面。所以用API让AI评判视觉内容，往往不是好选择。

实际揭晓时，Nufar 的结果充满意外：LinkedIn帖子她最爱的是Kimi、Fable和Opus（本以为会是GPT）；价格博弈GPT系最佳；练习题是GPT和Grok；周计划竟是Grok胜出；课程门户网站则是Opus 5.5。她和AI裁判只在价格博弈这一项达成一致，其余全部分歧——这进一步印证了对AI裁判要"打个折扣"看待。

AI as a judge（以AI为裁判）是一种自动化评估范式：用一个独立的语言模型，按照人工预先定义的评分维度（rubric，即评分标准表）对目标模型的输出打分，以替代或补充人工审阅。这一方法在规模化测试中极有价值，但存在两类系统性偏差：其一是家族偏差（模型倾向于给同家族成员更高分，即文中的"AI裙带关系"）；其二是格式偏差（裁判模型往往更偏爱结构工整、措辞正式的输出，而非更符合人类实际偏好的自然表达）。因此，将AI裁判的结论与人类主观打分交叉比对，而非单独依赖任何一方，是目前业界的通行做法。

第五步：做决定，但别只看谁赢

最后一步是决策，Nufar 归纳为三种结果：Switch（切换）、Split（分场景混用）、Stay（维持现状）。

关键在于，某个模型在基准中显著胜出，并不意味着你必须切换。真正的决策要叠加多重现实考量：

• 公司限制：很多员工只能用指定模型，但即便如此，在"快速/深度思考"等配置间选择也是一种有效的基准测试，甚至可以用mock数据跑出结果去说服公司购买新许可。
• 成本：节目中的数据极具说服力——Fable 虽被裁判排第一，但其总成本比其他模型高出一个数量级。而GPT Sol 在Nufar 的评分中与Fable持平，成本却低一个量级。
• 速度：Grok 的平均耗时极长，尽管成本可控。NLW 特别提到，Sam Altman 坦言在用上超快模式前，没意识到速度对自己有多重要。Nufar 自己在等待20分钟生成一个网站后，也开始对速度格外敏感。
• 习惯成本：习惯养成是昂贵的，若提升不显著，维持原状本身也有价值。

对需要团队级、规模化、常态化评估的场景，Nufar 提到了 LangSmith、Braintrust、Langfuse 等现成平台。但对个人使用而言，上述手动或脚本方法已绰绰有余。

LangSmith、Braintrust、Langfuse 均是面向LLM应用的可观测性与评估平台，核心功能包括追踪每次模型调用的输入输出、记录延迟与成本、管理评估数据集并运行自动化测试套件。它们的主要目标用户是需要在生产环境中持续监控模型表现的开发团队或企业，支持将评估流程标准化、版本化并集成到CI/CD管道中。对个人或小团队来说，这类平台的上手成本相对较高，但一旦使用规模扩大、需要跨时间纵向追踪模型表现时，它们的结构化数据记录能力远超手动电子表格方案。

一次投入，长期受益

这套基准最打动人的地方在于它的可复用性：认真做一次，之后每当有重大模型变动值得考虑时，就能重新跑同一套基准。Nufar 的建议是"至少做一次，哪怕只为了体验揭晓答案时惊讶到自己的乐趣"。

值得玩味的是她自己的结论。作为Claude和Cursor配Grok的重度用户，这次测试让她认真考虑把GPT提升进自己的"前二"工具——如果只能选一个工具，她甚至愿意主要转向GPT。而NLW 的方式则截然不同：他"完全凭感觉"，日常会把同一件事同时丢给多个模型跑。

这恰恰说明了个人基准的本质——没有标准答案。正如NLW 所言，如果这套流程里有哪部分你觉得不实用，整个要点就是去改造它，让它为你所用。基准的意义，终究是回答"这个模型对我而言是否重要、如何重要"这一个问题。