SerpApi在SimpleQA Verified上达到97.6%准确率

在AI智能体搜索能力日益受到关注的背景下，搜索引擎API服务商SerpApi公布了一项内部评测结果：将其Google Search API与Extract API接入GPT-6.1 Sol模型后，在Google DeepMind与Google Research推出的SimpleQA Verified基准上取得了97.6%的准确率，与Tavily已公布的得分并列第一。这一结果不仅展示了搜索工具与模型协同的潜力，也为AI智能体的事实性问答能力提供了新的参考坐标。

评测背景与挑战

SimpleQA Verified是一个专门用于测试AI模型回答事实性问题准确率的基准。它包含1000个问题，这些问题是OpenAI原始SimpleQA数据集经过参考答案核对、相似问题去除和主题平衡后筛选出来的。该基准的难度在于，许多问题需要模型从多个来源中检索并整合信息，而非仅依赖参数化知识。

SerpApi的测试目标正是探索Google搜索结果和网页内容如何帮助AI智能体搜索网络并回答事实性问题。他们构建了一个允许模型自主决定何时搜索、何时读取页面的代理系统，并通过搜索与工具调用限制来模拟真实场景。

SimpleQA Verified 衍生自 OpenAI 于 2024 年发布的 SimpleQA 数据集，后者包含约 4000 条由人工编写、答案唯一且简短的事实性问题，旨在暴露大模型在长尾知识上的幻觉倾向。由于原始版本存在标注错误、重复问题以及主题分布失衡，Google DeepMind 与 Google Research 对其进行了参考答案核对、相似问题去重和主题平衡处理，最终保留 1000 条高质量问题，形成 SimpleQA Verified。该基准的评分通常采用严格精确匹配，模型必须给出与参考答案一致的简短答案，而非含糊或部分正确的表述，因此对检索增强型智能体提出了很高的精确度要求。

测试方法论：搜索与提取的协同

在测试设置中，答案模型采用GPT-6.1 Sol（低推理努力），搜索环节使用SerpApi的Google Search API（engine=google），并以Markdown格式输出搜索结果。当模型需要更多细节时，可以调用Extract API以scrape模式获取网页的Markdown内容。每个问题允许多次搜索和抓取，但每次抓取限制在48000字符以内，每次模型输入限制在56000个token以内。

这种设计让智能体能够像人类研究者一样：先通过Google SERP数据（包括自然结果、答案框和AI Overviews）定位相关页面，再深入阅读页面内容，必要时进行补充搜索。SerpApi特别移除了元数据和分页细节，并使用no_cache=true确保每次运行都获取新鲜结果。

评分环节由GPT-5.6 Sol（高推理努力）担任，在无法访问搜索工具的情况下对每个问题的参考答案和预测答案进行对比。你可能没注意到，SerpApi还进行了基准泄漏检测，通过审查模型看到的搜索结果和页面内容，排除了40个暴露了基准答案或评估提示的问题，最终在剩余960个问题中正确回答了937个。

Extract API 的 scrape 模式是 SerpApi 提供的一项网页内容提取能力。与仅返回搜索摘要不同，scrape 模式会实际抓取目标页面的完整 HTML，并将其转换为结构化的 Markdown 文本，保留标题、段落、列表和表格等语义结构，同时去除脚本、样式和导航等噪声。这种方式让模型能够直接阅读页面正文，而无需自行解析原始 HTML。48000 字符的抓取上限和 56000 token 的模型输入上限共同构成了对单次阅读深度的约束，促使智能体在有限上下文内做出取舍，必要时发起新的搜索或抓取，从而模拟人类研究者在信息过载环境下的分步检索行为。

基准泄漏是检索增强评测中一个容易被忽视的系统性风险。当模型在执行搜索或抓取时，返回的网页内容可能直接包含基准的参考答案、原始题目或评估提示，导致模型无需真正推理即可作答，从而虚高准确率。SerpApi 的泄漏检测通过人工或规则审查模型实际看到的搜索结果与页面内容，识别并排除这些污染样本。此次共剔除 40 个问题，最终在 960 个问题上报告结果。这一做法虽然缩小了评测规模，但显著提升了分数的可信度，也为其他搜索 API 厂商和智能体开发者提供了可复现的评测规范。

结果对比：与Tavily并列榜首

SerpApi将自身结果与Tavily和Parallel已发布的评测报告进行了对比。数据显示：SerpApi Google + Extract以97.6%的准确率与Tavily Search并列第一，Parallel Advanced以97.0%紧随其后，Perplexity Search为95.0%，Exa Auto为91.0%。

提一嘴，这些分数来自不同设置下的独立评估，因此更多是提供上下文参考，而非严格条件下的直接比较。SerpApi也明确表示，他们只测试了自家产品，其他供应商的分数来自Tavily和Parallel的公开报告。

下一步：SealQA与更复杂的挑战

SerpApi并未止步于此。他们正在评估SealQA，该基准包含带有冲突或无用搜索证据的问题，对智能体的信息甄别能力提出了更高要求。在已完成的Seal-0运行中，使用GPT-6.1 Sol（中等推理努力）配合SerpApi Google和Extract，得分为58.56%（65/111）。完整的SealQA结果和方法论将在后续文章中分享。

这一评测结果的意义在于，它验证了搜索API与模型结合时能够显著提升事实性问答的准确率。对于构建AI智能体的开发者而言，选择合适的搜索工具和网页提取方案，可能比单纯增大模型规模更能解决幻觉问题。SerpApi的实践表明，让模型学会“何时搜索、何时阅读”的代理式工作流，是通往可靠AI应用的重要路径。

随着SimpleQA Verified等基准的普及，搜索API厂商之间的竞争也将从单纯的结果覆盖转向对智能体工作流的深度支持。SerpApi此次公布的细节，包括字符限制、token限制和泄漏排除方法，也为行业提供了可复现的评测范式。

SealQA 是一个面向高难度信息检索与推理的基准，其核心设计在于问题所涉及的搜索证据往往相互冲突、过时或与问题无关。模型不能简单依赖排名靠前的结果，而需要判断来源可信度、识别矛盾信息并决定何时放弃不可靠证据。Seal-0 是 SealQA 的一个子集，包含 111 个问题，SerpApi 在中等推理努力下取得 58.56% 的得分，远低于 SimpleQA Verified 上的 97.6%。这一落差说明，当搜索环境从“信息充分”转向“信息噪声与冲突”时，智能体的信息甄别与证据加权能力仍面临显著挑战。