Vercel Observability新增AI流量洞察：看清AI爬虫如何访问你的站点

Vercel 在其 Observability 产品中新增了 AI 流量洞察功能，开发者现在可以直接查询 AI 机器人如何访问自己的站点。这一更新把一个长期处于“黑盒”状态的流量来源——AI 爬虫与助手请求——纳入了常规可观测性体系，对依赖内容分发的站点尤其有现实意义。

从“看不见”到“可分组查询”

过去，站点的访问日志里混杂着搜索引擎爬虫、普通用户和越来越多的 AI 机器人。你大致知道有 AI 流量存在，却很难回答“是哪个 bot 来的”“它抓了哪些页面”。Vercel 的新功能把这类请求单独拆出来，放到 Observability 的 AI Traffic 页面中展示。

入口位于 Vercel 控制台的 Observability > AI Traffic。除了在界面查看，还可以通过 Vercel CLI 的 vercel metrics 命令直接查询这些指标，例如按 bot 名称分组统计请求量：

vc metrics vercel.ai_traffic.count --group-by botName

需要注意的是，CLI 查询需要 Observability Plus 订阅。这意味着基础的界面查看与更细粒度的程序化查询在权限上存在区分，团队需要根据自己的观测需求决定是否升级。

五类核心指标各解决什么问题

官方给出的 AI 流量洞察包含五个维度，每一个都对应一个具体的运营问题：

Verified AI bot 请求量

按已验证的 AI 机器人分别统计请求数。这解决了“谁在抓”的问题，帮你区分不同 bot 的抓取强度，判断哪些 AI 系统对你的内容更感兴趣。

“已验证的 AI 机器人”通常指通过反向 DNS 或 IP 段校验确认身份的爬虫，例如 OpenAI 的 GPTBot、Google 的 Google-Extended、Anthropic 的 ClaudeBot 等。这类验证机制的意义在于区分真实 AI 厂商爬虫与伪装成 AI bot 的普通抓取程序，避免统计口径被污染。Vercel 将这类请求单独归类，意味着其底层已经对请求来源做了身份识别，开发者看到的 botName 是可归因的标识，而非简单的 User-Agent 字符串匹配。

Most-crawled pages

展示被 AI 爬虫最频繁请求的页面，覆盖索引和模型训练两类用途。对内容站点来说，这是判断哪些页面真正被 AI 生态“看见”的直接依据。

AI 爬虫抓取页面通常有两种用途：一是为搜索引擎或 AI 搜索建立索引，用于后续检索与引用；二是为模型训练收集语料。这两种用途对站点的影响不同——索引型抓取更关注内容的时效性和可发现性，训练型抓取则更关注内容的长期价值和授权策略。Vercel 的 most-crawled pages 指标将两类用途合并展示，开发者若需进一步区分，可结合 botName 分组查询来判断具体是哪个 AI 系统在抓取哪些页面。

Assistant retrievals

记录 AI 助手在响应用户操作或搜索查询时抓取的页面。这一指标与爬虫抓取不同，反映的是实时性、问答式的访问行为，更接近“AI 正在如何引用你的内容回答用户”。

AI 助手检索与常规爬虫抓取的关键区别在于触发时机和目的。爬虫抓取通常是周期性的、批量式的，目的是建立或更新索引；而助手检索是用户发起查询时实时触发的按需抓取，目的是为当前问题寻找答案来源。这种访问模式对站点的响应速度和内容结构更敏感，也更能反映内容在问答场景中的实际引用情况。传统 Web 分析工具通常将这类请求混入普通流量，难以单独观测。

Markdown requests

统计 AI 机器人以 Markdown 格式请求的页面。随着越来越多 AI 工具偏好结构化、易解析的内容格式，这个维度能反映你的站点是否被以更适合模型消费的方式读取。

Markdown 格式请求反映了一种新兴的内容消费模式：部分 AI 工具和客户端在抓取网页时，会优先请求 Markdown 版本而非渲染后的 HTML，因为 Markdown 结构更清晰、Token 效率更高、便于模型直接解析。是否提供 Markdown 版本涉及站点架构决策，例如通过内容协商（Content Negotiation）在同一个 URL 上根据 Accept 头返回不同格式，或维护独立的 .md 端点。该指标能帮助团队评估这类请求的实际规模，从而判断投入是否值得。

Errors

列出 AI 机器人请求返回错误的页面。被 AI 抓取时出错，往往意味着这部分内容在 AI 生态中实际上处于缺失状态，属于容易被忽略但影响直接的问题。

对开发者和内容团队的实际价值

这项功能的定位不只是“多一个监控面板”，而是把 AI 流量纳入了可归因、可排查的范畴。

对开发者而言，按 botName 分组查询意味着可以把 AI 流量与普通流量分开做容量规划和错误排查。如果某一类 bot 的请求异常增长，或错误集中出现在某些页面，可以更快定位是抓取策略问题还是站点配置问题。

对内容与 SEO 团队而言，most-crawled pages 和 assistant retrievals 提供了新的观察角度。传统分析工具擅长追踪人类访问和搜索排名，但对“哪些内容被 AI 助手引用”缺乏直接数据。这两个指标补上了这一块，让内容策略可以同时面向人类读者和 AI 消费场景。

Markdown requests 指标则指向一个更细的技术决策：站点是否应该为 AI 客户端提供 Markdown 版本的内容。这个指标能给出实际请求量的依据，而不是靠猜测。

使用前的几点提醒

功能入口明确，但要发挥价值仍需注意：CLI 查询依赖 Observability Plus，团队需评估订阅成本；五个指标各自回答不同问题，建议先想清楚要解决的是抓取归因、内容覆盖还是错误排查，再有针对性地看对应维度。另外，官方文档提供了更完整的说明，接入前值得通读一遍。

AI 流量正在成为站点流量的重要组成部分，把它从日志噪音中分离出来，是走向精细运营的第一步。Vercel 这次更新提供的正是这样一个起点。