Vercel防火墙新功能：分开管控AI爬虫与AI助手

Vercel Firewall 最近上线了一项值得关注的更新：在 AI Bots 托管规则集中，用户现在可以分别对 AI 爬虫（AI crawlers） 和 AI 助手（AI assistants） 的请求进行记录或拦截。这解决了此前站长们面临的一个两难问题——既想阻止内容被无偿抓取用于模型训练，又不希望影响用户通过 AI 助手获取实时信息。

为什么要区分两类 AI 流量

Vercel 将 AI 流量明确划分为两类：

• AI 爬虫：为索引和模型训练目的收集内容的机器人。
• AI 助手：响应用户操作或搜索查询而抓取页面的机器人，典型场景是用户向 AI 提问后，助手实时获取网页内容来组织答案。

这两类流量的商业含义截然不同。爬虫抓取通常不直接带来回访，内容被用于训练后可能替代原站；而 AI 助手抓取往往由真实用户提问触发，是潜在的流量入口。过去很多防护方案只能一刀切地屏蔽所有 AI 机器人，导致站点在阻止训练抓取的同时，也失去了被 AI 助手引用的机会。Vercel 这次把两者拆开，让站长可以按需制定策略。

Bot 管理（Bot Management） 是防火墙产品中的一类通用能力：平台维护一份已知机器人（bot）的识别名单，依据 User-Agent、IP 段、行为特征等信号对请求归类，再对每一类施加允许、记录或拦截等动作。托管规则集（managed ruleset）则指这份名单与判定逻辑由平台统一维护和更新，站点只需选择策略，无需自行编写匹配条件。这种模式的价值在于应对机器人生态的快速变化——新的 AI 抓取器层出不穷，自建名单很快过时。代价是判定透明度有限，站点难以精确知道某个请求为何被归类为爬虫或助手，因此在误判时通常只能依赖平台修正或改用自定义规则兜底。

如何配置 AI Bots 规则集

配置入口在项目的 Security > Firewall > Rules 页面。在 Bot Management 区域下启用 AI Bots，点击旁边的齿轮图标，即可分别为 AI 爬虫和 AI 助手设置动作。设置完成后，先审查变更再发布。

一个典型的策略组合是：拦截 AI 爬虫，同时允许并记录 AI 助手的请求。这样既保护了内容不被大规模用于训练，又保留了 AI 助手带来的潜在曝光。

命令行同样支持

对于习惯使用 CLI 的开发者，Vercel 也提供了对应的命令。例如拦截 AI 爬虫：

vercel firewall rules edit ai-bots --category ai-crawlers --action deny --yes

允许并记录 AI 助手请求：

vercel firewall rules edit ai-bots --category ai-assistants --action log --yes

修改后可以用 vercel firewall diff 查看变更，确认无误再通过 vercel firewall publish 发布生效。这套流程把配置纳入版本化工作流，适合团队协作和 CI/CD 场景。

--action log 与 --action deny 的区别值得说明：deny 会直接拒绝请求，返回错误响应，机器人无法获取内容；log 则放行请求但记录事件，便于在防火墙日志中观察某类流量的规模、来源和访问路径，而不影响实际访问。实践中通常先用 log 观察一段时间，评估误判风险与流量占比，再决定是否收紧为 deny。同理，vercel firewall diff 展示的是本地配置与线上生效配置之间的差异，vercel firewall publish 才将变更推送到生产环境，这种“编辑—审阅—发布”的两阶段流程使规则变更可以像代码一样被审查和回滚。

可用性与维护

AI Bots 托管规则集对所有套餐开放，不额外收费。Vercel 会随着新机器人出现持续更新规则，这意味着站长不需要手动维护一份不断膨胀的 bot 名单。对于内容型站点、电商和 SaaS 产品来说，这项能力提供了一种更精细的流量治理手段——在开放与保护之间找到平衡点。

从行业趋势看，AI 抓取与内容授权的边界仍在博弈中。Vercel 把控制权下放到站点层面，而不是替用户做统一决定，这种思路值得关注。后续值得观察的是：规则集能否覆盖足够多的 AI 机器人、分类判断是否准确，以及站点在实际使用中如何权衡两类流量的取舍。