AI代理访问网站：Yelp收费、摩根大通拒绝，准入权该谁定？

当AI代理（AI agents）开始像人类用户一样浏览网站、抓取信息甚至执行交易时，一个棘手的问题浮出水面：网站该不该让它们进来？据rss源报道，Yelp选择向AI代理收费开放访问，摩根大通（JPMorgan）则明确拒绝，而Shopify直接把决定权做成了一个开关。三种截然不同的态度背后，是一个被长期忽视的事实——准入是商业决策，而非机器人规则该管的事。

三种态度：收费、拒绝、交给用户

Yelp的做法最直接：把AI代理的访问当成一门生意，收费放行。这相当于承认代理流量有商业价值，与其封堵不如变现。摩根大通则站在对立面，拒绝AI代理进入其系统，背后是对金融数据安全和合规风险的强烈担忧。Shopify的路径更微妙——它没有替商家做决定，而是把“是否允许AI代理访问”做成了一个可配置的开关，让每个店铺自行选择。

这三种态度并非简单的技术路线之争，而是对同一个问题的不同商业回答：AI代理带来的流量，到底是资产还是负债？

**机器人规则（bot rules）**通常指 robots.txt 协议及类似的爬虫管理约定。1994 年起草的这一非官方标准，通过网站根目录下的纯文本文件，告知搜索引擎爬虫哪些路径可抓取、哪些应回避。它依靠爬虫的自觉遵守，并无法律强制力。其设计假定是：访问者是同质的、可识别的爬虫，且抓取行为本身不区分商业意图。正因如此，robots.txt 只能表达“允许/禁止”的二元态度，无法区分代理代表真实用户行为、访问频次带来的负载成本、或访问背后潜在的交易价值。当 AI 代理越来越像人类用户、行为边界模糊时，这套静态规则在承载商业准入判断上就显得力不从心。

核心论点：准入是商业决策，不是机器人规则

原文给出的判断很锋利：准入是一个商业决定，而机器人规则（bot rules）是错误的执行场所。这句话点破了当前行业的一个普遍误区——很多网站试图用robots.txt或类似的反爬协议来管理AI代理，但这些技术规则本质上无法承载商业意图。

机器人规则的设计初衷是告诉爬虫“哪些页面可以抓”，它回答不了“这个代理是否代表真实用户”“它带来的价值是否值得放行”“放行后可能承担什么风险”这类问题。把这些判断塞进技术规则里，结果要么是一刀切地封杀，误伤有价值的代理流量；要么是形同虚设，让规则沦为摆设。

为什么技术规则管不了商业准入

反爬协议是静态的、全局的，而商业准入是动态的、场景化的。一家电商可能愿意让比价代理进来以增加曝光，但不愿让库存抓取代理进来；一家银行可能允许客服类代理查询公开信息，但拒绝任何涉及账户操作的代理。这种颗粒度的差异，靠统一的机器人规则根本无法表达。

AI 代理与传统爬虫的关键差异在于代理性与意图。传统爬虫通常以固定频率、固定路径批量抓取，行为模式容易识别；而 AI 代理往往由大语言模型驱动，能执行多步骤任务、模拟点击与表单填写，甚至完成下单、比价、客服对话等操作。这意味着同一类代理可能同时产生“有益流量”（如带来真实购买意向）和“有害负载”（如高频请求拖垮服务）。此外，代理的身份归属（代表哪个用户、哪家平台）在 HTTP 层往往不可见，网站很难仅凭请求特征判断其商业属性。因此，针对 AI 代理的准入管理，需要身份认证、访问授权与行为审计等更上层的机制，而非仅靠 User-Agent 识别或 IP 封禁。

对网站运营者的启示

对于正在面对AI代理流量的网站运营者，这三种案例提供了可参考的决策框架。

先分类，再定价

不是所有AI代理都一样。信息查询类、比价类、交易类、自动化操作类，对网站的价值和风险各不相同。Yelp的收费模式之所以成立，前提是它清楚哪些代理访问值得收费。运营者需要先建立代理分类体系，再谈准入策略。

把开关交给业务方

Shopify的做法值得借鉴：技术团队提供能力，业务方做决策。与其由工程团队在服务器层面统一封禁或放行，不如把代理准入做成产品化的配置项，让最了解自身业务风险的团队来定规则。

风险与收益要分开算账

摩根大通的拒绝并非保守，而是对风险收益比的清醒计算。金融场景下，一次代理导致的数据泄露或违规操作，代价远超代理流量带来的便利。网站需要根据自身行业属性，分别评估代理访问的潜在收益和潜在损失，而不是套用统一的“开放”或“封闭”立场。

代理身份认证与访问授权正在成为新兴的基础设施方向。类似 OAuth 的授权框架、可验证凭证（Verifiable Credentials）以及专门面向 AI 代理的访问协议（如部分厂商提出的 agent auth 标准），试图解决“这个代理代表谁、被授予哪些权限”的问题。在此基础上，价值结算机制（如按调用次数计费、按带来的转化分成）让代理流量从无法计量的成本项变成可定价的商品。这与 Yelp 的收费模式一脉相承，但更系统化。对网站运营者而言，关注这些标准的演进，比在 robots.txt 上不断打补丁更具长期价值。

行业走向：从技术对抗到商业协商

当前的局面更像是过渡期。一边是Yelp式的商业化尝试，一边是摩根大通式的强硬拒绝，中间是Shopify式的可配置方案。随着AI代理数量增长，网站与代理之间的博弈会从技术层的猫鼠游戏，转向商业层的规则协商——代理的身份认证、访问授权、价值结算，都可能成为新的基础设施。

真正的问题不再是“要不要让AI代理进来”，而是“以什么条件、在什么范围内、由谁来决定让它进来”。把这个问题交还给商业逻辑，而不是藏在机器人规则的角落里，才是行业需要走的方向。