为AI智能体优化互联网，可能让普通人更糟

当互联网只为AI“开门”

很长一段时间里，网站运营者只需要区分两类访问者：人类和机器人。搜索引擎爬虫、比价工具、监控脚本这类自动化程序，一直享有相对明确的通行规则。但AI智能体的出现正在打破这个二元结构——它们不再只是“抓取内容”，而是能代替人完成点击、填写表单、比价下单、甚至发起对话。

据MIT Technology Review旗下 newsletter《The Algorithm》的观察，为了让这些智能体顺畅工作，互联网正在被重新设计。问题在于：为AI铺的路，可能同时把普通用户挤到更差的体验里。

机器人规则正在被迫改写

过去二十多年，互联网靠robots.txt、反爬机制、验证码这套组合拳来管理自动化流量。这套体系的设计前提是：机器人只做“读”的动作，而且行为可预测。AI智能体不同，它需要“写”和“操作”：登录账号、点击按钮、提交订单。这意味着网站必须开放更深层的接口权限。

一个直接的后果是，原本用来阻挡恶意爬虫的门槛，现在要对“合法智能体”网开一面。而区分善意智能体和恶意自动化，技术上极其困难。内容平台和电商网站面临一个两难：开放太多，垃圾流量和欺诈随之而来；开放太少，又会被排除在AI入口之外。

robots.txt 是存放在网站根目录下的纯文本协议文件，1994 年前后由 Martijn Koster 提出，后被主流搜索引擎共同采纳为事实标准。它通过 User-agent、Disallow、Allow 等指令，告诉爬虫哪些路径可以抓取、哪些应当避开。需要强调的是，robots.txt 并非技术强制机制，而是一种“君子协定”：遵守与否完全取决于爬虫的自觉，网站方只能事后通过日志和行为分析来识别违规者。这也解释了为什么在 AI 智能体时代，单纯依赖 robots.txt 已经不够——当访问方需要登录、提交订单、调用接口时，网站必须引入真正的身份认证和权限控制，而不是一份自愿遵守的文本声明。

验证码（CAPTCHA） 全称是“全自动区分计算机和人类的图灵测试”，由 Luis von Ahn 等人于 2000 年前后提出。其基本原理是设计一类对人类容易、对机器困难的识别任务，例如辨认扭曲字符、点选特定物体、拖动滑块等。早期的字符型验证码已被 OCR 和机器学习大量攻破，因此逐步演进为行为分析（鼠标轨迹、点击节奏）与风险评分相结合的“无感验证”。问题在于，当 AI 智能体能够模拟人类的浏览器操作时，验证码的判定边界变得模糊：系统只能通过提高任务难度来维持区分度，而这直接转嫁为真人用户的额外时间和挫败感。

被牺牲的可能是真人体验

为智能体优化体验的做法，往往以牺牲人类用户为代价。举几个典型方向：

• 更重的验证环节：当网站无法区分智能体与真人时，验证码会变得更频繁、更复杂，真人被迫承担更高的验证成本。
• 内容为机器重写：为了让智能体更容易解析，页面结构可能被简化成机器友好的格式，牺牲了为人类设计的视觉层次和交互细节。
• 接口优先于界面：资源向API和结构化数据倾斜，网页端体验的迭代优先级下降。

这些变化单看都很“合理”，叠加起来却意味着普通用户的浏览体验在不知不觉中降级。

API（应用程序编程接口） 是软件之间进行数据交换的约定式入口，相比网页界面，它以结构化格式（通常是 JSON）直接返回数据，不需要渲染 HTML、加载图片或执行前端脚本。对 AI 智能体而言，调用 API 远比“看屏幕、点按钮”更稳定、更高效，因此平台倾向于把能力沉淀到 API 层。但这也带来资源分配的结构性偏移：API 的稳定性、文档、限流策略被优先打磨，而面向人类的网页界面则可能长期缺乏迭代。当一个产品的“主入口”从页面转向接口，普通用户在视觉层次、交互反馈上的体验诉求就容易被排到优先级末尾。

一个尚无共识的开放问题

《The Algorithm》的原文并未给出明确解法，这恰恰是当前行业的真实状态：没有人知道该如何在“让智能体好用”和“让人类好用”之间划线。

可以确定的是，这个议题不会停留在技术圈。当AI智能体承担起越来越多的日常网络操作，网站设计、身份验证、内容分发的底层规则都会被重新谈判。而谈判桌上坐着的，不应该只有AI公司和平台方。