[控场AI]
· 8 分钟阅读· 4,037 字

给AI Agent联网后,先崩的到底是什么?

给AI Agent联网后,先崩的到底是什么?

同一Agent仅加联网工具,四轮对照加两小时实战揭示实时数据是必要条件而非判断力本身。

文章介绍YouTube创作者Siraj Raval的一场对照实验:同一模型、同一提示词,仅差一个Oxylabs联网工具,构建两个Agent,通过价格、时效、房源、代码四轮任务及一次两小时二手硬件实战进行检验。结果显示,联网Agent在核对真实预订页面、时效敏感信息、动态渲染房源和最新文档编码等场景中表现更优,但作者强调联网不等于正确——实时网页可能含误导价格、过期房源或错误产品变体,必须附加来源核对与双源交叉验证。地理定位和JavaScript渲染是联网工具的关键能力,MCP服务器则让编码Agent的文档查询过程可审查。最终结论是:实时数据是必要条件,不是判断力本身,Agent需要被教会如何「看」以及如何核实。

当Agent开始「行动」,过时信息就不再是小毛病

同样一个模型、同样的提示词,只差一个联网工具,两个AI Agent给出的答案可能天差地别。YouTube创作者Siraj Raval做了这样一场对照实验:把同一个Agent构建两次,一个「看不见」实时网络,一个能抓取实时网页,然后用四轮任务加一次两小时实战来检验。

这个实验的出发点很明确:语言模型有训练截止时间,而Agent会行动——它们给商品定价、找工作、查房源、写代码。对聊天机器人来说,信息过时顶多让人恼火;对Agent来说,这可能直接带来经济代价,因为Agent会基于错误信息做出决策。用创作者的话说,一个用着「去年互联网」的Agent,就像一个刚从昏迷中醒来、却对自己异常自信的实习生。

Web API示意图

实验设计:只差一个工具

整个构建只有两个文件,核心差异就是一个联网工具。实验使用了Oxylabs Web API:给一个URL,它返回模型可读的干净Markdown;支持渲染JavaScript,这对大量动态加载内容的现代网站很关键;还支持地理定位,可以让Agent从指定国家视角获取结果。Oxylabs方面称其拥有覆盖195个国家、超过1.75亿住宅代理的网络。(该视频由Oxylabs赞助,但创作者声明结果不做美化,盲测Agent赢了也算赢。)

在Cursor中,作者还接入了Oxylabs的MCP服务器,让编码Agent能直接查询最新文档。MCP服务器在GitHub开源,可自行审查。

MCP(Model Context Protocol) 是由 Anthropic 提出并开源的标准化协议,旨在让大语言模型以统一的方式连接外部工具、数据源和服务。在编码 Agent 的场景中,MCP 服务器可以暴露「查询最新文档」「搜索代码库」「调用 API」等能力,模型通过结构化请求与这些服务器交互,而非依赖训练时记住的静态知识。相比为每个工具单独写集成代码,MCP 提供了一层可复用的抽象:工具提供方只需实现一次 MCP 服务器,任何支持该协议的 Agent 都能直接调用。文中作者在 Cursor 中接入 Oxylabs 的 MCP 服务器,正是利用这一机制让编码 Agent 在写代码前能实时拉取当前版本的库文档,从而避免「函数名看起来对、实际已废弃」的文档债问题。由于 MCP 服务器通常开源,其行为可被审查,这对需要可信工具链的生产环境尤为重要。

四轮对照:价格、时效、房源、代码

第一轮:价格类问题

实验从最容易暴露过时信息的价格问题入手:JFK到旧金山的具体航班、某款消费电子产品的当前售价与可购买渠道、以及软件订阅的月付与年付差异。评判标准不是哪个答案听起来更自信,而是打开真实预订页面核对:价格是否对应符合要求的航班、产品是否为新款而非翻新、链接是否真的能下单。

作者还做了一个容易被忽视的对照:同一问题、同一网站,只把地理视角从美国切到德国,结果就可能出现不同的商店、货币、库存与价格。这解释了地理定位为什么对Agent有实际意义——Agent需要从用户所在市场的视角看网络。

第二轮:时效敏感信息

房贷利率和「最近24小时发布的带薪资职位」是这一轮的主角。据视频中的核对流程,验证房贷利率只看三项:实际利率、日期、以及是否匹配所问的贷款类型;对50万美元贷款来说,利率的小幅差异就会明显影响月供。

职位检索则更难:招聘网站充斥着过期职位、重复发布、没有透明薪资的页面。Agent列出三个像样的职位标题不难,难的是这些职位此刻真的开放、真的在要求的时间窗口内发布、薪资真的可见、并且真的能申请。

核实贷款假设

第三轮:房产这类高金额场景

任务是在布鲁克林找月租不超过3200美元的当前在租房源。房产检索的特殊之处在于:一套公寓可以是真实存在的,同时又是完全没用的结果——可能上周已租出、标价有误,或页面仍被索引但房子早已不可租。作者逐一打开房源核对,而不是因为搜索结果说它存在就计入得分。

按视频给出的示例,3200美元公寓的首月租金加等额押金,潜在资金敞口可达6400美元——这是风险示意,不是实验中的实际损失。现代房产网站普遍重依赖JavaScript,能否渲染页面并提取正文,在这一轮尤其关键。

JavaScript 渲染 指浏览器执行页面脚本后动态生成内容的过程。现代房产、电商和招聘网站大量依赖前端框架(如 React、Vue)在客户端异步加载数据,原始 HTML 往往只包含骨架,房源列表、价格和库存等关键信息由 JavaScript 在页面加载后注入。传统的静态抓取器只能拿到初始 HTML,因此会漏掉这些动态内容,或抓到「加载中」占位符。支持 JavaScript 渲染的抓取工具(如文中 Oxylabs Web API 所声称的能力)会在服务端模拟浏览器执行脚本、等待网络请求完成,再把最终渲染后的 DOM 转换为干净的 Markdown。这对 Agent 至关重要:如果抓取层拿不到真实内容,后续的推理和判断就建立在空壳之上,房源是否存在、价格是否准确都无从谈起。

第四轮:编码Agent的「文档债」

这一轮面向所有写软件的人:让两个Agent用真实软件库写一个可运行脚本,且刻意选择需要查阅最新文档的任务。编码Agent最令人头疼的问题正在于此——代码看起来完全合理,函数名看起来像模像样,解释听起来毫无破绽,但库已经变了,你调试的是一段运行前就已过时的代码。

盲测Agent的代码被原样运行,终端输出即为证据;联网Agent则通过Cursor里的MCP服务器查询当前文档后再写代码。是否通过由终端决定,不由作者裁定。

编码轮次

联网不等于正确:判断力才是分水岭

四轮之后,作者强调了一个常被忽视的结论:给Agent联网并不会自动让它变对。实时网页可能包含误导性价格,搜索结果可能指向错误的产品变体,房源可能已过期,页面可能展示不适用于你账户的促销价,模型也可能误解完全准确的信息。

为此作者追加了更严格的准确性检查:把联网Agent的结果逐项对照来源、日期、具体商品或服务状态,并要求重要结论用两个来源交叉验证后再推荐。目的不是保证完美答案,而是让推理过程可审查——如果Agent出错,要能分清是拿到了坏信息、误读了正确信息,还是压根没检查关键环节。

教Agent如何「看」

双源交叉验证 是一种信息核实策略:对任何关键结论,要求至少两个相互独立的来源给出一致的信息,才将其视为可信。在 Agent 场景中,这意味着模型不能仅凭单次搜索结果或单一页面就下结论,而应主动寻找第二来源进行比对。独立性的判断本身也有讲究:两个来源若转载自同一原始数据,或都来自同一平台的聚合页,则不构成真正的交叉验证。文中作者要求联网 Agent 对重要结论用两个来源交叉验证后再推荐,目的不是追求绝对正确,而是让错误更容易被发现——当两个来源冲突时,Agent 应标记不确定性而非强行给出答案。这一策略与「要求 Agent 出示证据」相辅相成,共同构成可审查的推理链条。

两小时实战:二手硬件的「机会」能信吗

最终任务是一个真实的两小时任务:寻找当前挂牌价低于近期同类成交价的二手硬件,计入平台费用与运费,列出真正可打开、可购买的机会链接。作者让联网Agent独立跑了两个小时,期间通过Oxylabs仪表盘观察API用量与请求表现——对长时间运行的Agent来说,避免配置错误的循环悄悄烧掉预算很实际。仪表盘中的Oxy Copilot还能用自然语言描述所需信息、辅助生成抓取逻辑,减少维护选择器的时间。

Agent交出的结果表并没有被直接采信。作者反过来试图推翻它最强的几个机会:打开原始链接确认仍在售、比对同款近期成交、扣除费用与运费。挂牌价与成交价之间的差额不等于利润——成色可能不同、容量可能不同、设备可能损坏或有锁、也可能已经售出。利润只有在交易真正完成并计入成本后才存在,Agent能做的是浮现机会,机会是否成立是另一个问题。

住宅代理网络 指由真实家庭宽带用户设备组成的代理池,流量经由这些住宅 IP 转发,使目标网站看到的请求来源是普通消费者而非数据中心。相比数据中心代理,住宅代理更难被网站的反爬机制识别和封禁,因而常用于需要大规模、地理分布广泛的网页抓取。地理定位能力正依赖于此:通过选择特定国家的住宅出口 IP,Agent 能以当地用户视角访问网站,获取该市场的商店、货币、库存和价格。文中 Oxylabs 声称其网络覆盖 195 个国家、超过 1.75 亿住宅代理。需要留意的是,代理网络的规模与合规性因提供商而异,使用时应关注其来源是否合法、是否遵守目标网站的服务条款,以及在长时间运行的 Agent 任务中如何通过仪表盘监控用量、避免失控的请求循环消耗预算。

三点带走

第一,当Agent的工作依赖当下信息时,就给它访问当下数据的通道。第二,要求它出示证据,而不是要求它更自信。第三,不必推倒重来——有时候最有意义的改动,就是多加一个工具。作者同时开放了两个Agent的代码,方便读者在自己的Agent上复现这套对照。

这场实验最有价值的部分不是记分牌,而是它划出的边界:实时数据是必要条件,不是判断力本身。 你仍然需要教Agent怎么「看」,以及看完之后怎么核实。

#AI Agent联网#AI Agent实时数据#AI Agent准确性测试#AI Agent幻觉#MCP服务器#Oxylabs Web API#编码Agent#AI Agent判断力
分享:

相关推荐