BigQuery与ADK构建数据Agent实战:一行代码搞定AgentOps

在Agent开发从实验走向生产的当下,如何用最少的代码构建、部署并观测一个数据智能体,成为许多开发者关心的核心问题。谷歌云在近期的技术分享中,系统展示了基于BigQuery与ADK(Agent Development Kit)的完整数据Agent开发栈,并通过Carrefour(家乐福)的真实生产案例,揭示了从原型到落地的关键经验。本文基于该分享内容,梳理这套「Agentic数据云」方案的架构选择、可观测性设计与工程实践。
Agentic数据云:从灵活到开箱即用的选择栈
谷歌云的整体愿景是打造一个「Agentic数据云」(Agentic Data Cloud),将AI能力贯穿从TPU芯片到数据仓库的每一层。在这个体系中,用户可以获得三类体验:面向编码者的辅助能力、开箱即用的一方数据Agent,以及面向构建者的工具与集成。
谷歌产品经理Sandeep Karmarkar将开发选项组织成一个「技术栈」:越往上走,谷歌提供的内置价值越多;越往下走,开发者拥有越高的灵活度,但也需要自己承担更多的价值创造工作。这个分层框架清晰地回答了「我该从哪里开始」的问题。
开源起步:ADK与BigQuery工具集
栈的底层是开源方案。谷歌的ADK(Agent Development Kit)与BigQuery团队深度合作,现在只要执行pip install安装ADK包,就能获得内置的BigQuery一方函数工具(Function Tools)。
ADK是谷歌于2025年初开源的Agent开发框架,旨在为开发者提供一套标准化的工具来构建、部署和管理AI Agent。与LangChain、CrewAI等社区框架不同,ADK的设计哲学强调与谷歌云生态的深度集成,同时保持对其他LLM提供商的兼容性。ADK采用声明式的Agent定义方式,支持多Agent协作、工具调用、会话管理等核心能力,并内置了与BigQuery、Vertex AI等谷歌云服务的一方连接器。其开源策略使得开发者可以在本地开发调试,同时无缝迁移到谷歌云的托管环境。
这些工具分为三类:
- 基础操作工具:让Agent能够查找表、获取表和数据集的元信息、以多种模式查询表。
- 高级工具:将BigQuery的高级能力(如预测、贡献分析)带到Agent身边。
- 数据Agent工具:可将外部创建的数据Agent作为工具嵌入ADK,供Agent在外层循环中调用。
更进一步,谷歌还引入了一方的「BigQuery Skills」,直接集成到ADK中,让Agent在构建数据工作流时获得更高准确率。这些工具现已发布稳定版,可用于生产环境。演示中,Sandeep用不到10行代码就构建了一个数据Agent,并使用名为blocked的写入模式,确保Agent不会意外修改数据——无需安装、无需配置。
MCP Toolbox:参数化SQL带来确定性
如果你在架构上选择了模型上下文协议(MCP)但仍希望使用开源方案,谷歌提供了开源的MCP Toolbox。它内置了多个数据连接器,BigQuery是其中之一。上手流程很简单:下载预构建二进制文件或自行编译,通过YAML配置工具,然后在本地或远程启动MCP服务器。
MCP(Model Context Protocol)是由Anthropic于2024年底提出并开源的标准化协议,用于规范AI模型与外部数据源和工具之间的通信方式。MCP的核心思想类似于USB接口之于硬件——它定义了一个统一的'插头'标准,使得任何符合协议的工具服务器都能被任何兼容的AI Agent客户端调用。MCP协议区分了三个角色:Host(运行Agent的应用)、Client(协议客户端)和Server(提供工具和资源的服务)。
MCP Toolbox最值得记住的能力是用参数化SQL创建自定义工具。这意味着Agent无需自己编写SQL,只需传入参数即可。以酒店预订助手为例,开发者可以在YAML中定义「按名称查找酒店」的工具,SQL固定,name作为参数传入。这种方式为Agent的行为带来了更强的确定性,避免了大模型自由生成SQL带来的不可控风险。参数化SQL在MCP中的价值在于,它将不确定的自然语言到SQL的转换过程,转化为确定性的参数填充过程,大幅降低了SQL注入风险和生成错误。
托管MCP服务器:零运维的生产级数据连接
再往上一层,是面向「不想管理任何基础设施」的开发者的托管MCP服务器。谷歌已将一系列服务以托管MCP服务器的形式发布:零运维基础设施、完全托管、远程且可弹性扩展,同时集成了核心治理机制——IAM、审计日志、VPCSC。
IAM(Identity and Access Management)是谷歌云的身份与访问管理系统,它基于角色的访问控制(RBAC)模型来定义谁可以对哪些资源执行什么操作。在Agent场景中,IAM的拒绝策略(Deny Policies)尤为关键——它允许管理员在组织或项目层面设置不可覆盖的权限限制,即使Agent被授予了某个角色,拒绝策略仍然优先生效。VPCSC(VPC Service Controls)则在网络层面创建安全边界,防止数据从指定的安全区域泄露,即使凭证被泄露也无法从外部网络访问受保护的资源。这两者结合,为企业级Agent部署提供了纵深防御。
BigQuery MCP服务器已正式GA(通用可用),端点地址为bigquery.googleapis.com/mcp。Agent连接后可获得两类工具:只读工具和一个读写工具。关键的安全设计在于,读写SQL工具会阻止所有DML和DDL类的数据修改与定义操作,防止Agent意外改动数据;而如果确实需要完整SQL能力,可通过Execute SQL工具获取。

更重要的是治理层面的控制权转移:由于与IAM深度集成,数据管理员可以直接设置IAM拒绝策略来禁用所有读写工具,无需依赖Agent开发者做出正确选择——数据所有者从项目层面就能实现保护。这一点对企业级安全至关重要。
据分享披露,Anthropic内部也在使用谷歌的MCP服务器为其内部用户提供BigQuery数据访问;Glean等合作伙伴同样通过MCP服务器为客户开放BigQuery能力。谷歌表示,过去六个月里与之合作的Agent开发者增长了20倍,每月通过Agent连接和集成产生的查询已达数百万次。
Agent可观测性:被低估的生产化挑战
随着大量Agent开发者从开发走向生产,Agent可观测性(Observability)在过去三到六个月变得愈发重要。Sandeep指出,Agent的可观测性与传统可观测性存在三个本质差异:
- Agent日志与Agent代码同等重要:很多时候,只有Agent实际执行过,你才知道它做了什么。因此开发者在开发阶段就需要这些日志。
- 日志是评估与优化的关键:除了排查性能和错误,Agent日志还用于评估(与黄金数据集对比答案)和优化(对对话分类)。这意味着传统的group by和filter已不够用,需要「LLM as a Judge」等高级分析能力。
- 日志将是多模态的:不同于典型的机器数据,Agent日志会包含图像、视频、音频转录等内容。
「LLM as a Judge」是近两年兴起的AI系统评估方法论,核心思想是使用大语言模型本身作为评判者来评估另一个AI系统的输出质量。与传统的精确匹配或BLEU分数等自动化指标不同,LLM评判能够理解语义等价性、评估回答的完整性和准确性。在Agent场景中,这种方法特别有价值:开发者可以定义评估提示词,让评判模型对Agent的每次回答打分,判断其是否正确回答了用户问题、是否产生了幻觉、是否遵循了安全策略等。BigQuery的AI函数(如ML.GENERATE_TEXT)使得这种评估可以以批处理方式大规模运行,无需逐条人工审核。
Agent Analytics:一行代码接入BigQuery实现全链路监控
针对这些需求,谷歌推出了Agent Analytics,现已GA。它是一个面向ADK用户的开源插件,同时提供面向LangGraph用户的开源回调处理器。只需一行代码改动,就能将所有Agent的执行事件实时流式写入指定的BigQuery表。

借助BigQuery的流式写入能力,数据近实时可用,且对Agent核心性能影响极小。BigQuery的流式写入(Streaming Insert)允许数据以近实时的方式被摄入和查询,延迟通常在秒级。这对Agent可观测性至关重要——开发者不需要等待批处理完成就能看到Agent的执行轨迹。由于BigQuery通过ObjectRef(对象引用)机制原生支持多模态数据,日志也可以是多模态的——可以在表中存储指向Cloud Storage中图片、音频、视频等文件的引用,并在SQL查询中直接调用AI函数对这些多模态内容进行分析。
数据进入BigQuery后,除了传统SQL分析(错误、性能、Token消耗),还能利用BigQuery内置的AI函数直接在SQL中以可扩展的离线批处理方式运行评估和对话分类。更妙的是,你还能在这些日志之上再建一个数据Agent——用自然语言与生产Agent的日志对话。
在演示中,工程经理Joshan展示了一个「在洛杉矶开新店」的商业决策Agent:它同时使用BigQuery和Google Maps两套托管MCP工具,无需自建本地MCP服务器。Agent能根据问题类型智能选择工具——查询早高峰流量时用BigQuery表,查询实时营业中的面包店时用Google Maps。所有事件通过Agent Analytics插件实时记录,最后再用BigQuery的对话式分析Agent直接「聊天」查询延迟分布等指标。
家乐福实战:从聊天机器人到生产级数据Agent
作为全球主要零售商之一,家乐福的数据架构师Guillaume分享了一个极具参考价值的落地案例。家乐福的法国数据平台名为「Phoenix Darwin」(Phoenix负责数据摄取,Darwin负责数据暴露),承载着全集团的数据交换:冷数据、慢数据用BigQuery,低延迟的API数据用Bigtable。当顾客在门店结账时,数据通过Kafka实时上报,平台在几秒内就能向用户手机App推送电子小票。
Apache Kafka在这一架构中充当实时数据管道的核心。当顾客在门店POS机结账时,交易事件被发布到Kafka主题中,多个下游消费者可以并行处理这些事件——一个消费者将数据写入BigQuery用于分析,另一个触发电子小票推送,还有一个更新库存系统。Kafka的持久化日志设计确保事件不会丢失,即使某个消费者暂时不可用也能在恢复后追赶进度。家乐福的150条摄取管道和600多个数据消费者的规模,恰好体现了Kafka在大型零售企业中的典型应用密度。

用Agent解决数据团队重复答疑的痛点
家乐福的数据平台有150条摄取管道、600多个数据消费者,团队间存在人员流动。新成员加入后往往会重复提问,数据平台团队疲于应对相同问题。为此,他们构建了一个Agent,从文档和聊天历史中提取知识——因为在与用户的对话中,团队常常会补充关于数据平台的洞察。当新成员再次提问时,Agent能自动回答;若答案不准确,团队补充说明后,这些内容又会进入聊天历史,让Agent越来越聪明。
架构上,家乐福在Google Chat与ADK之间搭建了中间件做API格式转换,全部部署在Cloud Run上。初版使用Vertex AI Search做RAG(检索增强生成),用Vertex AI Agent Engine管理会话。RAG的核心思想是在大模型生成回答前,先从外部知识库中检索相关文档片段作为上下文注入提示词,从而让模型基于准确的事实信息作答,而非仅依赖训练时记忆的知识。这种方式有效降低了大模型的幻觉问题,同时让知识库可以随时更新而无需重新训练模型。
关键工程经验与安全实践
代码大幅精简:家乐福最初用Python手写获取数据集列表、表列表、字段详情的代码,后来发现ADK BigQuery工具集已内置这些能力,直接切换后删除了数百行Python代码。
安全与OAuth:Agent不能用自身身份运行查询,必须用终端用户的凭证,以确保只查询该用户有权访问的数据。这一设计原则在安全领域被称为「委托授权」(Delegated Authorization)——Agent代表用户行事,而非以自身权限行事。OAuth 2.0协议通过令牌交换机制实现这一目标:用户授权后,Agent获得一个受限的访问令牌,该令牌只能执行用户本人被允许的操作。家乐福用几行代码为BigQuery工具集加上OAuth协议,但由于Google Chat无法处理OAuth流程,还额外部署了客户端服务。更重要的一个安全细节是:由于在多人聊天空间发送凭证会导致他人冒用,家乐福将查询功能限制在与Agent的一对一私聊中。
可观测性驱动改进:接入BigQuery Agent Analytics后,家乐福构建了监控看板,观测到每周约200次会话,并用AI.classify函数对用户结束对话的原因分类,发现「新问题」「文档查询」「希望运行查询」等不同场景,据此迭代出了SQL生成与执行的新功能。目前他们在欧洲使用Gemini 2.5 Pro模型,并期待更快的Flash模型落地欧洲。
三条Agent落地铁律
Guillaume总结了三条经验,值得每个Agent实践者铭记:
- 选对用例:不要为了加AI而加AI,选择能真正发挥AI价值的场景。
- 把Agent带到用户身边:不要让用户跑到别处使用Agent。家乐福把Agent直接插入Google Chat,实现了即时的用户采纳。
- 不要低估集成的工作量与成本:将Agent接入遗留应用(尤其是没有API的大型机系统)可能比想象中困难得多,同时要持续观测Agent的行为。
结语
这套BigQuery + ADK方案的核心价值,在于用「分层技术栈」的思路,让开发者能够根据对灵活度与内置价值的不同需求自由选择起点,同时通过托管MCP服务器和IAM治理解决了企业级的安全焦虑。而Agent Analytics「一行代码接入」的设计,则精准击中了Agent生产化阶段最容易被忽视的可观测性痛点。家乐福的案例进一步证明:真正的挑战往往不在模型本身,而在于用例选择、用户触达和集成工程。对于正在将Agent推向生产的团队而言,这些经验或许比任何炫技的演示都更具参考意义。
相关推荐

iPhone Duo续航实测:一天一充跑不掉,大屏是耗电元凶
iPhone Duo续航实测:重度使用一天需至少充电一次,6.5小时亮屏约剩30%电量。大屏展开频率是耗电关键,MagSafe电池背夹可救场,长期衰减同样值得关注。

Kimi K3.1 Pro开源发布:2.8万亿参数逼近Opus
Moonshot发布开源MoE模型Kimi K3.1 Pro,2.8万亿总参数、1040亿激活参数,Terminal Bench 4.0仅落后Opus 5.5不到1分,单任务成本约三分之一,API价格减半,开源权重11月4日开放。

Costco科技产品价格竞猜:显示器、键鼠、Bose音响值不值?
YouTube博主在Costco竞猜科技产品价格:2K 180Hz显示器、罗技键鼠、Bose音响和CyberPower UPS实测估价,揭示仓储会员店的选品定价逻辑与品牌溢价真相。