Unity Catalog与Google Cloud:湖仓互操作性新突破

Unity Catalog 与 Google Cloud 合作推动湖仓开放从文件格式层进入元数据目录层。
湖仓一体架构的开放重点正从 Parquet、Iceberg 等文件格式层转向元数据目录层。Unity Catalog 与 Google Cloud Borderless Lakehouse 的互操作旨在打破元数据的厂商边界,让表结构、权限、血缘等治理信息跨云、跨引擎流动。文章分析了多平台数据栈中重复注册、权限割裂、血缘断裂等真实痛点,指出目录互操作可将治理策略收敛到统一元数据层,并推动存储、计算、元数据三层解耦。短期收益是运维简化,中期降低引擎迁移门槛,长期则推动数据治理从平台内合规走向跨平台合规。落地深度取决于接口对象覆盖范围、权限模型语义对齐及生态采用节奏。
湖仓一体(Lakehouse)架构的开放性正在进入新阶段。Unity Catalog 与 Google Cloud 的 Borderless Lakehouse 联手,目标很明确:让元数据不再被厂商边界锁死,让跨平台的数据资产真正可发现、可治理、可迁移。
从开放格式到开放元数据
过去几年,湖仓的开放主要体现在存储格式上——Parquet、ORC、Delta Lake、Iceberg 让数据文件可以在不同引擎间读取。但元数据层始终是另一回事:表结构、权限、血缘、审计日志往往绑定在某个平台内部。据原始素材,这一轮合作的核心正是把开放理念从文件格式推进到目录(Catalog)层面,使 Unity Catalog 的治理能力与 Google Cloud 的无边界湖仓设计能够对接。
这不是简单的接口兼容,而是对「数据目录」角色的重新定义:目录不再是一个平台的附属功能,而是跨云、跨引擎的元数据中枢。
Unity Catalog 是 Databricks 推出的统一数据目录与治理层,用于集中管理表、视图、卷、函数等数据资产的元数据、权限和血缘。它最初与 Databricks 运行时深度绑定,但近年来逐步对外开放,支持多种计算引擎和云环境。Unity Catalog 的核心价值在于将访问控制、审计和发现能力从单一计算引擎中抽离,形成独立的元数据平面。理解这一点,有助于把握为何目录层的开放比文件格式开放更具治理意义:格式开放解决“数据能否被读取”,目录开放解决“谁在什么条件下可以读、数据从哪来、变更如何追溯”。
互操作性解决的真实痛点
企业数据栈的现实是混合的:一部分数据在 Databricks 上做特征工程,一部分在 BigQuery 里做分析,还有一部分落在 Google Cloud Storage 的开放表中。元数据割裂带来的成本非常具体——
- 同一张表在不同平台重复注册,口径不一致;
- 权限策略需要在多处维护,审计难以统一;
- 数据血缘断裂,问题排查靠人工沟通;
- 迁移或试用新引擎时,元数据重建消耗大量工程时间。
Unity Catalog 与 Google Cloud 的对接方向,就是把上述重复劳动收敛到统一的元数据层。对于同时使用多套引擎的团队,这意味着治理策略可以跟随数据流动,而不是被平台边界反复切割。
Borderless Lakehouse 的定位
Google Cloud 提出的 Borderless Lakehouse 强调「无边界」:数据存放位置、计算引擎选择、开放表格式之间不应形成硬约束。与 Unity Catalog 的互操作,让这一理念落到治理层面——元数据可以跨出单一云环境,被外部目录体系识别和授权。
从架构角度看,这符合行业正在形成的共识:存储、计算、元数据三层解耦。存储用开放格式,计算按场景选引擎,元数据通过开放目录协议互联。三方各自演进,通过标准接口协作。
开放表格式(Open Table Format)如 Delta Lake、Apache Iceberg 和 Apache Hudi,在数据文件之上维护事务日志和元数据,使多个计算引擎能够以一致的方式读写同一张表。它们通常定义表结构、分区、快照和变更历史,是实现“存储与计算解耦”的关键中间层。然而,开放表格式自身并不解决跨平台的权限、发现和血缘问题,这些仍依赖上层目录体系。因此,Unity Catalog 与 Google Cloud 的互操作需要同时对齐表格式层面的元数据与目录层面的治理策略,二者缺一不可。
对数据团队意味着什么
短期看,最直接的收益是运维简化。多平台重复注册表的场景会减少,权限和血缘可以围绕统一目录展开。
中期看,互操作性降低了引擎迁移的心理门槛。团队可以更自由地为不同工作负载选择计算引擎,而不必担心元数据被锁定。
长期看,目录互操作会推动数据治理从「平台内合规」转向「跨平台合规」。当元数据可以跨云流动,审计和访问控制需要新的抽象层,这也是开放目录标准竞争的关键战场。
元数据互操作协议是不同目录系统之间交换表定义、权限策略和血缘信息的规范与接口。当前行业存在多种尝试,例如 Iceberg REST Catalog 规范、Hive Metastore 接口以及各厂商的私有 API。协议覆盖的对象类型(表、视图、函数、卷)、权限模型的表达力(是否支持列级、行级、标签级策略)以及血缘信息的粒度,直接决定互操作的深度。若协议仅支持表级注册而无法传递细粒度权限,跨平台治理仍会退化为人工映射。因此,评估任何目录互操作方案时,应优先关注其遵循的协议标准及对象覆盖范围。
仍需观察的问题
互操作性的深度取决于接口覆盖范围。表、视图、函数、卷等对象的支持程度是否一致,权限模型的语义能否对齐,血缘信息能否跨平台完整传递,这些细节决定实际体验。原始素材未给出具体的技术范围与时间表,落地效果需要以官方文档和实测为准。
另一个变量是生态采用节奏。目录互操作的价值随接入方数量增长,单一厂商之间的对接只是起点。
相关推荐

Daybreak Red部署指南:监督式安全调查参考架构
Daybreak Red参考架构解析:介绍监督式安全调查的安全控制设计、部署配置流程与运行监控机制,为团队落地受控安全调查提供工程参考。

Gemini 4 Neon 登顶 Models Engineering Index 榜首
Gemini 4 Neon 在 Models Engineering Index 上成为新晋第一,Hacker News 社区热议其排名含金量与评测方法。本文梳理榜单变动、社区反应及对开发者选型的实际影响。

苹果自研AI智能体:能替你操作Mac的Agent要来了
苹果据报正在开发可操控Mac的AI智能体,对标Meta Muse、Claude、OpenAI Dots等产品。本文分析苹果在agent赛道的系统级优势、竞争格局与可能的落地路径。