Unity Catalog

Unity Catalog统一了数据、特征表、模型和函数的治理与权限管理

Databricks的Unity Catalog提供列级权限控制、数据血缘追踪和操作审计日志等治理能力

Unity Catalog作为Databricks的统一数据治理层于2021年正式推出，以'目录.schema.模型名'三层命名空间管理模型版本

Databricks 通过 Unity Gateway 实现对模型访问的统一治理

Unity MCP采用客户端-服务器架构，分为Unity端插件、MCP服务器和AI客户端连接层三层

Genie是Databricks推出的对话式分析功能，允许用户用自然语言提问并自动生成SQL返回结果

在AI Agent场景中，Unity Catalog可以将Agent使用的工具注册为目录中的函数对象，从而将工具的访问权限纳入统一的治理体系

Unity Catalog采用三层命名空间架构（Catalog → Schema → Table/Function/Model），能够对数据资产、AI模型、特征表和函数进行统一的权限管理

Unity Catalog是Databricks于2022年推出、2024年正式开源的统一数据治理解决方案

Databricks Genie、微软Fabric等平台正在将本体能力原生集成到数据仓库产品中

Databricks 的 Unity Catalog 是当前市场上较为成熟的多云数据治理方案之一

Lakebase 将 OLTP 工作负载与 Databricks 的 Unity Catalog 治理层直接打通，所有操作自动受益于列级权限控制、数据血缘追踪和审计日志

评估 Replit 与 Databricks 集成需测试 Replit 应用能否通过 VPC 私有链路连接 Databricks、Unity Catalog 行列级权限能否映射到 Replit 用户角色、以及 Lakebase 在突发流量下的延迟表现

Unity Gateway是Databricks统一数据治理体系Unity Catalog的延伸组件

Unity Catalog的数据血缘功能自动捕捉列级别的数据流向

联邦连接器允许用户直接在Unity Catalog中注册Workday Data Connect作为外部数据源，通过联邦查询按需访问，而非物理搬运数据到Databricks

将Workday数据纳入Unity Catalog后，企业可在同一套权限、血缘和审计框架下管理HR数据

Workday Data Connect联邦连接器属于Unity Catalog查询联邦（Query Federation）能力的一部分

官方推荐使用 dbt-databricks 适配器而非早期的 dbt-spark，因为前者对 Unity Catalog 和 Delta 表特性有更完整的支持

启用 Unity Catalog 后 dbt 的 profiles.yml 中必须指定 catalog 字段，ref() 函数生成的路径也会携带 catalog 前缀