dbt
数据转换工具，现代数据栈中负责数据转换层的核心工具，提供dbt Semantic Layer用于语义定义
核心事实
时间轴 (近 90 天)
Databricks Workflows 是平台原生的作业编排服务，支持多任务 DAG、依赖管理、自动重试、参数传递和告警，并原生支持 dbt 任务类型。
OPTIMIZE 和 Z-ORDER 会重写数据文件，带来额外的计算和存储成本，因此应结合查询模式定期执行，而不是每次 dbt 运行后都触发。
使用 dbt 增量模型时，如果唯一键选择不当或源数据出现重复，可能导致 MERGE 语句报错或产生意外结果，因此建议定期执行全量刷新（`dbt run --full-refresh`）。
dbt 增量模型通过 `{{ config(materialized='incremental') }}` 声明，每次运行只处理新数据或变更数据，并通过 `is_incremental()` 宏判断是否为增量运行以动态附加过滤条件。
dbt（data build tool）是一款开源的数据转换工具，专注于对已加载到数据仓库中的原始数据执行SQL转换，不负责数据抽取和加载。
开源方案在数据接入领域已有积累，包括基于dbt的模式转换层、Airbyte的增量同步，以及各类API网关的缓存插件，可与LangGraph编排层组合使用。
dbt和Cube都能提供语义层。
启用 Unity Catalog 后 dbt 的 profiles.yml 中必须指定 catalog 字段，ref() 函数生成的路径也会携带 catalog 前缀
dbt 通过 dbt-databricks 适配器与 Databricks 通信，需要在 profiles.yml 中配置 host、HTTP path、access token 以及 catalog 和 schema
如果启用了 Unity Catalog 而 dbt 目标 catalog/schema 缺少对应权限配置，模型创建会失败
还有 32 条时间轴事件
全部知识事实 (20)
dbt（data build tool）证明了SQL转换逻辑代码化的价值，Evidence Core 进一步将可视化层和指标层纳入代码化管理
75%已验证dbt将ELT流程中的Transform层标准化，使数据团队能以SQL和版本控制的方式管理数据转换逻辑
65%待验证Analytics Engineering is a role that emerged as an independent discipline alongside the rise of the Modern Data Stack, using SQL and tools like dbt for data modeling, transformation, and quality assurance within the data warehouse
85%待验证General-purpose AI coding assistants fall short in Analytics Engineering because they don't understand data warehouse structure or dbt project modeling logic
70%待验证Databricks Workflows 是平台原生的作业编排服务，支持多任务 DAG、依赖管理、自动重试、参数传递和告警，并原生支持 dbt 任务类型。
50%待验证使用 dbt 增量模型时，如果唯一键选择不当或源数据出现重复，可能导致 MERGE 语句报错或产生意外结果，因此建议定期执行全量刷新（`dbt run --full-refresh`）。
50%待验证dbt（data build tool）是一款开源的数据转换工具，专注于对已加载到数据仓库中的原始数据执行SQL转换，不负责数据抽取和加载。
50%待验证dbt 增量模型通过 `{{ config(materialized='incremental') }}` 声明，每次运行只处理新数据或变更数据，并通过 `is_incremental()` 宏判断是否为增量运行以动态附加过滤条件。
50%待验证OPTIMIZE 和 Z-ORDER 会重写数据文件，带来额外的计算和存储成本，因此应结合查询模式定期执行，而不是每次 dbt 运行后都触发。
50%待验证开源方案在数据接入领域已有积累，包括基于dbt的模式转换层、Airbyte的增量同步，以及各类API网关的缓存插件，可与LangGraph编排层组合使用。
50%待验证dbt和Cube都能提供语义层。
50%待验证dbt 通过 dbt-databricks 适配器与 Databricks 通信，需要在 profiles.yml 中配置 host、HTTP path、access token 以及 catalog 和 schema
50%待验证启用 Unity Catalog 后 dbt 的 profiles.yml 中必须指定 catalog 字段，ref() 函数生成的路径也会携带 catalog 前缀
50%待验证dbt 自带的 test 框架包括 unique、not_null、accepted_values 等基础校验手段
50%待验证Databricks 支持 merge、insert_overwrite（按分区覆盖）和 append 三种增量策略，选择取决于业务对幂等性、数据延迟和计算成本的权衡
50%待验证dbt 的批量转换任务通常更适合使用 Serverless SQL Warehouse 或作业集群，以平衡成本与启动延迟
50%待验证在 Databricks 中配置 incremental_strategy: merge 可以让 dbt 生成基于 Delta Lake MERGE INTO 语句的 upsert 逻辑
50%待验证dbt 的核心价值在于用 SQL 和 Jinja 模板管理数据转换，将版本控制、测试、文档、模块化等软件工程实践带入数据建模
50%待验证如果启用了 Unity Catalog 而 dbt 目标 catalog/schema 缺少对应权限配置，模型创建会失败
50%待验证Databench 的协作延迟表现、多智能体编排成熟度以及与 dbt、Spark 等现有数据栈的集成深度尚待在真实使用中验证
50%