dbt
数据转换工具，现代数据栈中负责数据转换层的核心工具，提供dbt Semantic Layer用于语义定义
核心事实
时间轴 (近 90 天)
dbt 通过 dbt-databricks 适配器与 Databricks 通信，需要在 profiles.yml 中配置 host、HTTP path、access token 以及 catalog 和 schema
如果启用了 Unity Catalog 而 dbt 目标 catalog/schema 缺少对应权限配置，模型创建会失败
dbt 自带的 test 框架包括 unique、not_null、accepted_values 等基础校验手段
dbt 的核心价值在于用 SQL 和 Jinja 模板管理数据转换，将版本控制、测试、文档、模块化等软件工程实践带入数据建模
dbt 的批量转换任务通常更适合使用 Serverless SQL Warehouse 或作业集群，以平衡成本与启动延迟
Databricks 支持 merge、insert_overwrite（按分区覆盖）和 append 三种增量策略，选择取决于业务对幂等性、数据延迟和计算成本的权衡
在 Databricks 中配置 incremental_strategy: merge 可以让 dbt 生成基于 Delta Lake MERGE INTO 语句的 upsert 逻辑
启用 Unity Catalog 后 dbt 的 profiles.yml 中必须指定 catalog 字段，ref() 函数生成的路径也会携带 catalog 前缀
Databench 的协作延迟表现、多智能体编排成熟度以及与 dbt、Spark 等现有数据栈的集成深度尚待在真实使用中验证
IFCO的数据团队在Databricks平台上运行一个超大规模的dbt项目，用于追踪、分析和决策其物理资产
还有 25 条时间轴事件
全部知识事实 (20)
dbt（data build tool）证明了SQL转换逻辑代码化的价值，Evidence Core 进一步将可视化层和指标层纳入代码化管理
75%已验证dbt将ELT流程中的Transform层标准化，使数据团队能以SQL和版本控制的方式管理数据转换逻辑
65%待验证Analytics Engineering is a role that emerged as an independent discipline alongside the rise of the Modern Data Stack, using SQL and tools like dbt for data modeling, transformation, and quality assurance within the data warehouse
85%待验证General-purpose AI coding assistants fall short in Analytics Engineering because they don't understand data warehouse structure or dbt project modeling logic
70%待验证如果启用了 Unity Catalog 而 dbt 目标 catalog/schema 缺少对应权限配置，模型创建会失败
50%待验证dbt 通过 dbt-databricks 适配器与 Databricks 通信，需要在 profiles.yml 中配置 host、HTTP path、access token 以及 catalog 和 schema
50%待验证启用 Unity Catalog 后 dbt 的 profiles.yml 中必须指定 catalog 字段，ref() 函数生成的路径也会携带 catalog 前缀
50%待验证在 Databricks 中配置 incremental_strategy: merge 可以让 dbt 生成基于 Delta Lake MERGE INTO 语句的 upsert 逻辑
50%待验证Databricks 支持 merge、insert_overwrite（按分区覆盖）和 append 三种增量策略，选择取决于业务对幂等性、数据延迟和计算成本的权衡
50%待验证dbt 的批量转换任务通常更适合使用 Serverless SQL Warehouse 或作业集群，以平衡成本与启动延迟
50%待验证dbt 的核心价值在于用 SQL 和 Jinja 模板管理数据转换，将版本控制、测试、文档、模块化等软件工程实践带入数据建模
50%待验证dbt 自带的 test 框架包括 unique、not_null、accepted_values 等基础校验手段
50%待验证Databench 的协作延迟表现、多智能体编排成熟度以及与 dbt、Spark 等现有数据栈的集成深度尚待在真实使用中验证
50%待验证大型dbt项目应尽早建立分层和命名规范，把增量处理和物化策略作为设计阶段决策，并投入资源建设监控和元数据体系
50%待验证dbt的血缘图基于项目中模型间的ref()引用关系自动生成有向无环图，可在dbt docs generate后通过内置文档站点可视化浏览
50%待验证将dbt的run_results.json和manifest.json摄入数仓可自建监控模型，Elementary和Re:data是用于在dbt内部构建数据观测层的开源工具
50%待验证dbt选择器语法支持图操作符精准圈定模型子集，如dbt run -s my_model+运行某模型及其所有下游，+my_model运行其所有上游，1+my_model+1只运行直接上下游一层
50%待验证结合标签可按业务域隔离运行dbt模型，例如dbt run -s tag:finance
50%待验证将每次运行产生的manifest.json与run_results.json归档可实现跨运行的结果对比，用于识别引入问题的变更
50%待验证IFCO的数据团队在Databricks平台上运行一个超大规模的dbt项目，用于追踪、分析和决策其物理资产
50%