ETL
数据工程中的Extract-Transform-Load流程，数据清洗是其中耗时最长的环节，占数据分析师60%-80%的工作时间
核心事实
时间轴 (近 90 天)
ETL 的代价包括链路长、时效差（源系统变更往往要等到下一个调度周期才能反映到仓库），以及每一份物理副本带来的额外存储成本和数据离开原系统后需要重新施加的访问控制与脱敏策略。
数据血缘概念源自数据仓库与数据治理领域，典型实现包括ETL管线的DAG、run id、输入输出哈希和版本快照。
判定一个系统是否算真正的 HTAP，通常看它能否在同一份数据上做到分析结果与交易写入的近实时一致，而不依赖额外的 ETL 同步。
ETL通常有小时级甚至天级的延迟，且大批量抽取会给源库带来压力。
数据从 OLTP 同步到 OLAP 通常存在延迟，少则几分钟多则几小时，导致实时决策难以实现，且维护两条数据管道带来更高的硬件成本、更复杂的 ETL 流程和更多出错可能。
在 HTAP 场景中，MVCC 的版本链和可见性判断机制使分析查询能够读取最新已提交的数据版本，而无需停止事务写入，从而消除读写冲突并避免 ETL 同步延迟。
文档审查的「接入层 + 校验层」分层设计类似于传统 ETL 管线，但加入了 AI 推理环节，且处理的是高度异构的非结构化内容，对容错性和可解释性要求更高
将异构数据映射至统一指标体系通常需要建立主数据参考表（Master Data Reference）并通过ETL或ELT流程重新编码
传统ETL管道需要先将数据抽取到中间存储、转换再加载，链路通常存在数小时甚至数天延迟，且每增加一个下游系统就产生一份独立副本
传统 ETL 管道搭建需数据工程师介入，维护成本随数据源数量指数级增长，且上游 API 变更可能导致管道断裂
还有 15 条时间轴事件
全部知识事实 (20)
ETL（Extract-Transform-Load）流程是解决异构数据整合问题的标准方法论
75%待验证ETL 是 Extract（抽取）、Transform（转换）、Load（加载）的缩写，是传统数据分析的核心流程
60%待验证ETL是Extract（提取）、Transform（转换）、Load（加载）的缩写，代表数据从原始来源流向最终可用状态的标准流程
60%待验证ETL 的代价包括链路长、时效差（源系统变更往往要等到下一个调度周期才能反映到仓库），以及每一份物理副本带来的额外存储成本和数据离开原系统后需要重新施加的访问控制与脱敏策略。
50%待验证数据血缘概念源自数据仓库与数据治理领域，典型实现包括ETL管线的DAG、run id、输入输出哈希和版本快照。
50%待验证判定一个系统是否算真正的 HTAP，通常看它能否在同一份数据上做到分析结果与交易写入的近实时一致，而不依赖额外的 ETL 同步。
50%待验证ETL通常有小时级甚至天级的延迟，且大批量抽取会给源库带来压力。
50%待验证数据从 OLTP 同步到 OLAP 通常存在延迟，少则几分钟多则几小时，导致实时决策难以实现，且维护两条数据管道带来更高的硬件成本、更复杂的 ETL 流程和更多出错可能。
50%待验证在 HTAP 场景中，MVCC 的版本链和可见性判断机制使分析查询能够读取最新已提交的数据版本，而无需停止事务写入，从而消除读写冲突并避免 ETL 同步延迟。
50%待验证文档审查的「接入层 + 校验层」分层设计类似于传统 ETL 管线，但加入了 AI 推理环节，且处理的是高度异构的非结构化内容，对容错性和可解释性要求更高
50%待验证将异构数据映射至统一指标体系通常需要建立主数据参考表（Master Data Reference）并通过ETL或ELT流程重新编码
50%待验证传统ETL管道需要先将数据抽取到中间存储、转换再加载，链路通常存在数小时甚至数天延迟，且每增加一个下游系统就产生一份独立副本
50%待验证传统 ETL 管道搭建需数据工程师介入，维护成本随数据源数量指数级增长，且上游 API 变更可能导致管道断裂
50%待验证MCP 让 Agent 在需要时实时拉取数据而非依赖预先批量同步，但因缺少 ETL 的清洗缓冲层，对 MCP 服务器返回数据质量提出更高要求
50%待验证传统架构中 OLTP 数据库与数据湖仓相互独立，数据需经 ETL 管道流转，带来延迟与一致性问题
50%待验证典型的ETL流程通常按批次运行，每隔数小时或每天将操作型数据库的变更数据抽取加载进数据仓库，导致分析侧看到的是数分钟至一天前的旧数据
50%待验证企业普遍采用ETL管道，把操作型数据库中的数据周期性地抽取、转换后加载到数据仓库中
50%待验证Ramp构建了客户洞察agent，用ETL和数据管道拉取全公司数据源，配合向量检索和聚类来理解产品、团队和功能
50%待验证在双系统架构中，全文检索与分析型查询之间通常需要ETL管道来同步数据，会引入数据延迟和一致性问题
50%待验证传统架构中企业需维护两套基础设施，并靠ETL管道把数据从事务系统搬运到分析系统
50%