OpenLineage
LF AI & Data 基金会下的开源数据血缘标准,提供与调度器、计算引擎无关的统一血缘事件格式,核心模型包含 Job、Run、Dataset 三类对象,支持可扩展 facet
时间轴 (近 90 天)
Snowflake 的 External Lineage API 接受 OpenLineage 格式的血缘事件并直接合并到血缘图中,且该机制已经 GA。
OpenLineage 是 LF AI & Data 基金会下的开源数据血缘标准,最初由 Datakin(现 Astronomer)发起,目标是提供与调度器、计算引擎无关的统一血缘事件格式。
OpenLineage 的核心模型由 Job、Run 和 Dataset 三类对象组成,三者之间通过 inputs/outputs 边连接。
OpenLineage 事件以 JSON 载荷发送,通常包含 eventType、eventTime、producer 等字段,以及可扩展的 facets。
Snowflake 目前只识别 datasetType 和 columnLineage 两种 OpenLineage facet,documentation 和 ownership 等其他 facet 会被静默忽略。
Snowflake 在 /api/v2/lineage/external-lineage 端点接受 OpenLineage 格式并合并到血缘图中。
全部知识事实 (6)
Snowflake 的 External Lineage API 接受 OpenLineage 格式的血缘事件并直接合并到血缘图中,且该机制已经 GA。
50%待验证OpenLineage 是 LF AI & Data 基金会下的开源数据血缘标准,最初由 Datakin(现 Astronomer)发起,目标是提供与调度器、计算引擎无关的统一血缘事件格式。
50%待验证OpenLineage 的核心模型由 Job、Run 和 Dataset 三类对象组成,三者之间通过 inputs/outputs 边连接。
50%待验证OpenLineage 事件以 JSON 载荷发送,通常包含 eventType、eventTime、producer 等字段,以及可扩展的 facets。
50%待验证Snowflake 目前只识别 datasetType 和 columnLineage 两种 OpenLineage facet,documentation 和 ownership 等其他 facet 会被静默忽略。
50%待验证Snowflake 在 /api/v2/lineage/external-lineage 端点接受 OpenLineage 格式并合并到血缘图中。
50%