[控场AI]
概念OpenLineage 标准

OpenLineage

LF AI & Data 基金会下的开源数据血缘标准,提供与调度器、计算引擎无关的统一血缘事件格式,核心模型包含 Job、Run、Dataset 三类对象,支持可扩展 facet

时间轴 (近 90 天)

10月15日

Snowflake 的 External Lineage API 接受 OpenLineage 格式的血缘事件并直接合并到血缘图中,且该机制已经 GA。

待验证50%
10月15日

OpenLineage 是 LF AI & Data 基金会下的开源数据血缘标准,最初由 Datakin(现 Astronomer)发起,目标是提供与调度器、计算引擎无关的统一血缘事件格式。

待验证50%
10月15日

OpenLineage 的核心模型由 Job、Run 和 Dataset 三类对象组成,三者之间通过 inputs/outputs 边连接。

待验证50%
10月15日

OpenLineage 事件以 JSON 载荷发送,通常包含 eventType、eventTime、producer 等字段,以及可扩展的 facets。

待验证50%
10月15日

Snowflake 目前只识别 datasetType 和 columnLineage 两种 OpenLineage facet,documentation 和 ownership 等其他 facet 会被静默忽略。

待验证50%
10月15日

Snowflake 在 /api/v2/lineage/external-lineage 端点接受 OpenLineage 格式并合并到血缘图中。

待验证50%

全部知识事实 (6)

来源文章