Apache Iceberg
Apache开源的高性能开放表格式,支持大规模分析型数据集,提供ACID事务、时间旅行、Schema演化等特性,广泛应用于数据湖仓架构
Core Facts
Timeline (last 90 days)
Delta Lake、Iceberg和Hudi三者都支持ACID事务、time travel(历史版本查询)、schema演进和分区裁剪
Iceberg由Netflix发起并贡献给Apache基金会,强调多引擎兼容性(Spark、Trino、Flink、Hive均可访问)
湖仓一体架构基于开放的存储格式(如Parquet)和开放的表格式(如Delta Lake、Iceberg、Hudi),在廉价的对象存储之上提供事务、版本管理和schema演进等能力
开放表格式(如Apache Iceberg、Delta Lake)将表的完整状态持久化为对象存储中的元数据文件,而非依赖中心化服务维护
Iceberg和Delta Lake采用乐观并发控制机制,写入操作通过原子地更新当前元数据文件指针来提交事务
Apache Iceberg的表元数据层与数据文件分离,使得目录可以在不修改底层数据的情况下附加治理属性
Iceberg的快照隔离机制为审计提供了历史版本支持
Databricks于2024年以约10亿美元收购数据管理公司Tabular,该公司由Apache Iceberg格式的原班创始团队创立
REST Catalog协议正在成为业界事实标准,让Iceberg表的元数据管理不再绑定具体的Catalog实现如Hive Metastore、AWS Glue
开放表格式如Apache Iceberg、Delta Lake、Apache Hudi的兴起,让数据不再被单一引擎绑定
3 more timeline events
All Facts (15)
Databricks通过其开源项目Delta Lake实现了数据湖仓(Lakehouse)架构
90%VerifiedLakebase 是 Databricks 生态中提出的一种新型数据库形态,其核心理念是将 Postgres 兼容的事务型数据库能力构建在数据湖仓架构之上
75%UnverifiedDelta Lake、Iceberg和Hudi三者都支持ACID事务、time travel(历史版本查询)、schema演进和分区裁剪
50%Unverified湖仓一体架构基于开放的存储格式(如Parquet)和开放的表格式(如Delta Lake、Iceberg、Hudi),在廉价的对象存储之上提供事务、版本管理和schema演进等能力
50%UnverifiedIceberg由Netflix发起并贡献给Apache基金会,强调多引擎兼容性(Spark、Trino、Flink、Hive均可访问)
50%Unverified开放表格式(如Apache Iceberg、Delta Lake)将表的完整状态持久化为对象存储中的元数据文件,而非依赖中心化服务维护
50%UnverifiedIceberg和Delta Lake采用乐观并发控制机制,写入操作通过原子地更新当前元数据文件指针来提交事务
50%UnverifiedIceberg的快照隔离机制为审计提供了历史版本支持
50%UnverifiedApache Iceberg的表元数据层与数据文件分离,使得目录可以在不修改底层数据的情况下附加治理属性
50%Unverified开放表格式如Apache Iceberg、Delta Lake、Apache Hudi的兴起,让数据不再被单一引擎绑定
50%UnverifiedREST Catalog协议正在成为业界事实标准,让Iceberg表的元数据管理不再绑定具体的Catalog实现如Hive Metastore、AWS Glue
50%UnverifiedApache Iceberg 由 Netflix 发起,Apache Hudi 由 Uber 开源,最初聚焦于增量数据处理
50%Unverified数据湖仓架构通过在对象存储之上引入 Delta Lake、Apache Iceberg 等开放表格式,实现了 ACID 事务、时间旅行、模式演进等特性
50%UnverifiedApache Iceberg和Apache Hudi与Delta Lake合称湖仓一体时代的三大开放格式
50%UnverifiedDatabricks于2024年以约10亿美元收购数据管理公司Tabular,该公司由Apache Iceberg格式的原班创始团队创立
50%