概念Apache ORC
ORC
面向列式存储的开放文件格式,针对Hadoop生态优化,支持高效读取与谓词下推
时间轴 (近 90 天)
10月16日
Lakehouse 的构想是用开放文件格式(如 Parquet、ORC)存储数据,同时在其上叠加事务、schema 演进、时间旅行等数仓能力,避免数据湖与数据仓库两套系统并存带来的数据冗余和同步延迟。
待验证50%
10月16日
表格式(Table Format)通过在 Parquet、ORC 等不可变的开放文件之上维护一层元数据(记录表由哪些文件组成、schema 历史及每次提交的快照),实现在不修改底层文件的前提下进行原子提交、schema 演进与时间旅行。
待验证50%
10月8日
数据湖通常指以低成本对象存储(如Amazon S3)为底层、以Parquet或ORC等列式格式存储数据的体系
待验证50%