Apache Spark
Apache Spark是一个开源的分布式大数据处理框架，由Apache软件基金会维护。它以内存计算为核心优势，相较于传统磁盘型计算框架显著提升处理速度，支持批处理、流处理、机器学习和图计算等多种计算模式。Spark提供Java、Scala、Python（PySpark）和R等多语言API，广泛应用于数据工程、数据分析和机器学习领域。
核心事实
时间轴 (近 90 天)
Databricks 的 Delta Lake 与 Apache Spark 运行时是湖仓架构的典型实现
Spark的RLS实现依赖DataSourceV2接口的扩展
Apache Spark由Matei Zaharia于2009年作为研究项目启动
Databricks于2013年以Spark商业化为起点联合创立
Apache Spark的核心创新在于将数据集缓存在内存中，相比Hadoop MapReduce在迭代计算场景下速度提升可达10至100倍
本次学习节设置了六大学习路径：数据工程、分析、机器学习、生成式AI、Apache Spark和数据仓库
Apache Spark是Databricks的技术根基
Databricks的核心产品体系包括基于Apache Spark的统一分析引擎、Delta Lake数据湖存储层、MLflow模型管理平台以及Mosaic AI大模型能力
Databricks 基于 Apache Spark 构建，在机器学习与大规模数据工程场景中占据优势
Apache Spark Structured Streaming是Spark在2016年引入的统一流批处理框架，将流数据处理抽象为对无界表的连续查询
还有 4 条时间轴事件
全部知识事实 (17)
Databricks由Apache Spark的创始团队于2013年创立
90%已验证Databricks是基于Apache Spark的统一数据分析平台,最初由Spark创始团队创建
80%已验证PySpark是Apache Spark的Python API，能够处理TB甚至PB级别的数据量
70%待验证Andy Konwinski曾在加州大学伯克利分校的AMPLab从事研究工作，深度参与了Apache Spark和Apache Mesos等开源项目的早期开发
90%待验证Apache Spark通过引入弹性分布式数据集（RDD）和内存计算模型，将大规模数据处理的速度提升了数十倍甚至上百倍
80%待验证Apache Spark是Databricks的技术根基
70%待验证Databricks 的 Delta Lake 与 Apache Spark 运行时是湖仓架构的典型实现
50%待验证Spark的RLS实现依赖DataSourceV2接口的扩展
50%待验证Apache Spark的核心创新在于将数据集缓存在内存中，相比Hadoop MapReduce在迭代计算场景下速度提升可达10至100倍
50%待验证Apache Spark由Matei Zaharia于2009年作为研究项目启动
50%待验证Databricks于2013年以Spark商业化为起点联合创立
50%待验证Databricks的核心产品体系包括基于Apache Spark的统一分析引擎、Delta Lake数据湖存储层、MLflow模型管理平台以及Mosaic AI大模型能力
50%待验证Databricks 基于 Apache Spark 构建，在机器学习与大规模数据工程场景中占据优势
50%待验证Apache Spark Structured Streaming是Spark在2016年引入的统一流批处理框架，将流数据处理抽象为对无界表的连续查询
50%待验证SCOUT系统的实时数据处理能力建立在流数据架构之上，典型技术栈包括Apache Kafka、Apache Spark或Flink等流处理引擎，以及云原生数据湖或数据仓库如AWS S3、Azure Data Lake、Snowflake等
50%待验证Amazon开源的Deequ基于Apache Spark，侧重于大规模数据集上的统计校验
50%待验证Great Expectations 与 Airflow、dbt、Spark 及各类数据仓库都有较好的集成支持，并原生支持对 Spark DataFrame 执行验证
50%