PySpark

Apache Spark的Python API，专为分布式大规模数据处理设计，支持DataFrame操作和MLlib机器学习库集成，是处理PB级数据的主流工具