spark 集群处理后转单机pyspark 或 pands 数据处理 的方法

spark 集群处理后转单机pyspark 或 pands 数据处理 的方法

文章大纲

• 简介
• • spark 环境下载
  • conda 环境
  • spark dataframe 转换为pandas dataframe 的数据类型对应
  • python 执行 字符串代码
• 参考文献

简介

目前混合编程的需求越来越多，有的时候需要大数据处理一批数据，但是数据处理的时候只有python 编写的 基于pandas 的数据处理代码，怎么办呢，我们需要想办法把之前的数据处理代码复用起来。

spark 3.2 版本 尝试将 pandas dataframe 的api 和spark 的api 统一起来。

比如 ：koalas 这个项目：在spark 3.1 之前，使用他来统一两者的api，在3.2 版本开始，PySpark 则可以直接使用。

https://github.com/databricks/koalas