Pandas中的DataFrame和pyspark中的DataFrame互相转换

一、Pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换：

# pandas转spark
values = pandas_df.values.tolist()
columns = pandas_df.columns.tolist()
spark_df = spark.createDataFrame(values, columns)
 
# spark转pandas
pandas_df = spark_df.toPandas()

二、Spark和pandas的DataFrame区别：