Pandas中的DataFrame和pyspark中的DataFrame互相转换

 

一、Pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换：

# pandas转spark
values = pandas_df.values.tolist()
columns = pandas_df.columns.tolist()
spark_df = spark.createDataFrame(values, columns)
 
# spark转pandas
pandas_df = spark_df.toPandas()

二、Spark和pandas的DataFrame区别：

 

 

 

posted @   干了这瓶老干妈  阅读(1835)  评论(0)  编辑  收藏  举报
相关博文：
·  Spark读取文本文件并转换为DataFrame
·  pyspark中将数据从列表转换为字符串
·  pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换
·  pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换
·  如何优雅的实现pandas DataFrame 和spark dataFrame 相互转换
阅读排行：
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型，支持深度思考和联网搜索！
· 基于 Docker 搭建 FRP 内网穿透开源项目（很简单哒）
· ollama系列1：轻松3步本地部署deepseek，普通电脑可用
· 按钮权限的设计及实现
· 【杂谈】分布式事务——高大上的无用知识？
Live2D
欢迎阅读『Pandas中的DataFrame和pyspark中的DataFrame互相转换』
点击右上角即可分享
微信分享提示
SQL AI 助手