通过集合构建RDD或者DataFrame

利用字典构建dataframe。

from pyspark.sql import SparkSession,Row

spark = SparkSession.builder.appName("get_app_category").enableHiveSupport().config("spark.driver.host", "localhost").config("spark.debug.maxToStringFields", "100").getOrCreate()

dict=[{'c1':'a','c2':'b'},{'c1':'c','c2':'d'}]
spark.createDataFrame(dict).show()

 

posted @ 2020-06-30 13:58  muyue123  阅读(141)  评论(0)  编辑  收藏  举报