Spark:Dataset注册临时表tempView

注册:

// 创建它的SparkSession对象终止前有效
df.createOrReplaceTempView("tempViewName")  

// spark应用程序终止前有效
df.createOrReplaceGlobalTempView("tempViewName")  

取消注册:

spark.catalog.dropTempView("tempViewName")
spark.catalog.dropGlobalTempView("tempViewName")

临时表只是给df起了个名字,能够像使用hive表一样使用,并不会占用额外内存,除非用了cache等加载到内存的操作。

posted @ 2019-01-04 17:25  xuejianbest  阅读(1961)  评论(0编辑  收藏  举报