SparkSession 与SparkContext

SparkSession: SparkSession实质上是SQLContext和HiveContext的组合(未来可能还会加上StreamingContext),所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。

SparkSession内部封装了SparkContext,所以计算实际上是由SparkContext完成的。

也就是需要sparksql或者hive时候选择SparkSession,否则直接用SparkContext就可以了

posted @ 2020-03-27 16:31  再见傅里叶  阅读(1768)  评论(0编辑  收藏  举报