SparkSQL概述

1. SparkSQL支持的数据源

  1. Hive
  2. Scala内存中数据--集合
  3. 支持从RDD读取数据作SQL操作
  4. 支持从外部存储文件读取数据json,csv,普通结构文本文件
  5. 支持从关系型数据库读取数据处理(MySQL,SQL Server,Oracle)

2. SparkSQL入口

  1. SQLContext:只支持SQL语法
  2. HiveContext:是SQLContext的子类,既支持SQL语法,也支持HQL语法。但是默认情况下只能使用HQL语法,需要专门的配置才能开启SQL语法支持
  3. SparkSession:Spark2.0版本之后引入的,相当于是SQLContext和HiveContext的结合,比其他两者功能强大效率还高。SparkSession内部封装了一个SparkContext。严格意义上来说,SparkSession也可以当作SparkCore程序来执行入口。
posted @ 2022-08-26 09:30  jsqup  阅读(14)  评论(0编辑  收藏  举报