SparkSQL概述
1. SparkSQL支持的数据源
- Hive
- Scala内存中数据--集合
- 支持从RDD读取数据作SQL操作
- 支持从外部存储文件读取数据json,csv,普通结构文本文件
- 支持从关系型数据库读取数据处理(MySQL,SQL Server,Oracle)
2. SparkSQL入口
- SQLContext:只支持SQL语法
- HiveContext:是SQLContext的子类,既支持SQL语法,也支持HQL语法。但是默认情况下只能使用HQL语法,需要专门的配置才能开启SQL语法支持
- SparkSession:Spark2.0版本之后引入的,相当于是SQLContext和HiveContext的结合,比其他两者功能强大效率还高。SparkSession内部封装了一个SparkContext。严格意义上来说,SparkSession也可以当作SparkCore程序来执行入口。
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16626511.html