SparkSql文档
SparkSQL是Spark上的高级模块，SparkSQL是一个SQL解析引擎，将SQL解析成特殊的RDD（DataFrame），然后在Spark集群中运行
SparkSQL是用来处理结构化数据的（先将非结构化的数据转换成结构化数据）
SparkSQL支持两种编程API
1.SQL方式
2.DataFrame的方式（DSL）
SparkSQL兼容hive（元数据库、SQL语法、UDF、序列化、反序列化机制）
SparkSQL支持统一的数据源，课程读取多种类型的数据
SparkSQL提供了标准的连接（JDBC、ODBC），以后可以对接一下BI工具
------------------------------------------------------------
RDD和DataFrame的区别
DataFrame里面存放的结构化数据的描述信息，DataFrame要有表头（表的描述信息），描述了有多少列，每一列数叫什么名字、什么类型、能不能为空？
DataFrame是特殊的RDD（RDD+Schema信息就变成了DataFrame）
------------------------------------------------------------
SparkSQL的第一个入门程序
首先在pom中添加sparkSQL的依赖
<!-- 导入spark sql的依赖 -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>${spark.version}</version>
</dependency>
SparkSQL 1.x和2.x的编程API有一些变化，企业中都有使用，所以两种方式都将
先用1.x的方式：
SQL方式
创建一个SQLContext
1.创建sparkContext，然后再创建SQLContext
2.先创建RDD，对数据进行整理，然后关联case class，将非结构化数据转换成结构化数据
3.显示的调用toDF方法将RDD转换成DataFrame
4.注册临时表
5.执行SQL（Transformation，lazy）
6.执行Action
----
1.创建sparkContext，然后再创建SQLContext
2.先创建RDD，对数据进行整理，然后关联Row，将非结构化数据转换成结构化数据
3.定义schema
4.调用sqlContext的createDataFrame方法
5.注册临时表
6.执行SQL（Transformation，lazy）
7.执行Action
DSL（DatFrame API）
先用2.x的方式：
创建一个SparkSession
val spark = SparkSession.builder()
.appName("DataSetWordCount")
.master("local[*]")
.getOrCreate()
----------------------------------------------------
UDF （user defined function）
UDF 输入一行，返回一个结果 一对一 ip2Province(123123111) -> 辽宁省
UDTF 输入一行，返回多行（hive）一对多 spark SQL中没有UDTF，spark中用flatMap即可实现该功能
UDAF 输入多行，返回一行 aggregate(聚合) count、sum这些是sparkSQL自带的聚合函数，但是复杂的业务，要自己定义
----------------------------------------------------
Dateset是spark1.6以后推出的新的API，也是一个分布式数据集，于RDD相比，保存了跟多的描述信息，概念上等同于关系型数据库中的二维表，基于保存了跟多的描述信息，spark在运行时可以被优化。
Dateset里面对应的的数据是强类型的，并且可以使用功能更加丰富的lambda表达式，弥补了函数式编程的一些缺点，使用起来更方便
在scala中，DataFrame其实就是Dateset[Row]
Dataset的特点：
1.一系列分区
2.每个切片上会有对应的函数
3.依赖关系
4.kv类型shuffle也会有分区器
5.如果读取hdfs中的数据会感知最优位置
6.会优化执行计划
7.支持更加智能的数据源
调用Dataset的方法先会生成逻辑计划，然后被spark的优化器进行优化，最终生成物理计划，然后提交到集群中运行！
1. Spark SQL
1.1. Spark SQL概述
1.1.1. 什么是Spark SQL
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。
1.1.2. 为什么要学习Spark SQL
我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！
1.易整合
2.统一的数据访问方式
3.兼容Hive
4.标准的数据连接
1.2. DataFrames
1.2.1. 什么是DataFrames（1.3）
与RDD类似，DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格，除了数据以外，还记录数据的结构信息，即schema。同时，与Hive类似，DataFrame也支持嵌套数据类型（struct、array和map）。从API易用性的角度上 看，DataFrame API提供的是一套高层的关系操作，比函数式的RDD API要更加友好，门槛更低。由于与R和Pandas的DataFrame类似，Spark DataFrame很好地继承了传统单机数据分析的开发体验。
1.2.2. 创建DataFrames
1.在本地创建一个文件，有三列，分别是id、name、age，用空格分隔，然后上传到hdfs上
hdfs dfs -put person.txt /
2.在spark shell执行下面命令，读取数据，将每一行的数据使用列分隔符分割
val lineRDD = sc.textFile("hdfs://node1.xiaoniu.com:9000/person.txt").map(_.split(" "))
3.定义case class（相当于表的schema）
case class Person(id:Int, name:String, age:Int)
4.将RDD和case class关联
val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))
5.将RDD转换成DataFrame
val personDF = personRDD.toDF
6.对DataFrame进行处理
personDF.show
1.3. DataFrame常用操作
1.3.1. DSL风格语法
//查看DataFrame中的内容
personDF.show
//查看DataFrame部分列中的内容
personDF.select(personDF.col("name")).show
personDF.select(col("name"), col("age")).show
personDF.select("name").show
//打印DataFrame的Schema信息
personDF.printSchema
//查询所有的name和age，并将age+1
personDF.select(col("id"), col("name"), col("age") + 1).show
personDF.select(personDF("id"), personDF("name"), personDF("age") + 1).show
//过滤age大于等于18的
personDF.filter(col("age") >= 18).show
//按年龄进行分组并统计相同年龄的人数
personDF.groupBy("age").count().show()
1.3.2. SQL风格语法
如果想使用SQL风格的语法，需要将DataFrame注册成表
personDF.registerTempTable("t_person")
//查询年龄最大的前两名
sqlContext.sql("select * from t_person order by age desc limit 2").show
//显示表的Schema信息
sqlContext.sql("desc t_person").show
2. 以编程方式执行Spark SQL查询
2.1. 编写Spark SQL查询程序
前面我们学习了如何在Spark Shell中使用SQL完成查询，现在我们来实现在自定义的程序中编写Spark SQL查询程序。首先在maven项目的pom.xml中添加Spark SQL的依赖
|
<dependency> |
2.1.1. 通过反射推断Schema
创建一个object为cn.xiaoniu.spark.sql.InferringSchema
|
package cn.xiaoniu.spark.sql
|
将程序打成jar包，上传到spark集群，提交Spark任务
/usr/local/spark-1.6.3-bin-hadoop2.6/bin/spark-submit \
--class cn.xiaoniu.spark.sql.InferringSchema \
--master spark://node1.xiaoniu.com:7077 \
/root/spark-mvn-1.0-SNAPSHOT.jar \
hdfs://node1.xiaoniu.com:9000/person.txt \
hdfs://node1.xiaoniu.com:9000/out
查看运行结果
hdfs dfs -cat hdfs://node1.xiaoniu.com:9000/out/part-r-*
2.1.2. 通过StructType直接指定Schema
创建一个object为cn.xiaoniu.spark.sql.SpecifyingSchema
|
package cn.xiaoniu.spark.sql
|
将程序打成jar包，上传到spark集群，提交Spark任务
/usr/local/spark-1.6.3-bin-hadoop2.6/bin/spark-submit \
--class cn.xiaoniu.spark.sql.InferringSchema \
--master spark://node1.xiaoniu.com:7077 \
/root/spark-mvn-1.0-SNAPSHOT.jar \
hdfs://node1.xiaoniu.com:9000/person.txt \
hdfs://node1.xiaoniu.com:9000/out1
查看结果
hdfs dfs -cat hdfs://node1.xiaoniu.com:9000/out1/part-r-*
3. 数据源
3.1. JDBC
Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。
3.1.1. 从MySQL中加载数据（Spark Shell方式）
1.启动Spark Shell，必须指定mysql连接驱动jar包
/usr/local/spark-1.6.3-bin-hadoop2.6/bin/spark-shell \
--master spark://node1.xiaoniu.com:7077 \
--jars /usr/local/spark-1.6.3-bin-hadoop2.6/mysql-connector-java-5.1.35-bin.jar \
--driver-class-path /usr/local/spark-1.6.3-bin-hadoop2.6/mysql-connector-java-5.1.35-bin.jar
2.从mysql中加载数据
val jdbcDF = sqlContext.read.format("jdbc").options(Map("url" -> "jdbc:mysql://192.168.10.1:3306/bigdata", "driver" -> "com.mysql.jdbc.Driver", "dbtable" -> "person", "user" -> "root", "password" -> "123456")).load()
3.执行查询
jdbcDF.show()
3.1.2. 将数据写入到MySQL中（打jar包方式）
1.编写Spark SQL程序
|
package cn.xiaoniu.spark.sql
|
2.用maven将程序打包
3.将Jar包提交到spark集群
/usr/local/spark-1.6.3-bin-hadoop2.6/bin/spark-submit \
--class cn.xiaoniu.spark.sql.JdbcRDD \
--master spark://node1.xiaoniu.com:7077 \
--jars /usr/local/spark-1.6.3-bin-hadoop2.6/mysql-connector-java-5.1.35-bin.jar \
--driver-class-path /usr/local/spark-1.6.3-bin-hadoop2.6/mysql-connector-java-5.1.35-bin.jar \
/root/spark-mvn-1.0-SNAPSHOT.jar
