Spark SQL 编程

Spark SQL的依赖

 

Spark SQL的入口：SQLContext

 

官方网站参考 https://spark.apache.org/docs/1.6.2/sql-programming-guide.html#starting-point-sqlcontext

 

 

针对几种不同的语言来写。

 

Spark SQL的入口：HiveContext

 

 

SQLContext vs HiveContext

 

Spark SQL的作用与使用方式

 

 

Spark SQL支持的API

 

从程序中使用SparkSQL的基本套路

 

DataFrame--推荐使用

 

 

为什么要用DataFrame

 

 

SparkSQL数据源：从各种数据源创建DataFrame

 

 

SparkSQL数据源：RDD

 

 

SparkSQL数据源：Hive

 

 

 

 sparkSQL数据源：Hive读写

 

 

 

 SparkSQL数据源：访问不同版本的metastore

 

 

SparkSQL数据源：Parquet

 

 

SparkSQL数据源:Parquet -- Partition Discovery

 

 

SparkSQL数据源:Json

 

 

SparkSQL数据源:JDBC

 

DataFrame上的各种操作