摘要:
一、Spark SQL 基础
1、什么是Spark SQL
2、为什么学习Spark SQL
3、核心概念:表(DataFrame DataSet)
4、创建DataFrame
5、操作DataFrame
6、操作DataSet
7、Spark SQL 中的视图
二、使用数据源
1、使用load函数、save函数
2、Parquet文件
3、json文件
4、JDBC
5、使用Hive
三、在IDE中开发Spark SQL
1、创建DataFrame StructType方式
2、使用case class来创建DataFrame
3、写入mysql
4、使用Spark SQL 读取Hive中的数据,将计算结果存入mysql
四、性能优化
1、把内存中缓存表的数据
2、了解性能优化的相关参数 阅读全文