摘要: 一、Spark SQL 基础 1、什么是Spark SQL 2、为什么学习Spark SQL 3、核心概念:表(DataFrame DataSet) 4、创建DataFrame 5、操作DataFrame 6、操作DataSet 7、Spark SQL 中的视图 二、使用数据源 1、使用load函数、save函数 2、Parquet文件 3、json文件 4、JDBC 5、使用Hive 三、在IDE中开发Spark SQL 1、创建DataFrame StructType方式 2、使用case class来创建DataFrame 3、写入mysql 4、使用Spark SQL 读取Hive中的数据,将计算结果存入mysql 四、性能优化 1、把内存中缓存表的数据 2、了解性能优化的相关参数 阅读全文
posted @ 2019-04-12 20:00 hsiehchou 阅读(175) 评论(0) 推荐(0) 编辑