2018年4月28日
Spark Streaming
摘要： Spark Streaming 1、课程目标 1、掌握sparkStreaming底层原理和架构 2、掌握DStream的原理 3、掌握sparkStreaming与flume整合 4、掌握sparkStreaming与kafka整合 1、掌握sparkStreaming底层原理和架构 2、掌握DS 阅读全文
posted @ 2018-04-28 23:15 SCLi 阅读(241) 评论(0) 推荐(0) 编辑
Spark RDD
摘要： Spark RDD 1、课程目标 1、掌握RDD的原理 2、熟练使用RDD的算子来完成计算任务 3、掌握RDD的宽窄依赖 4、掌握RDD的缓存机制 5、掌握划分stage 1、掌握RDD的原理 2、熟练使用RDD的算子来完成计算任务 3、掌握RDD的宽窄依赖 4、掌握RDD的缓存机制 5、掌握划分s 阅读全文
posted @ 2018-04-28 22:55 SCLi 阅读(145) 评论(0) 推荐(0) 编辑
Spark SQL
摘要： 一.Spark SQL概述 1.Spark SQL的前生今世 Shark是一个为Spark设计的大规模数据仓库系统，它与Hive兼容。Shark建立在Hive的代码基础上，并通过将Hive的部分物理执行计划交换出来。这个方法使得Shark的用户可以加速Hive的查询，但是Shark继承了Hive的大 阅读全文
posted @ 2018-04-28 17:50 SCLi 阅读(284) 评论(0) 推荐(0) 编辑