2018年6月26日
[Spark]-编译(2.3.1)&部署(YARN-Cluster)
摘要： 1.基础环境准备 Spark 2.3.1 编译需要 Maven 3.3.9 和 Java 8+ (从官网我们得知Java7已经在Spark2.2.0开始就已经不支持了),这里已提前准备,跳过. 另 Maven需要将内存使用调高(防止编译过程内存超标报错) Spark编译时最好把Git装上.(方便后面 阅读全文
posted @ 2018-06-26 22:28 NightPxy 阅读(404) 评论(0) 推荐(0) 编辑
[Spark]-背景
摘要： 占位置 阅读全文
posted @ 2018-06-26 21:39 NightPxy 阅读(159) 评论(0) 推荐(0) 编辑
[Hive]-常规优化以及执行计划解析
摘要： 1.HiveSQL优化 1.1 中心思想 这里以Hive On MapReduce 为例,Hive On Spark等思路也是一致的. HiveSQL会最终转化为MapReduce进行执行,那么优化的前提是至少对MapReduce有基本的了解 其次是必须了解HiveSQL会转化成怎么样的MapRed 阅读全文
posted @ 2018-06-26 17:30 NightPxy 阅读(6317) 评论(0) 推荐(1) 编辑