摘要: 3.1 SparkContext概述 SparkConf负责配置参数,主要通过ConcurrentHaspMap来维护各种Spark的配置属性。 读取“spark.”开头的配置文件。 接下来对于Sparkconfi的赋值,各项配置信息的校验。 3.2 创建执行环境SparkEnv 创建SparkEn 阅读全文
posted @ 2018-12-24 17:28 Mars、少年 阅读(439) 评论(0) 推荐(0) 编辑
摘要: 若夫乘天地之正,而御六气之辩解,以游无穷者,彼且恶乎待哉? ——《庄子.逍遥游》 翻译:至于遵循宇宙万物的规律,把握“六气”的变化,遨游于无穷无尽的境域,他还仰赖什么呢! 2.1 初始Spark 第一点是关于MRv1与MRv2的区别对比。 2.2 Spark基础知识 主要解释Spark的各个版本,介 阅读全文
posted @ 2018-12-24 14:43 Mars、少年 阅读(258) 评论(0) 推荐(0) 编辑