摘要:
3.1 SparkContext概述 SparkConf负责配置参数,主要通过ConcurrentHaspMap来维护各种Spark的配置属性。 读取“spark.”开头的配置文件。 接下来对于Sparkconfi的赋值,各项配置信息的校验。 3.2 创建执行环境SparkEnv 创建SparkEn 阅读全文
摘要:
若夫乘天地之正,而御六气之辩解,以游无穷者,彼且恶乎待哉? ——《庄子.逍遥游》 翻译:至于遵循宇宙万物的规律,把握“六气”的变化,遨游于无穷无尽的境域,他还仰赖什么呢! 2.1 初始Spark 第一点是关于MRv1与MRv2的区别对比。 2.2 Spark基础知识 主要解释Spark的各个版本,介 阅读全文