摘要:
核心模块、事件模块、标准Http模块、可选Http模块、邮件模块、第三方模块和补丁。 阅读全文
摘要:
1 阅读全文
摘要:
3.1 SparkContext概述 SparkConf负责配置参数,主要通过ConcurrentHaspMap来维护各种Spark的配置属性。 读取“spark.”开头的配置文件。 接下来对于Sparkconfi的赋值,各项配置信息的校验。 3.2 创建执行环境SparkEnv 创建SparkEn 阅读全文
摘要:
若夫乘天地之正,而御六气之辩解,以游无穷者,彼且恶乎待哉? ——《庄子.逍遥游》 翻译:至于遵循宇宙万物的规律,把握“六气”的变化,遨游于无穷无尽的境域,他还仰赖什么呢! 2.1 初始Spark 第一点是关于MRv1与MRv2的区别对比。 2.2 Spark基础知识 主要解释Spark的各个版本,介 阅读全文
摘要:
《深入理解Spark 核心思想与源码分析》 耿嘉安著 本书共计486页,计划每天读书20页,计划25天完成。 2018-12-20 1-20页 凡事豫则立,不豫则废;言前定,则不跲;事前定,则不困。 ——《礼记.中庸》 第一章: 1、运行环境,安装JDK。 2、运行环境,安装scala。 wget 阅读全文
摘要:
主Index的处理Java: 阅读全文