12 2021 档案
摘要：11.识别函数式编程风格 1）倾向于使用val、不可变对象和没有副作用的方法，优先选择它们。不过当你有特定的需要和理由时，也不要拒绝var、可变对象和带有副作用的方法。
阅读全文
摘要：本文内容：Spark配置、RPC框架、事件总线、度量系统 一.Spark配置： 1）系统属性中的配置 2）使用SparkConf配置的API 3）克隆SparkConf配置 二.Spark内置的RPC框架 1）RPC配置TransportConf 2）RPC客户端工厂TransportClientF
阅读全文
摘要：Spark学习 -本系列学习书籍《Spark内核设计的艺术：架构设计与实现》--耿嘉安 一.本文内容：概括性讲述Spark的设计理念和基本架构 二.Spark设计理念 1.Spark包含很多子模块，理解这些模块有助于我们掌握Spark的设计思想。Spark的模块按照重要程度可分为核心功能和扩展功能。
阅读全文
摘要：一.本文记录内容：使用Mac，对spark源码进行编译 二.前期准备：Java8、Scala2.12.11、Maven3.6.3安装配置完成；Spark3.0.0源码已下载 三.编译步骤： 1.修改源码中的./dev/make-distribution.sh 文件： 1）修改MVN="$MAVEN_
阅读全文
