摘要：
Windows平台下IDEA+Spark本地开发环境搭建过程 1.安装Java，配置Java环境变量 2.安装Scala，配置Scala环境变量 3.安装Maven，配置Maven环境变量 4.IDEA下载与配置 5.在IDEA启动之前，安装scala插件（Configure->Plugins） 6 阅读全文
摘要：
第1章 程序员都在因为什么而焦虑 1.1 最主要的来源：迷茫 解决这一问题，就在于先定好目标，再上路。路上的芝麻再多，你想想自己终点要摘的那个大西瓜，就忍住了。 1.2 一个客观的来源：技术更新 一小步一小步地往前走，也好过原地打转。 1.3 人性的弱点：攀比 1.4 不得不考虑的现实因素：生活 对 阅读全文
摘要：
SparkSubmit -- main -- doSubmit // 解析参数 -- parseArguments // master => --master => yarn // mainClass => --class => SparkPi(WordCount) -- parse -- subm 阅读全文
摘要：
1、https://blog.csdn.net/qq_30089191/article/details/73742425?utm_medium=distribute.pc_relevant.none-task-blog-2defaultOPENSEARCHdefault-3.control&dist 阅读全文
摘要：
 阅读全文
摘要：
累加器用来把Executor端变量信息聚合到Driver端。在Driver程序中定义的变量，在Executor端的每个Task都会得到这个变量的一份新的副本，每个task更新这些副本的值后，传回Driver端进行merge。 阅读全文
摘要：
  阅读全文
摘要：
Spark目前支持Hash分区和Range分区，和用户自定义分区。Hash分区为当前的默认分区。分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle后进入哪个分区，进而决定了Reduce的个数。 阅读全文
摘要：
所谓的检查点其实就是通过将RDD中间结果写入磁盘 由于血缘依赖过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果检查点之后有节点出现问题，可以从检查点开始重做血缘，减少了开销。 对RDD进行checkpoint操作并不会马上被执行，必须执行Action操作才能触发。 缓存和检查点区别 阅读全文
摘要：
1、RDD Cache缓存 RDD通过Cache或者Persist方法将前面的计算结果缓存，默认情况下会把数据以缓存在JVM的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的action算子时，该RDD将会被缓存在计算节点的内存中，并供后面重用。 缓存有可能丢失，或者存储于内存的数据由 阅读全文
