有心有梦

摘要： 最长公共子串 ​ 给定两个字符串str1和str2，返回两个字符串的最长公共子串。 此处计算的是两个字符串的最长公共子串，子串不同于子序列，子串要求必须是一串连续的字符。 方法一 ​ 使用经典的动态规划方法，首先定义一个动态规划数组dp，dp[i][j]表示的含义是以在str1中第i个字符和str2 阅读全文

摘要： 1143.最长公共子序列 ​ 给定两个字符串text1和text2，返回这两个字符串的最长公共子序列的长度。 ​ 一个字符串的子序列是指这样一个新的字符串：它是由原字符串在不改变字符的相对顺序的情况下删除某些字符（也可以不删除任何字符）后组成的新字符串。 ​ 例如，"ace" 是 "abcde" 的 阅读全文

摘要： 一、流程源码分析 ​ 在xxxJobRunner类中有一个内部类ReduceTaskRunnable，该类是一个专门执行ReduceTask任务的线程类，其中的run方法就是开始执行reduce任务的方法，在run方法的内部，以下代码标志reduce任务开始执行： ReduceTask reduce 阅读全文

摘要： Job提交流程源码分析 1、提交作业到集群，然后等待作业完成 boolean res = job.waitForCompletion(true); 2、将Job提交到集群中，执行此方法说明此时Job尚未运行 public boolean waitForCompletion(boolean verbo 阅读全文

摘要： Shuffle的写流程 ​ ShuffleMapTask类中的runTask方法中含有一个写处理器： shuffleWriterProcessor ​ 它执行写操作的启动操作，即执行write方法，在write方法方法中还含有一个Shuffle管理器： val manager = SparkEnv. 阅读全文

摘要： 任务的调度 ​ 关于任务的调度逻辑依然在submitMissingTasks方法中，在任务的划分之后，会生成一个任务的任务的集合，即： val tasks: Seq[Task[_]] ​ 该集合中包含的正是当前阶段中所有的任务。任务划分之后，程序会继续向下执行： if (tasks.nonEmpty 阅读全文

摘要： 任务的划分 ​ DAGScheduler类的handleJobSubmitted方法中，有一个提交阶段的的方法： var finalStage: ResultStage = null …… finalStage = createResultStage(finalRDD, func, partitio 阅读全文

摘要： 阶段的划分 ​ SparkContext对象包含有一个私有属性DAGScheduler阶段调度器，主要用于阶段的划分。在一个应用程序中，任务的提交都是从行动算子触发的。行动算子的方法内部会调用一个runJob方法，其中就有DAG调度器发挥运行Job的作用： dagScheduler.runJob(r 阅读全文

摘要： 通过Spark-Core API写的WordCount的11种解决方案： package com.fym.spark.core.wc import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} i 阅读全文

摘要： 我安装的scala的版本是2.12.11，Java版本是1.8，之前使用scala 2.11.8的时候从命令行启动scala，没有出现过空指针异常，但是换到2.12版本之和，就出现了这个问题。 java.lang.NullPointerException at java.util.Arrays.so 阅读全文