肥龙上天

摘要： 1 ==> 接受消息,org.apache.spark.executor.CoarseGrainedExecutorBackend#receive case LaunchTask(data) => if (executor == null) { exitExecutor(1, "Received L 阅读全文

摘要： 简易基本流程图如下 1. org.apache.spark.scheduler.DAGScheduler#submitMissingTasks 2. => org.apache.spark.scheduler.TaskSchedulerImpl#submitTasks // First figure 阅读全文

摘要： 如果操作列表的话, 请使用 ListBuffer 如: val lstBuf = mutable.ListBuffer[String]() lstBuf += "111" lstBuf += "22" lstBuf += ("abab", "ddd", "ddd") lstBuf.toList.fo 阅读全文

摘要： 从Akka出现背景来说，它是基于Actor的RPC通信系统，它的核心概念也是Message，它是基于协程的，性能不容置疑；基于scala的偏函数，易用性也没有话说，但是它毕竟只是RPC通信，无法适用大的package/stream的数据传输，这也是Spark早期引入Netty的原因。 那么Netty 阅读全文

摘要： 一、Spark Shuffle 的发展 Spark 0.8及以前 Hash Based Shuffle Spark 0.8.1 为Hash Based Shuffle引入File Consolidation机制 Spark 0.9 引入ExternalAppendOnlyMap Spark 1.1 阅读全文

摘要： 泛型: Context Bounds // //定义一个隐式值, 这个值不能少, 要不找不到比较的对象 implicit val personCompartor = new Ordering[Person] { override def compare(p1: Person, p2: Person) 阅读全文

摘要： RDD是Spark中的核心数据模型，一个RDD代表着一个被分区(partition)的只读数据集。 RDD的生成只有两种途径： 一种是来自于内存集合或外部存储系统； 另一种是通过转换操作来自于其他RDD； 一般需要了解RDD的以下五个接口： partition 分区，一个RDD会有一个或者多个分区 阅读全文

摘要： Scala的解释器在解析函数参数(function arguments)时有两种方式： 传值调用（call-by-value）：先计算参数表达式的值，再应用到函数内部； 传名调用（call-by-name）：将未计算的参数表达式直接应用到函数内部 在进入函数内部前，传值调用方式就已经将参数表达式的值 阅读全文

摘要： 整体架构: 阅读全文

摘要： java -jar 命令一般用于生产环境, mvn spring-boot:run 用于开发阶段 Spring Boot Plugin有如下目标： 1.spring-boot:run 运行Spring Boot应用 2.spring-boot:repackage 重新打包jar/war包为可执行包 阅读全文