一路向前走

2016年3月20日

摘要：继续前一篇的内容。前一篇内容为： Spark中Worker源码分析（一）http://www.cnblogs.com/yourarebest/p/5300202.html 4.receive方法， receive方法主要分为以下14种情况：（1）worker向master注册成功后，详见代码（2 阅读全文

posted @ 2016-03-20 23:16 一路向前走阅读(362) 评论(0) 推荐(0) 编辑

【原】 Spark中Worker源码分析（一）

摘要： Worker作为对于Spark集群的健壮运行起着举足轻重的作用，作为Master的奴隶，每15s向Master告诉自己还活着，一旦主人（Master》有了任务（Application），立马交给属于它的奴隶们（Workers），那么奴隶们就会数数自己有多少家当（比如内存、核数），量力而行地交给主人完阅读全文

posted @ 2016-03-20 23:12 一路向前走阅读(728) 评论(0) 推荐(0) 编辑

【原】Spark Rpc通信源码分析

摘要： Spark 1.6+推出了以RPCEnv、RPCEndpoint、RPCEndpointRef为核心的新型架构下的RPC通信方式。其具体实现有Akka和Netty两种方式，Akka是基于Scala的Actor的分布式消息通信系统，Netty是由JBOSS提供的一个java开源框架。Netty提供异步阅读全文

posted @ 2016-03-20 09:47 一路向前走阅读(1622) 评论(0) 推荐(0) 编辑

【原】Spark Standalone如何通过start-all.sh启动集群

摘要：我们可以从start-all.sh脚本源文件中看到它其实是start-master.sh和start-slaves.sh两个脚本的组合。由图2可见，start-master.sh最终是通过类org.apache.spark.deploy.master.Master来完成的，待会儿我们分析. 由图3 阅读全文

posted @ 2016-03-20 00:03 一路向前走阅读(3288) 评论(0) 推荐(0) 编辑

2016年3月14日

【原】Docker

摘要： Docker 最近Docker火的不行不行的，正好有时间，找点资料学习一下。 1.Docker是一个轻量级虚拟化技术，比虚拟机有更多优势，简易安装、更快的速度、服务集成与开发流程自动化、跨平台、可移植性. 2.容器是一种更为轻量级的虚拟技术，一种基于操作系统的虚拟技术，它运行在操作系统上的用户空间，阅读全文

posted @ 2016-03-14 19:24 一路向前走阅读(190) 评论(0) 推荐(0) 编辑

2016年3月10日

【原】1.1RDD源码解读(二)

摘要：（6）transformation 操作，通过外在的不同RDD表现形式来达到内部数据的处理过程。这类操作并不会触发作业的执行，也常被称为lazy操作。大部分操作会生成并返回一个新的RDD，例sortByKey就不会产生一个新的RDD。 1) map函数，一行数据经过map函数处理后还是一行数据 / 阅读全文

posted @ 2016-03-10 23:06 一路向前走阅读(758) 评论(0) 推荐(0) 编辑

2016年3月9日

【原】1.1RDD源码解读（一）

摘要： 1.RDD（Resilient Distributed DataSet）是Spark生态系统中最基本的抽象，代表不可变的、可并行操作的分区元素集合。RDD这个类有RDD系列所有基本的操作，比如map、filter、persist.另外，org.apache.spark.rdd.PairRDDFunc 阅读全文

posted @ 2016-03-09 22:31 一路向前走阅读(465) 评论(0) 推荐(0) 编辑

2016年2月27日

【原】spark-submit提交应用程序的内部流程

摘要：我们经常通过spark-submit来提交spark应用程序，那么让我们一起看一下这里面到底发生了什么吧。知识点： Unix有两种方式：1）spark-submit 2）spark-class。前者是我们常见的方式，后者是spark集群内部使用的方式。spark-submit实际上是调用spark 阅读全文

posted @ 2016-02-27 18:27 一路向前走阅读(849) 评论(0) 推荐(0) 编辑

2016年2月23日

【原】Comparator和Comparable的联系与区别

摘要： Comparator和Comparable都是用用来实现集合中元素的比较、排序的，所以，经常在集合外定义Comparator接口的方法和集合内实现Comparable接口的方法中实现排序相同点：二者的比较方法Comparable的compareTo和compare返回的结果有三种负数、零、正数，阅读全文

posted @ 2016-02-23 15:36 一路向前走阅读(709) 评论(0) 推荐(0) 编辑

2016年2月17日

【原】Windows中使用Redis基本入门教程

摘要： Redis是c编写基于Unix平台开发的一种内存KV数据库，官网上并没有给出Window的安装包，但MS基于redis发布了Windows版本。下载链接： https://github.com/MSOpenTech/redis/releases window64bit运行Redis流程如下所示：阅读全文

posted @ 2016-02-17 19:41 一路向前走阅读(487) 评论(0) 推荐(0) 编辑

公告