随笔分类 - 源码
1
摘要：转自： Java HashSet和HashMap源码剖析 总体介绍 之所以把HashSet和HashMap放在一起讲解，是因为二者在Java里有着相同的实现，前者仅仅是对后者做了一层包装，也就是说HashSet里面有一个HashMap（适配器模式）。因此本文将重点分析HashMap。 HashMap
阅读全文
摘要：转自：http://my.oschina.net/crxy/blog/422287?p=1Es查询的时候默认是随机从一些分片中查询数据，可以通过配置让es从某些分片中查询数据1：_local指查询操作会优先在本地节点有的分片中查询，没有的话再在其它节点查询。2：_primary：指查询只在主分片中查...
阅读全文
摘要：转自：http://blog.csdn.net/bluishglc/article/details/9380087我们知道hadoop将数据给到map进行处理前会使用InputFormat对数据进行两方面的预处理：对输入数据进行切分，生成一组split，一个split会分发给一个mapper进行处理...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/47377543HDFS系列：http://blog.csdn.net/Androidlushangderen/article/category/5734703前言在Hadoop内...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/48128955YARN学习系列：http://blog.csdn.net/Androidlushangderen/article/category/5780183前言在之前两周主...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41477061上次分析完JobTracker通过TaskScheduler如何把作业分配给TaskTracker，这次把目光 移动到TaskTracker上面。TaskTrack...
阅读全文
摘要：转自：http://blog.csdn.net/Androidlushangderen/article/details/41408517JobTracker的作业调度给我感觉就是比较宏观意义上的操作。倘若你只了解了MapReduce的工作原理是远远不够的，这时去学习一下他在宏观层面的原理实现也是对我...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41278351花了大约1周的时间，终于把MapReduce的5大阶段的源码学习结束掉了，收获不少，就算本人对Hadoop学习的一个里程碑式的纪念吧。今天花了一点点的时间，把Map...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41172865Partition的中文意思就是分区，分片的意思，这个阶段也是整个MapReduce过程的第三个阶段，就在Map任务的后面，他的作用就是使key分到通过一定的分区算...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41142795上篇我刚刚学习完，Spilt的过程，还算比较简单的了，接下来学习的就是Map操作的过程了，Map和Reduce一样，是整个MapReduce的重要内容，所以，这一篇...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41114259昨天经过几个小时的学习，把MapReduce的第一个阶段的过程学习了一下，也就是最最开始的时候从文件中的Data到key-value的映射，也就是InputForm...
阅读全文
摘要：转自：http://blog.csdn.net/Androidlushangderen/article/details/41051027继前段时间分析Redis源码一段时间之后，我即将开始接下来的一段技术学习的征程，研究的技术就是当前非常火热的Hadoop，但是一个Hadoop生态圈是非常庞大的，所...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41243505MapReduce五大过程已经分析过半了，上次分析完Map的过程，着实花费了我的很多时间，不过收获很大，值得了额，这次用同样的方法分析完了Reduce的过程，也算是...
阅读全文
摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/41356521在Hadoop中，启动作业运行的方式有很多，可以用命令行格式把打包好后的作业提交还可以，用Hadoop的插件进行应用开发，在这么多的方式中，都会必经过一个流程，作业...
阅读全文
摘要：转自：http://www.cnblogs.com/cenyuhai/tag/hbase%E6%BA%90%E7%A0%81%E7%B3%BB%E5%88%97/(mark)hbase源码系列（十）HLog与日志恢复HLog概述hbase在写入数据之前会先写入MemStore，成功了再写入HLog，...
阅读全文
摘要：转自：http://www.it165.net/admin/html/201312/2178.htmlorg.apache.hadoop.conf.Configuration类是Hadoop所有功能的基础类，每一种功能执行之前都需要有先得到一个Configuration对象。Hadoop使用了XML...
阅读全文
摘要：转自：http://www.it165.net/admin/html/201402/2382.html在上一篇文章Hadoop源码分析之DataNode的启动与停止中分析了DataNode节点的启动大致过程，下面来重点分析DataNode节点中启动过程中的与NameNode节点的几个通信过程。IPC...
阅读全文
摘要：转自:http://www.tuicool.com/articles/neUrmu在上一篇博文中分析了客户端从HDFS读取数据的过程，下面来看看客户端是怎么样向HDFS写数据的，下面的代码将本地文件系统中/home/hadoop/input目录下的文件写入到本地搭建的HDFS的/test文件中，代码...
阅读全文
摘要：转自：http://blog.csdn.net/workformywork/article/details/21783861从NameNode节点获取数据块所在节点等信息客户端在和数据节点建立流式接口的TCP连接，读取文件数据前需要定位数据的位置，所以首先客户端在DFSClient.callGetB...
阅读全文
摘要：转自：http://www.it165.net/admin/html/201404/2726.html本文主要介绍5个典型的HDFS流程，这些流程充分体现了HDFS实体间IPC接口和stream接口之间的配合。1. Client和NNClient到NN有大量的元数据操作，比如修改文件名，在给定目录下...
阅读全文
1
