cxzdy

摘要： 转自：http://www.it165.net/admin/html/201307/1532.htmlSqoop：sqoop在hadoop生态系统中也是应用率比较高的软件，主要是用来做ETL工具，由yadoo研发并提交给Apache。Hadoop整个生态圈里面，大部分的应用都是Yadoo研发的，贡献... 阅读全文

摘要： 转自：http://www.it165.net/admin/html/201307/1531.html基本都是在群里讨论的时候，别人问的入门问题，以后想到新的问题再补充进来。但是其实入门问题也很重要，对原理的理解决定了学习能够深入的程度。本篇不讨论Hadoop，只介绍周边软件。Hive：这个是我被人... 阅读全文

摘要： 转自：http://www.it165.net/admin/html/201402/2382.html在上一篇文章Hadoop源码分析之DataNode的启动与停止中分析了DataNode节点的启动大致过程，下面来重点分析DataNode节点中启动过程中的与NameNode节点的几个通信过程。IPC... 阅读全文

摘要： 转自:http://www.tuicool.com/articles/neUrmu在上一篇博文中分析了客户端从HDFS读取数据的过程，下面来看看客户端是怎么样向HDFS写数据的，下面的代码将本地文件系统中/home/hadoop/input目录下的文件写入到本地搭建的HDFS的/test文件中，代码... 阅读全文

摘要： 转自：http://blog.csdn.net/workformywork/article/details/21783861从NameNode节点获取数据块所在节点等信息客户端在和数据节点建立流式接口的TCP连接，读取文件数据前需要定位数据的位置，所以首先客户端在DFSClient.callGetB... 阅读全文

摘要： 转自：http://www.it165.net/admin/html/201404/2726.html本文主要介绍5个典型的HDFS流程，这些流程充分体现了HDFS实体间IPC接口和stream接口之间的配合。1. Client和NNClient到NN有大量的元数据操作，比如修改文件名，在给定目录下... 阅读全文

摘要： 转自：http://blog.csdn.net/yangbutao/article/details/8309539redis:1、NIO通信 因都在内存操作，所以逻辑的操作非常快，减少了CPU的切换开销，所以为单线程的模式（逻辑处理线程和主线程是一个）。 reactor模式，实现自己的多路复用N... 阅读全文

摘要： 转自：http://blog.csdn.net/yangbutao/article/details/8331937整个处理流程包括主要包括，语法解析（抽象语法树，AST,采用antlr），语义分析(sematic Analyzer生成查询块)，逻辑计划生成（OP tree），逻辑计划优化,物理计划生... 阅读全文

摘要： 转自：http://blog.csdn.net/lihm0_1/article/details/22186833YARN作业提交的客户端仍然使用RunJar类，和MR1一样，可参考http://blog.csdn.net/lihm0_1/article/details/13629375在1.x中是向... 阅读全文

摘要： 转自：http://blog.csdn.net/keda8997110/article/details/8349049heartbeat 心跳技术原理： heartbeat （Linux-HA）的工作原理：heartbeat最核心的包括两个部分，心跳监测部分和资源接管部分，心跳监测可以通过网络链路... 阅读全文