随笔分类 -  hadoop

摘要：MapReduce1 分为6个步骤： 1、作业的提交 1)、客户端向jobtracker请求一个新的作业ID(通过JobTracker的getNewJobId()方法获取，见第2步 2)、计算作业的输入分片，将运行作业所需要的资源(包括jar文件、配置文件和计算得到的输入分片)复制到一个以ID命名的 阅读全文

摘要：MapReduce深度分析(二) 五、JobTracker分析 JobTracker是hadoop的重要的后台守护进程之一，主要的功能是管理任务调度、管理TaskTracker、监控作业执行、运行作业容错机制等。 首先启动interTrackerServer，将端口配置为mapred.job.tra 阅读全文

摘要：MapReduce深度分析(一) 一、数据流向分析 图为MapReduce数据流向示意图 步骤1、输入文件从HDFS流向到Mapper节点。在一般情况下，存储数据的节点就是Mapper运行的节点，不需要在节点之间进行数据传输，也就是尽量让存储靠近计算。 步骤2、mapper输出到内存缓冲区。Mapp 阅读全文

摘要：MapReduce计算框架 一、MapReduce实现原理 图展示了MapReduce实现中的全部流程，处理步骤如下： 1、用户程序中的MapReduce函数库首先把输入文件分成M块(每块大小默认64M)，在集群上执行处理程序，见序号1 2、主控程序master分配Map任务和Reduce任务给工作 阅读全文

摘要：HDFS存储系统 一、基本概念 1、NameNode HDFS采用Master/Slave架构。namenode就是HDFS的Master架构。主要负责HDFS文件系统的管理工作，具体包括：名称空间(namespace)管理(如打开、关闭、重命名文件和目录、映射关系)、文件block管理。NameN 阅读全文

摘要：我的环境是hadoop-0.20.2,eclipse：SDK-3.3.2,源数据为：Apr 23 11:49:54 hostapd: wlan0: STA 14:7d:c5:9e:fb:84Apr 23 11:49:54 hostapd: wlan0: STA 14:7d:c5:9e:fb:84Ap... 阅读全文

摘要：注：大家常说的ssh其实就是一个免密码访问的东西，为了简化操作的，不用每次访问其他节点重新输入密码。但是要想配置如下：1.在每台机器上执行 ssh-keygen -t rsa，连敲三次回车键(即设置空密码)2.然后在每台机器上都执行cd ~/.ssh，并分别把id_rsa.pub复制到authori... 阅读全文