2017年10月16日

hadoop之 Hadoop 2.x HA 、Federation

摘要： HDFS2.0之HA 主备NameNode： 1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换； 2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中； 3、所有DataNode同时向两个NameNo 阅读全文

posted @ 2017-10-16 22:28 张冲andy 阅读(595) 评论(0) 推荐(0) 编辑

hadoop之 Hadoop1.x和Hadoop2.x构成对比

摘要： Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker； Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS：HA、NameNode Federation 阅读全文

posted @ 2017-10-16 22:15 张冲andy 阅读(1158) 评论(0) 推荐(0) 编辑

hadoop之 hadoop日志存放路径

摘要： 环境：[root@hadp-master hadoop-2.7.4]# hadoop versionHadoop 2.7.4 Hadoop的日志大致可以分为两类： （1）、Hadoop系统服务输出的日志； （2）、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hado 阅读全文

posted @ 2017-10-16 20:35 张冲andy 阅读(2671) 评论(0) 推荐(0) 编辑

导航