华山大师兄

摘要： 1.HDFS1).永久性数据结构A.NameNode的目录结构NameNode被格式化之后，将产生所示的目录结构：${dfs.name.dir}/current/VERSION /edits /fsimage /fstimedfs.name.dir属性中列出的目录的内容都是相同，同为如上所示的目录结构VERSION文件是一个Java属性文件，一般内容如下：#Tue May 29 11:05:47 CST 2012namespaceID=1545978810cTime=0storageType=NAME_NODElayoutVersion=-18layoutVersion是一个负数，描... 阅读全文

摘要： 1.集群规范1)配置规范一般Hadoop DataNode和TaskTracker节点典型机器具有吐下规范：处理器：2个四核 2~2.5 GHz CPU内存：16~24 ECC RAM存储器：4*1TB SATA 磁盘网络：千兆以太网2).网络拓扑Hadoop集群架构包含两级网络拓扑，如下图所示，机架拓扑由两个网络位置描述，例如：/交换机1/机架1 和 /交换机1/机架2。这个架构的一突出特点是：同一机架内部节点间的总宽带要远高于不同机架间的节点的宽带2.集群的构建原装、SSH配置、Hadoop配置这里只给出Yarn的典型伪分布配置 分布式配置与此差别不大详见http://hadoop.apa 阅读全文