2014年6月30日
深入理解Hadoop集群和网络
摘要： 原文地址http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实生活中运行... 阅读全文
posted @ 2014-06-30 22:48 JamesFan 阅读(991) 评论(0) 推荐(0) 编辑
datanode与namenode的通信原理
摘要： 在分析DataNode时,因为DataNode上保存的是数据块,因此DataNode主要是对数据块进行操作.**A.DataNode的主要工作流程:**1.客户端和DataNode的通信:客户端向DataNode的`数据块读写`,采用TCP/IP流接口(DataXceiver)进行数据传输2.客户端... 阅读全文
posted @ 2014-06-30 16:33 JamesFan 阅读(2141) 评论(0) 推荐(0) 编辑
Hadoop添加节点datanode(生产环境)
摘要： Hadoop添加节点datanode博客分类：hadoopHadoopSSHJDKXML工作1.部署hadoop 和普通的datanode一样。安装jdk，ssh2.修改host 和普通的datanode一样。添加namenode的ip3.修改namenode的配置文件conf/slaves 添加新... 阅读全文
posted @ 2014-06-30 16:16 JamesFan 阅读(790) 评论(0) 推荐(0) 编辑
Hadoop中HDFS工作原理
摘要： Hadoop其实并不是一个产品，而是一些独立模块的组合。主要有分布式文件系统HDFS和大型分布式数据处理库MapReduce。由于目前主要用到HDFS，所以这里看一下它的工作原理，以及相应的介绍下配置。什么是HDFS？HadoopDistributed File System，字面意思，Hadoop... 阅读全文
posted @ 2014-06-30 14:21 JamesFan 阅读(193) 评论(0) 推荐(0) 编辑
实现hadoop中的机架感知
摘要： hadoop中声明是有机架感知的功能，能够提高hadoop的性能。平时我们使用的hadoop集群，实际上是从来没有使用上这个功能的。 hadoop中所说的机架感知的实现实际上这样的：hadoop启动时会检查hadoop-default.xml和hadoop-site.xml中的一个配置选项：topo... 阅读全文
posted @ 2014-06-30 14:12 JamesFan 阅读(524) 评论(0) 推荐(0) 编辑