01 2017 档案

分布式协调服务-Zookeeper
摘要:什么是 zookeeper? Zookeeper 是google的chubby一个开源实现,是hadoop的分布式协调服务 它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。 在Hbase中会用到。 Zk(zookeeper简称)可以用来保证数据在zk集群之间的数据 阅读全文

posted @ 2017-01-20 09:47 chaplinthink 阅读(170) 评论(0) 推荐(0)

Hadoop2.x 体系结构和源码编译
摘要:体系结构 Hadoop1的核心组成包括HDFS和MapReduce。HDFS和MapReduce的共同点就是他们都是分布式的。 HDFS是包括主节点NameNode,只有一个,还有很多从节点DataNode,还有很多个。 NameNode含有我们用户存储的元数据的信息,把这些数据存储在硬盘上,但是在 阅读全文

posted @ 2017-01-15 11:07 chaplinthink 阅读(3468) 评论(0) 推荐(0)

为hadoop集群设置静态IP
摘要:—更新2017年3月1日19:38:49—- 以下是Nat 网络设置,如果你想要同一局域网内的主机可以远程连接上你的集群环境,建议使用桥接模式,具体原因可看文末三种网络连接模式的区别。 由于之前设置集群的网络连接方式是NAT ,而IP是动态的。我采用的是自己的电脑搭建的环境,换了个连接网络的地方,i 阅读全文

posted @ 2017-01-13 09:25 chaplinthink 阅读(969) 评论(0) 推荐(0)

hadoop-eclipse-plugin-2.x.x 插件编译
摘要:在网上找的hadoop for eclipse 插件都不能用,决定自己去编译一个。Hadoop 提供了一个 Eclipse 插件以方便用户在 Eclipse 集成开发环境中使用 Hadoop,如管理 HDFS 上的文件、提交作业、调试 MapReduce 程序等。Hadoop版本:h... 阅读全文

posted @ 2017-01-11 10:04 chaplinthink 阅读(230) 评论(0) 推荐(0)

导航