2014年11月20日

【原创】快速编写和运行一个属于自己的MapReduce例子程序

摘要： 如何快速地编写和运行一个属于自己的MapReduce例子程序原文出处 ：http://www.it165.net/pro/html/201403/11128.html首先有两个前提：1.有一个已经可以运行的hadoop集群（也可以是伪分布系统)，上面的hdfs和mapreduce工作正常（这个真的是... 阅读全文

posted @ 2014-11-20 20:58 南馨 阅读(176) 评论(0) 推荐(0) 编辑

【原创】linux集群时间同步

摘要： 出处：http://blog.csdn.net/jiangheng0535/article/details/10287609说明：由于hadoop集群对时间要求很高，所以集群内主机要经常同步。本文档适合ubuntu、redhat系列。注：很多内容是在网上摘录，然后试验后总结，如有疑问可留言探讨。1.... 阅读全文

posted @ 2014-11-20 20:23 南馨 阅读(164) 评论(0) 推荐(0) 编辑

【原创】我需要运行几个ZooKeeper?

摘要： 由于Zookeeper采用了Paxos算法来进行选举，因此实际能够有效参与选举的节点数量是奇数。你运行一个zookeeper也是可以的，但是在生产环境中，你最好部署3，5，7个节点。部署的越多，可靠性就越高，当然最好是部署奇数个，偶数个不是不可以的，但是zookeeper集群是以宕机个数过半才会让... 阅读全文

posted @ 2014-11-20 20:15 南馨 阅读(318) 评论(0) 推荐(0) 编辑

【原创】一个Hadoop集群上搭建多个Hbase集群

摘要： 即不同的集群在hdfs上建立不同的根目录和Zooeekper的根目录。如图所示：原来的hbase-0.94.14版本中在hdfs上目录是hbase，zookeeper的根目录是zookeeper_data。hbase-0.96.8版本中在hdfs上目录是index，zookeeper的根目录是zoo... 阅读全文

posted @ 2014-11-20 19:55 南馨 阅读(518) 评论(0) 推荐(0) 编辑

【原创】Hadoop HBase集群安装

摘要： HADOOPHBASE安装部署Hadoop1.2.1版本HBase0.94.14版本声明：所有的配置均是在主节点上完成，配置完成后只需将主节点已配置好的文件夹拷贝到从节点对应的目录即可。集群的扩展修改部分：1、修改/hadoop-1.2.1/conf/下的master和slaves文件2、修改/et... 阅读全文

posted @ 2014-11-20 19:48 南馨 阅读(234) 评论(0) 推荐(0) 编辑

导航