2013年6月8日

分布式集群环境hadoop、hbase、zookeeper搭建(全)

摘要: 1、环境说明集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下:HostnameIP新建用户新建用户密码Master10.10.10.213hadoop123456Slave110.10.10.214hadoop123456Slave210.10.10.215hadoop123456三个节点均使用centos6.3系统,为了便于维护,集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构。2、准备工作2.1、修改Hostname为了集群能够正 阅读全文

posted @ 2013-06-08 14:53 数据这条路... 阅读(458) 评论(0) 推荐(0)

2013年6月7日

hadoop集群构建

摘要: Hadoop集群搭建1.机器规格CPU:2个四核 2~2.5 GHz CPU内存:8~16GB ECC RAM(非ECC会产生校验和错误)存储器:4*1T SATA硬盘(硬盘大小一般是数据量的3—5倍)网络:千兆以太网PS:namenode一般采用64位硬件,避免32位机java堆3g限制具体规格情况跟数据量有关。2.所需环境和软件:系统:linux系统软件:Ssh:机器之间实现通信rsync(scp):log文件传输rz/sz:实现windows系统与linux系统之间的文件上传下载secureCRT:linux客户端jdk1.6+mysql :metadata存放hadoop-1.0.3: 阅读全文

posted @ 2013-06-07 14:59 数据这条路... 阅读(219) 评论(0) 推荐(0)

导航