Smart_Data

导航

 

一、硬件条件
1、64位的操作系统
大于4G的内存
2、为了充分利用HDFS,建议把Hbase和Hadoop安装在一起(可以减少I/O的需求,加快处理速度)
3、保证一定量的内存、磁盘和cpu资源
4、给系统一定的空闲资源,不建议把内存全都给java进程
二、服务器
1、Hadoop和Hbase有两种类型的机器:
master(HDFS的namenode、mapreduce的jobtracker和hbase的master)
salve(HDFS的datanode、mapreduce的jobtracker和hbase的regionserver)
master不需要多大的存储空间,因此并不需要挂载过多的磁盘

2、CPU:
一般建议多核处理器,至少四核,六核及以上更好。
master:推荐双四核CPU,2.0hz~2.5hz
salve:推荐双四核CPU,2.0hz~2.5hz

3、内存:
根据其数据量来决定
这里按照800TB存储空间的集群给每个Java进程内存配置:
namenode:堆4G
secondarynamenode:堆8G
jobtracker:堆2G
Hbase master: 堆4G
datanode:堆1G
tasktracker:堆1G
Hbase Regionserver:堆12G
TaskAteempts:堆1G
zookeeper:堆1G
master:24G
salve:24G及以上

4、磁盘:
master:推荐4*1TB SATA,RAID 0+1(也可以用2TB的)
slave:推荐6*1TB SATA,JBOD

5、能万兆当然最好,不能万兆千兆也是ok的

6、操作系统:
centos
fedora
debian
ubantu
solaris
red hat enterprise Linux
7、Java:
Java1.6及其更高的版本

8、Hadoop:
应考虑与Hbase的兼容性,Hbase依赖特定的Hadoop版本

posted on 2018-01-25 13:25  Smart_Data  阅读(376)  评论(0编辑  收藏  举报