HP DL160 Gen9服务器集群部署文档
HP DL160 Gen9服务器集群部署文档
硬件配置
=======================================================
Server Memory CPU DISK NetWork
DL160① 32GB 6*1.9GHZ 2*2TB(SATA) 2*1GBE
DL160② 32GB 6*1.9GHZ 2*2TB(SATA) 2*1GBE
DL160③ 24GB 6*1.9GHZ 2*2TB(SATA) 2*1GBE
DL160④ 24GB 6*1.9GHZ 2*2TB(SATA) 2*1GBE
DL160⑤ 24GB 6*1.9GHZ 2*2TB(SATA) 2*1GBE
DL160⑥ 8GB 6*1.9GHZ 2*1TB(SATA) 2*1GBE
=======================================================
集群规划
==============================================================
Host IP Role Soft Process
lf1 192.168.0.211 HDFS Master Hadoop2.4.1 NameNode(Active)
HBase Master Hbase0.98.8 DFSZKFailoverController
HMaster(Active)
lf3 192.168.0.213 YARN Master Hadoop2.4.1 ResourceManager(Active)
HBase Master Hbase0.98.8 DFSZKFailoverController
HMaster(Backup)
lf5 192.168.0.215 HDFS Slave Hadoop2.4.1 DataNode
JournalNode
YARN Slave Hadoop2.4.1 NodeManager
ZooKeeper Follower ZooKeeper3.4.5 QuorumPeerMain
HBase Slave Hbase0.98.8 HRegionServer
Sqoop Sqoop1.4.5 Sqoop
lf6 192.168.0.216 HDFS Slave Hadoop2.4.1 DataNode
JournalNode
YARN Slave Hadoop2.4.1 NodeManager
ZooKeeper Leader ZooKeeper3.4.5 QuorumPeerMain
HBase Slave Hbase0.98.8 HRegionServer
Hive Hive0.14.0
lf7 192.168.0.217 HDFS Slave Hadoop2.4.1 DataNode
JournalNode
YARN Slave Hadoop2.4.1 NodeManager
ZooKeeper Follower ZooKeeper3.4.5 QuorumPeerMain
HBase Slave Hbase0.98.8 HRegionServer
===============================================================
一、安装JDK（在lf1节点上）
cd /home/lefuBigDataDev/clouds/
安装jdk
tar -zxvf jdk-7u65-linux-x64.tar.gz
mv jdk1.7_65 jdk
配置JAVA_HOME到环境变量
vim /etc/profile
export JAVA_HOME=/home/lefuBigDataDev/clouds/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
shift+zz
刷新环境变量使JAVA_HOME立即生效
source /etc/profile
验证jdk是否安装成功
java -version
复制配置好的jdk和/etc/profile到其他节点
scp -r /home/lefuBigDataDev/clouds/jdk lefuBigDataDev@lf3:/home/lefuBigDataDev/clouds/
scp /etc/profile lefuBigDataDev@lf3:/etc/ ##在lf5节点上执行source /etc/profile使环境变量立即生效
scp -r /home/lefuBigDataDev/clouds/jdk lefuBigDataDev@lf5:/home/lefuBigDataDev/clouds/
scp /etc/profile lefuBigDataDev@lf5:/etc/ ##在lf5节点上执行source /etc/profile使环境变量立即生效
scp -r /home/lefuBigDataDev/clouds/jdk lefuBigDataDev@lf6:/home/lefuBigDataDev/clouds/
scp /etc/profile lefuBigDataDev@lf6:/etc/ ##在lf6节点上执行source /etc/profile使环境变量立即生效
scp -r /home/lefuBigDataDev/clouds/jdk lefuBigDataDev@lf7:/home/lefuBigDataDev/clouds/
scp /etc/profile lefuBigDataDev@lf7:/etc/ ##在lf7节点上执行source /etc/profile使环境变量立即生效
二、安装ZooKeeper（在lf5节点上）
cd /home/lefuBigDataDev/clouds/
安装ZooKeeper
tar -zxvf zookeeper-3.4.5.tar.gz
mv zookeeper-3.4.5 zk
修改zookeeper配置文件
cd /home/lefuBigDataDev/clouds/zk/conf
mv zoo_sample.cfg zoo.cfg
zoo.cfg
dataDir=/home/lefuBigDataDev/clouds/zk/data
server.1=lf5:2888:3888
server.2=lf6:2888:3888
server.3=lf7:2888:3888
cd /home/lefuBigDataDev/clouds/zk/
mkdir data
cd data
echo "1">myid
配置ZOOKEEPER_HOME到环境变量
vim /etc/profile
export ZOOKEEPER_HOME=/home/lefuBigDataDev/clouds/jdk
export PATH=.:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH
shift+zz
刷新环境变量使ZOOKEEPER_HOME立即生效
source /etc/profile
复制配置好的zk和/etc/profile到其他节点
复制到lf6节点：scp -r /home/lefuBigDataDev/clouds/zk lefuBigDataDev@lf6:/home/lefuBigDataDev/clouds/ ##修改zk/data/myid的值为2
scp /etc/profile lefuBigDataDev@lf6:/etc/ ##在lf6节点上执行source /etc/profile使环境变量立即生效
复制到lf7节点：scp -r /home/lefuBigDataDev/clouds/zk lefuBigDataDev@lf7:/home/lefuBigDataDev/clouds/ ##修改zk/data/myid的值为3
scp /etc/profile lefuBigDataDev@lf7:/etc/ ##在lf7节点上执行source /etc/profile使环境变量立即生效
验证ZooKeeper是否安装成功
在lf5节点上执行启动ZooKeeper命令：
zkServer.sh start ##启动ZooKeeper
jps ##如果出现了QuorumPeerMain进程表示ZooKeeper启动成功
zkServer.sh status ##偶数节点为Follower
在lf6节点上执行命令：
zkServer.sh start ##启动ZooKeeper
jps ##如果出现了QuorumPeerMain进程表示ZooKeeper启动成功
zkServer.sh status ##奇数节点为Leader
在lf7节点上执行命令：
zkServer.sh start ##启动ZooKeeper
jps ##如果出现了QuorumPeerMain进程表示ZooKeeper启动成功
zkServer.sh status ##偶数节点为Follower
三、安装Hadoop（在lf1节点上）
cd /home/lefuBigDataDev/clouds/
安装Hadoop
tar -zxvf hadoop-2.4.1-x64.tar.gz
mv hadoop-2.4.1 hadoop
修改hadoop配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-env.sh、mapred-site.xml、yarn-env.sh、yarn-site.xml、slaves)
cd /home/lefuBigDataDev/clouds/hadoop/etc/hadoop
1、hadoop-env.sh
export JAVA_HOME=/home/lefuBigDataDev/clouds/jdk
export HADOOP_HEAPSIZE=2048
2、core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
<description>指定hdfs的nameservice为ns1</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/lefuBigDataDev/clouds/hadoop/tmp</value>
<description>指定hadoop存放数据的临时目录</description>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>lf5:2181,lf6:2181,lf7:2181</value>
<description>采用QJM方式的高可用需要用到的zookeeper集群节点</description>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
<description>指定hadoop辅助IO操作的缓冲区为128KB，默认是4KB</description>
</property>
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
<description>hdfs实现数据压缩的算法包</description>
</property>
<property>
<name>fs.trash.interval</name>
<value>43200</value>
<description>开启hadoop回收站功能，保存回收站的数据30天，回收站默认为0分钟，表示关闭</description>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>43200</value>
<description>开启hadoop回收站检查间隔（默认为0分钟，必须小于等于fs.trash.interval的时间）</description>
</property>
</configuration>
3、hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/lefuBigDataDev/clouds/hadoop/dfs/name</value>
<description>指定hadoop的NameNode存放元数据fsImage文件在本地文件系统上的路径</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/lefuBigDataDev/clouds/hadoop/dfs/data</value>
<description>指定hadoop的DataNode存放数据块在本地文件系统上的路径，多个文件夹用逗号分隔</description>
</property>
<property>
<name>dfs.namenode.edits.dir</name>
<value>/home/lefuBigDataDev/clouds/hadoop/dfs/name</value>
<description>指定hadoop的NameNode存放编辑日志edits文件在本地文件系统上的路径</description>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>指定hdfs上存放数据的副本数为3，完全分布式下默认为3</description>
</property>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
<description>指定hdfs的数据块大小为128MB，默认块大小为128MB</description>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
<description>启用REST方式通过web查看hdfs上的文件、文件夹等详细信息</description>
</property>
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
<description>指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致</description>
</property>
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
<description>ns1下面有两个NameNode，分别是nn1，nn2</description>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>lf1:9000</value>
<description>nn1的RPC通信地址</description>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>lf1:50070</value>
<description>nn1的http通信地址</description>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>lf2:9000</value>
<description>nn2的RPC通信地址</description>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>lf2:50070</value>
<description>nn2的http通信地址</description>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://lf5:8485;lf6:8485;lf7:8485/ns1</value>
<description>指定NameNode的元数据在JournalNode上的存放位置</description>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/lefuBigDataDev/clouds/hadoop/dfs/journal</value>
<description>指定JournalNode在本地磁盘存放数据的位置</description>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
<description>活动NameNode失效时与备用NameNode完成自动切换</description>
</property>
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
<description>配置自动切换实现方式的java类</description>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
<description>非平稳故障转移需要使用规避（fencing）机制，多种规避方法以换行分隔，每个规避方法一行</description>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/lefuBigDataDev/.ssh/id_rsa</value>
<description>使用规避sshfence隔离机制时需要ssh免登陆</description>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
<description>配置规避sshfence隔离机制超时时间</description>
</property>
<property>
<name>dfs.datanode.du.reserved</name>
<value>10737418240</value>
<description>预留10GB给其他非HDFS应用程序使用</description>
</property>
</configuration>
4、mapred-env.sh
export JAVA_HOME=/home/lefuBigDataDev/clouds/jdk
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA
5、mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description>指定mr框架为yarn方式</description>
</property>
<property>
<name>mapreduce.task.io.sort.factor</name>
<value>100</value>
<description>reducer进入排序（合并map的输出）阶段默认合并因子是10，这里的100是为了减少合并的次数</description>
</property>
<property>
<name>mapreduce.job.jvm.numtasks</name>
<value>-1</value>
<description>开启jvm重用，在密集型任务计算时效率更高</description>
</property>
<property>
<name>mapreduce.output.fileoutputformat.compress.codec</name>
<value>org.apache.hadoop.io.compress.DefaultCodec</value>
<description>用于处理map任务输出的编解码器</description>
</property>
<property>
<name>mapreduce.map.maxattempts</name>
<value>4</value>
<description>map任务失败最大尝试次数，默认尝试4次</description>
</property>
<property>
<name>mapreduce.reduce.maxattempts</name>
<value>4</value>
<description>reduce任务失败最大尝试次数，默认尝试4次</description>
</property>
<property>
<name>mapreduce.reduce.shuffle.parallelcopies</name>
<value>10</value>
<description>reduce任务复制map输出的阶段，默认启用5个线程，这里指定为10,当map输出数量小于该值时则只每个map任务输出对应一个reduce复制线程</description>
</property>
<property>
<name>mapreduce.map.speculative</name>
<value>false</value>
<description>关闭map任务的推测执行</description>
</property>
<property>
<name>mapreduce.reduce.speculative</name>
<value>false</value>
<description>关闭reduce任务的推测执行</description>
</property>
<property>
<name>mapreduce.job.reduce.slowstart.completedmaps</name>
<value>0.80</value>
<description>慢启动reduce任务，默认调度器会等待作业5%的map任务结束后调用reduce任务开始等待，等待的时候reduce是会占用reduce任务槽导致其他作业分配不到reduce任务。如果是大型作业时会降低集群的利用率，这里设置某个作业的map任务运行到80%的时候再启动reduce等待</description>
</property>
</configuration>
6、yarn-env.sh
export JAVA_HOME=/home/lefuBigDataDev/clouds/jdk
7、yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
<description>开启ResourceManager的HA</description>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
<description>指定ResourceManager的集群ID</description>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
<description>指定HA方式的活动和备用的ResourceManager的名字</description>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>lf3</value>
<description>指定活动的ResourceManager的节点</description>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>lf4</value>
<description>指定备用的ResourceManager的节点</description>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>lf5:2181,lf6:2181,lf7:2181</value>
<description>指定zk集群地址</description>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description>在NodeManager上扩展自定义服务</description>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>6</value>
<description>yarn使用虚拟cpu个数，默认8个；虚拟cpu个数在生产中建议和物理cpu核数相同</description>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>16384</value>
<description>yarn节点上可使用的物理内存总量，默认8192MB（8GB），这里设置为16384MB（16GB）</description>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
<description>任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1MB</description>
</property>
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>true</value>
<description>是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true</description>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>true</value>
<description>是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true</description>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1024</value>
<description>单个任务可申请的最少物理内存量，默认是1024MB（1GB），如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数</description>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>15360</value>
<description>单个任务可申请的最多物理内存量，默认是8192MB（8GB），这里是15360MB（15GB）</description>
</property>
</configuration>
8、slaves
lf5
lf6
lf7
配置HADOOP_HOME到环境变量
vim /etc/profile
export HADOOP_HOME=/home/lefuBigDataDev/clouds/jdk
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
刷新环境变量使HADOOP_HOME立即生效
source /etc/profile
复制配置好的hadoop到其他节点
复制到lf3节点：scp -r /home/lefuBigDataDev/clouds/hadoop lefuBigDataDev@lf3:/home/lefuBigDataDev/clouds/ ##添加HADOOP_HOME到/etc/profile，然后执行source /etc/profile立即生效
复制到lf5节点：scp -r /home/lefuBigDataDev/clouds/hadoop lefuBigDataDev@lf5:/home/lefuBigDataDev/clouds/ ##添加HADOOP_HOME到/etc/profile，然后执行source /etc/profile立即生效
复制到lf6节点：scp -r /home/lefuBigDataDev/clouds/hadoop lefuBigDataDev@lf6:/home/lefuBigDataDev/clouds/ ##添加HADOOP_HOME到/etc/profile，然后执行source /etc/profile立即生效
复制到lf7节点：scp -r /home/lefuBigDataDev/clouds/hadoop lefuBigDataDev@lf7:/home/lefuBigDataDev/clouds/ ##添加HADOOP_HOME到/etc/profile，然后执行source /etc/profile立即生效
开始准备启动hadoop集群，严格按照如下步骤执行
1、检查lf5、lf6、lf7节点上的ZooKeeper集群是否启动（HDFS HA和YARN HA都需要依赖ZooKeeper集群）
在lf5节点上执行命令：
zkServer.sh status ##如果没有QuorumPeerMain进程则执行zkServer.sh start启动
在lf6节点上执行命令：
zkServer.sh status ##如果没有QuorumPeerMain进程则执行zkServer.sh start启动
在lf7节点上执行命令：
zkServer.sh status ##如果没有QuorumPeerMain进程则执行zkServer.sh start启动
2、在lf1节点上启动JournalNode
cd /home/lefuBigDataDev/clouds/hadoop/sbin
hadoop-daemons.sh start journalnode
3、在lf1节点上格式化hadoop的HDFS，即hadoop的分布式文件系统
cd /home/lefuBigDataDev/clouds/hadoop/bin
hdfs namenode -format ##日志中出现这行内容Storage directory /home/lefuBigDataDev/clouds/hadoop/dfs/name has been successfully formatted.则表示格式化HDFS成功
4、在lf1节点上格式化ZKFC，即ZooKeeper故障转移控制器
cd /home/lefuBigDataDev/clouds/hadoop/bin
hdfs zkfc -formatZK ##日志中出现这行内容ha.ActiveStandbyElector: Successfully created /hadoop-ha/ns1 in ZK.则表示格式化ZKFC成功
5、在lf1节点上启动hadoop的HDFS
cd /home/lefuBigDataDev/clouds/hadoop/sbin
start-dfs.sh
6、在lf3节点上启动hadoop的YARN
cd /home/lefuBigDataDev/clouds/hadoop/sbin
start-yarn.sh
7、验证hadoop集群是否启动成功
1、使用shell验证：
输入命令：for i in lf1 lf3 lf5 lf6 lf7; do echo $i; ssh $i `which jps`; done ##如下进程表示hadoop集群启动成功
lf1
3598 DFSZKFailoverController
9197 Jps
3283 NameNode
lf3
2902 ResourceManager
3037 JobHistoryServer
7491 Jps
lf5
3148 DataNode
3370 NodeManager
3255 JournalNode
3073 QuorumPeerMain
15238 Jps
lf6
3220 NodeManager
2917 QuorumPeerMain
10380 Jps
2997 DataNode
3105 JournalNode
lf7
2974 QuorumPeerMain
3163 JournalNode
3277 NodeManager
3056 DataNode
12048 Jps
2、使用浏览器方式验证：
输入lf1:50070验证HDFS
输入lf3:8088验证YARN
输入lf3:19888验证HistoryServer
8、以上两种方式验证通过则表示Hadoop集群正确部署并启动成功
四、安装HBase（在lf1节点上），前提条件是必须已有ZooKeeper集群
cd /home/lefuBigDataDev/clouds/
安装HBase
tar -zxvf hbase-0.98.8-hadoop2-bin.tar.gz
mv hbase-0.98.8-hadoop2-bin hbase
修改hbase配置文件(hbase-env.sh,hbase-site.xml,regionservers,需要将Hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下)
1、hbase-env.sh
export JAVA_HOME=/home/lefuBigDataDev/clouds/jdk
export HBASE_HEAPSIZE=3000
2、hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://ns1/hbase</value>
<description>指定hbase在HDFS上存储的路径</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
<description>指定hbase集群为完全分布式</description>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>lf5:2181,lf6:2181,lf7:2181</value>
<description>指定HBase集群使用外部的zookeeper集群的地址</description>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
<description>RegionServer与zookeeper连接超时时间默认180000毫秒（3分钟），当超过超时时间时，zookeeper会将超时节点的RegionServer从RegionServer集群清单中清除，当HMaster收到移除通知后会对超时节点的Regions重新负载均衡，让其他存活的RegionServer接管。这里改为60000毫秒（1分钟）</description>
</property>
<property>
<name>hbase.regionserver.handler.count</name>
<value>80</value>
<description>RegionServer端开启的RPC监听器实例个数（RegionServer能够处理的IO请求线程数）。老版本默认10,0.98.8中默认是30,这里改为80</description>
</property>
<property>
<name>hfile.block.cache.size</name>
<value>0.4</value>
<description>regionserver cache的大小，默认是0.4，是整个堆内存的多少比例作为regionserver的cache，调大该值会提升查询性能。如果有大量的查询，写入不多，则调到0.5。当这里设置大了，有MapReduce作业Scan HBase时需要在MapReduce作业的Scan类中添加scan.setCacheBlocks(false)，这样可以避免由于MapReduce使用regionserver的cache都被替换，造成hbase的查询性能明显下降。</description>
</property>
<property>
<name>hbase.hregion.memstore.flush.size</name>
<value>268435456</value>
<description>regionserver的单个region memstore的大小，默认是128M，这里设为256。在hbase结构中,一个regionserver管理多个region，一个region对应一个hlog和多个store，一个store对应多个storefile和一个memstore，这里的hbase.hregion.memstore.flush.size意思一个region下面的所有store里面的memstore的达到多少时，开始将这些memstore flush到hdfs中去，配置这个值，需
要参考一下，平均每个regionserver管理的region数量，如果每台regionsever管理的region不多的话，可以适当的调大该值，如512M时再flush</description>
</property>
<property>
<name>hbase.hregion.max.filesize</name>
<value>10737418240</value>
<description>默认10GB，regions会被hmaster balance入各个regionserver,后随着单region的记录数增加，触发splite条件一般为hbase.hregion.max.filesize，会对其进行splite，找到region的middlekey,之后一分为二成为两个region，当然这是一个完整事务，之后会随着balance入不同的regionserver进行负载方面的均衡。</description>
</property>
<property>
<name>hbase.hstore.compactionThreshold</name>
<value>5</value>
<description>设置执行Compaction(Major或Minor)操作的阈值，默认是3。对于HBase负载较重的系统，为降低过频繁的合并操作，这里设置成5。</description>
</property>
</configuration>
3、regionservers
lf5
lf6
lf7
配置HBASE_HOME到环境变量
vim /etc/profile
export HBASE_HOME=/home/lefuBigDataDev/clouds/hbase
export PATH=.:$HBASE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
shift+ZZ
刷新环境变量使HBASE_HOME立即生效
source /etc/profile
复制配置好的hbase到其他节点
复制到lf3节点：scp -r /home/lefuBigDataDev/clouds/hbase lefuBigDataDev@lf3:/home/lefuBigDataDev/clouds/ ##添加HBASE_HOME到/etc/profile，然后执行source /etc/profile立即生效
复制到lf5节点：scp -r /home/lefuBigDataDev/clouds/hbase lefuBigDataDev@lf5:/home/lefuBigDataDev/clouds/ ##添加HBASE_HOME到/etc/profile，然后执行source /etc/profile立即生效
复制到lf6节点：scp -r /home/lefuBigDataDev/clouds/hbase lefuBigDataDev@lf6:/home/lefuBigDataDev/clouds/ ##添加HBASE_HOME到/etc/profile，然后执行source /etc/profile立即生效
复制到lf7节点：scp -r /home/lefuBigDataDev/clouds/hbase lefuBigDataDev@lf7:/home/lefuBigDataDev/clouds/ ##添加HBASE_HOME到/etc/profile，然后执行source /etc/profile立即生效
开始准备启动hbase集群，严格按照如下步骤执行
1、验证各个节点的时间误差，HBase不允许最大时间差超过30秒
for i in lf1 lf3 lf5 lf6 lf7; do echo $i; ssh $i date; done
2、如果各个节点的时间误差超过30秒则执行如下命令
for i in lf1 lf3 lf5 lf6 lf7; do echo $i; ssh $i date -s 月/日/年; done
for i in lf1 lf3 lf5 lf6 lf7; do echo $i; ssh $i date -s 时/分/秒; done
3、检查lf5、lf6、lf7节点上的ZooKeeper集群是否启动（HBase集群需要依赖ZooKeeper集群）
在lf5节点上执行命令：
zkServer.sh status ##如果没有QuorumPeerMain进程则执行zkServer.sh start启动
在lf6节点上执行命令：
zkServer.sh status ##如果没有QuorumPeerMain进程则执行zkServer.sh start启动
在lf7节点上执行命令：
zkServer.sh status ##如果没有QuorumPeerMain进程则执行zkServer.sh start启动
4、在lf1节点上启动hbase HA Active进程
cd /home/lefuBigDataDev/clouds/hbase/bin
start-hbase.sh
5、在lf3节点上启动hbase HA Backup进程
hbase-daemon.sh start master
6、验证hbase集群是否运行成功
1、使用shell验证：
输入命令：for i in lf1 lf3 lf5 lf6 lf7; do echo $i; ssh $i `which jps`; done ##如下进程表示hbase集群启动成功
lf1
11850 NameNode
15778 Jps
12167 DFSZKFailoverController
12407 HMaster
lf3
8861 ResourceManager
11192 Jps
9083 JobHistoryServer
9301 HMaster
lf5
17944 QuorumPeerMain
18029 DataNode
18250 NodeManager
21167 Jps
18136 JournalNode
18441 HRegionServer
lf6
15900 Jps
12687 NodeManager
5492 RunJar
12383 QuorumPeerMain
12466 DataNode
12878 HRegionServer
12573 JournalNode
lf7
14187 NodeManager
16753 Jps
13956 DataNode
13881 QuorumPeerMain
14073 JournalNode
14378 HRegionServer
2、使用浏览器方式验证：
输入lf1:60010验证HBase集群信息
输入lf3:60010验证HBase备用节点信息
7、以上两种方式验证通过则表示HBase集群正确部署并启动成功
五、安装Sqoop（在lf5节点上），前提条件是已有Hadoop集群
cd /home/lefuBigDataDev/clouds/
安装Sqoop
tar -zxvf sqoop-1.4.5.bin.tar.gz
mv sqoop-1.4.5.bin sqoop
添加SQOOP_HOME到环境变量
export SQOOP_HOME=/home/lefuBigDataDev/clouds/sqoop
shift+ZZ
刷新环境变量使SQOOP_HOME立即生效
source /etc/profile
验证sqoop是否安装成功
sqoop version
六、安装Hive（在lf6节点上），前提条件是已有Hadoop集群
cd /home/lefuBigDataDev/clouds/
安装Sqoop
tar -zxvf apache-hive-0.14.0-bin.tar.gz
mv apache-hive-0.14.0-bin hive
添加SQOOP_HOME到环境变量
export HIVE_HOME=/home/lefuBigDataDev/clouds/hive
shift+ZZ
刷新环境变量使HIVE_HOME立即生效
source /etc/profile
修改hive配置文件（hive-env.sh、hive-site.xml）
1、hive-env.sh
export JAVA_HOME=/home/lefuBigDataDev/clouds/jdk
export HADOOP_HOME=/home/lefuBigDataDev/clouds/hadoop
export HIVE_HOME=/home/lefuBigDataDev/clouds/hive
2、hive-site.xml
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://lf5:3306/lefu?createDatabaseIfNotExist=true</value> ##如果写成远程访问提示过期需要修改mysql库的表
<description>指定hive的元数据存储的数据库为mysql，使用JDBC的方式连接mysql，如果mysql中不存在hive数据库则创建</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>指定hive元数据存储的数据库的JDBC连接驱动类</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>使用指定用户登录hive的元数据存储数据库</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>******</value>
<description>使用指定密码登录hive的元数据存储数据库</description>
</property>
<property>
<name>hive.querylog.location</name>
<value>/home/lefuBigDataDev/clouds/hive/tmp</value>
<description>默认取值为${system:java.io.tmpdir}/${system:user.name}，这个目录是不存在的</description>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/home/lefuBigDataDev/clouds/hive/tmp</value>
<description>默认取值为${system:java.io.tmpdir}/${system:user.name}，这个目录是不存在的</description>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/home/lefuBigDataDev/clouds/hive/tmp</value>
<description>默认取值为${system:java.io.tmpdir}/${hive.session.id}_resources，这个目录是不存在的</description>
</property>
</configuration>
3、验证hive安装
1、使用shell验证
hive
2、登陆mysql，mysql中有个lefu的数据库表示hive配置成功
