Hbase优化
一：高可用
1）：关闭集群
stop-hbase.sh
2）：在conf目录下创建 backup-masters 文件
touch backup-masters
3）：backup-masters文件中配置高可用 HMaster 节点
echo k200 > backup-masters
4）：将整个 conf 目录 scp 到其他节点
scp -r /soft/hive/conf/ k200:/soft/hive/
5）：打开页面测试
二：Hadoop 的通用性优化
1）：NameNode 元数据备份使用 SSD
2）：定时备份NameNode 上的元数据
通过定时任务复制元数据目录即可
3）：为 NameNode 指定多个元数据目录
使用 dfs.name.dir 或者 dfs.namenode.name.dir 指定。这样可以提供元数据的冗余和健壮性，以免发生故障。
4）：NameNode的dir自恢复
设置 dfs.namenode.name.dir.restore 为 true，允许尝试恢复之前失败的dfs.namenode.name.dir目录，在创建 checkpoint时做此尝试，如果设置了多个磁盘，建议允许。
5）：HDFS保证 RPC 调用会有较多的线程数
hdfs-site.xml:
属性：dfs.namenode.handler.count
解释：该属性是 NameNode 服务默认线程数，默认值为10，根据机器的可用内存可以调整为 50~100
属性：dfs.datanode.handler.count
解释：该属性是 DataNode 的处理线程数，默认值为10，如果 HDFS客户端程序读写请求比较多，可以调高到 15~20，设置的值越大，内存消耗越多。一般业务中5~10即可。
6）：HDFS副本数的调整
hdfs.site.xml
属性：dfs.replication
解释：如果数据量巨大，且不是非常之重要，可以调整为 2~3，如果数据非常重要，可以调整为3~5.
7）：HDFS文件快大小的调整
hdfs-site.xml
属性：dfs.blocksize
解释：块大小定义，该属性应该根据存储的大量的单个文件大小来设置，如果大量的单个文件都小于 100M，建议设置成 64M 块大小，对于大于 100M 或者达到 GB 的这种情况，建议
设置成 256M，一般设置范围波动在 64M~256M 之间。
8）：MapReduce Job 任务服务线程数调整
mapred-site.xml
属性：mapreduce.jobtracker.handler.count
解释：该属性是Job任务线程数，默认值为10，根据机器的可用内存可以调整为50~100
9）：Http 服务工作线程数
mapred-site.xml
属性：mapreduce.tasktracker.http.threads
解释：定义HTTP 服务器工作线程数，默认值为40，对于大集群可以调整到80~100
三：Linux优化
1）:开启文件系统的预读缓存可以提高读取速度
blockdev --setra 32768 /dev/sda
注意：ra 是readahead的缩写
2）：关闭进程睡眠池
sysctl -w vm.swappiness=0
即不允许后台进程进入睡眠状态，如果进程空闲，则直接 kill 掉 释放资源
四：ZooKeeper 优化额
1）：优化Zookeeper 会话超时时间
hdfs-site.xml
参数：zookeeper.session.timeout
解释：In hbase-site.xml,setzookeeper.session.timeout to 30 seconds or less to less to bound failure detection(20~30 seconds is a good start).该值会直接关系到 master 发现服务器宕机的最大周期，默认值为 30
秒，如果该值过小，会在 HBase 在写入大量数据发生而GC 时，导致RegionServer 短暂的不可用，从而没有向 ZK 发送心跳包，最终导致认为从节点 shutdown。
一般 20 台左右的集群需要配置 5 台zookeeper。
Hbase 优化
一：预分区
将数据索要投放的分区提前大致的规划好，以提高HBase 性能
|
hbase> create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000'] {NAME =>'info' ,COMPRESSION => 'SNAPPY' } ,SPLITS => ['1000', '2000' , '3000' , '4000' ] |
2) 生成 16 进制序列预分区
|
create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'} |
3) 按照文件中设置的规则预分区
4) 使用 JavaAPI 创建预分区
|
//自定义算法，产生一系列 Hash 散列值存储在二维数组中 byte[][] splitKeys = 某个散列值函数 //创建 HBaseAdmin 实例 HBaseAdmin hAdmin = new HBaseAdmin(HBaseConfiguration.create()); //创建 HTableDescriptor 实例 HTableDescriptor tableDesc = new HTableDescriptor(tableName); //通过 HTableDescriptor 实例和散列值二维数组创建带有预分区的HBase 表 hAdmin.createTable(tableDesc, splitKeys); |
二： RowKey 设计
一条数据的唯一标识就是 rowkey，那么这条数据存储于哪个分区，取决于 rowkey 处于哪个一个预分区的区间内，设计 rowkey 的主要目的 ，就是让数据均匀的分布于所有的 region中，在一定程度上防止数据倾斜。
