使用MR编程操纵hbase
======================================
1、TableInputFormat输入K,V格式
ImmutableBytesWritable //相当于textInputFormat中的偏移量
Result //真实数据
使用conf设置table配置文件
conf.set(TableInputFormat.INPUT_TABLE,"ns1:t1"); //指定表名
//还需手动添加
conf.set("hbase.zookeeper.quorum","s102:2181,s103:2181"); //指定zk连接地址
2、TableOutputFormat输出K,V格式
ignore //当指定value时，此项可忽略，建议使用NullWritable
Put || Delete //hbase的put或delete
使用conf设置table配置文件
conf.set(TableOutputFormat.OUTPUT_TABLE,"ns1:wc"); //指定表名
//还需手动添加
conf.set("hbase.zookeeper.quorum","s102:2181,s103:2181"); //指定zk连接地址
布隆过滤器
=============================
是hbase的文件格式，以k/v形式存储，k/v均是字节数组
HFile包括以下内容：
读取或写入压缩块的存储空间。
每个块所指定的I/O操作的压缩编解码器
临时的key存储
临时的value存储
hfile索引，存在于内存，占用空间约为(56+AvgKeySize)*NumBlocks.
性能优化建议
**** 最小块大小，推荐在 8KB to 1MB之间
顺序读写推荐大块，但不便于随机访问(因为需要解压更多的数据)
小块便于随机读写，但是需要占用更多内存，但是创建起来更慢(因为块多，每次压缩都需要flush操作)
由于压缩缓存，最小块大小应该在20KB-30KB.
hfile中的索引，在每次加载region的时候会加载到内存
region:文件夹/cf：文件夹 --------> HFile
在进行查询时，会将cf文件夹中所有的hfile索引进行LSM树遍历查找(近似于二分查找),
所以在查找的时候会遍历所有的索引
布隆过滤器为了解决此问题，可以立刻判断此文件没有制定的rowKey。帮助过滤掉一些不需要扫描的文件
比块索引粒度粗
所以hbase在定位rowKey的时候，首先通过布隆过滤器排除一些肯定不存在的hfile
然后在剩下可能存在hfile的文件中通过块索引遍历数据。
布隆过滤器配置：BLOOMFILTER
NONE //不适用，不占用
ROW //推荐只扫描行级别的操作，占用资源不大
ROWCOL //推荐扫描行+列级别操作，占用资源稍大
alter 'ns1:t1', NAME => f1, BLOOMFILTER => ROWCOL
HBase调优：
=================================
1、调整新生代堆内存大小
export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
2、配置减少垃圾回收产生的内存碎片
hbase.hregion.memstore.mslab.enabled ===> true
3、采用压缩 //只能在空表采用压缩
alter 'ns1:t1', NAME => 'f1', COMPRESSION => 'LZ4'
4、优化拆分和合并：
split：避免切割风暴 //region默认10G，当所有表同时增长到指定阈值，就会同时进行切割
//极大影响集群性能
//解决方案：1、设置超大值，进行手动切分
2、进行预切割
避免热点数据： //rowKey设计原则：在集群范围分散，在区域范围连续
1、组合键
2、调整组合键权重
3、进行盐析：随机加盐x hash加盐- 手动设计前缀:在集群范围分散，在区域范围连续
4、数字比较，使用MAX_VALUE-num 进行倒排
5、格式化数字串 DecimalFormat
手动移动区域：
merge：merge_region 'ENCODED_REGIONNAME', 'ENCODED_REGIONNAME'
5、负载均衡： //超过半数region由一个regionServer管辖，导致压力过大
close_region //关闭区域
assign //注册区域
unassign //注销当前regionserver，并在其他节点重新注册
balancer //均衡器，unassign所有的region并重新注册
6、API
1、关闭自动刷写
table.setAutoFlush(false, false);
2、设置扫描缓存 || 批次
scan.setCaching()
3、限定扫描范围 //避免全表扫描
4、关闭resultScanner //影响性能问题
rs.close()
5、扫描设置快缓存 //默认true
将扫描结果缓存到客户端以便下次使用
6、设置过滤器：
RowFilter
FamilyFilter
QualifierFilter
ValueFilter
SingleColumnValueFilter
FilterList
7、put设置禁止写入WAL //不推荐 WAL的生命周期
put.setDurability(Durability.SKIP_WAL);
7、配置
1、增加处理线程
hbase.regionserver.handler.count
2、增加堆内存：hbase-env.sh
export HBASE_HEAPSIZE=1G //默认1G
3、调整快缓存大小
hfile.block.cache.size=0.4 //堆内存的40%
4、调整memstore大小
hbase.regionserver.global.memstore.size //最大memstore，默认堆内存40%
hbase.regionserver.global.memstore.size.lower.limit //最小memstore，默认最大memstore的95%
