HBase学习11（项目01分析及准备）
海量数据
1.准备
在idea中创建项目，然后创建脚本包hbase_shell。
添加文件说明readme.md，写入相关项目结构说明。
通过复制hbase_shell文件目录，在VSCode中打开进行对脚本文件的编写。
在VSCode中编写方便。
2.创建名称空间namespace
当表的数量比较多的时候，为了方便管理，不同的业务域以名称空间（namespace)来划分。
启动hbase shell
命名空间的基本操作：
# 创建命名空间 create_namespace 'MOMO_CHAT' # 查看命名空间 list_namespace # 删除命名空间，注意删除前该命名空间必须是空的，无表 drop_namespace 'XX' # 查看某个具体的命名空间 describe_namespace 'MOMO_CHAT'
在指定命名空间中创建表，不指定命名空间会自动在default命名空间中创建表。
# 在MOMO_CHAT命名空间下创建表MSG create "MOMO_CHAT:MSG","C1"
3.注意事项
列簇越少越好，不然对hbase性能有影响。
GZIP的压缩率最高，但是其实CPU密集型的，对CPU的消耗比其他算法要多，压缩和解压速度也慢；
LZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多；
Zippy/Snappy的压缩率最低，而压缩和解压速度要稍微比LZO要快一些
4.设置数据压缩
hbase shell
# 设置数据压缩 # 表创建的时候指定压缩方式 create "MOMO_CHAT:MSG", {NAME => "C1", COMPRESSION => "GZ"} # 指定修改某个表的列簇的压缩方式 alter "MOMO_CHAT:MSG",{NAME => "C1", COMPRESSION => "GZ"}
5.ROWKEY
注意事项：
1.避免使用递增行键/时序数据
如果ROWKEY设计的都是按照顺序递增（例如：时间戳），这样会有很多的数据写入时，负载都在一台机器上。我们尽量应当将写入大压力均衡到各个RegionServer。
2. 避免ROWKEY和列的长度过大
在HBase中，要访问一个Cell（单元格），需要有ROWKEY、列族、列名，如果ROWKEY、列名太大，就会占用较大内存空间。所以ROWKEY和列的长度应该尽量短小。ROWKEY的最大长度是64KB，建议越短越好
3.使用long等类型比String类型更省空间
long类型为8个字节，8个字节可以保存非常大的无符号整数，例如：18446744073709551615。如果是字符串，是按照一个字节一个字符方式保存，需要快3倍的字节数存储。
4.ROWKEY唯一性
由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。
6.预分区P24
可以避免数据热点
热点是指大量的客户端（client）直接访问集群的一个或者几个节点（可能是读、也可能是写）
大量地访问量可能会使得某个服务器节点超出承受能力，导致整个RegionServer的性能下降，其他的Region也会受影响
hbase设置预分区：
1指定 start key、end key来分区
# 预分区 # 1.指定 start key、end key来分区 hbase> create 'ns1:t1', 'f1', SPLITS => ['10', '20', '30', '40']
划分出来五个区：
2.指定分区数量、分区策略
# 2.指定分区数量、分区策略 hbase> create 't1', 'f1', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'} # HexStringSplit: ROWKEY是十六进制的字符串作为前缀的 # DecimalStringSplit: ROWKEY是10进制数字字符串作为前缀的 # UniformSplit: ROWKEY前缀完全随机
了解上面的知识后，我们要在建表的时候就要指定预分区，所以我们先把表删掉，再重新建立
注意，删除表分两步： 先 disable "MOMO_CHAT:MSG" ，后 drop "MOMO_CHAT:MSG"
然后建表：
create 'MOMO_CHAT:MSG',{NAME => 'C1', COMPRESSION => 'GZ'}, {NUMREGIONS => 6, SPLITALGO => 'HexStringSplit'}
