再多学一点吧

导航

HBase常用shell操作

行(row),列(Column),列蔟(Column Family),列标识符(Column Qualifier)和单元格(Cell)

行:由一个个行键(rowkey)和一个多个列组成。其中rowkey是按照字典顺序排序

列:列由列蔟(Column Family)和列限定符Column Qualifier)组成   例如:C1:ID

列蔟:创建表时就已经创建,是固定的,所有表中的每一行都有相同的列蔟,列蔟和列标识符通过绑定在一起用:连接

列标识符(列名):为存储的values数据提供索引,不同的行可能存在不同的列标识符

单元格:是行、列蔟和列标识符的组合,包含一个值和一个时间戳,以十六进制进制进行显示存储

创建表

首先先启动hbase shell

create '表名','列蔟名'...   (一个表可以包含若干个列蔟)

create 'ORDER_INFO','001'

查看表

list '表名'

 

删除表(先禁用表才能删除)

disable  '表名 '

drop   '表名'

 

添加数据

put '表名','ROWKEY','列蔟名(Column Family):列限定符(Column Qualifier)',''

put 'ORDER_INFO','000001','C1:ID','000001'

put 'ORDER_INFO','000001','C1:STATUS','已提交'

put 'ORDER_INFO','000001','C1:PAY_MONEY',4070

put 'ORDER_INFO','000001','C1:PAYWAY',1

put 'ORDER_INFO','000001','C1:USER_ID',4944191

put 'ORDER_INFO','000001','C1:OPERATION_DATE','2020-04-25 12:09:16'

put 'ORDER_INFO','000001','C1:CATEGORY','手机'

 

 查看添加的数据

get '表名','rowkey'

get 'ORDER_INFO','000001'

get 'ORDER_INFO','000001','C1:ID'

显示中文:get命令最后添加  {FORMATTER => 'toString'}  FORMATTER要大写

查看表结构

describe 'ORDER_INFO'

 

更新操作

更新指定的列(每执行一次put,时间戳都会发生改变)

put 'ORDER_INFO', '000001', 'C1:STATUS', '已付款'

 

删除操作

删除指定的列

delete '表名', 'rowkey', '列蔟:'

delete 'ORDER_INFO','000001','C1:STATUS'

注意此处HBase默认会保存多个时间戳的版本数据所以这里的delete删除的是最新版本的列数据

删除前

删除后

 

 删除整行数据

deleteall '表名','rowkey'

deleteall 'ORDER_INFO','000001'

 

清空表

truncate "表名" 

truncate 'ORDER_INFO'

扫描操作

scan '表名'  (注意避免扫描大表)

scan 'ORDER_INFO'

 

 扫描前两条

 scan 'ORDER_INFO',{LIMIT=>2} 

按固定rowkey扫描

hbase(main):079:0> scan 'ORDER_INFO',{ROWPREFIXFILTER=>'000001'}

范围查询 STARTROW(开始rowkey) ENDROW(结束rowkey)

scan 'ORDER_INFO', {STARTROW => 'row2'}

scan 'ORDER_INFO', {STARTROW => 'row2',ENDROW => 'row2'}

scan 'ORDER_INFO', {STARTROW => 'row2',ENDROW => 'row3'}

 

加载表,统计表记录数,禁用启用表

加载表

在linux中直接执行hbase shell 文件路径   (不要在shell中执行)

统计表记录数

count ‘表名’, {INTERVAL => intervalNum, CACHE => cacheNum} (每intervalNum告诉一次,每次刷cacheNum条)

INTERVAL设置多少行显示一次及对应的rowkey,默认1000;CACHE每次去取的缓存区大小,默认是10,调整该参数可提高查询速度

当有大量数据时可以进行MapReduce程序统计

启动yarn集群

start-yarn.sh

启动history server

mr-jobhistory-daemon.sh start historyserver

执行命令:$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'ORDER_INFO'

禁用启用表

禁用表:disable ‘表名’

启动表:enable ‘表名’

测试表是否存在:exists ‘表名’

 

Hbase计数器

要使用incr来初始化一个列,不能用put操作

可以使用get_counter的指令来获取计数器的操作,使用get是获取不到的

get_counter 'NEWS_VISIT_CNT','0000000020_01:00-02:00','C1:CNT' 

 

 

incr '表名','rowkey','列蔟:列名',xxx(xxx是增加的值,不写就是默认加1)

incr 'NEWS_VISIT_CNT','0000000020_01:00-02:00','C1:CNT',2

 

 

 

shell管理命令

status:显示服务器状态

 whoaim:显示HBase当前用户

 describe:展示表结构信息

 exists:检查表是否存在,适用于表量特别多的情况

 

Hive整合HBase

create external table students_hbase
(
id string,
name string,
age string,
gender string,
clazz string
)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties ("hbase.columns.mapping" = "
:key,
info:name,
info:age,
info:gender,
info:clazz
")
tblproperties("hbase.table.name" = "default:students");

posted on 2021-10-10 15:12  糟糟张  阅读(551)  评论(0编辑  收藏  举报