Hbase Shell命令详解+API操作
HBase Shell 操作
3.1 基本操作
1．进入 HBase 客户端命令行，在hbase-2.1.3目录下
bin/hbase shell
2．查看帮助命令
hbase(main):001:0> help
3．查看当前数据库中有哪些表
hbase(main):002:0> list
3.2 表的操作
1．创建表
hbase(main):002:0> create 'student','info'
注意：删除字符的按键BackSpace的删除顺序是反过来的，即从左往右删。
2．插入数据到表
hbase(main):003:0> put 'student','1001','info:sex','male'
hbase(main):004:0> put 'student','1001','info:age','18'
hbase(main):005:0> put 'student','1002','info:name','Janna'
hbase(main):006:0> put 'student','1002','info:sex','female'
hbase(main):007:0> put 'student','1002','info:age','20'
3．扫描查看表数据
hbase(main):008:0> scan 'student'
hbase(main):009:0> scan 'student',{STARTROW => '1001', STOPROW => '1001'} 前闭后开
hbase(main):010:0> scan 'student',{STARTROW => '1001'}
4．查看表结构
hbase(main):0011:0> describe 'student'
5．更新指定字段的数据
hbase(main):012:0> put 'student','1001','info:name','Nick'
hbase(main):013:0> put 'student','1001','info:age','100'
6．查看【指定行】或【指定列族:列】的数据
hbase(main):014:0> get 'student','1001'
hbase(main):015:0> get 'student','1002','info:name'
7．统计表数据行数
hbase(main):021:0> count 'student'
8．删除数据
删除某 rowkey 的全部数据：
hbase(main):016:0> deleteall 'student','1001'
注意：删除操作默认的时间戳是当前时间。在 HBase 中，增删改数据都是打时间戳！！！
删除某rowkey的某一列数据：
hbase(main):017:0> delete 'student','1002','info:sex'
注意：shell删除操作会将数据的所有版本都删除掉。但是在 HBase 的 API 操作中可以细粒度的控制删除哪一个版本。
9．清空表数据
hbase(main):018:0> truncate 'student'
提示：清空表的操作顺序为先 disable，然后再 truncate。
10．删除表
首先需要先让该表为 disable 状态：
hbase(main):019:0> disable 'student'
然后才能 drop 这个表：
hbase(main):020:0> drop 'student'
提示：如果直接 drop 表，会报错：ERROR: Table student is enabled. Disable it first.
11．变更表信息
设置将info列族中的数据存放3个版本：
hbase(main):022:0> alter 'student',{NAME => 'info', VERSIONS => 3}
hbase(main):022:0> get 'student','1001',{COLUMN => 'info:name', VERSIONS => 3}
Hbase API操作
1.环境准备：
创建maven项目，更改pom.xml文件配置
<dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.1.3</version> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.8.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop.version}</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>${hadoop.version}</version> </dependency> </dependencies>
2.API
一系列API操作集合如下：
package com.gec.demo; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.protobuf.generated.ClientProtos; import org.apache.hadoop.hbase.util.Bytes; import sun.java2d.pipe.OutlineTextRenderer; import java.io.IOException; import static com.gec.demo.utli.getTable.getHTable; public class HbaseOperation { static Admin admin = null; static Connection conn = null; static Configuration conf = null; static { // HBase配置文件 conf = HBaseConfiguration.create(); // 设置zookeeper地址 conf.set("hbase.zookeeper.quorum", "hadoop-001"); conf.set("hbase.zookeeper.property.clientPort", "2181"); try { // 获取连接对象，执行 conn = ConnectionFactory.createConnection(conf); admin = conn.getAdmin(); } catch (IOException e) { e.printStackTrace(); } } private static void close(Connection conn, Admin admin) { if (conn != null) { try { conn.close(); } catch (IOException e) { e.printStackTrace(); } } if (admin != null) { try { admin.close(); } catch (IOException e) { e.printStackTrace(); } } } public static boolean isTableExistNewAPI(String tableName) throws MasterNotRunningException, ZooKeeperConnectionException, IOException { // HBase配置文件 Configuration conf = HBaseConfiguration.create(); // 设置zookeeper地址 conf.set("hbase.zookeeper.quorum", "hadoop-001"); conf.set("hbase.zookeeper.property.clientPort", "2181"); // 获取连接对象，执行 Connection connection = ConnectionFactory.createConnection(conf); Admin admin = connection.getAdmin(); boolean tableExists = admin.tableExists(TableName.valueOf(tableName)); // 关闭资源 admin.close(); return tableExists; } // 创建表 public static void createTable(String tableName, String... columnFamily) throws IOException { if (isTableExistNewAPI(tableName)) { System.out.println("表" + tableName + "已存在！"); return; } // 创建表描述器 HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf(tableName)); // 添加列族 for (String cf : columnFamily) { // 创建列描述器 HColumnDescriptor HColumnDescriptor = new HColumnDescriptor(cf); // 指定列族的版本个数，默认个数是一个 // HColumnDescriptor.setMaxVersions(5); hTableDescriptor.addFamily(HColumnDescriptor); } // 创建表操作 admin.createTable(hTableDescriptor); System.out.println("表" + tableName + "创建成功！"); } // 删除表 public static void deleteTable(String tableName) throws IOException { if (isTableExistNewAPI(tableName)) { // 删除表之前先使表不可用（下线） admin.disableTable(TableName.valueOf(tableName)); // 执行删除操作 admin.deleteTable(TableName.valueOf(tableName)); System.out.println("表" + tableName + "删除成功！"); } else { System.out.println("表" + tableName + "不存在！"); } } // 向表中插入数据（或修改） public static void putRowData(String tableName, String rowKey, String columnFamily, String column, String value) throws IOException { // 创建HTable对象 // 旧API // HTable hTable = new HTable(conf, TableName.valueOf(tableName)); // 获取Table对象 // 新API Table table = conn.getTable(TableName.valueOf(tableName)); Put put = new Put(Bytes.toBytes(rowKey)); // 向Put对象中组装数据 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(column), Bytes.toBytes(value)); // 执行向表中插入数据的操作 table.put(put); System.out.println("插入数据成功"); table.close(); // 批量插入数据提示：1、同一个RowKey下添加不同的列；2、不同的RowKey，可以将RowKey(Put)放到List集合。 } // 删除多行数据 public static void deleteData(String tableName, String rowKey, String columnFamily, String column) throws IOException { // 获取Table对象 // 新API Table table = conn.getTable(TableName.valueOf(tableName)); // 创建Delete对象 Delete delete = new Delete(Bytes.toBytes(rowKey)); // 向Delete对象中组装数据，如果不组装，则删除的是行键的数据（多行数据） // delete.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(column)); // 慎用这个方法，删除某个版本(默认最新版本)，保留旧的版本 // delete.addColumns(Bytes.toBytes(columnFamily), Bytes.toBytes(column)); // 公司推荐使用这个方法，删除所有版本 // 执行删除操作 table.delete(delete); System.out.println("删除多行数据成功"); table.close(); } // 获取所有数据（全表扫描） public static void scanTable(String tableName) throws IOException { // 获取Table对象 // 新API Table table = conn.getTable(TableName.valueOf(tableName)); // 构建扫描器，指定扫描的起始行和结束行，不指定的话，表示扫描全表，还可以指定其他限定 Scan scan = new Scan(); // scan.setStartRow(startRow); // scan.setStopRow(stopRow); // 执行扫描全表操作 ResultScanner resultScanner = table.getScanner(scan); for (Result result : resultScanner) { Cell[] cells = result.rawCells(); for (Cell cell : cells) { System.out.println("行键:" + Bytes.toString(result.getRow()) + " 列族：" + Bytes.toString(CellUtil.cloneFamily(cell)) + " 列:" + Bytes.toString(CellUtil.cloneQualifier(cell)) + " 值:" + Bytes.toString(CellUtil.cloneValue(cell))); } } table.close(); } // 获取某一行数据 public static void getRowData(String tableName, String rowKey) throws IOException { // 获取Table对象 // 新API Table table = conn.getTable(TableName.valueOf(tableName)); // 新建一个Get对象 Get get = new Get(Bytes.toBytes(rowKey)); // 显示所有版本 // get.setMaxVersions(); // 显示指定版本 // get.setMaxVersions(maxVersions); // 显示指定时间戳的版本 // get.setTimeStamp(); // 执行获取某一行数据的操作 Result result = table.get(get); Cell[] cells = result.rawCells(); for (Cell cell : cells) { System.out.println("行键:" + Bytes.toString(result.getRow()) + " 列族：" + Bytes.toString(CellUtil.cloneFamily(cell)) + " 列:" + Bytes.toString(CellUtil.cloneQualifier(cell)) + " 值:" + Bytes.toString(CellUtil.cloneValue(cell)) + " 时间戳:" + cell.getTimestamp()); } table.close(); } // 获取某一行指定“列族:列”的数据 public static void getRowQualifierData(String tableName, String rowKey, String columnFamily, String column) throws IOException { // 获取Table对象 // 新API Table table = conn.getTable(TableName.valueOf(tableName)); // 新建一个Get对象 Get get = new Get(Bytes.toBytes(rowKey)); // 指定要获取某一行的“列族:列” get.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(column)); // 执行获取某一行指定“列族:列”数据的操作 Result result = table.get(get); Cell[] cells = result.rawCells(); for (Cell cell : cells) { System.out.println("行键:" + Bytes.toString(result.getRow()) + " 列族：" + Bytes.toString(CellUtil.cloneFamily(cell)) + " 列:" + Bytes.toString(CellUtil.cloneQualifier(cell)) + " 值:" + Bytes.toString(CellUtil.cloneValue(cell)) + " 时间戳:" + cell.getTimestamp()); } table.close(); } }
