熟悉常用的HBase操作

实验3

熟悉常用的HBase操作

 

 

1.实验目的

（1）理解HBase在Hadoop体系结构中的角色；

（2）熟练使用HBase操作常用的Shell命令；

（3）熟悉HBase操作常用的Java API。

2.实验平台

（1）操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）；

（2）Hadoop版本：3.1.3；

（3）HBase版本：2.2.2；

（4）JDK版本：1.8；

（5）Java IDE：Eclipse。

3. 实验步骤

（一）编程实现以下指定功能，并用Hadoop提供的HBase Shell命令完成相同任务：

（1） 列出HBase所有的表的相关信息，例如表名；

 

HBase Shell命令：show tables;

  

Java API实现：

Admin admin = connection.getAdmin();  

TableName[] tableNames = admin.listTableNames();  

for (TableName tableName : tableNames) {  

     System.out.println(tableName.getNameAsString());  

}  

（2） 在终端打印出指定的表的所有记录数据；

HBase Shell命令：

  

 

Java API实现：

 

Table table = connection.getTable(TableName.valueOf("test"));  

ResultScanner scanner = table.getScanner(new Scan());  

for (Result result : scanner) {  

      System.out.println(result);  

}

 

（3） 向已经创建好的表添加和删除指定的列族或列；

添加列族：

HBase Shell命令：alter 'test', {NAME => age'}

  

Java API实现：

HColumnDescriptor columnDescriptor = new HColumnDescriptor("newColumnFamily");  

admin.addColumn("'test", columnDescriptor);  

 

 

删除列：

 

HBase Shell命令：alter ''test', {NAME => 'columnFamily:column', METHOD => 'delete'}

 

 

 

  

Java API实现：

admin.deleteColumn("'test", "columnFamily:column");

 

 

 

 

 

（4） 清空指定的表的所有记录数据；

 

HBase Shell命令：TRUNCATE  TABLE  test;

  

 

Java API实现：

admin.disableTable("'test");  

admin.deleteTable("'test");

 

（5） 统计表的行数。

 

 

HBase Shell命令：SELECT COUNT(*) AS row_count FROM test;

  

 

 

Java API实现：

Scan scan = new Scan();  

ResultScanner scanner = table.getScanner(scan);  

int rowCount = 0;  

for (Result result : scanner) {  

     rowCount++;  

}  

System.out.println("Row count: " + rowCount);  

 

 

（二）HBase数据库操作

1. 现有以下关系型数据库中的表和数据（见表14-3到表14-5），要求将其转换为适合于HBase存储的表并插入数据：

表14-3 学生表（Student）

学号（S_No）	姓名（S_Name）	性别（S_Sex）	年龄（S_Age）
2015001	Zhangsan	male	23
2015002	Mary	female	22
2015003	Lisi	male	24

 

表14-4 课程表（Course）

课程号（C_No）	课程名（C_Name）	学分（C_Credit）
123001	Math	2.0
123002	Computer Science	5.0
123003	English	3.0

 

表14-5 选课表（SC）

学号（SC_Sno）	课程号（SC_Cno）	成绩（SC_Score）
2015001	123001	86
2015001	123003	69
2015002	123002	77
2015002	123003	99
2015003	123001	98
2015003	123002	95

 

2. 请编程实现以下功能：

（1）createTable(String tableName, String[] fields)

创建表，参数tableName为表的名称，字符串数组fields为存储记录各个字段名称的数组。要求当HBase已经存在名为tableName的表的时候，先删除原有的表，然后再创建新的表。

 

public void createTable(String tableName, String[] fields) throws IOException {  

    if (admin.tableExists(TableName.valueOf(tableName))) {  

        admin.disableTable(TableName.valueOf(tableName));  

        admin.deleteTable(TableName.valueOf(tableName));  

    }  

    HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf(tableName));  

    for (String field : fields) {  

        tableDescriptor.addFamily(new HColumnDescriptor(field));  

    }  

    admin.createTable(tableDescriptor);  

}

 

（2）addRecord(String tableName, String row, String[] fields, String[] values)

向表tableName、行row（用S_Name表示）和字符串数组fields指定的单元格中添加对应的数据values。其中，fields中每个元素如果对应的列族下还有相应的列限定符的话，用“columnFamily:column”表示。例如，同时向“Math”、“Computer Science”、“English”三列添加成绩时，字符串数组fields为{“Score:Math”, ”Score:Computer Science”, ”Score:English”}，数组values存储这三门课的成绩。

 

public void addRecord(String tableName, String row, String[] fields, String[] values) throws IOException {  

    Table table = connection.getTable(TableName.valueOf(tableName));  

    Put put = new Put(Bytes.toBytes(row));  

    for (int i = 0; i < fields.length; i++) {  

        put.addColumn(Bytes.toBytes(fields[i].split(":")[0]), Bytes.toBytes(fields[i].split(":")[1]), Bytes.toBytes(values[i]));  

    }  

    table.put(put);  

}

 

（3）scanColumn(String tableName, String column)

浏览表tableName某一列的数据，如果某一行记录中该列数据不存在，则返回null。要求当参数column为某一列族名称时，如果底下有若干个列限定符，则要列出每个列限定符代表的列的数据；当参数column为某一列具体名称（例如“Score:Math”）时，只需要列出该列的数据。

 

public void scanColumn(String tableName, String column) throws IOException {  

    Table table = connection.getTable(TableName.valueOf(tableName));  

    Scan scan = new Scan();  

    if (column.contains(":")) {  

        scan.addColumn(Bytes.toBytes(column.split(":")[0]), Bytes.toBytes(column.split(":")[1]));  

    } else {  

        scan.addFamily(Bytes.toBytes(column));  

    }  

    ResultScanner scanner = table.getScanner(scan);  

    for (Result result : scanner) {  

        System.out.println(result);  

    }  

}

 

（4）modifyData(String tableName, String row, String column)

修改表tableName，行row（可以用学生姓名S_Name表示），列column指定的单元格的数据。

 

public void modifyData(String tableName, String row, String column, String newValue) throws IOException {  

    Table table = connection.getTable(TableName.valueOf(tableName));  

    Put put = new Put(Bytes.toBytes(row));  

    put.addColumn(Bytes.toBytes(column.split(":")[0]), Bytes.toBytes(column.split(":")[1]), Bytes.toBytes(newValue));  

    table.put(put);  

}

 

（5）deleteRow(String tableName, String row)

删除表tableName中row指定的行的记录。

 

public void deleteRow(String tableName, String row) throws IOException {  

    Table table = connection.getTable(TableName.valueOf(tableName));  

    Delete delete = new Delete(Bytes.toBytes(row));  

    table.delete(delete);  

}