HBase的java客户端测试(一)---DDL操作
测试准备
【首先同步时间：】
for node in CloudDeskTop master01 master02 slave01 slave02 slave03;do ssh $node "date -s '2017-12-30 21:32:30'";done
【slave各节点启动zookeeper集群：】
cd /software/zookeeper-3.4.10/bin/ && ./zkServer.sh start && cd - && jps
【master01启动HDFS集群：】
cd /software/ && start-dfs.sh && jps
【master01启动HBase：】
cd /software/hbase-1.2.6/bin && start-hbase.sh && jps
【master02上启动HBase:】
cd /software/hbase-1.2.6/bin && hbase-daemon.sh start master && jps
如有节点启动出现故障：
单独启动master：
cd /software/hbase-1.2.6/bin && hbase-daemon.sh start master && jps
单独启动regionserver：
cd /software/hbase-1.2.6/bin && hbase-daemon.sh start regionserver && jps
通过命令终端查看：
hbase(main):009:0> status
通过web终端查看：
http://master01的IP地址:16010/
【在主机CloudDeskTop导入java客户端开发所需jar包：】HBase1.2.6-All.zip
测试目标：
运用java代码编写程序操作HBase数据库，本次测试致力于对DDL语法的java客户端操作；
测试代码：大数据学习交流QQ群：217770236 让我们一起学习大数据
1 package com.mmzs.bigdata.hbase.ddl; 2 3 import java.io.IOException; 4 import java.util.Map; 5 import java.util.Map.Entry; 6 import java.util.Set; 7 8 import org.apache.hadoop.conf.Configuration; 9 import org.apache.hadoop.hbase.HBaseConfiguration; 10 import org.apache.hadoop.hbase.HColumnDescriptor; 11 import org.apache.hadoop.hbase.HTableDescriptor; 12 import org.apache.hadoop.hbase.NamespaceDescriptor; 13 import org.apache.hadoop.hbase.TableName; 14 import org.apache.hadoop.hbase.TableNotFoundException; 15 import org.apache.hadoop.hbase.client.Admin; 16 import org.apache.hadoop.hbase.client.Connection; 17 import org.apache.hadoop.hbase.client.ConnectionFactory; 18 import org.apache.hadoop.hbase.io.ImmutableBytesWritable; 19 20 /** 21 * DDL: 22 * createTable|disableTable|deleteTable|modifyTable|modifyColumn|getTableDescriptor 23 * 24 * 表空间——>表——>列族——>列(字段)——>列值(字段值) 25 * 26 * @author hadoop 27 * 28 */ 29 public class DDLMain { 30 /** 31 * 操作HBase集群的客户端 32 */ 33 private static Admin admin;//操作HBase集群的客户端 34 35 static{ 36 //创建HBase配置 37 Configuration conf = HBaseConfiguration.create(); 38 //要和hbase-site.xml中configuration配置的一样 39 conf.set("hbase.zookeeper.quorum", "slave01:2181,slave02:2181,slave03:2181"); 40 //根据HBase配置获取集群路径 41 Connection conn; 42 try { 43 conn = ConnectionFactory.createConnection(conf); 44 admin = conn.getAdmin(); 45 } catch (IOException e) { 46 e.printStackTrace(); 47 } 48 } 49 50 public static void main(String[] args) { 51 // createNamespace("mmzs02"); 52 // try { 53 // createHTable("mmzs:myuser"); 54 // } catch (IOException e) { 55 // e.printStackTrace(); 56 // } 57 existHTable("mmzs:myuser"); 58 // modifyHTableByAddFamily("mmzs:myuser","attach00"); 59 // modifyHTableByDelFamily("mmzs:myuser","attach00"); 60 // modifyHTableByModFamily("mmzs:myuser","base",5); 61 //deleteHTable("mmzs:myuser"); 62 // iterateNameSpace(); 63 64 65 66 } 67 68 /** 69 * 创建表空间 70 * @param namespaceNameStr 71 * @throws IOException 72 */ 73 public static void createNamespace(String namespaceNameStr){ 74 NamespaceDescriptor.Builder builder=NamespaceDescriptor.create(namespaceNameStr); 75 NamespaceDescriptor nd=builder.build(); 76 try { 77 admin.createNamespace(nd); 78 } catch (IOException e) { 79 e.printStackTrace(); 80 } 81 82 } 83 84 //删除表空间 85 public static void deleteNamespace(String namespaceNameStr){ 86 try { 87 admin.deleteNamespace(namespaceNameStr); 88 } catch (IOException e) { 89 e.printStackTrace(); 90 } 91 } 92 93 94 //创建HBase表 95 public static void createHTable(String tabNameStr) throws IOException{ 96 //转化为表名 97 TableName tabname=TableName.valueOf(tabNameStr); 98 //根据表名创建表结构 99 HTableDescriptor htd = new HTableDescriptor(tabname); 100 //定义列族名字“base” 101 HColumnDescriptor base = new HColumnDescriptor("base"); 102 base.setMaxVersions(3); 103 // 定义列族名字为”extra“ 104 HColumnDescriptor extra = new HColumnDescriptor("extra"); 105 extra.setMaxVersions(3); 106 107 htd.addFamily(base); 108 htd.addFamily(extra); 109 try { 110 admin.createTable(htd); 111 112 } catch (IOException e) { 113 e.printStackTrace(); 114 } 115 } 116 117 /** 118 * 判断某表是否存在 119 * @param tabNameStr 120 */ 121 public static void existHTable(String tabNameStr){ 122 TableName tabName=TableName.valueOf(tabNameStr); 123 Boolean flag = null; 124 try { 125 flag = admin.tableExists(tabName); 126 } catch (IOException e) { 127 e.printStackTrace(); 128 } 129 if (flag) { 130 System.out.println(tabName+"存在"); 131 } else { 132 System.out.println(tabName+"不存在"); 133 } 134 } 135 136 //增加一个列族 137 public static void modifyHTableByAddFamily(String tabNameStr,String familyName){ 138 //转化为表名 139 TableName tabname=TableName.valueOf(tabNameStr); 140 try { 141 //根据表名得到表 142 HTableDescriptor htd = admin.getTableDescriptor(tabname); 143 //新建一个列族 144 HColumnDescriptor attach = new HColumnDescriptor(familyName); 145 attach.setMaxVersions(3); 146 //将新建的列族添加到表中 147 htd.addFamily(attach); 148 149 //修改指定的表 150 admin.modifyTable(tabname, htd); 151 } catch (TableNotFoundException e) { 152 e.printStackTrace(); 153 } catch (IOException e) { 154 e.printStackTrace(); 155 } 156 } 157 158 //修改列族 159 public static void modifyHTableByModFamily(String tabNameStr,String familyName,Integer max){ 160 //转化为表名 161 TableName tabname=TableName.valueOf(tabNameStr); 162 try { 163 //根据表名得到表 164 HTableDescriptor htd = admin.getTableDescriptor(tabname); 165 //得到指定的列族 166 HColumnDescriptor hcd =htd.getFamily(familyName.getBytes()); 167 hcd.setMaxVersions(max); 168 169 //修改表中的指定列族 170 admin.modifyColumn(tabname, hcd); 171 } catch (TableNotFoundException e) { 172 e.printStackTrace(); 173 } catch (IOException e) { 174 e.printStackTrace(); 175 } 176 } 177 178 //删除列族 179 public static void modifyHTableByDelFamily(String tabNameStr,String familyName){ 180 TableName tabname=TableName.valueOf(tabNameStr); 181 try { 182 HTableDescriptor htd = admin.getTableDescriptor(tabname); 183 htd.removeFamily(familyName.getBytes()); 184 185 //删除表中的指定列族 186 admin.modifyTable(tabname, htd); 187 } catch (TableNotFoundException e) { 188 e.printStackTrace(); 189 } catch (IOException e) { 190 e.printStackTrace(); 191 } 192 } 193 194 195 //遍历所有的表空间 196 public static void iterateNameSpace(){ 197 try { 198 //取出所有的表空间的结构 199 NamespaceDescriptor[] nds=admin.listNamespaceDescriptors(); 200 for(NamespaceDescriptor nd:nds){ 201 //获取表空间的名字 202 String namespaceName=nd.getName(); 203 //获取表空间下所有的表的结构 204 HTableDescriptor[] htds=admin.listTableDescriptorsByNamespace(namespaceName); 205 for(HTableDescriptor htd:htds){ 206 //获取表的名字 207 String tabName=htd.getTableName().getNameAsString(); 208 //获取表下的所有的列族的结构 209 HColumnDescriptor[] hcds=htd.getColumnFamilies(); 210 for(HColumnDescriptor hcd:hcds){ 211 //获取列族的名字 212 String familyName=hcd.getNameAsString(); 213 //获取列族下的所有键值对 214 Map<ImmutableBytesWritable,ImmutableBytesWritable> keyVals=hcd.getValues(); 215 //遍历当前列族下的所有键值对 216 Set<Entry<ImmutableBytesWritable, ImmutableBytesWritable>> entrys=keyVals.entrySet(); 217 for(Entry<ImmutableBytesWritable, ImmutableBytesWritable> entry:entrys){ 218 String key=new String(entry.getKey().get()); 219 String value=new String(entry.getValue().get()); 220 String info=new StringBuilder(namespaceName) 221 .append("\t") 222 .append(tabName) 223 .append("\t") 224 .append(familyName) 225 .append("\t") 226 .append(key) 227 .append(":") 228 .append(value) 229 .toString(); 230 231 //输出结果 232 System.out.println(info); 233 } 234 } 235 } 236 } 237 } catch (IOException e) { 238 e.printStackTrace(); 239 } 240 241 } 242 243 //删除HBase表 244 public static void deleteHTable(String tabNameStr) { 245 TableName tableName = TableName.valueOf(tabNameStr); 246 247 try { 248 //先禁用表 249 admin.disableTable(tableName); 250 //在删除表 251 admin.deleteTables(tabNameStr); 252 } catch (IOException e) { 253 e.printStackTrace(); 254 } 255 } 256 257 }
测试结果：
在命令端查看，查看方式，可参考：http://www.cnblogs.com/mmzs/p/8135327.html
