HBase-集群状态信息

代码如下

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193

package com.hbase.HBaseAdmin;   import java.io.IOException; import java.util.Collection; import java.util.Map; import java.util.Map.Entry;   import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.ClusterStatus; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.RegionLoad; import org.apache.hadoop.hbase.ServerLoad; import org.apache.hadoop.hbase.ServerName; import org.apache.hadoop.hbase.client.Admin; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; import org.apache.hadoop.hbase.master.RegionState; import org.apache.hadoop.hbase.util.Bytes;   /** * @author:FengZhen * @create:2018年9月12日 */ public class ClusterStatusTest {       private static String addr="HDP233,HDP232,HDP231";     private static String port="2181";     private static Connection connection;           /**      * 获取连接      */     public static void getConnection(){         Configuration conf = HBaseConfiguration.create();           conf.set("hbase.zookeeper.quorum",addr);         conf.set("hbase.zookeeper.property.clientPort", port);         try {             connection = ConnectionFactory.createConnection(conf);         } catch (IOException e) {             e.printStackTrace();         }     }           /*      * 关闭连接      */     public static void close() {         /**          * close connection          **/         if (connection != null) {             try {                 connection.close();             } catch (IOException e) {                 e.printStackTrace();             }         }     }           public static void main(String[] args) {         getConnection();         try {             Admin admin = connection.getAdmin();             ClusterStatus clusterStatus = admin.getClusterStatus();             //当前活着的region服务器的数量，此数量不包括不可用region服务器             int serversSize = clusterStatus.getServersSize();             System.out.println("当前可用region服务器数量: " + serversSize);                           //当前存活的region服务器的列表,包括region服务器的服务、IP、RPC端口、启动时间戳等             Collection<ServerName> servers = clusterStatus.getServers();             for (ServerName serverName : servers) {                 String serverNameStr = serverName.getServerName();                 String hostAndPort = serverName.getHostAndPort();                 int port = serverName.getPort();                 Long startCode = serverName.getStartcode();                 System.out.println("serverName: " + serverNameStr + ", hostAndPort: " + hostAndPort + ", port: " + port + ", startCode: " + startCode);             }                           int deadServersSize = clusterStatus.getDeadServers();             System.out.println("当前不可用region服务器数量: " + deadServersSize);                           Collection<ServerName> deadServerNames = clusterStatus.getDeadServerNames();             for (ServerName deadServerName : deadServerNames) {                 String serverNameStr = deadServerName.getServerName();                 String hostAndPort = deadServerName.getHostAndPort();                 int port = deadServerName.getPort();                 Long startCode = deadServerName.getStartcode();                 System.out.println("serverName: " + serverNameStr + ", hostAndPort: " + hostAndPort + ", port: " + port + ", startCode: " + startCode);             }                           //平均每台region服务器上线了多少region             double averageLoad = clusterStatus.getAverageLoad();             System.out.println("平均每台region服务器上线了多少region：" + averageLoad);                           //集群中region的总数量             int regionsCount = clusterStatus.getRegionsCount();             System.out.println("集群中region的总数量: " + regionsCount);                           //集群的请求TPS(一个表达系统处理能力的性能指标，每秒处理的消息数（Transaction Per Second）)             int requestsCount = clusterStatus.getRequestsCount();             System.out.println("集群的请求TPS: " + requestsCount);                           //当前集群的软件编译版本 1.1.2.2.6.1.0-129             String version = clusterStatus.getHBaseVersion();             System.out.println("当前集群的软件编译版本: " + version);                           //返回集群的唯一标识。这个值是集群第一次启动时通过UUID生成的，存在根目录下的hbase.id中             String clusterId = clusterStatus.getClusterId();             System.out.println("集群id: " + clusterId);                           //返回当前集群正在进行处理的region的事务列表，即移动操作、上线操作和下线操作。             //键是编码后的region名(由HRegTonInfo.getEncodeName返回)，值是RegionState的实例             Map<String, RegionState> regionsInTransition = clusterStatus.getRegionsInTransition();                           System.out.println(">>>>>>>>>>>>>>>>>>>>>>>ServerLoad<<<<<<<<<<<<<<<<<<<<<");             for (ServerName serverName : servers) {                 System.out.println("-------------------" + serverName.getHostAndPort() + "--------------------");                 //返回给定region服务器的当前负载情况                 ServerLoad serverLoad = clusterStatus.getLoad(serverName);                 //等同于getNumverOfRegions                 int getLoad = serverLoad.getLoad();                 System.out.println("当前region服务器上线的region数量getLoad: " + getLoad);                 //当前region服务器上线的region数量                 int getNumverOfRegions = serverLoad.getLoad();                 System.out.println("当前region服务器上线的region数量getNumverOfRegions: " + getNumverOfRegions);                 //返回当前region服务器这个周期内的TPS，周期可以通过参数hbase.reigonserver.msginterval来设定。                 //请求数会在一个周期结束后清零，它会统计所有的API请求，如get、put、increment、delete等                 long getNumberOfRequests = serverLoad.getNumberOfRequests();                 System.out.println("当前region服务器这个周期内的TPS: " + getNumberOfRequests);                 //JVM已使用的内存，单位为MB                 int getUsedHeapMB = serverLoad.getUsedHeapMB();                 System.out.println("JVM已使用的内存: " + getUsedHeapMB);                 //JVM最大可使用内存，单位为MB                 int getMaxHeapMB = serverLoad.getMaxHeapMB();                 System.out.println("JVM最大可使用内存: " + getMaxHeapMB);                 //当前region服务器的存储文件数量，即包括这个服务器管理的所有region                 int getStorefiles = serverLoad.getStorefiles();                 System.out.println("当前region服务器的存储文件数量: " + getStorefiles);                 //当前region服务器的存储文件的总存储量，单位为MB                 int getStorefileSizeInMB = serverLoad.getStorefileSizeInMB();                 System.out.println("当前region服务器的存储文件的总存储量: " + getStorefileSizeInMB);                 //当前region服务器的存储文件的索引大小，单位为MB                 int getStorefileIndexSizeInMB = serverLoad.getStorefileIndexSizeInMB();                 System.out.println("当前region服务器的存储文件的索引大小: " + getStorefileIndexSizeInMB);                 //当前region服务器的已用写缓存的大小，包括这个region服务器上所有的region                 int getMemstoreSizeInMB = serverLoad.getMemstoreSizeInMB();                 System.out.println("当前region服务器的已用写缓存的大小: " + getMemstoreSizeInMB);                 System.out.println("<<<<<<<<<<<<<<<<RegionLoad>>>>>>>>>>>>>>>>");                 //返回当前region服务器中每个region的负载情况，以Map的形式返回                 //键是region名，值是RegionLoad实例                 Map<byte[], RegionLoad> getRegionsLoad = serverLoad.getRegionsLoad();                 for (Entry<byte[], RegionLoad> value : getRegionsLoad.entrySet()) {                     String key = Bytes.toString(value.getKey());                     System.out.println("<<<<<<<<<<<<<<<<RegionLoad-" + key + ">>>>>>>>>>>>>>>>");                     RegionLoad regionLoad = value.getValue();                     //将二进制region名转换为字符串并返回                     String regionName = regionLoad.getNameAsString();                     System.out.println("regionName: " + regionName);                     //当前region的列族数量                     int getStores = regionLoad.getStores();                     System.out.println("当前region的列族数量: " + getStores);                     //当前region的存储文件数量                     int regionGetStorefiles = regionLoad.getStorefiles();                     System.out.println("当前region的存储文件数量: " + regionGetStorefiles);                     //当前region的存储文件占用空间，MB为单位                     int getStorefileSizeMB = regionLoad.getStorefileSizeMB();                     System.out.println("当前region的存储文件占用空间: " + getStorefileSizeMB);                     //当前region的存储文件的索引信息的大小，MB为单位                     int getStorefileIndexSizeMB = regionLoad.getStorefileIndexSizeMB();                     System.out.println("当前region的存储文件的索引信息的大小: " + getStorefileIndexSizeMB);                     //当前region使用的MemStore的大小，单位为MB                     int getMemStoreSizeMB = regionLoad.getMemStoreSizeMB();                     System.out.println("当前region使用的MemStore的大小: " + getMemStoreSizeMB);                     //当前region的本次统计周期内的TPS                     long getRequestsCount = regionLoad.getRequestsCount();                     System.out.println("当前region的本次统计周期内的TPS: " + getRequestsCount);                     //当前region的本次统计周期内的QPS(每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。)                     long getReadRequestsCount = regionLoad.getReadRequestsCount();                     System.out.println("当前region的本次统计周期内的QPS: " + getReadRequestsCount);                     //当前region的本次统计周期内的WPS                     long getWriteRequestsCount = regionLoad.getWriteRequestsCount();                     System.out.println("当前region的本次统计周期内的WPS: " + getWriteRequestsCount);                 }             }                       } catch (IOException e) {             e.printStackTrace();         }         close();     }       }

　输出如下

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103

当前可用region服务器数量: 1 serverName: HDP231,16020,1535939295270, hostAndPort: HDP231:16020, port: 16020, startCode: 1535939295270 当前不可用region服务器数量: 2 serverName: HDP233,16020,1531794848784, hostAndPort: HDP233:16020, port: 16020, startCode: 1531794848784 serverName: HDP232,16020,1531128455707, hostAndPort: HDP232:16020, port: 16020, startCode: 1531128455707 平均每台region服务器上线了多少region：25.0 集群中region的总数量: 25 集群的请求TPS: 0 当前集群的软件编译版本: 1.1.2.2.6.1.0-129 集群id: 465b49e6-73eb-4845-9dc7-1eb9eaf594e6 >>>>>>>>>>>>>>>>>>>>>>>ServerLoad<<<<<<<<<<<<<<<<<<<<< -------------------HDP231:16020-------------------- 当前region服务器上线的region数量getLoad: 25 当前region服务器上线的region数量getNumverOfRegions: 25 当前region服务器这个周期内的TPS: 0 JVM已使用的内存: 153 JVM最大可使用内存: 2007 当前region服务器的存储文件数量: 9 当前region服务器的存储文件的总存储量: 0 当前region服务器的存储文件的索引大小: 0 当前region服务器的已用写缓存的大小: 0 <<<<<<<<<<<<<<<<RegionLoad>>>>>>>>>>>>>>>> <<<<<<<<<<<<<<<<RegionLoad-hbase:meta,,1>>>>>>>>>>>>>>>> regionName: hbase:meta,,1 当前region的列族数量: 1 /当前region的存储文件数量: 2 当前region的存储文件占用空间: 0 当前region的存储文件的索引信息的大小: 0 当前region使用的MemStore的大小: 0 当前region的本次统计周期内的TPS: 24857 当前region的本次统计周期内的QPS: 24806 当前region的本次统计周期内的WPS: 51 <<<<<<<<<<<<<<<<RegionLoad-hbase:namespace,,1531128486691.d25b2b8cb0d3d1c538437c1b89b8f8c8.>>>>>>>>>>>>>>>> regionName: hbase:namespace,,1531128486691.d25b2b8cb0d3d1c538437c1b89b8f8c8. 当前region的列族数量: 1 /当前region的存储文件数量: 1 当前region的存储文件占用空间: 0 当前region的存储文件的索引信息的大小: 0 当前region使用的MemStore的大小: 0 当前region的本次统计周期内的TPS: 4 当前region的本次统计周期内的QPS: 4 当前region的本次统计周期内的WPS: 0 <<<<<<<<<<<<<<<<RegionLoad-socialSecurity,,1531128735425.d31a708f6a7b307c9bb2aa6818b790f8.>>>>>>>>>>>>>>>> regionName: socialSecurity,,1531128735425.d31a708f6a7b307c9bb2aa6818b790f8. 当前region的列族数量: 2 /当前region的存储文件数量: 2 当前region的存储文件占用空间: 0 当前region的存储文件的索引信息的大小: 0 当前region使用的MemStore的大小: 0 当前region的本次统计周期内的TPS: 0 当前region的本次统计周期内的QPS: 0 当前region的本次统计周期内的WPS: 0 <<<<<<<<<<<<<<<<RegionLoad-socialSecurityHDFS,,1532677476603.5ee0df2eee28c9499f55973feab29949.>>>>>>>>>>>>>>>> regionName: socialSecurityHDFS,,1532677476603.5ee0df2eee28c9499f55973feab29949. 当前region的列族数量: 1 /当前region的存储文件数量: 1 当前region的存储文件占用空间: 0 当前region的存储文件的索引信息的大小: 0 当前region使用的MemStore的大小: 0 当前region的本次统计周期内的TPS: 0 当前region的本次统计周期内的QPS: 0 当前region的本次统计周期内的WPS: 0 <<<<<<<<<<<<<<<<RegionLoad-socialSecurityTest,,1532671036790.32a018b498fe90f67e4d5f9154132ff8.>>>>>>>>>>>>>>>> regionName: socialSecurityTest,,1532671036790.32a018b498fe90f67e4d5f9154132ff8. 当前region的列族数量: 2 /当前region的存储文件数量: 1 当前region的存储文件占用空间: 0 当前region的存储文件的索引信息的大小: 0 当前region使用的MemStore的大小: 0 当前region的本次统计周期内的TPS: 0 当前region的本次统计周期内的QPS: 0 当前region的本次统计周期内的WPS: 0 <<<<<<<<<<<<<<<<RegionLoad-test_create,,1536200222987.a1298f176032256ee51263781abdce80.>>>>>>>>>>>>>>>> regionName: test_create,,1536200222987.a1298f176032256ee51263781abdce80. 当前region的列族数量: 1 /当前region的存储文件数量: 0 当前region的存储文件占用空间: 0 当前region的存储文件的索引信息的大小: 0 当前region使用的MemStore的大小: 0 当前region的本次统计周期内的TPS: 0 当前region的本次统计周期内的QPS: 0 当前region的本次统计周期内的WPS: 0 <<<<<<<<<<<<<<<<RegionLoad-test_hbase,,1535079442643.62ebe4c164f1474febc757e8af239b54.>>>>>>>>>>>>>>>> regionName: test_hbase,,1535079442643.62ebe4c164f1474febc757e8af239b54. 当前region的列族数量: 2 /当前region的存储文件数量: 2 当前region的存储文件占用空间: 0 当前region的存储文件的索引信息的大小: 0 当前region使用的MemStore的大小: 0 当前region的本次统计周期内的TPS: 0 当前region的本次统计周期内的QPS: 0 当前region的本次统计周期内的WPS: 0 <<<<<<<<<<<<<<<<RegionLoad-test_modify,,1536732559671.ca2e08814243448e6c8742a08c8950e8.>>>>>>>>>>>>>>>> regionName: test_modify,,1536732559671.ca2e08814243448e6c8742a08c8950e8. 当前region的列族数量: 2 /当前region的存储文件数量: 0 当前region的存储文件占用空间: 0 当前region的存储文件的索引信息的大小: 0 当前region使用的MemStore的大小: 0 当前region的本次统计周期内的TPS: 0 当前region的本次统计周期内的QPS: 0 当前region的本次统计周期内的WPS: 0 <<<<<<<<<<<<<<<<RegionLoad-test_pre_partition1,