HBase——常用命令
摘要：一、启停HBase 1. 启动集群： bin/start-hbase.sh 2. 停止集群： bin/stop-hbase.sh 3. 单独启动HMaster进程： bin/hbase-daemon.sh start master 4. 单独停止HMaster进程： bin/hbase-daemon
阅读全文
posted @ 2021-03-09 11:26
随笔分类 - Hbase
HBase——PerformanceEvaluation（压测工具）
摘要：简介 在项目开发过程中，我们经常需要一些benchmark工具来对系统进行压测，以获得系统的性能参数，极限吞吐等等指标。 而在HBase中，就自带了一个benchmark工具—PerformanceEvaluation，可以非常方便地对HBase的Put、Get、Scan等API进行性能测试，并提供
阅读全文
posted @ 2020-09-09 10:01
HBase——Snapshot（快照）
摘要：前言 HBase数据迁移方案有很多种，但今天我们来通过Snapshot方式来实现HBase的数据迁移(即将A集群HBase的数据迁移到B集群)。 HBase Snapshots允许你对一个表进行快照（即可用副本），它不会对Region Servers产生很大的影响，它进行复制和恢复操作的时候不包括数
阅读全文
posted @ 2020-09-09 09:59
HBase——Replication（复制）实践
摘要：前言 Replication：复制，指的是持续的将同一份数据拷贝到多个地方进行存储，是各种存储系统中常见而又重要的一个概念， 可以指数据库中主库和从库的复制，也可以指分布式集群中多个集群之间的复制，还可以指分布式系统中多个副本之间的复制。 它的难点在于数据通常是不断变化的，需要持续的将变化也反映到多
阅读全文
posted @ 2020-09-09 09:58
HBase——Replication（复制）原理
摘要：前言 Replication：复制，指的是持续的将同一份数据拷贝到多个地方进行存储，是各种存储系统中常见而又重要的一个概念， 可以指数据库中主库和从库的复制，也可以指分布式集群中多个集群之间的复制，还可以指分布式系统中多个副本之间的复制。 它的难点在于数据通常是不断变化的，需要持续的将变化也反映到多
阅读全文
posted @ 2020-09-09 09:51
HBase——冷热分离方案
摘要：前言 HBase是当下流行的一款海量数据存储的分布式数据库。往往海量数据存储会涉及到一个成本问题，如何降低成本。 常见的方案就是通过冷热分离来治理数据。冷数据可以用更高的压缩比算法（ZSTD），更低副本数算法（Erasure Coding），更便宜存储设备（HDD，高密集型存储机型）。 HBase冷
阅读全文
posted @ 2020-09-09 09:45
Hadoop——HDFS异构存储&HBase冷热分离
摘要：前言 总体上HDFS异构存储的价值在于，根据数据热度采用不同策略从而提升集群整体资源使用效率。 对于频繁访问的数据，将其全部或部分保存在更高访问性能的存储介质（内存或SSD）上，提升其读写性能； 对于几乎不会访问的数据，保存在归档存储介质上，降低其存储成本。 但是HDFS异构存储的配置需要用户对目录
阅读全文
posted @ 2020-09-09 09:43
Prometheus + Grafana（十一）系统监控之HBase
摘要：前言 HBase Metrics是一种监控信息实时收集机制。它负责收集的信息有： 功能性信息（Compaction Queue、Store Files个数等） JVM使用信息 (Heap Memory 的变化) rpc访问信息 HMaster地址： http://master_host:60010/
阅读全文
posted @ 2020-04-20 17:12
Hadoop管理与监控——安全模式（safemode）
摘要：启动Hadoop和HBase之后，执行jps命令，已经看到有HMaster的进程，但是进入到监控界面查看，没有节点信息： 进入到logs目录查看master的日志：发现一直显示下面的内容： 原来是Hadoop在刚启动的时候，还处在安全模式造成的，稍等片刻会自动退出安全模式。 为什么NameNode会
阅读全文
posted @ 2019-12-30 15:25
HBase管理与监控——WebUI
摘要：一、Region Server栏信息 Requests Per Second，每秒读或写请求次数，可以用来监控HBase请求是否均匀。如果不均匀需排查是否为建表的region划分不合理造成。 Num. Regions，每个Regionserver节点上的region个数，观察每个节点的region个
阅读全文
posted @ 2019-11-19 20:10
HBase管理与监控——统计表行数
摘要：背景 HBase统计 RowCount 的方法有好几种，并且执行效率差别巨大，以下3种方法效率依次提高。 一、hbase-shell的count命令 这是最简单直接的操作，但是执行效率非常低，适用于百万级以下的小表RowCount统计。 此操作可能需要很长时间，来运行计数MapReduce作业。默认
阅读全文
posted @ 2019-11-19 19:53
HBase管理与监控——HMaster或HRegionServer自动停止挂掉
摘要：问题描述 HBase在运行一段时间后，会出现以下2种情况： 1、HMaster节点自动挂掉； 通过jps命令，发现HMaster进程没了，只剩下HRegionServer，此时应用还能正常往HBase写入数据 此时以下界面无法打开： 2、HRegionServer节点自动挂掉 通过jps命令，发现H
阅读全文
posted @ 2019-11-16 17:54
HBase管理与监控——Dead Region Servers
摘要：【问题描述】 在持续批量写入HBase的情况下，出现了Dead Region Servers的情况。集群会把dead掉节点上的region自动分发到另外2个节点上，集群还能继续运行，只是少了1个节点。 【解决方案】 重启HBase集群，dead掉的那个节点又恢复正常了。集群又会重新分配region到
阅读全文
posted @ 2019-11-14 12:38
HBase管理与监控——强制删除表
摘要：在用phoenix创建Hbase表时，有时会提示创建失败，发现Hbase中又已创建成功， 但这些表在进行enable、disable、drop都无效，也无法删除： hbase(main):004:0> enable 'TERMINAL_DETAIL_DATA' ##如下异常： ERROR: org.
阅读全文
posted @ 2019-10-31 09:58
HBase管理与监控——HBase region is not online
摘要：发现有些regison程序操作失败，其他region 都是正常的，重启regionserver 后依然报同样的错误。 首先进入hbase的bin目录，执行下面命令检查表是否有存储一致性问题： 如出现以下提示，则说明有不一致的地方，2表示个数： 既然不一致，咱就尝试修复一下（这个功能要管理权限，使用慎
阅读全文
posted @ 2019-10-31 09:39
HBase——系统调优
摘要：JVM层 HMaster 没有处理过重的负载，并且实际的数据服务不经过 HMaster，它的主要任务有2个：一、管理Hbase Table的 DDL操作， 二、region的分配工作，任务不是很艰巨。 但是如果采用默认自动split region的方式，HMaster会稍微忙一些，负载不大，可适度对
阅读全文
posted @ 2019-10-29 20:28
HBase管理与监控——彻底删除HBase数据
摘要：1、hadoop的bin目录下，执行命令以下命令清除Hbase数据 2、连接ZK，执行以下命令清除Hbase数据 3、重启ZK、重启hadoop（hdfs、yarn）、重启hbase
阅读全文
posted @ 2019-10-27 13:46
Hadoop集群安装压缩工具Snappy，用于Hbase
摘要：最近项目中要用到Hadoop和Hbase，为了节省服务器的存储成本，并提高吞吐，安装并开启HBase的数据压缩为Snappy。 主流的HBase压缩方式有GZip | LZO | Snappy，Snappy的压缩比会稍微优于LZO。相比于gzip，Snappy压缩率不如gzip，但是压缩和解压缩速度
阅读全文
posted @ 2019-07-30 15:31
Hadoop、Hbase —— 服务启动、验证、停止
摘要：一、Hadoop 1、启动Hadoop 启动过程如下： 2、验证Hadoop是否启动成功 2.1、在主节点上用jps命令可以看到SecondaryNameNode和NameNode进程： 2.2、在任一子节点上hadoop2或者hadoop3用jps命令可以查看到DataNode进程 2.3、作为进
阅读全文
posted @ 2019-07-30 11:22
