sixinshuier

2021年7月28日

摘要： 01-可见性、原子性、有序性源头之一：缓存导致的可见性问题可见性：一个线程对共享变量的修改，另外一个线程能够立刻看到，我们称为可见性. 源头之二：线程切换带来的原子性问题例如：count += 1，在cpu指令级别上指令 1：首先，需要把变量 count 从内存加载到 CPU 的寄存器；指阅读全文

posted @ 2021-07-28 20:20 sixinshuier 阅读(83) 评论(0) 推荐(0) 编辑

hbase-17- Hlog的持久化等级

摘要： Hbase Hlog的持久化等级 SKIP_WAL：只写缓存，不写HLog日志。因为只写内存，因此这种方式可以极大地提升写入性能，但是数据有丢失的风险。在实际应用过程中并不建议设置此等级，除非确认不要求数据的可靠性。 ASYNC_WAL：异步将数据写入HLog日志中。 SYNC_WAL：同步将数据写阅读全文

posted @ 2021-07-28 16:43 sixinshuier 阅读(149) 评论(1) 推荐(0) 编辑

hbase-16-写入流程

摘要： Hbase 写入流程大致分为三个步骤： 1.客户端请求首先在meta cache 根据rowKey查找该rowKey对应的Region Server，如果有则直接发送请求到RegionServer。如果客户端缓存中没有查到对应的rowkey信息，需要首先到ZooKeeper上/hbase-roo 阅读全文

posted @ 2021-07-28 14:58 sixinshuier 阅读(163) 评论(1) 推荐(1) 编辑

thrift-基本原理及使用

摘要： thrift RPC基本原理 RPC(Remote Procedure Call)，远程过程调用，大部分的RPC框架都遵循如下三个开发步骤：定义一个接口说明文件：描述了对象(结构体)、对象成员、接口方法等一系列信息；通过RPC框架所提供的编译器，将接口说明文件编译成具体的语言文件；在客户端和服阅读全文

posted @ 2021-07-28 14:02 sixinshuier 阅读(609) 评论(0) 推荐(0) 编辑

2021年7月26日

hbase-15-如何查看HFile

摘要：命令 ➜ bin ./hbase hfile 2021-07-26 18:03:56,810 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using buil 阅读全文

posted @ 2021-07-26 18:16 sixinshuier 阅读(76) 评论(0) 推荐(0) 编辑

Hbase-14-MemStore Flush的触发时机

摘要： Hbase MemStore Flush的触发时机 MemStore 级别限制： hbase.hregion.memstore.flush.size 默认值： 128M hbase.hregion.memstore.flush.size 设置Memstore的大小，默认大小是128M，当超过这个值的阅读全文

posted @ 2021-07-26 17:44 sixinshuier 阅读(170) 评论(1) 推荐(0) 编辑

Hbase-13-MemStore

摘要： HBase基于LSM树模型实现，所有的数据写入操作首先会顺序写入日志HLog，再写入MemStore，当MemStore中数据大小超过阈值之后再将这些数据批量写入磁盘，生成一个新的HFile文件。 HBase Table 的每个 Column family 维护一个 MemStore，当满足一定条件阅读全文

posted @ 2021-07-26 17:41 sixinshuier 阅读(76) 评论(0) 推荐(1) 编辑

Hbase-12-故障恢复

摘要： 1.Region Server 宕机的原因： Full GC导致网络异常导致官方Bug 导致 DataNode异常导致 2.故障恢复三部曲 Log Splitting Distributed Log Splitting Distributed Log Replay 3.故障恢复流程这些场景下一阅读全文

posted @ 2021-07-26 16:05 sixinshuier 阅读(166) 评论(0) 推荐(0) 编辑

HBase-11-日志分割 (log splitting)

摘要： 1.概述一个region server上的所有region共用一个Hlog, hlog用来在系统异常down掉，MemStore中大量更新丢失时，对数据进行恢复。然而，对每个region的更新在hlog里不是连续的，而是分散在Hlog里的。Hlog中的每项更新都会记录该更新所属的region, 阅读全文

posted @ 2021-07-26 12:51 sixinshuier 阅读(527) 评论(0) 推荐(1) 编辑

2021年7月23日

Hbase-10-权限管理

摘要：授权范围：名称描述 Superuser 超级账号可以进行任何操作，运行HBase服务的账号默认是 Superuser。也可以通过在hbase-site.xml中配置hbase.superuser的值可以添加超级账号。 Global Global Scope拥有集群所有table的Admin权限。阅读全文

posted @ 2021-07-23 16:54 sixinshuier 阅读(212) 评论(1) 推荐(1) 编辑

公告