随笔分类 -  hadoop:HBase

[HBase]region compaction流程
摘要: 阅读全文

posted @ 2019-05-07 17:11 xf-xrh-xf 阅读(151) 评论(0) 推荐(0)

[HBase]region split流程
摘要:1. 简介 HBase 的最小管理单位为region,region会按照region 分裂策略进行分裂。 基于CDH5.4.2 2. 总览 阅读全文

posted @ 2019-04-15 14:58 xf-xrh-xf 阅读(287) 评论(0) 推荐(0)

[HBase]mem store flusher 流程
摘要: 阅读全文

posted @ 2019-04-02 16:02 xf-xrh-xf 阅读(128) 评论(0) 推荐(0)

[HBase] 服务端RPC机制及代码梳理
摘要:基于版本:CDH5.4.2 上述版本较老,但是目前生产上是使用这个版本,所以以此为例。 1. 概要 说明: 客户端API发送的请求将会被RPCServer的Listener线程监听到。 Listener线程将分配Reader给到此Channel用户后续请求的相应。 Reader线程将请求包装成Cal 阅读全文

posted @ 2018-12-12 15:14 xf-xrh-xf 阅读(1848) 评论(0) 推荐(0)

Apache HBase Performance Tuning 官文总结
摘要:Apache HBase Performance Tuning RAM, RAM, RAM. 不要让HBase饿死. 请使用64位的平台 必须将swapping设定为0 使用本地硬件来完成hdfs的checksumming计算,见:https://blogs.apache.org/hbase/ent 阅读全文

posted @ 2018-03-28 16:53 xf-xrh-xf 阅读(490) 评论(0) 推荐(0)

[how to]HBase Snapshots原理与使用
摘要:1.简介 Snapshots即快照的意思,作用于表上。在对于表做快照的时候不会造成文件的拷贝,如不会对HFile文件进行拷贝而是以链接的方式链接到元表的HFile上。可以说它是一种元数据的集合,可以快速的恢复到表至快照指定的状态从而迅速的数据修复(会丢失快照之后的数据)如用户误删除表等操作中恢复。也 阅读全文

posted @ 2017-04-20 14:35 xf-xrh-xf 阅读(939) 评论(0) 推荐(0)

[How to] Phoenix 与 CDH5.4.2 HBase的整合
摘要:1.简介 Phoenix将SQL带回到了NOSQL的世界,其在HBase之上做了一个layer,客户端通过SQL调用Phoenix,Phoenix在转化为HBase客户算API进行访问HBase,其很多计算也是通过HBase的协处理器的机制来完成的。当前很多场景下使用CDH版本的HBase,可惜Cl 阅读全文

posted @ 2017-03-27 14:33 xf-xrh-xf 阅读(1858) 评论(0) 推荐(0)

[How to]HBase集群备份方法--Replication机制
摘要:1.简介 HBase备份的方法在[How to]HBase集群备份方法文章中已经有些介绍,但是这些方法都不是HBase本身的特性在支持,都是通过MR计算框架结合HBase客户端的方式,或者直接拷贝HBase的底层hdfs数据的方式进行备份的,但从操作上来说也比较繁琐复杂,数据完整性和及时性上也做的并 阅读全文

posted @ 2017-03-01 01:19 xf-xrh-xf 阅读(8291) 评论(2) 推荐(1)

[How to]HBase集群备份方法
摘要:1.简介 当HBase数据库中存在非常重要的业务数据的时候为了保护数据的可以对数据进行备份处理。对于HBase来说从备份操作来看可分为离线备份和在线备份。 2. 前准备 在测试环境上准备有哦两套HBase集群,资源有限原因他们共享一个hdfs集群和zookeeper,通过配置不同node路径和数据路 阅读全文

posted @ 2017-02-17 17:58 xf-xrh-xf 阅读(5725) 评论(0) 推荐(1)

[How to] HBase的bulkload使用方法
摘要:1.简介 将数据插入HBase表中的方法很多,我们可以通过TableOutputFormat以Mapreduce on HBase的方式将数据插入,也可以单纯的使用客户端API将数据插入。但是以上方法效率并不高。 而使用BulkLoad特性能够利用MR计算框架将源数据直接生成内部的hfile格式,然 阅读全文

posted @ 2017-02-14 23:39 xf-xrh-xf 阅读(3460) 评论(0) 推荐(1)

How to recover NameNode HA, when one accidentally formated one of the two NameNodes
摘要:https://community.hortonworks.com/content/supportkb/48981/how-to-recover-namenode-ha-when-one-accidentally-f.html 阅读全文

posted @ 2017-02-14 16:46 xf-xrh-xf 阅读(128) 评论(0) 推荐(0)

[How to] MapReduce on HBase ----- 简单二级索引的实现
摘要:1.简介 MapReduce计算框架是二代hadoop的YARN一部分,能够提供大数据量的平行批处理。MR只提供了基本的计算方法,之所以能够使用在不用的数据格式上包括HBase表上是因为特定格式上的数据读取和写入都实现了各自的inputformat和outputformat,这样MR就通过这两个接口 阅读全文

posted @ 2017-02-13 21:27 xf-xrh-xf 阅读(2381) 评论(0) 推荐(0)

[How to] 使用HBase协处理器---Endpoint服务端的实现
摘要:1.简介 前篇文章[How to] 使用HBase协处理器 基本概念和regionObserver的简单实现中提到了两种不同的协处理器,并且实现了regionObserver。 本文将介绍如何使用EndPoint协处理器类型。 与Observer类型不同的是,Endpoint协处理器需要与服务区直接 阅读全文

posted @ 2017-02-09 15:27 xf-xrh-xf 阅读(4526) 评论(0) 推荐(0)

[How to] 使用HBase协处理器---基本概念和regionObserver的简单实现
摘要:1. 简介 对于HBase的协处理器概念可由其官方博文了解:https://blogs.apache.org/hbase/entry/coprocessor_introduction 总体来说其包含两种协处理器:Observers和Endpoint。 其中Observers可以理解问传统数据库的触发 阅读全文

posted @ 2017-02-08 10:50 xf-xrh-xf 阅读(12978) 评论(2) 推荐(2)

[hadoop][会装]HBase集群安装--基于hadoop ha模式
摘要:可以参考部署HBase系统(分布式部署) 和基于无HA模式的hadoop下部署相比,主要是修改hbase-site .xml文件,修改如下参数即可: 其他并无差别。 阅读全文

posted @ 2016-08-04 00:14 xf-xrh-xf 阅读(206) 评论(0) 推荐(0)

hadoop-Rpc使用实例
摘要:代码:https://github.com/xufeng79x/hadoop-common-rpc-demo 1. 简介 hadoop中使用rpc机制来进行分布式进程间的通信,被封装进了hadoop-common包中。 hadoop-common包是独立的公用包,我们可以在自己的程序中单独使用,本文 阅读全文

posted @ 2016-07-07 14:47 xf-xrh-xf 阅读(490) 评论(0) 推荐(0)

Hadoop(hadoop,HBase)组件import到eclipse
摘要:1.简介: 将源代码import到eclipse可以方便的阅读和修改源码。 2.环境说明: mac mvn工具(Apache Maven 3.3.3 ) 3.hadoop(CDH5.4.2) 1.进入hadoop根目录,执行: 注: 如果不指定eclipse的版本号,将会爆如下错误,应该是2.8版本 阅读全文

posted @ 2016-06-27 22:55 xf-xrh-xf 阅读(303) 评论(0) 推荐(0)

部署HBase系统(分布式部署)
摘要:1.简介 HBase系统主要依赖于zookeeper和hdfs系统,所以部署HBase需要先去部署zookeeper和hadoop 2.部署开始 IP或者HOSTNAME需要根据自身主机信息设定。 部署资源: 两个节点:xufeng-2(管理节点) xufeng-3(从节点) zookeeper n 阅读全文

posted @ 2016-06-17 16:51 xf-xrh-xf 阅读(522) 评论(0) 推荐(0)

An In-Depth Look at the HBase Architecture
摘要:https://www.mapr.com/blog/in-depth-look-hbase-architecture An In-Depth Look at the HBase Architecture August 7, 2015 Carol McDonald In this blog post, 阅读全文

posted @ 2016-01-29 15:56 xf-xrh-xf 阅读(256) 评论(0) 推荐(0)

导航