xf-xrh-xf - 博客园

2019年5月7日

[HBase]region compaction流程

摘要：阅读全文

posted @ 2019-05-07 17:11 xf-xrh-xf 阅读(149) 评论(0) 推荐(0)

2019年4月15日

[HBase]region split流程

摘要： 1. 简介 HBase 的最小管理单位为region，region会按照region 分裂策略进行分裂。基于CDH5.4.2 2. 总览阅读全文

posted @ 2019-04-15 14:58 xf-xrh-xf 阅读(287) 评论(0) 推荐(0)

2019年4月2日

[HBase]mem store flusher 流程

摘要：阅读全文

posted @ 2019-04-02 16:02 xf-xrh-xf 阅读(127) 评论(0) 推荐(0)

2018年12月12日

[HBase] 服务端RPC机制及代码梳理

摘要：基于版本：CDH5.4.2 上述版本较老，但是目前生产上是使用这个版本，所以以此为例。 1. 概要说明：客户端API发送的请求将会被RPCServer的Listener线程监听到。 Listener线程将分配Reader给到此Channel用户后续请求的相应。 Reader线程将请求包装成Cal 阅读全文

posted @ 2018-12-12 15:14 xf-xrh-xf 阅读(1842) 评论(0) 推荐(0)

2018年6月19日

spark技术总结（1）

摘要： 1. 请描述spark RDD原理与特征 RDD为Resilient Distributed Datasets缩写，译文弹性分布式数据集。他是spark系统中的核心数据模型之一，另外一个是DAG模型。它是“只读”，“分区”的数据集合。其类内部有5个部分组成： 1. 一组partition par 阅读全文

posted @ 2018-06-19 17:21 xf-xrh-xf 阅读(390) 评论(0) 推荐(0)

2018年3月28日

Apache HBase Performance Tuning 官文总结

摘要： Apache HBase Performance Tuning RAM, RAM, RAM. 不要让HBase饿死. 请使用64位的平台必须将swapping设定为0 使用本地硬件来完成hdfs的checksumming计算，见：https://blogs.apache.org/hbase/ent 阅读全文

posted @ 2018-03-28 16:53 xf-xrh-xf 阅读(489) 评论(0) 推荐(0)

2017年12月15日

Spark RDD 窄依赖研究

摘要： 1.. 简介 spark从RDD依赖上来说分为窄依赖和宽依赖。其中可以这样区分是哪种依赖：当父RDD的一个partition被子RDD的多个partitions引用到的时候则说明是宽依赖，否则为窄依赖。宽依赖会触发shuffe，宽依赖也是一个job钟不同stage的分界线。本篇文章主要讨论一下阅读全文

posted @ 2017-12-15 15:23 xf-xrh-xf 阅读(296) 评论(0) 推荐(0)

2017年12月4日

使用IDEA进行打包

摘要：使用IDEA打jar包： 1. 阅读全文

posted @ 2017-12-04 10:39 xf-xrh-xf 阅读(156) 评论(0) 推荐(0)

2017年4月20日

[how to]HBase Snapshots原理与使用

摘要： 1.简介 Snapshots即快照的意思，作用于表上。在对于表做快照的时候不会造成文件的拷贝，如不会对HFile文件进行拷贝而是以链接的方式链接到元表的HFile上。可以说它是一种元数据的集合，可以快速的恢复到表至快照指定的状态从而迅速的数据修复（会丢失快照之后的数据）如用户误删除表等操作中恢复。也阅读全文

posted @ 2017-04-20 14:35 xf-xrh-xf 阅读(927) 评论(0) 推荐(0)

2017年4月10日