redis缓存穿透和雪崩
摘要：Redis缓存穿透和缓存雪崩解决方案 redis的缓存有哪些问题？一致性？击穿？雪崩等是如何解决的？ 缓存穿透：是指查询一个一定不存在的数据。由于缓存命不中时会去查询数据库，查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到数据库去查询，造成缓存穿透。 解决方案： 雪崩：如果缓存集中在一
阅读全文
posted @ 2019-09-20 20:01
09 2019 档案
HBase架构详解
摘要：HBase架构： 1**）Client** Client包含了访问Hbase的接口，另外Client还维护了对应的cache来加速Hbase的访问，比如cache的.META.元数据的信息。 2**）Zookeeper** HBase通过Zookeeper来做master的高可用、RegionSer
阅读全文
posted @ 2019-09-17 21:50
Rowkey设计原则
摘要：前言：热点问题的产生？ HBase表的数据是按照RowKey来分散到不同的Region，不合理的RowKey设计会导致热点问题，(不论是读还是写，首先是找region) Regionserver内部按照什么来进行分配数据：rowkey字典排序 ; 读的时候： 热点问题是大量的客户端直接访问集群中的一
阅读全文
posted @ 2019-09-17 20:20
大数据高频面试题
摘要：面试中的问题（重点）** 1. RDD的特性（RDD的解释）1.RDD可以看做是一些列partition所组成的2.RDD之间的依赖关系3.算子是作用在partition之上的4.分区器是作用在kv形式的RDD上5.partition提供的最佳计算位置,利于数据处理的本地化即计算向数据移动而不是移动
阅读全文
posted @ 2019-09-10 14:40
