golang for range
摘要：如下两种写法是等价的（错误）： func findNegative(in []int) [] int { ret := make([] int,0) for _,v := range in { if v
阅读全文
posted @ 2019-10-31 00:22
10 2019 档案
亚稳定机房hbase集群配置
摘要：背景 在某些项目中，由于一些特殊原因，机房环境不是特别稳定，存在可能突然断电的情况，在这种情况下，我们需要一些额外的配置来尽量避免hbase集群数据丢失。 风险 HLog 没有及时落地到磁盘，断电导致wal日志丢失 HFile刷写完成，但是文件HFile 调用后，数据没有及时落地到磁盘，断电导致HF
阅读全文
posted @ 2019-10-25 15:17
Hbase mvcc
摘要：region hlog回放时mvcc的应用 region 的时候会根据各个 下的所有 文件记录的 ，找到最大的 ,然后根据各个 记录的 回放HLog日志(从maxMemstoreTS+1开始)。 数据写入过程中的版本管理 : 关键点: mvcc的 方法把 自增,并以自增后的 生成一个写条目放入到写队
阅读全文
posted @ 2019-10-25 10:39
BloomFilter在Hbase中的实现与应用
摘要：在HFILE文件中的存储 BloomFilterChunk 使用 实际存储bit数组，因此 和`set`过程都需要进行相应的转换,计算byte[]的index再计算byte内bit的index。 由于hash函数个数是不定地，该类中使用一个hash函数通过不同的 计算出 和`hash2 hash1+
阅读全文
posted @ 2019-10-24 14:48
flink checkpoint机制的实现
摘要：启用checkpoint机制 调用 的`enableCheckpointing interval`间隔需要大于等于10ms 作业checkpoint流程描述 构建 的过程中会生成三个 类型的节点列表: triggerVertices:所有的source并行实例节点，会定时接收到 发送的 请求 ack
阅读全文
posted @ 2019-10-22 17:01
