05 2019 档案

hbase写数据 和 读数据过程
摘要：一：获取region存储位置信息 写数据和读数据一般都会获取hbase的region的位置信息。大概步骤为： 1- 从zookeeper中获取.ROOT.表的位置信息，在zookeeper的存储位置为/hbase/root-region-server； 2- 根据.ROOT.表中信息，获取.META 阅读全文
posted @ 2019-05-20 17:28 上海小墨子 阅读(1659) 评论(0) 推荐(0) 编辑
kafka文件存储结构和如何保证数据不丢失
摘要：一： kafka文件组成 基本组成： 1- broker 节点，多个broker构成一个集群 2- topic 对消息进行归类 3- producer 生产者 4- comsumer 消费者 5- consumerGroup 消费组 topic的组成： 1- partition 物理上数据存储的概念 阅读全文
posted @ 2019-05-14 18:38 上海小墨子 阅读(400) 评论(0) 推荐(0) 编辑
优秀的博客记录
摘要：kafka: 1- kafka 数据可靠性深度解读 importNew-朱小厮，比较全面讲解了kafka构成，文件存储结构，如何保证数据不丢失等。 hbase： http://hbasefly.com/category/hbase/ 一个对hbase有深入理解的牛 ES： 1- Elasticsea 阅读全文
posted @ 2019-05-14 18:03 上海小墨子 阅读(170) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示