kafka概念扫盲
摘要：一、kafka概述 1.1、定义 Kakfa是一个分布式的基于发布/订阅模式的消息队列（message queue），主要应用于大数据的实时处理领域 1.2、消息队列 1.2.1、传统的消息队列&新式的消息队列的模式 上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些
阅读全文
posted @
2020-01-31 22:59
bainianminguo
阅读(31850)
推荐(5) 编辑
Hbase概念原理扫盲
摘要：一、Hbase简介 1、什么是Hbase Hbase的原型是google的BigTable论文，收到了该论文思想的启发，目前作为hadoop的子项目来开发维护，用于支持结构化的数据存储。 Hbase是一个高可靠性（存储在hdfs上，有副本机制），高性能，面向列，非关系型的数据库（类似redis），可
阅读全文
posted @
2019-12-27 23:39
bainianminguo
阅读(784)
推荐(1) 编辑
HDFS原理概念扫盲
摘要：1、概述 hdfs文件系统主要设计为了存储大文件的文件系统；如果有个TB级别的文件，我们该怎么存储呢？分布式文件系统未出现的时候，一个文件只能存储在个服务器上，可想而知，单个服务器根本就存储不了这么大的文件；退而求其次，就算一个服务器可以存储这么大的文件，你如果想打开这个文件，效率会高吗 hdfs的
阅读全文
posted @
2019-12-05 00:00
bainianminguo
阅读(1339)
推荐(1) 编辑
zookeeper扫盲
摘要：一、zookeeper概述 a、zookeeper是一个开源的分布式的项目，为分布式业务提供协调服务的apache顶级项目 那什么是分布式的呢，通俗的说就是多个机器可以同时去处理一件事情 b、zookeeper相当于大数据生态体系的润滑剂，保存各个组件的配置文件；zoo是什么意思，动物园的意思，而大
阅读全文
posted @
2019-12-01 20:07
bainianminguo
阅读(431)
推荐(0) 编辑
