Kafka概述
1、Kafka概述:和消息系统类似
(1)特性:
1)发布和订阅
2)实时处理数据流
3)分布式存储
(2)功能:
构建实时数据管道和实时数据流处理,横向扩展(通过增加机器的方式增加容量),能够在生产中稳定的运行。
(3)消息中间件:
生产者和消费者
1)例如:
妈妈:生产者
孩子:消费者
馒头:数据流、消息
2)正常情况下:
生产一个,消费一个
3)其他情况:
(1)一直生产,你吃到某一个馒头时,你噎住不能继续吃了(机器故障),后来做的馒头就丢失 了
(2)一直生产,做馒头速度快,你吃来不及,馒头也就丢失了
4)机器故障解决办法:
拿个篮子,馒头做好以后先放到篮子里,你要吃的时候从篮子中取出来吃
5)篮子:kafka
6)当容器满了,馒头就装不下了,怎么办?
多准备几个容器==Kafak的扩容
2、Kafka架构
producer:生产者,就是生产馒头(老妈)
consumer:消费者,就是吃馒头的(你)
broker:篮子
topic:主题,给馒头带一个标签,topica的馒头是给你吃的,topicb的馒头是给你弟弟吃的。
3、kafka部署及使用
1)单节点单Broker部署及使用
2)单节点多Broker部署及使用
3)多节点多Broker部署及使用