kafka总结

一.消息队列的作用
1. 应用解耦
2.异步处理
3.数据限流
4.消息通信
二.概念
代理 broker kafka 集群中一个kafka的进程
生产者 producer
消费者 consumer
消费者组 多个线程来执行

主题 topic
分区 每一个主题中有一个或多个分区 基于物理层次
副本 每个主题创建时会要求制定副本的数
记录 K +V +时间歘组成
kafka 通过zookeeper 进行管理

kafka 消费者 是消费者组中的一部分，当每个消费者组存在多个消费者消费主题的消息数据的时候，每个消费者会读取不同分区的上的消息数据
三.特性
1.异步生成数据
2.偏移量迁移
3.数据流 kafka streams 处理流式数据
深层理解
1.采用tcp网络通信协议，采用reactor【事件模型】多线程模型

四kafka 的流处理
1.kstream
2.kTable
流数据与批数据的区别在于数据边界是否有限
无穷数据表示流数据，有穷数据表示批数据
五.kafka eagle系统做监控系统
kafka 与elk整合