消息队列 Kafka 初识
★介绍
Kafka是消息队列的一种。一个多分区、多副本并且基于zookeeper协调的分布是消息系统。目前Kafka已经被定位一个分布式流式处理平台，以高吞吐量、可持久化、可水平扩展、支持流处理等多种特性而被广泛使用。
Kafka是一个分布式的发布-订阅消息系统，能够支撑海量的数据传输。再离线和试试的消息处理业务系统中，Kafka都有广泛的应用空间。
Kafka将消息持久化到磁盘中，并对消息进行备份以保证数据安全。
Kafka在保证具有较高数据处理速度的同时，也保证了数据处理的低延迟和零丢失！
★特性
- 高吞吐、低延迟：Kafka每秒可以处理几十万条数据，它的延迟最低只有几毫秒，每个主题可以分多个分区，消费者组对分区进行消费。
- 可扩展性：Kafka集群支持热扩展。
- 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份以防止数据丢失。
- 高容错：允许集群中半数以下的节点出现异常。
- 高并发：支持数千客户端同时读写。
★应用场景
- 日志收集：可以用Kafka手机各种服务的日志，通过Kafka以统一的接口服务方式开放给各种消费者，例如：Hadoop、HBase、Solr等等。
- 消费系统：生产者和消费者解耦合、缓存数据等。
- 用户行为跟踪：Kafka以流的方式计量用户的各种行为，例如浏览网页、搜索和点击等，用于订阅者消费这些信息来实现实时的监控或者同步到hadoop或数据参考做离线数据分析和数据挖掘。
- 集群监控：Kafka记录集群中的各个信息，对各种操作进行集中反馈，比如报警和消息推送。
- 流式处理：比如Spark Streaming和Flink。
★技术优势
- 可伸缩性：Kafka的两个重要特性早就了它的可伸缩性
1.Kafka集群在运行期间可以动态的扩展和伸缩（即可以动态的添加和删除代理），而不需要停机。
2.可以扩展一个Kafka toplc来设置更多的分区，以提高并行度和数据量。
- 容错性和可靠性：Kafka集群模式使用Zookeeper进行协调，且有分区和副本机制，因此可以在某些节点失效时从副本节点恢复并继续运行。
- 吞吐量：能够快速高效地存储和检索数据。
★消息队列的两种方式
- 1.点对点模式（一对一）：客户端实时监听消息队列，消费者主动拉取数据，消息收到后消息清除。
- 2.发布/订阅模式（一对多）：数据生产后，推送给所有订阅者。
★为什么需要消息队列？
- 解耦
- 冗余
- 扩展性
- 灵活性和峰值处理能力
- 可恢复性
- 顺序保证
- 缓冲
