分布式消息队列 Kafka
分布式消息队列 Kafka
Kafka是一个高吞吐量的、分布式的消息系统，由Linkedin开发，开发语言为scala
具有高吞吐、可扩展、分布式等特点
适用场景
活动数据统计
活动数据包括页面访问量（Page View）、被查看内容方面的信息、搜索情况等内容
先以日志的形式存储，然后周期性地对这些文件进行统计分析
运营数据统计
收集服务器的性能数据（CPU、内存、IO使用率 ……)，之后进行统计
Linkedin就是基于这类需求开发出了Kafka，所以kafka最适合的场景为：
一个日志集群，各种服务器将它们自身的日志发送到集群中进行统一汇总和存储，然后其它机器从集群中拉取消息进行分析处理，数据挖掘
整体架构
kafka体系包括以下部分：
（1）生产者 Producer
（2）broker集群
（3）话题 Topic（可以理解为queue）
（4）消费者 Consumer
（5）Zookeeper集群
可以在Kafka中创建多个Topic，Producer向Topic中发送消息，Consumer从Topic中获取消息
为了高效的读写消息，topic都被切分为多个分区partition，放入不同的broker中
topic的partition类似于数据库的分表，可以根据消息的key进行分区
例如key为userid，可以根据userid进行分组，把不同userid段的消息放入不同的partition，提高读写性能
为了保证高可用性，每个partition都有多个备份，分别保存在不同的broker中
其中有一个partition为leader，负责读写，其余的为slave，当leader失效时，会从slave中再选举出一个leader
每个partition也不是一个独立的文件，被分为了多个片段segment
Kafka通过Zookeeper管理集群配置，选举leader
应用示例
需求
监控用户交易行为，当交易金额过大时，标识出异常
实现
