Kafka环境搭建
Kafka官网：http://kafka.apache.org/
Producer：消息生产者，负责向Topic推送消息。broker接收到生产者发送的消息后，broker将该消息追加到当前用于追加数据的segment文件中。
Consumer：消息消费者，可以从一个或者多个Topic节点上获取消息。
Consumer Group：为一个或者多个Consumer进行分组。
Topic：消息队列，每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。
Partition：一个Topic被拆分成一个或多个Partition（分区）。每个partition中的数据使用多个segment文件存储。partition中的数据是有序的，不同partition间的数据丢失了数据的顺序。如果topic有多个partition，消费数据时就不能保证数据的顺序。在需要严格保证消息的消费顺序的场景下，需要将partition数目设为1。
Broker：kafka集群包括一个或多个服务器，这些服务器节点被称作broker。
Leader：每个partition有多个副本，其中有且仅有一个作为Leader，Leader是当前负责数据的读写的partition。
Follower：Follower跟随一个Leader，Leader负责读写数据，并会通过广播同步到所有的Follower节点上。如果Leader宕机，那么将会从Follower中选举出一个新的Leader。当Follower挂掉，那么Leader则会将该Follower从ISR列表中删除并重新创建一个Follower。
Kafka注册中心依赖于Zookeeper，基于scala，scala是基于JAVA环境的。所以还需要安装JDK，kafka-2.3.1自带了单节点的zookeeper，在入门学习阶段，可以用来玩玩。因为在实际环境中，zookeeper是一个集群。
下载Zookeeper之后，新建data和log文件夹：
bin目录存放一些常用命令，conf存放着zookeeper的配置文件，打开conf目录，赋值一份zoo_sample.cfg文件，重命名为zoo.cfg。修改zoo.cfg配置：
修改dataDir和dataLogDir配置分别是刚刚创键的data和log文件夹路径，clientPort是zookeeper服务的端口
# data和log目录配置 dataDir=D:\\Users\\dagger\\IdeaProjects\\software\\zookeeper\\data dataLogDir=D:\\Users\\dagger\\IdeaProjects\\software\\zookeeper\\log # zookeeper默认端口 clientPort=2181 # zookeeper admin默认端口，可通过localhost:8080/commands访问 admin.serverPort=8888
在bin目录下运行zkServer.cmd启动zookeeper服务，如果是Linux，请运行zkServer.sh start。进入kafka目录，修改config/server.properties配置
# 每个broker都应该不一样 broker.id=0 # 监听本机9092端口 listeners=PLAINTEXT://:9092 # log目录 log.dirs=D:/Users/dagger/IdeaProjects/software/kafka/logs # zookeeper连接地址 zookeeper.connect=localhost:
linux直接运行bin目录下的sh脚本，window环境需要进入window目录中运行bat脚本。启动kafka-server ./kafka-server-start.bat ../../config/server.properties
创建Topic， .\kafka-topics.bat --bootstrap-server localhost:9092 --create --replication-factor 1 --partitions 1 --topic test
--bootstrap-server：kafka-server服务地址
--create：创建命令
--replication-factor：副本数，保证消息的高可用
--partitions：Topic的分区数
--topic：指定主题
查看Topic详细信息， .\kafka-topics.bat --bootstrap-server localhost:9092 --describe test
Topic:test PartitionCount:1 ReplicationFactor:1 Configs:segment.bytes=1073741824
Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0
使用Producer向Topic中推送消息， ./kafka-console-producer.bat --broker-list localhost:9092 --topic test
--broker-list：节点集合，多个节点用逗号(,)分隔
使用Consumer从Topic中消费消息， .\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
--from-beginning：从Topic第0个位置开始拉取消息，忽略游标，拉取的是完整数据。
listeners=PLAINTEXT://:9092
