【Kafka入门】搭建Kafka本地环境
本博文介绍如何一步步搭建起Kafka本地环境。
下载Kafka 0.9.0.0 并配置软链接
下载好后，放入电脑本地安装目录，mac下我放在/usr/local下，解压Kafka。
tar -xzf kafka_2.11-0.9.0.0.tgz
然后建立一个当前版本的kafka的软链接，这样在配置的时候系统环境配置的时候不需要写版本号，也有利于以后的版本更新。
ln -s kafka_2.11-0.9.0.0 kafka
接着cd kafka进入主目录。
启动Kafka Server
在启动前，需要安装并配置Zookeeper，不过在kafka中带有一个单节点示例的Zookeeper实例脚本包，所以我们也可以先不安装配置Zookeeper，在启动Kafka Server前，我们先启动Zookeeper：
bin/zookeeper-server-start.sh config/zookeeper.properties
在Zookeeper成功启动以后，就可以启动Kafka Server了：
bin/kafka-server-start.sh config/server.properties
创建topic话题
通过下面的脚本，我们创建了一个名为test的topic话题，该话题分区数为1，冗余份数为1。然后通过list展示当前话题，会列出test。
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test bin/kafka-topics.sh --list --zookeeper localhost:2181
启动生产者Producer和消费者Consumer
通过以下脚本启动一个Producer，然后可以输入生产的消息：
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test this is a test of producer
通过下面的命令启动消费者Consumer来消费，然后会打印出上述输入的消息：
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
this is a test of producer
如果上述两个命令，在不同的终端启动，这时候你在生产者终端输入消息并回车，消费者端可以看到。
启动多broker的集群
由于Kafka是分布式的消息系统，目前我们只是启动了一个Kafka Server，并看不到分布式的效果，下面在本地启动多个Kafka Server，首先我们需要将server的配置文件复制两份，因为每个Kafka服务启动都是依赖配置文件，在配置文件中设置了诸如服务启动端口等信息。
cp config/server.properties config/server-1.properties cp config/server.properties config/server-2.properties
修改上述复制出来的配置文件，由于默认服务启动在9092端口，所以后续两个server启动在9093和9094；然后默认的server的broker id为0，由于id是borker的唯一标识，所以后续的id依次为1和2.默认的几个属性如下：
broker.id=0 ############################# Socket Server Settings ############################# listeners=PLAINTEXT://:9092 # The port the socket server listens on #port=9092 # A comma seperated list of directories under which to store log files log.dirs=/tmp/kafka-logs
server1和server2的关于这几个属性的配置修改如下：
broker.id=1 listeners=PLAINTEXT://:9093 port=9093 log.dirs=/tmp/kafka-logs-1 broker.id=2 listeners=PLAINTEXT://:9094 port=9094 log.dirs=/tmp/kafka-logs-2
然后依次启动两个broker的服务：
bin/kafka-server-start.sh config/server-1.properties bin/kafka-server-start.sh config/server-2.properties
最好在多个终端启动，分别看看效果。
接着我们启动一个冗余数为3的topic并describe这个topic，效果显示如下：
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replication-topic Created topic "my-replication-topic". bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replication-topic Topic:my-replication-topic PartitionCount:1 ReplicationFactor:3 Configs: Topic: my-replication-topic Partition: 0 Leader: 0 Replicas: 0,2,1 Isr: 0,2,1
显示的内容一共是两行，第一行是对所有partition的总结，后续各行是每个partition的信息，由于我们这里只有一个partition，所以后续只有1行（也就是第二行）
- Leader：表示负责该partition所有读写的节点
- Replicas：所有拥有该partition 日志的备份数据的节点，不管这些节点是否是Leader或者活着。
- Isr：是所有同步Replicas集合。 这是Replicas列表的子集合，在这个集合中的都是活着并且赶上Leader进度的。
多broker的容错性测试
上面的my-replication-topic的Leader是0号服务，那我们尝试找到0号broker并将该进程杀死，脚本如下：
Lilis-MacBook-Pro:kafka_2.10-0.9.0.0 lili$ ps | grep server.properties 2366 ttys001 1:28.51 /Library/Java/JavaVirtualMachines。。。 2686 ttys006 0:00.00 grep server.properties Lilis-MacBook-Pro:kafka_2.10-0.9.0.0 lili$ kill -9 2366
再describe my-replication-topic的时候，发现leader已经变了，此时变成了2号broker，而且同步Replicas集合中也少了0号broker。
Lilis-MacBook-Pro:kafka_2.10-0.9.0.0 lili$ bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replication-topic Topic:my-replication-topic PartitionCount:1 ReplicationFactor:3 Configs: Topic: my-replication-topic Partition: 0 Leader: 2 Replicas: 0,2,1 Isr: 2,1 Lilis-MacBook-Pro:kafka_2.10-0.9.0.0 lili$
当然，再次启动消费者来消费消息，消息依然还是存在的。
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replication-topic
