kafka-2.11-0.11集群搭建
kafka集群依赖于zookeeper，所以需要先搭建zookeeper集群，kafka默认自带了内建的zookeeper，建议使用自己外搭建的zookeeper，这样比较灵活并且解耦服务，同时也可以让其他需要zookeeper的服务使用。注意kafka-2.11-0.11版本与zookeeper-3.4.10.tar.gz对应，
一、安装
1、下载zookeeper：
# wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
生产环境使用集群至少需要三台服务器，官方建议至少3或5台，并且集群节点个数必须是奇数。需要java环境，jdk1.8+（自己先配置好，本文不涉及）。
创建目录：
#mkdir /data
#mkdir /data/zookeeper/{data,logs} -p
#tar xf zookeeper-3.4.10.tar.gz
#rm -rf zookeeper-3.4.10.tar.gz
修改配置文件：
创建配置文件zoo.cfg
#cat zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/data
clientPort=2181
maxClientCnxns=100
autopurge.snapRetainCount=3
autopurge.purgeInterval=24
quorumListenOnAllIPs=true
dataLogDir=/data/zookeeper/logs
server.3=10.10.11.92:2888:3888
server.6=10.10.9.29:2888:3888
server.9=10.10.8.16:2888:3888
创建myid，用于唯一标示一个zk节点，在创建的/data/zookeeper/data目录下面创建：
#echo 3 > /data/zookeeper/data/myid
将配置好的zookeeper服务整个分别copy到另外两台服务器上，并创建需要的目录。
#mkdir /data/zookeeper/{data,logs} -p
并在相应的data目录下创建各自的myid文件：
#echo 6 > /data/zookeeper/data/myid
#echo 9 > /data/zookeeper/data/myid
切换到bin目录，分别启动zk服务：
./zkServer.sh start
三台都启动完成后，发现报错了：
2017-11-07 15:31:01,300 [myid:3] - WARN [WorkerSender[myid=3]:QuorumCnxManager@588] - Cannot open channel to 9 at election address /10.10.8.16:3888
java.net.ConnectException: Connection refused (Connection refused)
排错：
1、怀疑是防火墙的问题，这是内网啊，所以不是防火墙；
2、端口被占用了，lsof -i:3888,没有输出啊，所以端口也没占用；
3、ip地址不是本机的网卡
云服务器采用虚拟化的技术，监听的网卡是属于物理网关的网卡，而虚拟化机内部自然没有这个网卡。
在配置文件添加一下参数，重启服务正常：
quorumListenOnAllIPs=true
2、查看zk状态
#./zkServer.sh status
3、zookeepr常用的四字节命令：
|
ZooKeeper四字命令
|
功能描述
|
|---|---|
| conf | 3.3.0版本引入的。打印出服务相关配置的详细信息。 |
| cons | 3.3.0版本引入的。列出所有连接到这台服务器的客户端全部连接/会话详细信息。包括"接受/发送"的包数量、会话id、操作延迟、最后的操作执行等等信息。 |
| crst | 3.3.0版本引入的。重置所有连接的连接和会话统计信息。 |
| dump | 列出那些比较重要的会话和临时节点。这个命令只能在leader节点上有用。 |
| envi | 打印出服务环境的详细信息。 |
| reqs | 列出未经处理的请求 |
| ruok | 测试服务是否处于正确状态。如果确实如此，那么服务返回"imok"，否则不做任何相应。 |
| stat | 输出关于性能和连接的客户端的列表。 |
| srst | 重置服务器的统计。 |
| srvr | 3.3.0版本引入的。列出连接服务器的详细信息 |
| wchs | 3.3.0版本引入的。列出服务器watch的详细信息。 |
| wchc | 3.3.0版本引入的。通过session列出服务器watch的详细信息，它的输出是一个与watch相关的会话的列表。 |
| wchp | 3.3.0版本引入的。通过路径列出服务器watch的详细信息。它输出一个与session相关的路径。 |
| mntr |
3.4.0版本引入的。输出可用于检测集群健康状态的变量列表 |
#echo mntr | nc ip port
ip:zk服务器的IP地址； port：zk服务的端口
二、kafka集群
将下载好的包上传到服务器，并解压到/data目录下：
#tar xf kafka_2.11-0.11.0.0.tgz
只需要修改server.properties文件、consumer.properties、producer.properties文件
server.properties文件主要注意三个地方：
broker.id=0 #每个broker在集群中必须是唯一的，如有三个节点可以分别设置为（0、1、2）
host.name=10.10.8.16 #host.name为个服务器的IP地址，根据自己的情况填写
zookeeper.connect=10.10.8.16:2181,10.10.9.29:2181,10.10.11.92:2181
#cat server.properties
broker.id=0
delete.topic.enable=true
listeners=PLAINTEXT://10.10.89.219:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-logs
num.partitions=4
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=2
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.10.8.16:2181,10.10.9.29:2181,10.10.11.92:2181
zookeeper.connection.timeout.ms=100000
zookeeper.session.timeout.ms=50000
group.initial.rebalance.delay.ms=0
将配置好的服务分别copy到另外两台服务器上面：
！！！注意修改broker.id、host.name，为各自服务器对应的。
切换到bin目录，启动kafka服务：./kafka-server-start.sh -daemon ../config/server.properties &
2、创建topic
#./kafka-topics.sh --create --zookeeper 10.10.11.92:2181,10.10.8.16:2181,10.10.9.29:2181 --replication-factor 2 --partitions 9 --topic userlog
参数解释：
zookeeper：zookeepr集群的地址
replication-factor：复制两份
partitions：创建9个partition
topic： topic名称
使用 describe 命令来显示 topic 详情
#./kafka-topics.sh --describe --zookeeper 10.10.11.92:2181,10.10.8.16:2181,10.10.9.29:2181 --topic test
Topic:test PartitionCount:1 ReplicationFactor:2 Configs:
Topic: test Partition: 0 Leader: 3 Replicas: 3,2 Isr: 3,2
1） Leader 是给定分区的节点编号，每个分区的部分数据会随机指定不同的节点
2） Replicas 是该日志会保存的复制
3） Isr 表示正在同步的复制
