Kafka集群的安装和部署
一、Kafka的下载与解压
http://kafka.apache.org/downloads.html下载kafka_2.11-1.1.1.tgz.gz并解压到/home/jun下
[jun@master ~]$ cd kafka_2.11-1.1.1/ [jun@master kafka_2.11-1.1.1]$ ls -l total 48 drwxr-xr-x. 3 jun jun 4096 Jul 7 12:15 bin drwxr-xr-x. 2 jun jun 4096 Jul 7 12:15 config drwxr-xr-x. 2 jun jun 4096 Jul 23 16:32 libs -rw-r--r--. 1 jun jun 28824 Jul 7 12:12 LICENSE -rw-r--r--. 1 jun jun 336 Jul 7 12:12 NOTICE drwxr-xr-x. 2 jun jun 44 Jul 7 12:15 site-docs
二、配置Kafka集群
1.在Master节点上的配置
配置server.properties
[jun@master kafka_2.11-1.1.1]$ gedit /home/jun/kafka_2.11-1.1.1/config/server.properties
（1）在Server Basics部分增加下面的配置：将master作为broker，其id采用了默认的0
############################# Server Basics ############################# # The id of the broker. This must be set to a unique integer for each broker. broker.id=0 host.name=master
listeners=PLAINTEXT://master:9092
（2）在Zookeeper部分增加下面的配置，Zookeeper作为协调器，它连接的节点包括了集群的所有计算机。
############################# Zookeeper ############################# # Zookeeper connection string (see zookeeper docs for details). # This is a comma separated host:port pairs, each corresponding to a zk # server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002". # You can also append an optional chroot string to the urls to specify the # root directory for all kafka znodes. zookeeper.connect=master:2181,slave0:2181,slave1:2181 # Timeout in ms for connecting to zookeeper zookeeper.connection.timeout.ms=6000
将Kafka文件复制Slave节点
[jun@master kafka_2.11-1.1.1]$ scp -r /home/jun/kafka_2.11-1.1.1/ slave0:~/ [jun@master kafka_2.11-1.1.1]$ scp -r /home/jun/kafka_2.11-1.1.1/ slave1:~/
2.在Slave节点上的配置
同理，将slave0的broker.id设置为1，host.name=slave0，listeners=PLAINTEXT://slave0:9092；将slave1的broker.id设置为2，host.name=slave1，listeners=PLAINTEXT://slave1:9092即可。
三、Kafka的应用
1.启动Kafka自带的Zookeeper服务
首先查看当前系统进程列表
[jun@master ~]$ jps 3070 Jps [jun@slave0 ~]$ jps 3141 Jps [jun@slave1 ~]$ jps 3114 Jps
启动Kafka自带的Zookeeper服务
[jun@master kafka_2.11-1.1.1]$ bin/zookeeper-server-start.sh config/zookeeper.properties
[jun@slave0 kafka_2.11-1.1.1]$ bin/zookeeper-server-start.sh config/zookeeper.properties
[jun@slave1 kafka_2.11-1.1.1]$ bin/zookeeper-server-start.sh config/zookeeper.properties
另开一个终端，查看此时的系统进程，此时QuorumPeerMain就是Zookeeper服务器进程
[jun@master kafka_2.11-1.1.1]$ jps 3588 Jps 3147 QuorumPeerMain [jun@slave0 kafka_2.11-1.1.1]$ jps 3891 Jps 3547 QuorumPeerMain [jun@slave1 kafka_2.11-1.1.1]$ jps 3201 QuorumPeerMain 3538 Jps
2.启动Kafka服务
[jun@master kafka_2.11-1.1.1]$ bin/kafka-server-start.sh config/server.properties [jun@slave0 kafka_2.11-1.1.1]$ bin/kafka-server-start.sh config/server.properties [jun@slave1 kafka_2.11-1.1.1]$ bin/kafka-server-start.sh config/server.properties
另开一个终端，查看此时的系统进程，此时的Kafka就是Kafka的服务器进程
[jun@master kafka_2.11-1.1.1]$ jps 4064 Jps 3687 Kafka 3147 QuorumPeerMain [jun@slave0 kafka_2.11-1.1.1]$ jps 4021 Kafka 3547 QuorumPeerMain 4398 Jps [jun@slave1 kafka_2.11-1.1.1]$ jps 3201 QuorumPeerMain 3682 Kafka 4059 Jps
3.创建主题
· 主题（Topic）是消息中间件的基本概念，相当于文件系统的目录，其实就是用于保存消息内容的计算实体，通过主题名加以标识，就如同目录通过目录名标识一样。
（1）在master节点上创建一个名称为“test”的主题
[jun@master kafka_2.11-1.1.1]$ bin/kafka-topics.sh --create -zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test Created topic "test".
（2）查看已经创建的消息主题，同样，在其他Slave结点上执行该命令也可以查看到创建的主题
[jun@master kafka_2.11-1.1.1]$ bin/kafka-topics.sh --list --zookeeper master:2181 test
4.发送消息
消息中间件是一个用于接收消息并转发消息的服务，为了检验Kafka是否能够正常工作，需要创建一个消息生产者（producer）、利用它产生消息
[jun@master kafka_2.11-1.1.1]$ bin/kafka-console-producer.sh --broker-list master:9092 --topic test >say hi [2018-07-23 20:14:28,119] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 1 : {myfinaltest=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) >hi >you >cnm >
5.接收消息
在一个新终端上执行如下的命令，可以看到接收到了producer发送的消息
[jun@slave0 kafka_2.11-1.1.1]$ bin/kafka-console-consumer.sh --bootstrap-server slave0:9092 --topic test--from-beginning say hi hi you cnm [jun@slave1 kafka_2.11-1.1.1]$ bin/kafka-console-consumer.sh --bootstrap-server slave0:9092 --topic test--from-beginning say hi hi you cnm
