Kafka的安装和配置
安装Kafka的方式,分别为:单节点单Broker部署、单节点多Broker部署、集群部署(多节点多Broker)。实际生产环境中使用的是第三种方式,以集群的方式来部署Kafka
Kafka强依赖ZK,如果想要使用Kafka,就必须安装ZK,Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。有人可能会说我在使用Kafka的时候就没有安装ZK,那是因为Kafka内置了一个ZK,一般我们不使用它
安装JDK(kafka依赖jdk)
一、Kafka 单节点部署
Kafka中单节点部署又分为两种,一种为单节点单Broker部署,一种为单节点多Broker部署。因为是单节点的Kafka,所以在安装ZK时也只需要单节点即可
1、cd /usr/local/software # 这里自定安装目录
2、wget http://www.apache.org/dist/kafka/2.2.1/kafka_2.12-2.2.1.tgz # 下载kafka
3、tar -xzvf kafka_2.11-0.8.2.1.tgz # 解压
4、mv kafka_2.11-0.8.2.1 /usr/local/kafka # 移动到安装目录
5、mkdir /usr/local/kafka/log/kafka # 如果提示没有此目录则手动创建
6、cd /usr/local/kafka/config # 进入配置目录
7、vim server.properties
8、找到broker.id=0这一行,后面添加下面的内容
port=9092 # 端口号
host.name=192.168.5.56 # 服务器IP地址,修改为自己的服务器IP
log.dirs=/usr/local/kafka/log/kafka # 日志存放路径,上面创建的目录
zookeeper.connect=localhost:2181 # zookeeper地址和端口,单机配置部署,localhost:2181
9、mkdir /usr/local/kafka/zookeeper # 创建zookeeper目录
10、mkdir /usr/local/kafka/log/zookeeper # 创建zookeeper日志目录
11、cd /usr/local/kafka/config # 进入配置目录
12、vi zookeeper.properties #编辑修改相应的参数
dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录
dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录
clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=10
syncLimit=5
13、cd /usr/local/kafka # 创建启动脚本
14、vi kafkastart.sh # 这是新建一个脚本
#!/bin/sh
#启动zookeeper
/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &
#等3秒后执行
sleep 3
#启动kafka
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
15、vi kafkastop.sh # 创建关闭脚本
#!/bin/sh
#关闭zookeeper
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &
sleep 3 #等3秒后执行
#关闭kafka
/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &
16、添加启动和关闭脚本的权限
chmod +x kafkastart.sh
chmod +x kafkastop.sh
17、vi /etc/rc.d/rc.local # 这个文件就在这个目录下有,设置脚本开机自动执行
sh /usr/local/kafka/kafkastart.sh #启动kafka
sh /usr/local/kafka/kafkastop.sh #关闭kafka
18、jps -lm # 查看kafka