安装kafka集群

 

部署Kafka集群

Kakfa集群安装调试

配置hosts
vim /ets/hosts
192.161.0.241 a36-hl-qjhlzf-mq
192.161.0.245 a36-hl-qjhlzf-sjcl
192.161.0.246 a36-hl-qjhlzf-file

a) 创建kafka数据目录和日志目录

具体目录请根据项目服务器实际情况调整，本次使用以下目录
数据目录：
mkdir -pv /home/kafka/data/kafka/
日志目录：
kafka自带的zookeeper会在logs下生产zookeeper.out日志文件，实际没有存在以下目录
mkdir -pv /home/kafka/logs/kafka/

b) 修改kafka配置

vim /home/kafka/config/server.properties
修改一下参数
###broker.id是节点id，每台kafka机器节点id要不同，这里分别设置为208,209,233
broker.id=208
#本地地址
listeners=PLAINTEXT://192.168.22.14:9092
###log.dirs实际是kafka的数据目录位置
log.dirs=/home/kafka/data/kafka/
###num.partitions是分区个数，建议节点为3个节点，建议分区为3的倍数3x3=9
num.partitions=3
###log.retention.hours是默认kafka数据保存时间，默认单位为小时
log.retention.hours=168
###zookeeper.connect是kafka使用的zookeeper配置
zookeeper.connect=192.161.0.241:2181,192.161.0.245:2181,192.161.0.246:2181

c) 修改kafka内存

vim bin/kafka-server-start.sh
修改export KAFKA_HEAP_OPTS="-Xmx8G -Xms8G"

d) 开放端口

这里只演示centos7以上系统，centos6系统请参考2.2前期准备中的配置
l 开放所有IP
firewall-cmd --zone=public --add-port=9092/tcp --permanent
firewall-cmd --reload
l 开放部分ip
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.1.0/24" port protocol="tcp" port="9092," accept"
firewall-cmd --reload

e) 启动kafka

cd /home/kafka/
bin/kafka-server-start.sh -daemon config/server.properties
/home/kafka_2.11-2.2.2/bin/kafka-server-start.sh -daemon /home/kafka_2.11-2.2.2/config/server.properties
tail -f /home/kafka_2.11-2.2.2/logs/server.log

f) 创建topic测试

./bin/kafka-topics.sh --create --zookeeper \
192.161.0.241:2181,192.161.0.245:2181,192.161.0.246:2181 \
--replication-factor 1 --partitions 3 --topic test
kafka-topics.sh --create --zookeeper 172.25.8.135:2181,172.25.8.136:2181,172.25.8.139:2181 --replication-factor 1 --partitions 3 --topic test
验证当前集群中所有的topic
./bin/kafka-topics.sh --list --zookeeper 192.161.0.241:2181,192.161.0.245:2181,192.161.0.246:2181
kafka-topics.sh --list --zookeeper 172.25.8.135:2181,172.25.8.136:2181,172.25.8.139:2181

g) 写入和消费数据

模拟从208产生数据，从209节点消费数据
l 208命令行产生数据
./bin/kafka-console-producer.sh --broker-list
192.161.0.241:9092,192.161.0.245:9092,192.161.0.246:9092 --topic test
kafka-console-producer.sh --broker-list 172.25.8.135:9092 --topic test
>aaa 输入aaa

l 209命令行消费数据
./bin/kafka-console-consumer.sh --bootstrap-server 192.161.0.241:9092,192.161.0.245:9092,192.161.0.246:9092 --from-beginning --topic test
kafka-console-consumer.sh --bootstrap-server 172.25.8.135:9092 --from-beginning --topic test