linux部署kafka伪集群
我这边安装的是kafka_2.10-0.10.2.2.tar.gz, zookeeper-3.4.5.tar.gz
1.安装zookeeper
下载连接
官网地址：https://zookeeper.apache.org/releases.html
先上传linux并解压
tar -zxvf zookeeper-3.4.5.tar.gz
进入对应zookeeper配置目录并重命名zoo_sample.cfg为zoo.cfg
[root@hecs-406672 /]# cd /opt/zookeeper-3.4.5/conf/ [root@hecs-406672 conf]# ls configuration.xsl log4j.properties zoo_sample.cfg [root@hecs-406672 conf]# mv zoo_sample.cfg zoo.cfg
这里贴出zoo.cfg配置
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper-3.4.5/data
dataLogDir=/opt/zookeeper-3.4.5/logs
clientPort=2181
切换到bin并启动zookeeper
[root@hecs-406672 bin]# ./zkServer.sh start JMX enabled by default Using config: /opt/zookeeper-3.4.5/bin/../conf/zoo.cfg Starting zookeeper ... STARTED
在启动之前别忘了在zoo.cfg中dataDir和dataLogDir的目录需要自己创建
查验服务
[root@hecs-406672 bin]# netstat -tunlp | grep 2181 tcp6 0 0 :::2181 :::* LISTEN 16445/java [root@hecs-406672 bin]#
kafka部署
1.部署配置
先将kafka的包上传到至linux对应目录并解压
#tgz跟tar.gz是一样的压缩包
tar -zxvf kafka_2.10-0.10.2.2.tgz
进入kafka的config目录并配置相关参数
[root@hecs-406672 /]# cd /opt/kafka_2.10-0.10.2.2/config/
[root@hecs-406672 config]# vim server.properties
server.properties的配置
#本地连接的服务地址 listeners=PLAINTEXT://0.0.0.0:9092
#broker对外提供的服务入口地址(这里一定要放出来并写上自己服务器的外网ip, 不然本地连接kafka的工具或springboot集成调式会报连接不上)
advertised.listeners=PLAINTEXT://127.0.0.1:9092 #连接zookeeper服务,如果zookeeper与kafka不是部署在同一服务器上需要修改 zookeeper.connect=localhost:2181 #这里是kafka存储日志的地方 log.dirs=/opt/kafka_2.10-0.10.2.2/kafka-logs #下面这些都是server.properties默认的一些配置 broker.id=0 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 num.partitions=1 num.recovery.threads.per.data.dir=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connection.timeout.ms=6000
切换到bin启动kafka
#通过启动命令+读取配置的方式启动
[root@hecs-406672 bin]# ./kafka-server-start.sh ../config/server.properties
#后台启动方式
nohup bin/kafka-server-start.sh config/server.properties &
查看服务状态
[root@hecs-406672 kafka_2.10-0.10.2.2]# netstat -tunlp | grep 9092
tcp6 0 0 :::9092 :::* LISTEN 17061/java
再分享一下linux查看kafka的一些命令
#查看kafka主题(127.0.0.1可替换成你自己服务器的ip) ./kafka-topics.sh --list --zookeeper 127.0.0.1:2181 #查看kafka主题详情(topic-test可替换成自己的kafka主题) ./kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic topic-test --describe #消费kafka某主题的消息,可测试自己接收到的消息 ./kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --from-beginning --topic topic-test
kafka伪集群搭建
kafka伪集群搭建说白了就是多复制几个server.properties进行修改进行启动(前提, 几个kafka服务要绑定对应的zookeeper或zookeeper集群, 不然构不成kafka集群)
里面需要注意的点就是broker.id不一样, port , log地址需要修改, 如果部署在不同服务器上就配置各自的ip, 反正大体思路是差不多的
server2.properties的配置
#本地连接的服务地址
listeners=PLAINTEXT://0.0.0.0:9093
#broker对外提供的服务入口地址(这里一定要放出来并写上自己服务器的外网ip, 不然本地连接kafka的工具或springboot集成调式会报连接不上)
advertised.listeners=PLAINTEXT://127.0.0.1:9093
#连接zookeeper服务,如果zookeeper与kafka不是部署在同一服务器上需要修改
zookeeper.connect=localhost:2181
#这里是kafka存储日志的地方
log.dirs=/opt/kafka_2.10-0.10.2.2/kafka-logs2
#下面这些都是server.properties默认的一些配置
broker.id=1
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connection.timeout.ms=6000
然后切换到bin目录进行启动
nohup bin/kafka-server-start.sh config/server2.properties &
端口已经启动
[root@hecs-406672 kafka_2.10-0.10.2.2]# netstat -tunlp | grep 9093 tcp6 0 0 :::9093 :::* LISTEN 81514/java [root@hecs-406672 kafka_2.10-0.10.2.2]#
验证kafka集群是否成功
1. kafka可视化工具查看
2.查看zookeeper注册集群数
切换到zookeeper目录下执行
[root@hecs-406672 bin]# pwd
/opt/zookeeper-3.4.5/bin
[root@hecs-406672 bin]# ./zkCli.sh
#执行完上面命令进入zookeeper
WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0]
查看zookeeper
[zk: localhost:2181(CONNECTED) 0] ls / [cluster, controller_epoch, controller, brokers, zookeeper, admin, isr_change_notification, consumers, config]
#查看集群数 [zk: localhost:2181(CONNECTED) 1] ls /brokers/ids
#出现0,1代表创建的kafka集群已经注册成功 [0, 1] [zk: localhost:2181(CONNECTED) 2]
3. 创建topic验证
[root@hecs-406672 kafka_2.10-0.10.2.2]# bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 2 --partitions 2 --topic test Created topic "test". [root@hecs-406672 kafka_2.10-0.10.2.2]#
查看创建的主题
bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
