kafka搭建 一、单机版
系列导航
五、kafka集群__consumer_offsets副本数修改
kafka使用一段时间了，非常不错的一个软件，支持高并发、高可用，如下从简单到复杂先从搭建一个简单的开始。复杂的后面继续更新，敬请期待。
相关包
1、jdk1.8:jdk-8u211-linux-x64.tar
2、zookeeper：zookeeper-3.4.14.tar
3、kafka2.11：kafka_2.11-2.1.1.tgz
（一）安装jdk1.8
1）解压安装包
tar -xvf jdk-8u211-linux-x64.tar
（2）移动到安装目录
mv jdk1.8.0_211 /usr/local
（3）设置环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_211
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile //让配置生效
（4）测试是否安装成功
echo $JAVA_HOME
echo $PATH
echo $CLASSPATH
java -version 查看版本
（二）安装zookeeper
1、创建目录
mkdir /opt/zookeeper #项目目录
mkdir /opt/zookeeper/zkdata #存放快照日志
mkdir /opt/zookeeper/zkdatalog #存放事物日志
将zookeeper-3.4.14.tar放到/opt/zookeeper/目录下
cp zookeeper-3.4.14.tar /opt/zookeeper/
tar -xvf zookeeper-3.4.14.tar
2、修改配置信息
cd /opt/zookeeper/zookeeper-3.4.14/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/zkdata
dataLogDir=/opt/zookeeper/zkdatalog
clientPort=12181
server.1=192.168.1.100:12888:13888
3、创建myid文件
#server1
echo "1" > /opt/zookeeper/zkdata/myid
4、启动服务并查看
cd /opt/zookeeper/zookeeper-3.4.14/bin
#启动服务
./zkServer.sh start
#检查服务器状态
./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/zookeeper-3.4.14/bin/../conf/zoo.cfg
Mode: follower #他是否为领导
可以用“jps”查看zk的进程，这个是zk的整个工程的main
#执行命令jps
[root@zhu bin]# jps
27813 QuorumPeerMain
27909 Jps
（三）kafka集群
1、创建目录
mkdir -p /opt/kafka/kafkalogs
2、解压安装包
cd /opt/kafka
tar -zxvf kafka_2.11-2.1.1.tgz
3、修改配置文件
cd /opt/kafka/kafka_2.11-2.1.1/config
vi server.properties #根据正式库的配置修改该文件
#添加如下内容 注意不同机器的ip不同
#192.168.1.100主机
broker.id=110
listeners=PLAINTEXT://192.168.1.100:9092
port=9092
advertised.listeners=PLAINTEXT://192.168.1.100:9092
advertised.port=9092
host.name=192.168.1.100
advertised.host.name=192.168.1.100
num.network.threads=1
num.io.threads=1
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/kafka/kafkalogs/
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.1.100:12181
zookeeper.connection.timeout.ms=60000
group.initial.rebalance.delay.ms=0
#inter.broker.protocol.version=0.9.0
#log.message.format.version=0.9.0
unclean.leader.election.enable=true
auto.create.topics.enable=true
default.replication.factor=1
4、启动服务并测试
设置环境变量
vi /etc/profile 添加如下内容：
export KAFKA_HOME=/opt/kafka/kafka_2.11-2.1.1
export PATH=$KAFKA_HOME/bin:$PATH
source /etc/profile //让配置生效
#启动
cd /opt/kafka/kafka_2.11-2.1.1/config
[root@zhu bin]# kafka-server-start.sh -daemon ../config/server.properties
[root@zhu bin]# jps
27813 QuorumPeerMain
28847 Kafka
28882 Jps
#关闭
[root@zhu bin]# jps
27813 QuorumPeerMain
28847 Kafka
28882 Jps
#创建topic
kafka-topics.sh --create --zookeeper 192.168.1.100:12181 --replication-factor 1 --partitions 1 --topic testTopic
#查看topic
kafka-topics.sh --list --zookeeper localhost:12181
#查看topic状态
[root@zhu bin]# kafka-topics.sh --describe --zookeeper localhost:12181 --topic testTopic
#查看数据积压情况 testGroup是消费的group
[root@minio4 config]# kafka-consumer-groups.sh --bootstrap-server plaintext://192.168.1.100:9092 --describe --group testGroup
资源丰富的的网盘资源：网盘资源大全！ 推荐一个适合零基础学习SQL的网站：不用安装数据库，在线轻松学习SQL！
