kafka安装
单节点kafka安装
#!/bin/bash
##############################################################
# File Name: install_kafka.sh
# Version: V1.0
# Author: junwang
# Organization:
# Created Time : 2021-04-14 17:12:54
# Description:
##############################################################
tools_path=/server/tools
install_path=/web
CheckIPAddr(){
echo $*|grep "^[0-9]\{1,3\}\.\([0-9]\{1,3\}\.\)\{2\}[0-9]\{1,3\}$" > /dev/null;
if [ $? -ne 0 ]
then
echo "请输入合法ip地址!!!!!"
exit 1
fi
ipaddr=$1
a=`echo $ipaddr|awk -F . '{print $1}'`
b=`echo $ipaddr|awk -F . '{print $2}'`
c=`echo $ipaddr|awk -F . '{print $3}'`
d=`echo $ipaddr|awk -F . '{print $4}'`
for num in $a $b $c $d
do
if [ $num -gt 255 ]||[ $num -lt 0 ]
then
echo "请输入合法ip地址!!!!!"
exit 1
fi
done
return 0
}
read -p "请输入本机的ip地址：" localip
CheckIPAddr $localip
# install jdk
mkdir -p $tools_path
mkdir -p $install_path
yum -y install wget unzip net-tools
instatt_jdk(){
java -version
if [ $? -ne 0 ]
then
cd $tools_path && wget http://xxx/JDK/JDK1.8.0_77/jdk1.8.0_77.zip
unzip jdk1.8.0_77.zip
mv jdk1.8.0_77 $install_path/jdk && chmod +x $install_path/jdk/bin/*
echo 'export JAVA_HOME='$install_path'/jdk/
export CLASSPATH=$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH'>>/etc/profile
source /etc/profile
jdk=`which java|wc -l`
if [ $jdk -eq 1 ]
then
echo "################################### jdk install successfully ##########################"
return 0
else
echo "################################### jdk install failed ##########################"
return 1
fi
else
echo "################################## JDK is already installed ######################"
return 0
fi
rm -f /tmp/install_jdk.sh
}
# install zookeeper
install_zookeeper(){
cd $tools_path && wget http://xxx/home/caeri/kafka/zookeeper-3.4.8.tar.gz
tar -xf zookeeper-3.4.8.tar.gz && mv zookeeper-3.4.8 $install_path
cp -rp $install_path/zookeeper-3.4.8/conf/zoo_sample.cfg $install_path/zookeeper-3.4.8/conf/zoo.cfg
mkdir -p /tmp/zookeeper
cd $install_path/zookeeper-3.4.8/bin && ./zkServer.sh start
if [ $? -eq 0 ]
then
echo "################################ Zookeeper installed successfully ##########################"
return 0
else
echo "################################ Zookeeper installed failed ##########################"
return 1
fi
}
install_kafka(){
cd $tools_path && wget http://xxx/caeri/kafka/kafka_2.10-0.10.1.1.tgz
tar -xf kafka_2.10-0.10.1.1.tgz && mv kafka_2.10-0.10.1.1 $install_path
sed -i 's/#listeners=PLAINTEXT:\/\/:9092/listeners=PLAINTEXT:\/\/'$localip':9092/g' $install_path/kafka_2.10-0.10.1.1/config/server.properties
cd $install_path/kafka_2.10-0.10.1.1/bin && nohup ./kafka-server-start.sh ../config/server.properties &
if [ $? -eq 0 ]
then
echo -e "################################ kafka installed successfully ########################## \n @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@*+---+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@#. --- .*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .*@@@#. .@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .#@@@#. .#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@*. -+-. .*@@@@#=----+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@=+. .-=#@@@@+. .--. -@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@+ +@@@@@@* -@@@@= +@@@@@@@@###@@@@@@@@@@@@@@@@@@@@@@@@@@#**#@###@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@*=- .=*@@@@= +@@@@= +@@@@@@@@. -@@@@@@@@@@@@@@@@@@@@@@@@@-...*@+ *@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@+. .. .+=-... .-+. -@@@@@@@@@. -@@@@@@#@@@@@####@@@@@@@@= +@@@+ *@@@@@#@@@@@@###@@@@@@@@@
@@@#. -*#@#*- -*@#=-..-+*@@@@@@@@@@. -@@#-..=@@#+. ...+-..#@-. ..*@+ *@@=..+#@@=-. ..-=..+@@@
@@@+ .@@@@@@@- +@@@@@@@@@@@@@@@@@@@@. -#+. +#@@*. .=###*- #@@= =#@@+ **. -*@@@- +*##*+ +@@@
@@@+ .@@@@@@@- +@@@@@@@@@@@@@@@@@@@@. .. .#@@@@- .#@@@@@@- #@@= =@@@+ .. =@@@@= =@@@@@@= +@@@
@@@#. -*#@#*- -*@#=-..-+*@@@@@@@@@@. -=..+@@@@. .#@@@@@@- #@@= =@@@+ =- -#@@@= =@@@@@@* +@@@
@@@@@+. .. .+=-... .-+. -@@@@@@@@@. -@#. .*@@* -*#@@*- #@@= =@@@+ #@+ =@@@- .=#@@#=. +@@@
@@@@@@@*=- .=*@@@@= +@@@@= +@@@@@@@@. -@@@+ .=@@*-. ...-- #@@= =@@@+ *@@*. -#@@+. ....+. +@@@
@@@@@@@@@+ +@@@@@@* -@@@@= +@@@@@@@@###@@@@###@@@@@#***#@@##@@@@##@@@@@##@@@@@###@@@@#***#@@##@@@@
@@@@@@@=+. .-=#@@@@+. .--. -@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@*. -+-. .*@@@@#=----+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .#@@@#. .#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .*@@@#. .@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@#. --- .*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@*+---+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
"
return 0
else
echo "################################ kafka installed failed ##########################"
fi
}
main(){
instatt_jdk
if [ $? -eq 0 ]
then
install_zookeeper
if [ $? -eq 0 ]
then
install_kafka
fi
fi
}
main
集群kafka安装
#!/bin/bash
##############################################################
# File Name: install_kafka.sh
# Version: V1.0
# Author: junwang
# Organization:
# Created Time : 2021-04-14 17:12:54
# Description:
##############################################################
tools_path=/server/tools
install_path=/web
CheckIPAddr(){
echo $*|grep "^[0-9]\{1,3\}\.\([0-9]\{1,3\}\.\)\{2\}[0-9]\{1,3\}$" > /dev/null;
if [ $? -ne 0 ]
then
echo "请输入合法ip地址!!!!!"
exit 1
fi
ipaddr=$1
a=`echo $ipaddr|awk -F . '{print $1}'`
b=`echo $ipaddr|awk -F . '{print $2}'`
c=`echo $ipaddr|awk -F . '{print $3}'`
d=`echo $ipaddr|awk -F . '{print $4}'`
for num in $a $b $c $d
do
if [ $num -gt 255 ]||[ $num -lt 0 ]
then
echo "请输入合法ip地址!!!!!"
exit 1
fi
done
return 0
}
read -p "请输入节点一的ip地址：" ip1
CheckIPAddr $ip1
read -p "请输入节点二的ip地址：" ip2
CheckIPAddr $ip2
read -p "请输入节点三的ip地址：" ip3
CheckIPAddr $ip3
read -p "请输入本机的ip地址：" localip
CheckIPAddr $localip
read -p "请输入本机标识id[1-3]:" id
if echo $id | grep -q '[^1-3]'
then
echo "请输入一个数字[1-3]:"
exit 1
fi
# install jdk
mkdir -p $tools_path
mkdir -p $install_path
yum -y install wget unzip net-tools
instatt_jdk(){
java -version
if [ $? -ne 0 ]
then
cd $tools_path && wget http://xxx/data/User/admin/home/caeri/JDK/JDK1.8.0_77/jdk1.8.0_77.zip
unzip jdk1.8.0_77.zip
mv jdk1.8.0_77 $install_path/jdk && chmod +x $install_path/jdk/bin/*
echo 'export JAVA_HOME='$install_path'/jdk/
export CLASSPATH=$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH'>>/etc/profile
source /etc/profile
jdk=`which java|wc -l`
if [ $jdk -eq 1 ]
then
echo "################################### jdk install successfully ##########################"
return 0
else
echo "################################### jdk install failed ##########################"
return 1
fi
else
echo "################################## JDK is already installed ######################"
return 0
fi
rm -f /tmp/install_jdk.sh
}
# install zookeeper
install_zookeeper(){
cd $tools_path && wget http://xxx/data/User/admin/home/caeri/kafka/zookeeper-3.4.8.tar.gz
tar -xf zookeeper-3.4.8.tar.gz && mv zookeeper-3.4.8 $install_path
echo 'tickTime=2000
initLimit=10
syncLimit=5
dataDir=/Data/zookeeper
clientPort=2181
server.1='$ip1':2888:3888
server.2='$ip2':2888:3888
server.3='$ip3':2888:3888'>$install_path/zookeeper-3.4.8/conf/zoo.cfg
mkdir -p /Data/zookeeper
echo $id > /Data/zookeeper/myid
cd $install_path/zookeeper-3.4.8/bin && ./zkServer.sh start
if [ $? -eq 0 ]
then
echo "################################ Zookeeper installed successfully ##########################"
return 0
else
echo "################################ Zookeeper installed failed ##########################"
return 1
fi
}
install_kafka(){
cd $tools_path && wget http://xxx/data/User/admin/home/caeri/kafka/kafka_2.10-0.10.1.1.tgz
tar -xf kafka_2.10-0.10.1.1.tgz && mv kafka_2.10-0.10.1.1 $install_path
echo 'broker.id='$id'
listeners=PLAINTEXT://'$localip':9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/Data/kafka-logs
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=8
log.segment.delete.delay.ms=3600000
log.cleanup.policy=delete
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect='$ip1':2181,'$ip2':2181,'$ip3':2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
'>$install_path/kafka_2.10-0.10.1.1/config/server.properties
cd $install_path/kafka_2.10-0.10.1.1/bin && nohup ./kafka-server-start.sh ../config/server.properties &
if [ $? -eq 0 ]
then
echo -e "################################ kafka installed successfully ########################## \n @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@*+---+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@#. --- .*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .*@@@#. .@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .#@@@#. .#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@*. -+-. .*@@@@#=----+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@=+. .-=#@@@@+. .--. -@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@+ +@@@@@@* -@@@@= +@@@@@@@@###@@@@@@@@@@@@@@@@@@@@@@@@@@#**#@###@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@*=- .=*@@@@= +@@@@= +@@@@@@@@. -@@@@@@@@@@@@@@@@@@@@@@@@@-...*@+ *@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@+. .. .+=-... .-+. -@@@@@@@@@. -@@@@@@#@@@@@####@@@@@@@@= +@@@+ *@@@@@#@@@@@@###@@@@@@@@@
@@@#. -*#@#*- -*@#=-..-+*@@@@@@@@@@. -@@#-..=@@#+. ...+-..#@-. ..*@+ *@@=..+#@@=-. ..-=..+@@@
@@@+ .@@@@@@@- +@@@@@@@@@@@@@@@@@@@@. -#+. +#@@*. .=###*- #@@= =#@@+ **. -*@@@- +*##*+ +@@@
@@@+ .@@@@@@@- +@@@@@@@@@@@@@@@@@@@@. .. .#@@@@- .#@@@@@@- #@@= =@@@+ .. =@@@@= =@@@@@@= +@@@
@@@#. -*#@#*- -*@#=-..-+*@@@@@@@@@@. -=..+@@@@. .#@@@@@@- #@@= =@@@+ =- -#@@@= =@@@@@@* +@@@
@@@@@+. .. .+=-... .-+. -@@@@@@@@@. -@#. .*@@* -*#@@*- #@@= =@@@+ #@+ =@@@- .=#@@#=. +@@@
@@@@@@@*=- .=*@@@@= +@@@@= +@@@@@@@@. -@@@+ .=@@*-. ...-- #@@= =@@@+ *@@*. -#@@+. ....+. +@@@
@@@@@@@@@+ +@@@@@@* -@@@@= +@@@@@@@@###@@@@###@@@@@#***#@@##@@@@##@@@@@##@@@@@###@@@@#***#@@##@@@@
@@@@@@@=+. .-=#@@@@+. .--. -@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@*. -+-. .*@@@@#=----+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .#@@@#. .#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@. .*@@@#. .@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@#. --- .*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@*+---+*@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
"
return 0
else
echo "################################ kafka installed failed ##########################"
fi
}
main(){
instatt_jdk
if [ $? -eq 0 ]
then
install_zookeeper
if [ $? -eq 0 ]
then
install_kafka
fi
fi
}
main
本文来自博客园，作者：EJW，转载请注明原文链接：https://www.cnblogs.com/ejjw/p/17929137.html
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· Manus重磅发布：全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后，我竟然真的恢复了删除的微信聊天记录！
· 没有Manus邀请码？试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix