各种环境搭建

LSOF

yum install -y lsof

# 查询端口运行程序
lsof -i:9002

JDK8

• 上传安装包（zk、jdk、kafka）

• 安装jdk

  • 配置全局环境变量

    • 解压：tar -zxvf jdk-8u181-linux-x64.tar.gz

    • 重命名

    • vim /etc/profile

    • 文件最后添加配置

      JAVA_HOME=/usr/local/software/jdk1.8
      CLASSPATH=$JAVA_HOME/lib/
      PATH=$PATH:$JAVA_HOME/bin
      export PATH JAVA_HOME CLASSPATH
      

    • 

    • 环境变量立刻生效

      • source /etc/profile

  • 查看安装情况 java -version

Zookeeper

• 上传安装包（zk）

• 安装zk

  # 解压
  tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
  # 重命名
  mv apache-zookeeper-3.7.0-bin.tar.gz zookeeper
  
  # 备份配置文件
  cd zookeeper/conf/
  mv zoo_sample.cfg zoo.cfg
  
  # 启动zk
  ./bin/zkServer.sh start
  

  启动成功

  

  配置文件默认信息

  

集群搭建

• zookeeper节点端口
  • 2181
  • 2182
  • 2183
• cp -r 复制zk节点
• 修改配置zoo.cfg

#客户端端口
clientPort=2181

#数据存储路径
dataDir=/tmp/zookeeper/2181

#修改AdminServer的端口：
admin.serverPort=8888

• dataDir对应目录下分别创建myid文件，内容对应1、2、3

cd /tmp/zookeeper/2183
echo 1 > myid

• 配置集群

# server.服务器id=服务器IP地址:服务器直接通信端口:服务器之间选举投票端口

server.1=127.0.0.1:2881:3881
server.2=127.0.0.1:2882:3882
server.3=127.0.0.1:2883:3883 

• zk命令

#启动zk
./zkServer.sh  start

#查看节点状态
./zkServer.sh status

#停止节点
./zkServer.sh stop

启动集群后查看状态

Kafka

• 上传安装包（kafka）
• 安装kafka

# 解压
tar -zxvf kafka_2.13-2.8.0.tgz

# 编辑配置文件
vim kafka/config/server.properties

# 启动
# 非守护线程
./kafka-server-start.sh  ../config/server.properties &
# 守护线程
./kafka-server-start.sh -daemon ../config/server.properties &

# 停止
./kafka-server-stop.sh

# 创建topic
./kafka-topics.sh --create --zookeeper zkip(公网):2181 --replication-factor 1 --partitions 1 --topic xdclass-topic

# 查看topic
./kafka-topics.sh --list --zookeeper zkip(公网):2181

编辑配置文件

# 编辑消费者配置（确保同个名称group.id一样）
vim config/consumer.properties

集群搭建

• 伪集群搭建，3个节点同个机器端口区分
  • 9092
  • 9093
  • 9094
• 配置

#内网中使用，内网部署 kafka 集群只需要用到 listeners，内外网需要作区分时 才需要用到advertised.listeners
listeners=PLAINTEXT://ip:9092

advertised.listeners=PLAINTEXT://ip:9092

#三个节点配置 1、2、3
broker.id=1

#三个节点分开配置 9002 9003 9004
port=9092

#三个节点分开配置 -1 -2 -3
log.dirs=/tmp/kafka-logs-1

#zk地址
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

启动

• 启动Kafka

./kafka-server-start.sh -daemon ../config/server.properties &

./kafka-server-start.sh ../config/server.properties &

• 创建topic

./kafka-topics.sh --create --zookeeper 192.168.1.103:2181,192.168.1.103:2182,192.168.1.103:2183 --replication-factor 3 --partitions 6 --topic xdclass-cluster-topic