Ubuntu 16.04 64位安装kafka

在Ubuntu下安装完成kafka需要以下主要的2个步骤:

1. 安装jdk1.8以上版本。

2.安装zookeeper.

开始以上操作步骤:

3. 安装jdk. 先下载jdk,url: https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html

    解压后配置环境变量:

    vi ~/.profile 或者vi /etc/profile

   

   把以上信息中JAVA_HOME中的路径修改为实际的路径。

   执行:source ~/.profile

   测试java环境是否正常: java -version

  

 

 

  出现以上字样即表示配置jdk成功。

4. 下载安装zookeeper.

     4.1 官网地址:http://mirror.bit.edu.cn/apache/zookeeper/

    4.2  下载前确定下kafka和zoookeeper的版本关系

    4.3 解压压缩包,并移动到指定目录。

         解压并移动到指定目录:tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz 

          配置zookeeper:

          进入zookeeper的安装目录conf目录下: cd conf

         复制一份取名为zoo.cfg:   cp zoo_sample.cfg zoo.cfg 

        修改zoo.cfg文件,其中最关键的配置是修改:dataDir和dataLogDir为你要设置的目录,前提是你自己先提前新建该这两个目录。

   4.4  启动zookeeper

         切换到bin目录下,执行启动zookeeper命令: ./zkServer.sh start

  4.5  防火墙配置

        最后防火墙里打开zookeeper的端口2181,否则服务一直会报连接不上zookeeper异常信息。

        查看防火墙状态:sudo ufw status

        

 

       如果是inactive状态,不活跃,表示防火墙没有开启。

      注:如果没有安装防火墙,可以使用命令安装:sudo sudo apt-get install ufw

      开启防火墙:sudo ufw enable

      关闭防火墙:sudo ufw disable

      重启防火墙:sudo ufw reload

      增加新端口:sudo ufw allow 2181

      查看端口信息:sudo netstat -tunlp|grep 2181

      关闭端口: sudo ufw delete allow 2181

5. 下载安装kafka

    5.1 官网下载地址:https://kafka.apache.org/downloads

        此时下载的kafka版本最好和zookeeper的版本适用,建议下载推荐版本。

        解压缩: tar -zxvf kafka_2.13-3.2.0.tgz

   5.2 配置kakfa

         进入kafka安装目录,config目录对server.properties文件进行编辑修改以下信息:

         log.dirs=你自己的/log
         zookeeper.connect=localhost:2181

        如果涉及到外网的访问配置,可以修改以下两个注释取消:

        listeners = PLAINTEXT://localhost:9092
        advertised.listeners=PLAINTEXT://localhost:9092

5.3  配置kafka运行环境

       vim /etc/profile

      #kafka运行环境

      export KAFKA_HOME=/mysoft/kafka

      export PATH=$PATH:$KAFKA_HOME/bin
      执行: source /etc/profile 生效。
 
5.4  启动kafka
      启动kafka之前,先启动zookeeper.
     启动kafka命令(和老版本有区别):bin/kafka-server-start.sh  config/server.properties
     后台长驻启动命令:
     nohup ./bin/kafka-server-start.sh    config/server.properties &&>/dev/null 2>&1 &
 
5.5 验证
     创建topic: bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic quickstartTest   --partitions 1 --replication-factor 1\
     如果可以创建成功,则kafka安装成功。
5.6 kafka常用命令
      查看所有topic
      ./kafka-topics.sh --zookeeper  localhost:2181 --list
     删除topic
     ./kafka-topics.sh --delete --zookeeper localhost:2181 --topic test_topic
     查看某一分组消费情况
      ./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group
     所有分组消费情况
     ./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --all-groups
      查看某一topic的消费情况

     ./kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic xxxx

     向topic中发送消息
    ./kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic

 
 

        

        

 

 

 

 

          

 

posted on 2022-12-28 11:34  Msea  阅读(397)  评论(0编辑  收藏  举报

导航