kafka - Linux环境

kafka - Linux环境

前提：linux环境下安装的有 jdk

zookeeper安装配置-(linux环境搭建)

             zookeeper(默认端口2181)
             1.下载
             2.解压 tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz
             3.拷贝config目录下的zoo_sample.cfg并修改为zoo.cfg
             4.修改zoo.cfg配置文件，指定日志目录dataDir=/home/software/zookeeper/zookeeperLog
             5.在bin目录下启动zookeeper    启动命令为 ./zkServer.sh start    关闭命令 ./zsServer.sh stop
             6.可使用lsof -i:2181指令来查看是否启动成功  

kafka安装配置-(linux环境搭建)

~~~
一个独立的Kafka服务器被称为broker
  broker接受生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。
  broker为消费者提供服务，对读取分区请求做出相应，返回已经提交到磁盘上的信息
~~~

            kafka(默认端口9092) 
            例如本次下载2.1.1版本的kafka 
            1.下载 kafka_2.11-2.1.1.tgz  
            2.上传至服务器(上传位置自定义)
            3.解压 tar -zxvf kafka_2.11-2.1.1.tgz
            4.修改config目录下的server.properties   
              listeners=PLAINTEXT://192.168.89.126:9092   192.168.89.126是linux的ip地址，
              #advertised.listeners=PLAINTEXT://your.host.name:9092  因为是在本地搭建的无需修改
              log.dirs=/home/software/kafka21/kafka21logs  日志存放位置，自定义
              zookeeper.connect=localhost:2181  因为我是在同一台linux下安装zookeeper和Kafka的，所以用localhost即可
            其他配置改不改都可以，主要看自己的需求
            5.bin目录下启动kafka的两种方式
              5.1 普通方式启动，窗口关闭，Kafka也随之关闭 
                 ./kafka-server-start.sh ../config/server.properties &
              5.2 守护线程的方式启动，不会随窗口的关闭而关闭
                 ./kafka-server-start.sh  -daemon ../config/server.properties &
            6.可使用lsof -i:9092指令来查看是否启动成功 
            7.创建topic
                 ./kafka-topics.sh --create --zookeeper 192.168.89.126:2181
                 --replication-factor 1 -- partitions 1   --topic szr-topic1
            8.查看topic
                 ./kafka-topics.sh --list --zookeeper 192.168.89.126:2181  
            9.创建生产者
                 ./kafka-console-producer.sh --broker-list 192.168.89.126:9092 --topic szr-topic1
            10.创建消费者
                 ./kafka-console-consumer.sh --bootstrap-server 192.168.89.126:9092 
                 --from-beginning --topic szr-topic1
            11.此时kafka搭建工作完成，在生产者中输入信息，消费者便可接收到
            12.关闭kafka的指令   ./kafka-server-stop.sh

Kafka版本升级(2.1.1-->3.4.0)

1. 下载kafka3.4.0版本  
2. 下载后将压缩包上传至服务器
3. 解压  tar -zxvf kafka_2.12-3.4.0.tgz   解压后不用做任何修改
4. 将旧版本(kafka2.1.1)  config目录下的server.properties 复制一份，然后覆盖掉新版本(kafka3.4.0) config目录下的 server.properties   
参考指令 \cp -rf  /home/software/kafka21/config/server.properties /home/software/kafka34/config/    
5. 关闭旧版本kafka  ./kafka-server-stop.sh
6. 启动新版本kafka  ./kafka-server-start.sh -daemon ../config/server.properties &

关于版本升级小结：
将2.1.1版本的Kafka换成3.4.0版本的Kafka
升级只是是将2.1.1版本的server.properties，覆盖掉3.4.0版本的server.properties配置文件，其他不用变
升级之后，3.4.0版本的kafka用的是2.1.1版本的配置，包括zookeeper、Kafka日志目录、端口等等
相当于3.4.0的kafka继承了2.1.1的kafka原先的配置以及信息