Kafka单机及集群部署

一、Kafka单机部署

　　1. Docker方式部署：编辑docker-compse.yml配置

?

version: "3"

 

networks:

    rhxy-network:

        external: true

 

services:

    elasticsearch:

        image: docker.m.daocloud.io/bitnami/kafka:3.7.0

        container_name: kafka

        hostname: kafka

        restart: always

        ports:

            - 9092:9092

        networks:

            - rhxy-network

        volumes:

            - "/data/kafka/data:/bitnami/kafka/data"

            - "/data/kafka/logs:/opt/bitnami/kafka/logs"

        environment:

            TZ: Asia/Shanghai

            KAFKA_CFG_NODE_ID: 0

            # 使用raft模式

            KAFKA_CFG_PROCESS_ROLES: controller,broker

            KAFKA_CFG_LISTENERS: PLAINTEXT://:9092,CONTROLLER://:9093

            KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

            KAFKA_CFG_CONTROLLER_QUORUM_VOTERS: 0@kafka:9093

            KAFKA_CFG_CONTROLLER_LISTENER_NAMES: CONTROLLER

            KAFKA_CLIENT_USERS: kafka

            KAFKA_CLIENT_PASSWORDS: 123456

            KAFKA_HEAP_OPTS: "-Xmx512m -Xms512m"

 

二、shell命令操作

　　1. 创建主题：kafka-topics.sh --bootstrap-server kafka:9092 --topic test --create；

　　2. 查看主题

　　　　A. 查看所有主题：kafka-topics.sh  --bootstrap-server kafka:9092 --list；

　　　　B. 查询主题详情：kafka-topics.sh --bootstrap-server kafka:9092 --from-beginning --topic [TopicName]；

　　　　　　　　　　　　kafka-topics.sh --bootstrap-server kafka:9092 --topic test --describe；

　　3. 修改主题：kafka-topics.sh --bootstrap-server kafka:9092 --topic test --alter --partitions 2；

　　4. 删除主题：kafka-topics.sh --bootstrap-server kafka:9092 --topic test --delete；

　　5. 生产者生成数据：kafka-console-producer.sh --bootstrap-server kafka:9092 --topic test，回车后输入数据再回车表示生成一个消息

　　6. 消费者消费数据：kafka-console-consumer.sh --bootstrap-server kafka:9092 --topic test

　　7. 查看消费者组：kafka-consumer-groups.sh --bootstrap-server kafka:9092 --list

 

三、Kafka可视化监控管理工具

　　1. manager

 # Kafka管理界面
    kafka-manager:
        image: kafka-manager:latest
        deploy:
            mode: global
        ports:
            - "8780:9000"
        networks:
            - host
        environment:
            ZK_HOSTS: zookeeper:2181

　　2. eagle