Kafka教程（一）基础入门：基本概念、安装部署、运维监控、命令行使用

Kafka教程（一）基础入门

•  
  1.基本概念
  •  
    背景
    •  
      领英->Apache
    •  
      分布式、消息发布订阅系统
  •  
    角色
    •  
      存储系统
    •  
      消息系统
    •  
      流处理平台-Kafka Streaming
  •  
    特点
    •  
      高吞吐、低延迟
      •  
        cg消费不同分区
    •  
      可扩展性（热扩展）
    •  
      持久性、可靠性
    •  
      容错性（n-1个replica）
    •  
      高并发（数千个客户端☆）
  •  
    作用
    •  
      削峰填谷（Peak cut）+解耦
    •  
      流式计算：计算系统的前置缓存和输出结果缓存
•  
  2.安装部署
  •  
    zookeeper集群
    •  
      zoo.cfg
      •  
        server.1/2/3（big02:2888:3888）
        •  
          2888（leader监听此端口、用于zk内部通信）
        •  
          3888（leader选举）
      •  
        clientPort:2181
        •  
          为客户端提供服务
      •  
        dataDir
    •  
      myid文件生成
      •  
        data目录下创建
      •  
        echo 1 > myid
      •  
        对应server1、2、3
    •  
      /etc/profile配置环境变量
    •  
      配置分发与启停zkServer.sh
    •  
      集群一键启停-ssh
  •  
    kafka集群
    •  
      server.propertis
      •  
        log数据存储目录
      •  
        zk集群地址2181（zk只配端口）
    •  
      profile
      •  
        配置export PATH=$PATH:$KAFKA/bin
      •  
        source生效文件
    •  
      启停与操作
      •  
        kafka-server-start/stop.sh
      •  
        kafka-topics.sh
      •  
        kafka-console-producer/consumer.sh
•  
  3.运维监控
  •  
    Kafka Eagle（EFAK）
    •  
      配置数据库
    •  
      ke.sh启动
  •  
    Kafka Manager（CMAK）
    •  
      JMX远程连接端口
    •  
      RMI实际通信端口
    •  
      sh文件内配置
      •  
        server-start
      •  
        run-class
    •  
      启动时指定
      •  
        JMX_PORT=9999 bin/kafka-server-start.sh
  •  
    Kafka Offset Monitor
  •  
    Kafka Web Console
    •  
      scala编写的java web程序
    •  
      类似Monitor，但更复杂
    •  
      需要配置数据库
    •  
      安装sbt 打包、运行run
  •  
    JMX自开发管理系统
•  
  4.命令行工具
  •  
    概述
    •  
      启停、配置
    •  
      生产消费、主题管理
    •  
      性能测试perf-test
    •  
      日志内容查看dump-log
    •  
      优先副本选举prefered-replica-election
    •  
      分区再分配reassign
  •  
    topics
    •  
      信息查看--describe
      •  
        Replica
      •  
        ISR
      •  
        OSR
    •  
      创建--create
      •  
        基本方式
        •  
          指定分区个数和副本数量replication-factor
      •  
        手动指定分区分配
        •  
          --replica-assignment
        •  
          0:1:3,1:2:6（分别指两个分区的节点id）
    •  
      修改配置--alter
      •  
        增加分区数
        •  
          --partitions 3
      •  
        动态配置topic参数
        •  
          --config compression=gzip
  •  
    console-producer
  •  
    console-consumer
    •  
      指定分区--pratition
    •  
      偏移量指定策略
      •  
        earliest
      •  
        latest
      •  
        指定
        •  
          指定偏移量--offset 2
      •  
        默认：之前记录的偏移量
    •  
      消费者组
      •  
        groupId配置与查看
        •  
          查看：consumer-groups.sh --list
      •  
        数量变更触发rebalance
      •  
        用于提高消费并行度
      •  
        组与组之间无关系，组内分配partition消费
    •  
      消费位移
      •  
        __consumer_offset
        •  
          指定formatter工具类解析topic内的数据
      •  
        确定groupid的分区
        •  
          groupId的哈希码对总分区数取余
  •  
    configs
    •  
      指令类型
      •  
        变更alter
      •  
        查看describe
    •  
      支持类型
      •  
        topic主题
      •  
        broker
      •  
        用户
      •  
        客户端
    •  
      命令
      •  
        指定类型（--entity-type）
      •  
        指定具体名（--entity-name）
    •  
      配置
      •  
        添加修改配置
        •  
          --config compression.type=gzip
        •  
          --add-config xxx
      •  
        删除配置
        •  
          --delete-config compression.type

以上内容整理于 幕布文档