Kafka集群安装部署

1 集群安装部署

• 1、下载安装包（http://kafka.apache.org）

  • https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz

  kafka_2.11-1.1.0.tgz
  

• 2、规划安装目录

  /bigdata/install
  

• 3、上传安装包到服务器中

  通过FTP工具上传安装包到node01服务器上
  

• 4、解压安装包到指定规划目录

  tar -zxvf kafka_2.11-1.1.0.tgz -C /bigdata/install
  

• 5、重命名解压目录

  mv kafka_2.11-1.1.0 kafka
  

• 6、在hadoop01上修改配置文件

  • 进入到kafka安装目录下有一个config目录，修改配置信息 vi server.properties

    #指定kafka对应的broker id ，唯一
    broker.id=0
    #指定数据存放的目录
    log.dirs=/bigdata/install/kafka/kafka-logs
    #指定zk地址
    zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
    #指定是否可以删除topic ,默认是false 表示不可以删除
    delete.topic.enable=true
    #指定broker主机名
    host.name=hadoop01
    

  • 配置kafka环境变量 sudo vi /etc/profile

    export KAFKA_HOME=/bigdata/install/kafka
    export PATH=$PATH:$KAFKA_HOME/bin
    

• 6、分发kafka安装目录到其他节点

  scp -r kafka hadoop02:/bigdata/install
  scp -r kafka hadoop03:/bigdata/install
  
  ## hadoop02/hadoop03上都加上环境变量
  export KAFKA_HOME=/bigdata/install/kafka
  export PATH=$PATH:$KAFKA_HOME/bin
  

• 7、修改hadoop02和hadoop03上的配置

  • hadoop02 上修改配置文件 vi server.properties

    #指定kafka对应的broker id ，唯一
    broker.id=1
    #指定数据存放的目录
    log.dirs=/bigdata/install/kafka/kafka-logs
    #指定zk地址
    zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
    #指定是否可以删除topic ,默认是false 表示不可以删除
    delete.topic.enable=true
    #指定broker主机名
    host.name=hadoop02
    

  • hadoop03 上修改配置文件 vi server.properties

    #指定kafka对应的broker id ，唯一
    broker.id=2
    #指定数据存放的目录
    log.dirs=/bigdata/install/kafka/kafka-logs
    #指定zk地址
    zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
    #指定是否可以删除topic ,默认是false 表示不可以删除
    delete.topic.enable=true
    #指定broker主机名
    host.name=hadoop03
    

• 8、让每台节点的kafka环境变量生效

  • 在每台服务器执行命令

    source /etc/profile
    

2 kafka集群启动和停止

• 1、启动kafka集群

  • 先启动zookeeper集群，然后在所有节点如下执行脚本

    nohup kafka-server-start.sh /bigdata/install/kafka/config/server.properties >/dev/null 2>&1 &
    

• 2、停止kafka集群

  • 所有节点执行关闭kafka脚本

    kafka-server-stop.sh