导航

Kafka安装

Posted on 2019-10-22 15:07  两张10元钱  阅读(111)  评论(0编辑  收藏  举报

如需大数据开发整套视频(hadoop\hive\hbase\flume\sqoop\kafka\zookeeper\presto\spark):请联系QQ:1974983704

单机版:

  • Kafka安装文件  kafka_2.10-0.10.0.1.tgz

  Kafka版本:kafka_2.10-0.10.0.1

  地址:Kafka官网(https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.1/kafka_2.10-0.10.0.1.tgz

  • 解压kafka_2.10-0.10.0.1.tgz
tar –zxvf kafka_2.10-0.10.0.1.tgz
  • 启动Kafka自带的zookeeper
bin/zookeeper-server-start.sh  config/zookeeper.properties &

  使用命令查看zookeeper是否启动成功: jps | grep Quorum

  可以查看到类似以下输出(进程idzookeeper的服务名称QuorumPeerMain

46309 QuorumPeerMain
  • 启动Kafka Broker
bin/kafka-server-start.sh -daemon config/server.properties 

  使用命令查看kafka Broker是否启动更成功:jps | grep Kafka

       可以查看到类似以下输出(进程idKafka的服务名称Kafka, K”字母大写

34884 Kafka

  验证:

  • 创建topic,名字为test,包含5个分区,副本数为1,数据保留时长为2天(默认是1天)
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 
--partitions 5 --topic test --config delete.retention.ms=172800000
  • 生产数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
  • 另启动一个终端消费数据
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

 

分布式版:

  • 台虚拟机(master, slave)
  • 下载Kafka安装文件  kafka_2.10-0.10.0.1.tgzmasterslave两个节点
  • 配置(config/server.properties)

    master节点上

broker.id=0
zookeeper.connect=master:2181

      slave节点上

broker.id=1
zookeeper.connect=master:2181 
  • 启动Kafka,在masterslave上分别执行
bin/kafka-server-start.sh -daemon config/server.properties

  验证(将单机版验证命令中的“localhost”,改成“master”即可)