如需大数据开发整套视频(hadoop\hive\hbase\flume\sqoop\kafka\zookeeper\presto\spark):请联系QQ:1974983704
单机版:
- 下载Kafka安装文件 kafka_2.10-0.10.0.1.tgz
Kafka版本:kafka_2.10-0.10.0.1
地址:Kafka官网(https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.1/kafka_2.10-0.10.0.1.tgz)
- 解压kafka_2.10-0.10.0.1.tgz
tar –zxvf kafka_2.10-0.10.0.1.tgz
- 启动Kafka自带的zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties &
使用命令查看zookeeper是否启动成功: jps | grep Quorum
可以查看到类似以下输出(进程id和zookeeper的服务名称QuorumPeerMain)
46309 QuorumPeerMain
- 启动Kafka Broker
bin/kafka-server-start.sh -daemon config/server.properties
使用命令查看kafka Broker是否启动更成功:jps | grep Kafka
可以查看到类似以下输出(进程id和Kafka的服务名称Kafka, “K”字母大写)
34884 Kafka
验证:
- 创建topic,名字为test,包含5个分区,副本数为1,数据保留时长为2天(默认是1天)
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1
--partitions 5 --topic test --config delete.retention.ms=172800000
- 生产数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
- 另启动一个终端消费数据
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
分布式版:
- 两台虚拟机(master, slave)
- 下载Kafka安装文件 kafka_2.10-0.10.0.1.tgz到master和slave两个节点
- 配置(config/server.properties)
master节点上
broker.id=0 zookeeper.connect=master:2181
slave节点上
broker.id=1 zookeeper.connect=master:2181
- 启动Kafka,在master和slave上分别执行
bin/kafka-server-start.sh -daemon config/server.properties
验证(将单机版验证命令中的“localhost”,改成“master”即可)