kafka学习笔记(三)----quick start

(一)启动kafka环境

  kafka要求jdk1.8以上,并且启动kafka之前需要启动zookeeper,这里直接使用kafka自带的zookeeper,但是官方说不久后kafka将不再需要zookeeper。

  启动zookeeper:bin/zookeeper-server-start.sh config/zookeeper.properties 

  启动kafka:bin/kafka-server-start.sh config/server.properties

(二)创建topic

  kafka是一个分布式事件流平台,允许在多台计算机上读,写,存储和处理事件,事件被存储在topic中。topic类似于文件系统中的文件夹,事件类似于文件夹中的文件。所以在创建事件之前需要创建topic

  创建topic:bin/kafka-topics.sh --create --topic myTopic --bootstrap-server localhost:9092  kafka-topics.sh命令用于操作topic,它包括很多参数,--create表示创建  --topic myTopic 表示topic名字为myTopic,bootstrap-server localhost:9092表示服务器地址为localhost:9092。

  

  成功创建topic之后,服务器会打印新建topic的名称,配置信息,这里为{}以及分片信息等

  

  使用--describe参数可以查看topic信息

   

(三)写入event

  kafka客户端通过网络与kafka代理进行通信,以写入或读取event,一旦受到event,kafka将以持久和容错的方式存储事件,用户可自行决定存储时间。

  运行kafak producer客户端并输入evnet  bin/kafka-console-producer.sh --topic myTopic --bootstrap-server localhost:9092

  

 

  目前producer 客户端是处于可持续输入event的状态,若要退出可按Ctrl+C

(四)读取event

  运行kafka consumer客户端并输入bin/kafka-console-consumer.sh --topic myTopic --from-beginning --bootstrap-server localhost:9092,其中--from-beginning参数表示从开始读取event 

  

  若没有--from-beginning参数,则默认从此时开始新入的event开始读取(注意在自己测试的时候,启动consumer客户端之后要等一会再去producer客户端写数据,可能这边没起起来,那边写了数据但是这边看不到)

  

(五)其他(后面新开详细介绍)

  可使用kafka Connect导入导出自己的数据

  可使用kafka Streams处理event

(六)终止kafka环境

  都可以用Ctrl+C去终止,若想要删除本地环境中的所有数据,可以使用 rm -rf /tmp/kafka-logs /tmp/zookeeper

 

 

 

 

 

    

posted @ 2020-09-16 14:24  Carol淋  阅读(178)  评论(0编辑  收藏  举报