start-zookeeper-kafka
前言
- 操作系统win10
- 安装时间2019年01月
- java版本jdk1.8.0_191
- zooekeeper版本zookeeper-3.4.12
- kafka版本kafka_2.11-2.1.0
- 本次安装为单机安装
- 参考网址1
是什么
kafka的特点
它是一个处理流式数据的”发布-订阅“消息系统，实时高效处理流式数据，将数据安全存储在分布式集群。
它是运行在集群上的，将流式记录存储在topics中，每个record由key,value和timestamp组成
kafka的概念
broker：kafka集群包含一个或者多个服务器，服务器就称作broker
topic：发布到kafka集群的消息类别。
partition：每个topic划分为多个partition。
producer：生产者，负责发布消息到broker
consumer：消费者，从broker获取消息
(kafka的核心API:Producer/Consumer/Streams/Connector)
zooekeeper
官网下载压缩包之后解压
文件配置
- 进入conf目录，复制zoo_sample.cfg并重命名为zoo.cfg，修改其中的dataDir为dataDir=E:\zookeeper-kafka\zookeeper-3.4.12\tmp
- 这里的更改路径，目录可以改成自己喜欢的目录哦
环境变量配置
| 操作 | 变量值 | 变量名 |
|---|---|---|
| 新建 | ZOOKEEPER_HOME | 解压目录 |
| 增加 | PATH | 解压目录\bin |
测试
cmd命令行窗口输入
C:\Users\wahaha>zkServer
kafka
官网下载压缩包之后解压
文件配置
- 进入config目录，在server.properties文件中修改log.dirs为log.dirs=E:\zookeeper-kafka\kafka_2.11-2.1.0\tmp\kafka-logs（这里的更改路径，目录也可以改成自己喜欢的目录哦）
- 在server.properties文件中修改zookeeper.connect为zookeeper.connect=localhost:2181（这表示在本地运行，即Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181）
测试
在启动Kafka服务器前，需要先运行zookeeper实例（zookeeper的测试部分的命令行）
E:\zookeeper-kafka\kafka_2.11-2.1.0>.\\bin\\windows\\kafka-server-start.bat .\\config\\server.properties
测试
下面的测试命令需要先执行zooekeeper和kafka的测试部分的命令行
- 创建一个topic并命名（我这里叫wahaha...haha）
E:\zookeeper-kafka\kafka_2.11-2.1.0>.\\bin\\windows\\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic wahaha
- 在topic下创建一个producer
E:\zookeeper-kafka\kafka_2.11-2.1.0>.\\bin\\windows\\kafka-console-producer.bat --broker-list localhost:9092 --topic wahaha
- 在topic下创建一个consumer
E:\zookeeper-kafka\kafka_2.11-2.1.0>.\\bin\\windows\\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic wahaha --from-beginning
- 在producer中输入，之后会在consumer中输出，撒花★,°:.☆(￣▽￣)/$:.°★
