kafka与zookeeper实战笔记
kafka命令
1.先启动zookeeper zkServer.cmd/zkServer.sh
2.启动kafka[需要指定server.properties文件] kafka-server-start.bat .\..\..\config\server.properties
3.创建主题 需要指定zk管理地址、副本因子、分区、主题名称
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic secure
4.生产者连接指定broker的topic进行生产
kafka-console-producer.bat --broker-list localhost:9092 --topic secure
5.消费者进行连接，消费指定的topic
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic secure 【--from-beginning 会消费所有包括历史信息】
本地集群搭建（3节点）
1.复制2个server.properties -> 修改文件的broker.id 打开[#listeners=PLAINTEXT://localhost:9093]
2.根据配置文件启动
kafka-server-start.bat .\..\..\config\server-1.properties kafka-server-start.bat .\..\..\config\server-2.properties
3.集群环境创建主题
kafka-topics.bat --zookeeper localhost:2181 --create --replication-factor 3 --partitions 1 --topic secure2
【遇到超时异常，需要重新启动zookeeper环境】
================================================
查看启动后的环境信息
>\kafka\kafka_2.11-2.1.0\bin\windows>kafka-topics.bat --describe --zookeeper localhost:2181 --topic secure2 Topic:secure2 PartitionCount:1 ReplicationFactor:3 Configs: Topic: secure2 Partition: 0 Leader: 0 Replicas: 0,1,2 Isr: 0,1,2
4.关闭kafka中的一个节点，查看leader切换
>\kafka\kafka_2.11-2.1.0\bin\windows>wmic wmic:root\cli>process where "caption = 'java.exe' and commandline like '%server-1.properties%'" get processid ProcessId
12168
>taskkill /pid /f /12168
查看关闭后的leader结果
>\kafka\kafka_2.11-2.1.0\bin\windows>kafka-topics.bat --describe --zookeeper localhost:2181 --topic secure2 Topic:secure2 PartitionCount:1 ReplicationFactor:3 Configs: Topic: secure2 Partition: 0 Leader: 0 Replicas: 0,1,2 Isr: 0,2
kafka中生产者和消费者配置信息
Producer API的主要配置设置在下表中列出以便更好地理解 - client.id 确定生产者应用 producer.type 是同步还是异步? acks acks配置控制生产者请求下的标准被认为是完整的。 retries 如果生产者请求失败，则自动重试具有特定的值。 bootstrap.servers 引导经纪人(brokers)列表。 linger.ms 如果想减少请求的数量，可以将linger.ms设置为大于某个值的值。 key.serializer 序列化器接口的键。 value.serializer 序列化器接口的值。 batch.size 缓冲区大小。 buffer.memory 控制生产者可用于缓冲的总内存量。
Consumer客户端API主配置设置的配置设置 - bootstrap.servers 经纪人的引导列表。 group.id 将个人消费者分配给组。 enable.auto.commit 如果值为true，则为偏移启用自动提交，否则不提交。 auto.commit.interval.ms 返回更新的消耗偏移量被写入ZooKeeper的频率。 session.timeout.ms 指示在放弃并继续使用消息之前，Kafka将等待多少毫秒以等待ZooKeeper响应请求(读取或写入)。
=====================zookeeper==================================
zookeeper解决分布式中解决竞争条件和死锁问题使用故障安全同步方式处理；数据不一致采用原子性解决。
优点：1.简单 2.同步 3.有序 4.序列化 5.原子性
1.创建
#create [/flag] /path zookeeper系统结构由：client server cluster leader follower 分层命名空间：/ config 全局配置【其下存储有多个znode,大小可为1M】 workers 命名空间 创建一个永久的Znode create /FirstZnode "Myfirstzookeeper-app" 创建一个连续的Znode create -s /FirstZnode "second-data" 创建一个临时的Znode create -e /SecondZnode "Ephemeral-data"
2.查询
#get /path get /FirstZnode Myfirstzookeeper-app cZxid = 0x1f6 ctime = Thu Dec 27 19:29:18 CST 2018 mZxid = 0x1f6 mtime = Thu Dec 27 19:29:18 CST 2018 pZxid = 0x1f6 cversion = 0 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 20 numChildren = 0
3.监视
显示通知当指定znode或znode的子数据变化。只能在 get 命令中设置监视。
get /path [watch] 1 get /FirstZnode 1
4.设置数据 设置指定znode的数据。
set /path data =================监视 修改 查询============================ [zk: localhost:2181(CONNECTED) 10] get /FirstZnode watch 1 监视 Myfirstzookeeper-app cZxid = 0x1f6 ctime = Thu Dec 27 19:29:18 CST 2018 mZxid = 0x1f6 mtime = Thu Dec 27 19:29:18 CST 2018 pZxid = 0x1f6 cversion = 0 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 20 numChildren = 0 [zk: localhost:2181(CONNECTED) 11] set /FirstZnode 123 设置 WATCHER:: WatchedEvent state:SyncConnected type:NodeDataChanged path:/FirstZnode cZxid = 0x1f6 ctime = Thu Dec 27 19:29:18 CST 2018 mZxid = 0x1fb mtime = Thu Dec 27 19:40:05 CST 2018 pZxid = 0x1f6 cversion = 0 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 3 numChildren = 0 [zk: localhost:2181(CONNECTED) 12] get /FirstZnode 查询 123 cZxid = 0x1f6 ctime = Thu Dec 27 19:29:18 CST 2018 mZxid = 0x1fb mtime = Thu Dec 27 19:40:05 CST 2018 pZxid = 0x1f6 cversion = 0 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 3 numChildren = 0
5.创建子znode 创建子znode类似于创建新的znodes。唯一的区别在于，子 znode 的路径将包含有父路径。
create /parent_path/subnode_path data ==============创建和获取============================= [zk: localhost:2181(CONNECTED) 13] create /FirstZnode/ChildZnode 123 Created /FirstZnode/ChildZnode [zk: localhost:2181(CONNECTED) 14] get /FirstZnode/ChildZnode 123 cZxid = 0x1fc ctime = Thu Dec 27 19:43:10 CST 2018 mZxid = 0x1fc mtime = Thu Dec 27 19:43:10 CST 2018 pZxid = 0x1fc cversion = 0 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 3 numChildren = 0 ===========================================
6.列出子znode
ls /path [zk: localhost:2181(CONNECTED) 15] ls /FirstZnode [ChildZnode] [zk: localhost:2181(CONNECTED) 16] ls /FirstZnode/ChildZnode []
7.检查状态 状态描述了指定znode的元数据。它包含详细信息，如时间戳，版本号，访问控制列表，数据长度和子znode数量。
stat /path [zk: localhost:2181(CONNECTED) 17] stat /FirstZnode cZxid = 0x1f6 ctime = Thu Dec 27 19:29:18 CST 2018 mZxid = 0x1fb mtime = Thu Dec 27 19:40:05 CST 2018 pZxid = 0x1fc cversion = 1 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 3 numChildren = 1
8.删除Znode 删除指定znode和递归删除所有的子znode。
rmr /path rmr /FirstrZnode
