随笔分类 - kafka
摘要：命令行工具 消费组管理 #所有消费组 ./kafka-consumer-groups.sh --bootstrap-server 192.168.0.191:9092 --list #消费组详情 ./kafka-consumer-groups.sh --bootstrap-server 192.16
阅读全文
摘要：kafka的消息传输机制很直观,如果生产者向broker发送消息,commit之后.会被存到副本里面,他就不会丢失了. 如果在发送之后,网络出现问题,producer无法判断消息是否commit了,但是可以retry多次,直到确认已经在broker那commit.也就是至少一次,at least o
阅读全文
摘要：存储结构 概述 每一个partition(文件夹)相当于一个巨型文件被平均分配到多个大小相等的segment数据文件里 但每一个segment file消息数量不一定相等，这样的特性方便old segment file告诉被删除（默认每一个文件大小1G，可以在server.properties 中l
阅读全文
摘要：分区概述 主题划分为多个分区，根据分区规则将消息存到不同分区。配置合理的分区规则， 实现负载均衡和水平扩展。 多个订阅者可以从一个或多个分区同时消费数据，以支撑海量数据处理。 消息是追加到分区的，多个分区顺序写磁盘的效率比随机写内存效率高，是kafka高吞吐保证。 副本机制 Producer和Con
阅读全文
摘要：主题 创建主题 手动创建 命令（kafka的bin目录下）：kafka-topics.sh -zookeeper localhost:2181 --create --topic topicname --partitions 2 --replication-factor 1 localhost:218
阅读全文
摘要：相关概念 消费者和消费组 同一个消费组内的每个消费者会收到不同分区的消息，消费者和分区1对多 应用需要不同的消费组，每个应用可以读取到一个主题内所有分区的消息 消息接收 必要参数设置 key，value的反序列化 集群清单，bootstrap.servers 消费组，group.id，默认为空，会抛
阅读全文
摘要：消息发送 数据生成流程 发送类型 发送即忘记 producer.send(record); 同步发送 send()发送消息后返回Future对象啊。调用get方法等待kafka响应 正常响应：返回RecordMetadata对象，它存储消息的偏移量等 发生错误：无法正常响应，抛出异常，我们就可以异常
阅读全文
摘要：准备 Linux 关闭防火墙 2.检查： telnet IP:端口 依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </depen
阅读全文
摘要：定义 分布式的基于发布订阅模式的消息队列，主要用于大数据实时处理 点对点模式：一对一，消费者主动拉取数据，消息收到后消息删除 发布订阅：一对多 消费者拉取数据，缺点：队列中没有消息，也会拉取，长轮询 队列推送数据，缺点：各个消费者消费速度不一样， 有的消费能力不足崩了，有的资源浪费 特性 高吞吐量，
阅读全文