customize health checking of kafka in springboot app 在springboot应用中自定义kafka的健康状况检查
摘要：java code of health check ： import org.apache.kafka.clients.admin.AdminClient; import org.apache.kafka.clients.admin.DescribeClusterOptions; import or
阅读全文
posted @
2020-08-29 20:35
梦幻朵颜
阅读(1215)
推荐(0) 编辑
kafka2.5.0硬件集群架构图、Topic主题与Partitions分区架构图
摘要：kafka Topic主题与Patitions分区架构图： 硬件架构图： end.
阅读全文
posted @
2020-06-26 23:13
梦幻朵颜
阅读(429)
推荐(0) 编辑
kafka2.5.0分区再均衡监听器java例子
摘要：什么是分区再均衡： 如果该topic的分区大于1，那么生产者生产的数据存放到哪个分区，完全取决于key值，比如key=A，那么存到分区0，key=B，那么存到分区1，如果key为null，那么负载均衡存储到每个分区！ 分区再均衡监听器代码： import org.apache.kafka.clien
阅读全文
posted @
2020-06-25 20:12
梦幻朵颜
阅读(609)
推荐(0) 编辑
kafka2.5.0自定义分区器
摘要：自定义分区器： import org.apache.kafka.clients.producer.Partitioner; import org.apache.kafka.common.Cluster; import org.apache.kafka.common.PartitionInfo; im
阅读全文
posted @
2020-06-25 13:56
梦幻朵颜
阅读(241)
推荐(0) 编辑
kafka2.5.0自定义数据序列化类
摘要：kafka只接收bytes字节数组，所以自定义序列化器内部实现需按照bytes字节数组转换为标准。 重点：本例子只是提供参考怎样写自定义序列化器，因为关系到性能，一般默认使用StringSerializer即可，效率很高。 小知识：Kafka支持Avro序列化器，比较适用于生产者和消费者在版本升级差
阅读全文
posted @
2020-06-25 13:03
梦幻朵颜
阅读(725)
推荐(0) 编辑
kafka2.5.0生产者与消费者配置详解
摘要：1）引入maven依赖 我这里使用的是springboot 2.1.3.RELEASE 版本： <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </depe
阅读全文
posted @
2020-06-25 09:49
梦幻朵颜
阅读(5350)
推荐(0) 编辑
kafka2.5.0生产者与消费者，java普通main方法简单示例，不包含ack机制
摘要：重要知识： kafka生产者是线程安全的 ，不管启动多少个线程去执行生产者，都是线程安全的。 1）kafka生产者，有3种发送方式：1、发送并忘记；2、同步发送；3、异步发送 生产者。发送方式：1、发送并忘记； import cn.enjoyedu.config.BusiConst; import
阅读全文
posted @
2020-06-22 22:46
梦幻朵颜
阅读(922)
推荐(0) 编辑
kafka2.5.0集群架构搭建及验证
摘要：1）kafka的集群架构搭建特别简单： 先修改kafka的 config/server.properties配置文件，每一个kafka Server都连接到相同的zookeeper地址，如果zookeeper是集群，则用逗号隔开多个地址，集群就搭建好了。 这里贴出server.properties的
阅读全文
posted @
2020-06-22 20:14
梦幻朵颜
阅读(816)
推荐(0) 编辑
kafka2.5.0架构硬件选择参考因素
摘要：Kafka架构在硬件选择方面，以重要性顺序考虑以下4点： 1) 磁盘（最重要）。影响最大的事生产者，读写速度。需参考多个分区、多个目录，如一个分区每天生产1TB数据，10天就是10GB，再乘以分区数量。 2）网络。生产者、消费者写入、读取速度 3）内存。影响消费者，因为生产者如果写不了内存可以写磁盘
阅读全文
posted @
2020-06-21 23:44
梦幻朵颜
阅读(186)
推荐(0) 编辑
kafka2.5.0详解核心配置文件server.properties
摘要：$ cat -n config/server.properties 1）全局配置——Broker相关 broker.id=0 // broker ID, 集群模式下该ID必须唯一，且永恒不变。重点：每新启动一个Kafka Server加入Kafka集群，该id必须且只能+1，否则会报错 id不在指定
阅读全文
posted @
2020-06-21 18:50
梦幻朵颜
阅读(1015)
推荐(0) 编辑
kafka2.5.0 主题Topic
摘要：kafka基本命令查看博客《kafka2.5.0基本命令》 本博文所使用kafka版本2.5.0，操作系统centos8. 1）创建主题 创建my-topic主题，该主题有 1 个副本，8个分区： $ bin/kafka-topics.sh --create --bootstrap-server l
阅读全文
posted @
2020-06-21 17:25
梦幻朵颜
阅读(530)
推荐(0) 编辑
kafka2.5.0基本命令
摘要：本博文所使用kafka版本2.5.0，操作系统centos8. 1）启动zookeeper 演示用的话，直接启动kafka自带的zookeeper即可： cd kafkaDirectory/kafka_2.12-2.5.0 bin/zookeeper-server-start.sh config/z
阅读全文
posted @
2020-06-21 15:04
梦幻朵颜
阅读(977)
推荐(0) 编辑
