随笔 - 597  文章 - 4  评论 - 445  阅读 - 424万

随笔分类 -  KafKa

Kafka的消费者提交方式手动同步提交、和异步提交
摘要：1、Kafka的消费者提交方式 1）、自动提交，这种方式让消费者来管理位移，应用本身不需要显式操作。当我们将enable.auto.commit设置为true，那么消费者会在poll方法调用后每隔五秒（由auto.commit.interval.ms指定）提交一次位移。和很多其他操作一样，自动提交也 阅读全文
posted @ 2021-01-09 16:51 别先生 阅读(6943) 评论(2) 推荐(0) 编辑
kafka生产者Producer、消费者Consumer的拦截器interceptor
摘要：1、Producer的拦截器interceptor，和consumer端的拦截器interceptor是在kafka0.10版本被引入的，主要用于实现clients端的定制化控制逻辑，生产者拦截器可以用在消息发送前做一些准备工作，使用场景，如下所示： 1）、按照某个规则过滤掉不符合要求的消息。 2） 阅读全文
posted @ 2021-01-09 16:49 别先生 阅读(1384) 评论(0) 推荐(0) 编辑
SpringBoot整合Kafka消息组件
摘要：1、Kafka是新一代的消息系统，也是目前性能最好的消息组件，在数据采集业务中被广泛应用。这里Kafka将基于Kerberos认证实现消息组件处理。 修改pom.xml配置文件，追加依赖库配置，如下所示： 1 <?xml version="1.0" encoding="UTF-8"?> 2 <pro 阅读全文
posted @ 2020-11-25 22:00 别先生 阅读(867) 评论(0) 推荐(0) 编辑
单独KafkaConsumer实例and多worker线程。
摘要：1、单独KafkaConsumer实例and多worker线程。将获取的消息和消息的处理解耦，将消息的处理放入单独的工作者线程中，即工作线程中，同时维护一个或者若各干consumer实例执行消息获取任务。本例使用全局的KafkaConsumer实例执行消息获取，然后把获取到的消息集合交给线程池中的w 阅读全文
posted @ 2019-06-02 10:36 别先生 阅读(1437) 评论(0) 推荐(0) 编辑
kafka中消费者消费消息之每个线程维护一个KafkaConsumer实例
摘要：1、首先启动自己的kafka集群哟。 2、生产者生产消息，模拟生产一百条数据。 3、kafka中消费者消费消息之每个线程维护一个KafkaConsumer实例： ConsumerRunnable，消费线程类，执行真正的消费任务 消费线程管理类，创建多个线程类执行消费任务： 效果如下所示： 生产者生产 阅读全文
posted @ 2019-06-01 15:18 别先生 阅读(3413) 评论(0) 推荐(1) 编辑
基于kafka_2.11-2.1.0实现的生产者和消费者代码样例
摘要：1、搭建部署好zookeeper集群和kafka集群，这里省略。 2、生产者和消费者代码如下所示： 消费者代码如下所示： 遇到的坑，一开始报的错误莫名其妙，一开始以为使用的jar包版本问题，又是报slf4j的错误，又是报log4j的错误，又是报空指针的异常。最后百度意外遇到了可能是本地没有将ip地址 阅读全文
posted @ 2019-05-16 19:44 别先生 阅读(3809) 评论(0) 推荐(0) 编辑
ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
摘要：1、之前搭建的kafka，过了好久，去启动kafka，发现报如下下面的错误，有错误就要解决了。 然后参考：https://blog.csdn.net/hello_world_qwp/article/details/79419532 原因是由于broker.id不唯一造成的。 截图如下所示： 2、解决 阅读全文
posted @ 2019-04-04 15:15 别先生 阅读(14039) 评论(0) 推荐(0) 编辑
kafka单节点的安装，部署，使用
摘要：1、kafka官网：http://kafka.apache.org/downloads jdk：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 参考书籍：Apache kafka 阅读全文
posted @ 2019-01-03 20:29 别先生 阅读(13009) 评论(0) 推荐(1) 编辑
kafka.common.KafkaException: Failed to acquire lock on file .lock in /tmp/kafka-logs. A Kafka instance in another process or thread is using this directory.
摘要：1、刚才未启动zookeeper集群的时候，直接启动kafka脚本程序，kafka报错了，但是进程号启动起来来，再次启动出现如下所示的问题，这里先将进程号杀死，再启动脚本程序。 阅读全文
posted @ 2018-05-22 09:41 别先生 阅读(3485) 评论(0) 推荐(0) 编辑
WARN Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn) java.net.ConnectException: Connection refused
摘要：1、启动kafka的脚本程序报如下所示的错误： 2、根据错误分析，说zookeeper的问题，之前我没有启动zookeeper集群，所以先启动zookeeper集群，然后启动kafka解决问题； 阅读全文
posted @ 2018-05-22 09:32 别先生 阅读(5388) 评论(0) 推荐(0) 编辑
FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStartable) java.io.FileNotFoundException: /tmp/kafka-logs/.lock (Permission denied)
摘要：1、启动kafka的时候，报错如下所示： 2、原因分析，主要是自己是hadoop用户操作，期间无意登陆到root权限，启动了kafka,且启动成功了，创建了如下所示的目录，而且权限是root权限的，当我切换到hadoop用户的时候，启动kafka直接报如下所示的错误： 3、可以看到目录如下所示，解决 阅读全文
posted @ 2018-04-24 19:44 别先生 阅读(11125) 评论(1) 推荐(0) 编辑
Kafka的生产者和消费者代码解析
摘要：步骤如下：a、假如topic1,具有如下partitions: P0,P1,P2,P3。b、加入group中,有如下consumer: C1,C2。c、首先根据partition索引号对partitions排序: P0,P1,P2,P3。d、根据consumer.id排序: C0,C1。e、计算倍数 阅读全文
posted @ 2018-01-23 14:16 别先生 阅读(13487) 评论(2) 推荐(3) 编辑
一脸懵逼学习KafKa集群的安装搭建--（一种高吞吐量的分布式发布订阅消息系统）
摘要：1：KafKa的官方网址：http://kafka.apache.org/ 开发流程图，如： 2：KafKa的基础知识： 2.1：kafka是一个分布式的消息缓存系统。2.2：kafka集群中的服务器都叫做broker。2.3：kafka有两类客户端，一类叫producer（消息生产者），一类叫做c 阅读全文
posted @ 2017-11-03 15:48 别先生 阅读(2704) 评论(0) 推荐(0) 编辑

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

Powered by: 博客园 Copyright © 2025 别先生
Powered by .NET 9.0 on Kubernetes
点击右上角即可分享
微信分享提示