摘要： 1.前置配置 pom <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> </properties> <parent> <grou 阅读全文

摘要： 参考链接 http://www.kafka-eagle.org/articles/docs/documentation.html https://www.cnblogs.com/smartloli/p/9371904.html 阅读全文

摘要： 1.offset自动控制 kafka消费者的默认首次消费策略为latest 可以通过auto.offset.reset进行配置，这个配置只针对消费者之前没有提交偏移量到kafka服务器上也就是第一次消费的时候的行为，如果系统有消费者偏移量的话那么这个配置的不同值后续操作是一样的 earliest - 阅读全文

摘要： 1.引入相关配置 pom <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.2.0</version> </dependency> <dependenc 阅读全文

摘要： 1.前置条件 JDK1.8+ 配置主机名和IP映射 2.ZK安装 单机 1.安装目录：/usr/local/zookeeper 2.apache-zookeeper-3.6.3-bin.tar.gz上传到指定目录并解压 3.复制配置文件 cp zoo_sample.cfg zoo.cfg 4.配置文 阅读全文

摘要： 1.概述 Kafka的特性之一就是高吞吐率，但是Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，但是Kafka即使是运行在普通的服务器上，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。 阅读全文

摘要： 1.基础概念 Kafka集群以Topic形式来管理Record，每一个Record属于一个Topic。每个Topic底层都会对应一组分区日志文件，用于持久化Topic中的Record。同时在Kafka集群中，Topic的每一个日志的分区都一定会有1个Borker担当该分区的Leader，其他的Bro 阅读全文

摘要： 1.kafka简介 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以收集并处理用户在网站中的所有动作流数据以及物联网设备的采样信息。 2.什么是消息队列 消息队列是一种在分布式和大数据开发中不可或缺的中 阅读全文

摘要： 1.简介 在JDK1.6中的java.util.concurrent的子包locks中引了LockSupport这个API，LockSupport是一个比较底层的工具类，用来创建锁和其他同步工具类的基本线程阻塞原语。java锁和同步器框架的核心 AQS: AbstractQueuedSynchron 阅读全文

摘要： 1.概念 Exchanger用于线程间进行通信、数据交换。Exchanger提供了一个同步点exchange方法，两个线程调用exchange方法时，无论调用时间先后，两个线程会互相等到线程到达exchange方法调用点，此时两个线程可以交换数据，将本线程产出数据传递给对方。 2.使用 import 阅读全文