摘要：http://news.sohu.com/a/673735058_100110101 1 简介 Kafka 作为一个高吞吐的消息中间件，和传统的消息中间件一个很大的不同点就在于它的消息实际上是以日志的方式默认保存在/tmp/kafka-logs文件夹中的。 Kafka的持久化策略更像Redis——数 阅读全文

摘要：1 Kafka核心总控制器Controller kafka的所有Broker都会注册到kafka集群中去。 kafka集群会选举一个Broker作为kafka七群的总控制器Controller。 他负责管理整个集群所有分区Partition和副本follower的状态 controller的主要作用 阅读全文

摘要：1 KafkaProducer的几个重要成员变量 1）Partitioner 用来获取消息应该发往哪个分区 private final Partitioner partitioner; 2）ProducerMetadata kafka元数据 private final ProducerMetadat 阅读全文

摘要：1）kafka及消息队列简介 kafka及消息队列简介 2）kafka单机安装和简单使用 kafka单机安装和简单使用 3）kafka集群搭建 kafka集群搭建 4）kafka常用命令 kafka常用命令 5）kafka术语及架构简介 kafka术语及架构简介 6）kafka的broker的con 阅读全文

摘要：https://blog.csdn.net/jiayi_yao/article/details/124883964 1 简介 在 kafka 中，高水位的作用主要是 2 个 1）定义消息可见性，既用来告诉我们的消费者哪些消息是可以进行消费的； 2）帮助 kafka 完成副本机制的同步。 Kafka 阅读全文

摘要：1 kafka基本架构 kafka的partion分为leader和follow。leader参与允许，二follower仅作为备份。 那么，leader和follower之间是怎么同步的呢 2 leader和follower的同步 Partition只有Leader是对外提供读写服务的 也就是说， 阅读全文

摘要：1 简介 在kafka，生产者生产的消息，只会保证一个生产者生产的消息在一个partion里面是有序的。 所以在编程时，若业务对消息的顺序性有更多的要求，那么就需要自己来保证消息的顺序性了。 消费者消费了消息，offset是需要自己来维护的。也就是说需要自己去保障消费的顺序性。 2 生产者顺序的保证 阅读全文

摘要：1 简介 零拷贝是指将数据直接从磁盘文件复制到网卡，而不需要经由应用之手。 零拷贝大大提高了应用程序的性能，减少了内核和用户模式之间的上下文切换。 对Linux操作系统而言，零拷贝技术依赖于底层的sendfile()方法实现，对于Java语言，FileChannel.transferTo()方法的底 阅读全文

摘要：https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 安装准备 请确保zookeeper集群的正常启动 可参考：大数据学前准备--zookeeper详解与集群搭建（保姆级教程） 2 下载kafka Apache Kafka 阅读全文

摘要：https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 Replication(拷贝) Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费 阅读全文

摘要：https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 Kafka中的术语解释概述 在深入理解Kafka之前，先介绍一下Kafka中的术语。 1.1 图示 上图中一个topic配置了3个partition。 Partition 阅读全文

摘要：https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 Kafka是什么 Kafka是一种高吞吐量的分布式发布订阅消息系统（消息引擎系统）。 2 消息系统简介 一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于 阅读全文

摘要：转 https://www.cnblogs.com/xgss/articles/16580433.html 1 启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 2 启动kafka bin/kafka-serv 阅读全文

摘要：1 kafka下载 linux环境安装kafka,需要预先准备相关资源 这里使用的是kafka_2.12-2.5.1版本，下载路径为：http://archive.apache.org/dist/kafka/2.5.1/kafka_2.12-2.5.1.tgz 也可以通过命令wget http:// 阅读全文