| | | |

2023年6月28日

摘要： 1）kafka及消息队列简介 kafka及消息队列简介 2）kafka单机安装和简单使用 kafka单机安装和简单使用 3）kafka集群搭建 kafka集群搭建 4）kafka常用命令 kafka常用命令 5）kafka术语及架构简介 kafka术语及架构简介 6）kafka的broker的con 阅读全文

posted @ 2023-06-28 11:13 金天黑日阅读(13) 评论(0) 推荐(0) 编辑

kafka 高水位和epoch和partion副本同步

摘要： https://blog.csdn.net/jiayi_yao/article/details/124883964 1 简介在 kafka 中，高水位的作用主要是 2 个 1）定义消息可见性，既用来告诉我们的消费者哪些消息是可以进行消费的； 2）帮助 kafka 完成副本机制的同步。 Kafka 阅读全文

posted @ 2023-06-28 11:01 金天黑日阅读(223) 评论(0) 推荐(0) 编辑

2023年6月27日

kafka ack机制

摘要： 1 kafka基本架构 kafka的partion分为leader和follow。leader参与允许，二follower仅作为备份。那么，leader和follower之间是怎么同步的呢 2 leader和follower的同步 Partition只有Leader是对外提供读写服务的也就是说，阅读全文

posted @ 2023-06-27 16:13 金天黑日阅读(251) 评论(0) 推荐(0) 编辑

kafka 开发时生产者和消费者消息顺序的问题

摘要： 1 简介在kafka，生产者生产的消息，只会保证一个生产者生产的消息在一个partion里面是有序的。所以在编程时，若业务对消息的顺序性有更多的要求，那么就需要自己来保证消息的顺序性了。消费者消费了消息，offset是需要自己来维护的。也就是说需要自己去保障消费的顺序性。 2 生产者顺序的保证阅读全文

posted @ 2023-06-27 15:55 金天黑日阅读(150) 评论(0) 推荐(0) 编辑

kafka 消息的零拷贝

摘要： 1 简介零拷贝是指将数据直接从磁盘文件复制到网卡，而不需要经由应用之手。零拷贝大大提高了应用程序的性能，减少了内核和用户模式之间的上下文切换。对Linux操作系统而言，零拷贝技术依赖于底层的sendfile()方法实现，对于Java语言，FileChannel.transferTo()方法的底阅读全文

posted @ 2023-06-27 15:31 金天黑日阅读(155) 评论(0) 推荐(0) 编辑

Linux安装花生壳进行端口映射内网穿透

摘要： 1 下载 1.1 官网下载进入花生壳官网，选择linux版安装包，下载，上传到服务器 1.2 wget下载 wget "https://down.oray.com/hsk/linux/phddns_5.2.0_amd64.rpm" -O phddns_5.2.0_amd64.rpm 2 安装阅读全文

posted @ 2023-06-27 11:04 金天黑日阅读(408) 评论(0) 推荐(0) 编辑

2023年6月25日

kafka集群搭建

摘要： https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 安装准备请确保zookeeper集群的正常启动可参考：大数据学前准备--zookeeper详解与集群搭建（保姆级教程） 2 下载kafka Apache Kafka 阅读全文

posted @ 2023-06-25 15:28 金天黑日阅读(35) 评论(0) 推荐(0) 编辑

kafka 高可用

摘要： https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 Replication(拷贝) Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费阅读全文

posted @ 2023-06-25 15:02 金天黑日阅读(42) 评论(0) 推荐(0) 编辑

kafka术语和架构简介

摘要： https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 Kafka中的术语解释概述在深入理解Kafka之前，先介绍一下Kafka中的术语。 1.1 图示上图中一个topic配置了3个partition。 Partition 阅读全文

posted @ 2023-06-25 14:36 金天黑日阅读(40) 评论(0) 推荐(0) 编辑

kafka及消息队列简介

摘要： https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 Kafka是什么 Kafka是一种高吞吐量的分布式发布订阅消息系统（消息引擎系统）。 2 消息系统简介一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于阅读全文

posted @ 2023-06-25 13:58 金天黑日阅读(150) 评论(0) 推荐(0) 编辑

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论

2023年6月28日

2023年6月27日

2023年6月25日