会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
金天黑日
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
上一页
1
2
3
4
5
6
7
···
31
下一页
2023年6月28日
kafka 高水位和epoch和partion副本同步
摘要: https://blog.csdn.net/jiayi_yao/article/details/124883964 1 简介 在 kafka 中,高水位的作用主要是 2 个 1)定义消息可见性,既用来告诉我们的消费者哪些消息是可以进行消费的; 2)帮助 kafka 完成副本机制的同步。 Kafka
阅读全文
posted @ 2023-06-28 11:01 金天黑日
阅读(193)
评论(0)
推荐(0)
编辑
2023年6月27日
kafka ack机制
摘要: 1 kafka基本架构 kafka的partion分为leader和follow。leader参与允许,二follower仅作为备份。 那么,leader和follower之间是怎么同步的呢 2 leader和follower的同步 Partition只有Leader是对外提供读写服务的 也就是说,
阅读全文
posted @ 2023-06-27 16:13 金天黑日
阅读(216)
评论(0)
推荐(0)
编辑
kafka 开发时生产者和消费者消息顺序的问题
摘要: 1 简介 在kafka,生产者生产的消息,只会保证一个生产者生产的消息在一个partion里面是有序的。 所以在编程时,若业务对消息的顺序性有更多的要求,那么就需要自己来保证消息的顺序性了。 消费者消费了消息,offset是需要自己来维护的。也就是说需要自己去保障消费的顺序性。 2 生产者顺序的保证
阅读全文
posted @ 2023-06-27 15:55 金天黑日
阅读(110)
评论(0)
推荐(0)
编辑
kafka 消息的零拷贝
摘要: 1 简介 零拷贝是指将数据直接从磁盘文件复制到网卡,而不需要经由应用之手。 零拷贝大大提高了应用程序的性能,减少了内核和用户模式之间的上下文切换。 对Linux操作系统而言,零拷贝技术依赖于底层的sendfile()方法实现,对于Java语言,FileChannel.transferTo()方法的底
阅读全文
posted @ 2023-06-27 15:31 金天黑日
阅读(143)
评论(0)
推荐(0)
编辑
Linux安装花生壳进行端口映射内网穿透
摘要: 1 下载 1.1 官网下载 进入 花生壳 官网,选择linux版安装包,下载,上传到服务器 1.2 wget下载 wget "https://down.oray.com/hsk/linux/phddns_5.2.0_amd64.rpm" -O phddns_5.2.0_amd64.rpm 2 安装
阅读全文
posted @ 2023-06-27 11:04 金天黑日
阅读(334)
评论(0)
推荐(0)
编辑
2023年6月25日
kafka集群搭建
摘要: https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 安装准备 请确保zookeeper集群的正常启动 可参考:大数据学前准备--zookeeper详解与集群搭建(保姆级教程) 2 下载kafka Apache Kafka
阅读全文
posted @ 2023-06-25 15:28 金天黑日
阅读(31)
评论(0)
推荐(0)
编辑
kafka 高可用
摘要: https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 Replication(拷贝) Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费
阅读全文
posted @ 2023-06-25 15:02 金天黑日
阅读(36)
评论(0)
推荐(0)
编辑
kafka术语和架构简介
摘要: https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 Kafka中的术语解释概述 在深入理解Kafka之前,先介绍一下Kafka中的术语。 1.1 图示 上图中一个topic配置了3个partition。 Partition
阅读全文
posted @ 2023-06-25 14:36 金天黑日
阅读(31)
评论(0)
推荐(0)
编辑
kafka及消息队列简介
摘要: https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 Kafka是什么 Kafka是一种高吞吐量的分布式发布订阅消息系统(消息引擎系统)。 2 消息系统简介 一个消息系统负责将数据从一个应用传递到另外一个应用,应用只需关注于
阅读全文
posted @ 2023-06-25 13:58 金天黑日
阅读(119)
评论(0)
推荐(0)
编辑
2023年6月19日
kafka常用命令
摘要: 转 https://www.cnblogs.com/xgss/articles/16580433.html 1 启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 2 启动kafka bin/kafka-serv
阅读全文
posted @ 2023-06-19 11:02 金天黑日
阅读(361)
评论(0)
推荐(0)
编辑
上一页
1
2
3
4
5
6
7
···
31
下一页