摘要: ##一、前言 她如暴风雨中的一叶扁舟,在高并发的大风大浪下疾驰而过,眼看就要被湮灭,却又在绝境中绝处逢生 编写一套即稳定、高效、且支持并发的代码,不说难如登天,却也绝非易事。 一直有小伙伴向我咨询关于ConcurrentHashMap(后文简写为CHM)的问题,常常抱怨说:其他源码懂就是懂了,不懂就 阅读全文
posted @ 2021-01-04 21:18 昔久 阅读(935) 评论(7) 推荐(7) 编辑
摘要: 原文链接:https://cwiki.apache.org/confluence/display/KAFKA/KIP-500%3A+Replace+ZooKeeper+with+a+Self-Managed+Metadata+Quorum 译者:关于Kafka3.x版本最大的一个变化即是解除了对Zo 阅读全文
posted @ 2024-10-31 18:50 昔久 阅读(233) 评论(0) 推荐(1) 编辑
摘要: 一、前言 本文介绍一下Kafka赫赫有名的组件Purgatory,相信做Kafka的朋友或多或少都对其有一定的了解,至少是听过它的名字。那它的作用是什么呢,用来解决什么问题呢?官网confluent早就有文章对其做了阐述 https://cwiki.apache.org/confluence/pag 阅读全文
posted @ 2024-10-15 14:54 昔久 阅读(1775) 评论(0) 推荐(1) 编辑
摘要: 一、前言 Kafka提供了高性能的读写,而这些读写操作均是操作在Topic上的,Topic的创建就尤为关键,其中涉及分区分配策略、状态流转等,而Topic的新建语句非常简单 bash kafka-topics.sh \ --bootstrap-server localhost:9092 \ // 需 阅读全文
posted @ 2024-09-07 17:11 昔久 阅读(1307) 评论(0) 推荐(1) 编辑
摘要: 一、问题概述 客户的生产环境突然在近期间歇式的收到了Kafka CRC的相关异常,异常内容如下 Record batch for partition skywalking-traces-0 at offset 292107075 is invalid, cause: Record is corrup 阅读全文
posted @ 2024-09-02 18:07 昔久 阅读(2758) 评论(31) 推荐(15) 编辑
摘要: 一、背景 Kafka的位点提交一直是Consumer端非常重要的一部分,业务上我们经常遇到的消息丢失、消息重复也与其息息相关。位点提交说简单也简单,说复杂也确实复杂,没有人能用一段简短的话将其说清楚,最近团队生产环境便遇到一个小概率的报错 “Offset commit failed with a r 阅读全文
posted @ 2024-04-07 19:12 昔久 阅读(594) 评论(9) 推荐(0) 编辑
摘要: 一、背景 在Kafka的组成部分(Broker、Consumer、Producer)中,设计理念迥异,每个部分都有自己独特的思考。而把这些部分有机地组织起来,使其成为一个整体的便是「网络传输」。区别于其他消息队列的方式(RocketMQ处理网络部分直接使用成熟的组件Netty),Kafka则是直接对 阅读全文
posted @ 2024-03-23 11:55 昔久 阅读(449) 评论(0) 推荐(1) 编辑
摘要: 原文地址:https://cwiki.apache.org/confluence/display/KAFKA/KIP-382%3A+MirrorMaker+2.0#KIP382:MirrorMaker2.0-Walkthrough:RunningMirrorMaker2.0 译者:对于Kafka高可 阅读全文
posted @ 2024-01-23 17:02 昔久 阅读(317) 评论(0) 推荐(2) 编辑
摘要: 原文链接:https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage 译者:Kafka KIP-405是一篇非常优秀的多层存储的设计稿,不过此设计稿涉及内容很多,文章量大、严谨、知识点诸多。我们国 阅读全文
posted @ 2024-01-19 11:36 昔久 阅读(653) 评论(0) 推荐(3) 编辑
摘要: 一、背景 周所周知,Kafka是一个非常成熟的消息产品,开源社区也已经经历了多年的不断迭代,特性列表更是能装下好几马车,比如:幂等消息、事务支持、多副本高可用、ACL、Auto Rebalance、HW、Leader Epoch、Time Index、Producer Snapshot、Stream 阅读全文
posted @ 2024-01-02 18:53 昔久 阅读(1461) 评论(3) 推荐(3) 编辑
摘要: 一、前言 我们需要对4个规格的kafka能力进行探底,即其可以承载的最大吞吐;4个规格对应的单节点的配置如下: 标准版: 2C4G 铂金版: 4C8G 专业版: 8C16G 企业版: 16C32G 另外,一般来讲,在同配置下,kafka的读性能是要优于写性能的,写操作时,数据要从网卡拷贝至堆内存,然 阅读全文
posted @ 2023-12-05 20:10 昔久 阅读(1118) 评论(0) 推荐(6) 编辑
摘要: 一、背景 时间大概是在夏天7月份,突然收到小伙伴的情报,我们线上的一个kafka实例的某个broker突然不提供服务了,也没看到什么异常日志,反正就是生产、消费都停了。因为是线上服务,而且进程还在,就是不提供服务了,第一反应就是保留一下 stack 信息,先重启吧 因为这个现象是第一次出现,不确定是 阅读全文
posted @ 2023-10-18 11:02 昔久 阅读(4804) 评论(11) 推荐(35) 编辑
摘要: 说起加密算法,大的分类上,常规区分通常会区分为对称加密与非对称加密两种,两种算法都各有优缺点。然而互联网发展到今天,应用更广的还是非对称加密的方式,而非对称加密中,RSA又首当其中,被广泛运用到各类应用中。本人作为一个标准的Javer,一直对RSA细节没有深入探究,本文算是对该算法的一个浅析,其中涉 阅读全文
posted @ 2023-01-18 12:16 昔久 阅读(764) 评论(2) 推荐(5) 编辑
摘要: 一、事务概览 提起事务,我们第一印象可能就是ACID,需要满足原子性、一致性、事务隔离级别等概念,那kafka的事务能做到什么程度呢?我们首先看一下如何使用事务 Producer端代码如下 KafkaProducer<String, String> producer = new KafkaProdu 阅读全文
posted @ 2022-11-23 11:29 昔久 阅读(5832) 评论(5) 推荐(7) 编辑
摘要: RocketMQ架构原理解析(一):整体架构 RocketMQ架构原理解析(二):消息存储(CommitLog) RocketMQ架构原理解析(三):消息索引(ConsumeQueue & IndexFile) RocketMQ架构原理解析(四):消息生产端(Producer) 一、概述 如果你曾经 阅读全文
posted @ 2022-01-14 09:21 昔久 阅读(1712) 评论(3) 推荐(1) 编辑
摘要: RocketMQ架构原理解析(一):整体架构 RocketMQ架构原理解析(二):消息存储(CommitLog) RocketMQ架构原理解析(三):消息索引(ConsumeQueue & IndexFile) RocketMQ架构原理解析(四):消息生产端(Producer) 一、概述 “索引”一 阅读全文
posted @ 2021-12-10 14:56 昔久 阅读(2524) 评论(4) 推荐(3) 编辑
摘要: RocketMQ架构原理解析(一):整体架构 RocketMQ架构原理解析(二):消息存储(CommitLog) RocketMQ架构原理解析(三):消息索引(ConsumeQueue & IndexFile) RocketMQ架构原理解析(四):消息生产端(Producer) 一、概述 由前文可知 阅读全文
posted @ 2021-11-17 10:16 昔久 阅读(3536) 评论(2) 推荐(2) 编辑
摘要: RocketMQ架构原理解析(一):整体架构 RocketMQ架构原理解析(二):消息存储(CommitLog) RocketMQ架构原理解析(三):消息索引(ConsumeQueue & IndexFile) RocketMQ架构原理解析(四):消息生产端(Producer) 一、概述 Rocke 阅读全文
posted @ 2021-11-17 09:27 昔久 阅读(1901) 评论(0) 推荐(1) 编辑
摘要: 一、前言 赛题官网: 阿里云第三届数据库大赛 - 性能挑战赛 今年的数据库比赛可谓异常激烈,原定 2021年07月02日 ~ 2021年08月06日 的复赛,因为主办方原因被延期至 2021-08-20,而前排的分数相差都在秒、半秒、甚至毫秒级,“卷”的程度可见一斑 一般这种限定Java语言的比赛, 阅读全文
posted @ 2021-09-27 16:19 昔久 阅读(2100) 评论(10) 推荐(8) 编辑
摘要: 深入理解Java并发框架AQS系列(一):线程 深入理解Java并发框架AQS系列(二):AQS框架简介及锁概念 深入理解Java并发框架AQS系列(三):独占锁(Exclusive Lock) 深入理解Java并发框架AQS系列(四):共享锁(Shared Lock) 深入理解Java并发框架AQ 阅读全文
posted @ 2021-04-28 09:48 昔久 阅读(3367) 评论(3) 推荐(5) 编辑
摘要: 深入理解Java并发框架AQS系列(一):线程 深入理解Java并发框架AQS系列(二):AQS框架简介及锁概念 深入理解Java并发框架AQS系列(三):独占锁(Exclusive Lock) 深入理解Java并发框架AQS系列(四):共享锁(Shared Lock) 深入理解Java并发框架AQ 阅读全文
posted @ 2021-04-08 18:07 昔久 阅读(3255) 评论(3) 推荐(1) 编辑
摘要: 深入理解Java并发框架AQS系列(一):线程 深入理解Java并发框架AQS系列(二):AQS框架简介及锁概念 深入理解Java并发框架AQS系列(三):独占锁(Exclusive Lock) 深入理解Java并发框架AQS系列(四):共享锁(Shared Lock) 深入理解Java并发框架AQ 阅读全文
posted @ 2021-03-25 20:51 昔久 阅读(1912) 评论(6) 推荐(5) 编辑
摘要: 深入理解Java并发框架AQS系列(一):线程 深入理解Java并发框架AQS系列(二):AQS框架简介及锁概念 深入理解Java并发框架AQS系列(三):独占锁(Exclusive Lock) 深入理解Java并发框架AQS系列(四):共享锁(Shared Lock) 深入理解Java并发框架AQ 阅读全文
posted @ 2021-03-13 23:15 昔久 阅读(1622) 评论(6) 推荐(6) 编辑
摘要: 深入理解Java并发框架AQS系列(一):线程 深入理解Java并发框架AQS系列(二):AQS框架简介及锁概念 深入理解Java并发框架AQS系列(三):独占锁(Exclusive Lock) 深入理解Java并发框架AQS系列(四):共享锁(Shared Lock) 深入理解Java并发框架AQ 阅读全文
posted @ 2021-03-13 23:14 昔久 阅读(2358) 评论(3) 推荐(3) 编辑
摘要: 2020年6月份天池举办的《中间件性能挑战赛》可谓是异常激烈,本人抽业余时间报名参与,感受比赛惨烈的同时,也有诸多感慨哈,总结一个多月的赛程,多少有一些心得与大家分享 本文原创地址:https://www.cnblogs.com/xijiu/p/14235551.html 转载请注明 赛题 赛题地址 阅读全文
posted @ 2021-01-05 14:17 昔久 阅读(854) 评论(7) 推荐(2) 编辑
摘要: 双亲委派 提起 java 类加载器,自然绕不开其双亲委派模型 什么是双亲委派 提起双亲委派,首先想到便是那张经典的向上委派图 一般场景下,当某个类将要被加载时,由系统上下文默认的类加载器Thread.currentThread().getContextClassLoader()对该类进行加载,通常这 阅读全文
posted @ 2020-07-27 14:35 昔久 阅读(267) 评论(0) 推荐(1) 编辑