摘要:
## 前言 最近在学习了解领域驱动模型DDD相关的内容,但是由于没有实际的项目支撑,所以大都是停留在一些理论层面。我发现这里面的一些设计思想还是非常有实用价值的,可以直接应用于你目前的项目中,今天我就来谈谈防腐层的妙用。 ## 一个简单的例子 大家在做项目中是否有过这样的经历,你的项目中需要调用一个 阅读全文
摘要:
## 前言 现在假定这么一个业务场景,从`kafka`中的`topic`获取消息数据,经过一定加工处理后,发送到另外一个`topic`中,要求整个过程消息不能丢失,也不能重复发送,即实现端到端的`Exactly-Once`精确一次消息投递。这该如何实现呢? ![](https://p3-juejin 阅读全文
摘要:
## 前言 天下武功,唯快不破。同样的,kafka在消息队列领域,也是非常快的,这里的块指的是kafka在单位时间搬运的数据量大小,也就是吞吐量,下图是搬运网上的一个性能测试结果,在同步发送场景下,单机Kafka的吞吐量高达17.3w/s,不愧是高吞吐量消息中间件的行业老大。 ![](https:/ 阅读全文
摘要:
## 前言 消息的消费一般有两种模式,推模式和拉模式。推模式是服务端主动将消息推送给消费者,而拉模式是消费者主动向服务端发起请求来拉取消息。kakfa采用的是拉模式,这样可以很好的控制消费速率。那么kafka消费的具体工作流程是什么样的呢?kafka的位移管理又是怎么样的呢? ## 消费者消费规则 阅读全文
摘要:
## 前言 `kafka`集群是由多个`broker`节点组成,这里面包含了许多的知识点,以下的这些问题你都知道吗? - 你知道`topic`的分区`leader`是怎么选举的吗? - 你知道`zookeeper`中存储了`kafka`的什么信息吗?起到什么做呢? - 你知道`kafka`消息文件是 阅读全文
摘要:
## 前言 在大学的时候,学校一般只会教你你写编程语言,比如C、C++、JAVA等编程语言。但是当你离开大学进入这个行业开始工作时,才知道编程不只是知道编程语言、语法等,要想写好代码,必须还要了解一些编程原则才行。本文主要讨论`KISS`、`DRY`和`SOLID`这些常见的编程原则,而且你会发现随 阅读全文
摘要:
## 前言 kafka生产者作为消息发送中很重要的一环,这里面可是大有文章,你知道生产者消息发送的流程吗?知道消息是如何发往哪个分区的吗?如何保证生产者消息的可靠性吗?如何保证消息发送的顺序吗?如果对于这些问题还比较模糊的话,那么很有必要看看这篇文章了,本文主要是基于kafka3.x版本讲解。 ## 阅读全文
摘要:
前言 工欲善其事,必先利其器。本文主要分享一下消息中间件kafka安装部署的过程,以及我平时在工作中针对kafka用的一些客户端工具和监控工具。 kafka部署架构 一个kafka集群由多个kafka broker组成,每个broker将自己的元数据信息注册到zookeeper中,通过zookeep 阅读全文
摘要:
前言 kafka是目前企业中很常用的消息队列产品,可以用于削峰、解耦、异步通信。特别是在大数据领域中应用尤为广泛,主要得益于它的高吞吐量、低延迟,在我们公司的解决方案中也有用到。既然kafka在企业中如此重要,那么本文就通过几张图带大家全面认识一下kafka,现在我们不妨带入kafka设计者的角度去 阅读全文
摘要:
前言 最近公司某项目上反馈mysql主从复制失败,被运维部门记了一次大过,影响到了项目的验收推进,那么究竟是什么原因导致的呢?而主从复制的原理又是什么呢?本文就对排查分析的过程做一个记录。 主从复制原理 我们先来简单了解下MySQL主从复制的原理。 主库master 服务器会将 SQL 记录通过 d 阅读全文