摘要: 最近在公司的数据同步项目(以下简称 ZDTP)中,需要使用到分布式调度数据同步执行单元,目前使用的方案是将数据同步执行单元打包成镜像,使用 K8s 进行调度。 在 ZDTP 中,数据同步的动作可抽象成一个执行单元(以下称为 worker),类似于线程执行单元 Runnable ,Runnable 放 阅读全文
posted @ 2020-08-27 23:10 后端进阶 阅读(2098) 评论(0) 推荐(0) 编辑
摘要: 我第一次接触容器编排调度工具是 Docker 自家的 Docker Swarm,主要解决当时公司内部业务项目部署繁琐的问题,我记得当时项目实现容器化之后,花在项目部署运维的时间大大减少了,当时觉得这玩意还挺新鲜的,原来自动化运维可以这么玩。后面由于工作原因,很久没碰过容器方面的知识了。最近在公司的数据同步项目中,需要使用到分布式调度数据同步执行单元,目前使用的方案是将数据同步执行单元打包成镜像,使用 K8s 进行调度,正好趁这个机会了解一下 K8s,下面我就用图解的形式将我所理解的 K8s 分享给大家。 阅读全文
posted @ 2020-08-26 19:46 后端进阶 阅读(4374) 评论(0) 推荐(3) 编辑
摘要: 丁老师在他的知识星球邀请我回答以下一个问题: 我觉得这个问题非常有意思,姑且把它贴到公众号这里,与大家分享一下我对这个问题的一些感悟。 感谢丁老师的邀请问答: 在这里我就简单说下,我这段时间参与 Seata 开源项目的一些感悟: 1、如何参与到开源项目中并贡献自己的一份力量? 我一直都有上 GitH 阅读全文
posted @ 2020-05-18 20:04 后端进阶 阅读(657) 评论(0) 推荐(1) 编辑
摘要: 上次跟大家分享的文章「Kafka Producer 异步发送消息居然也会阻塞?」中提到了缓冲池,后面再经过一番阅读源码后,发现了这个缓冲池设计的很棒,被它的设计思想优雅到了,所以忍不住跟大家继续分享一波。 在新版的 Kafka Producer 中,设计了一个消息缓冲池,在创建 Producer 时 阅读全文
posted @ 2020-09-14 21:07 后端进阶 阅读(853) 评论(0) 推荐(1) 编辑
摘要: 收到某业务组的小伙伴发来的反馈,具体问题如下: 项目中某 kafka 消息组消费特别慢,有时候在 kafka manager 控制台看到有些消费者已被踢出消费组。 从服务端日志看到如下信息: 该消费组在短时间内重平衡了 600 多次。 从 cat 查看得知,每条消息处理都会有 4 次数据库的交互,经 阅读全文
posted @ 2020-01-07 10:20 后端进阶 阅读(6449) 评论(0) 推荐(0) 编辑
摘要: 高可用是很多分布式系统中必备的特征之一,Kafka 日志的高可用是通过基于 leader follower 的多副本同步实现的,每个分区下有多个副本,其中只有一个是 leader 副本,提供发送和消费消息,其余都是 follower 副本,不断地发送 fetch 请求给 leader 副本以同步消息 阅读全文
posted @ 2019-12-27 11:11 后端进阶 阅读(825) 评论(0) 推荐(1) 编辑
摘要: Seata 的动态降级需要结合配置中心的动态配置订阅功能。动态配置订阅,即通过配置中心监听订阅,根据需要读取已更新的缓存值,ZK、Apollo、Nacos 等第三方配置中心都有现成的监听器可实现动态刷新配置;动态降级,即通过动态更新指定配置参数值,使得 Seata 能够在运行过程中动态控制全局事务失 阅读全文
posted @ 2019-12-22 21:50 后端进阶 阅读(778) 评论(0) 推荐(1) 编辑
摘要: 前段时间收到某个 Kafka 集群的生产客户端反馈发送消息耗时很高,于是花了一段时间去排查这个问题,最后该集群进行扩容,由于某些主题的当前数据量实在太大,在对这些主题迁移过程中话费了很长一段时间,不过这个过程还算顺利,因为在迁移过程中也做足了各方面的调研,包括分区重平衡过程中对客户端的影响,以及对整 阅读全文
posted @ 2019-12-19 20:41 后端进阶 阅读(2374) 评论(0) 推荐(3) 编辑
摘要: 上周客串了一下面试官,在这里就简单记录一下期间我问到的一些关于 Kafka 的面试题目,这些都是我平时在学习 Kafka 的一些总结要点。 谈谈你对 kafka 的整体认识? 问这个问题主要是想知道面试者对 Kafka 的整体认识如何,能够大致了解清楚面试者对 Kafka 的相关概念的熟悉程度,比如 阅读全文
posted @ 2019-12-17 20:33 后端进阶 阅读(1283) 评论(1) 推荐(2) 编辑
摘要: Seata 可以支持多个第三方配置中心,那么 Seata 是如何同时兼容那么多个配置中心的呢?下面我给大家详细介绍下 Seata 配置中心的实现原理。 配置中心属性加载 在 Seata 配置中心,有两个默认的配置文件: file.conf 是默认的配置属性,registry.conf 主要存储第三方 阅读全文
posted @ 2019-12-16 20:42 后端进阶 阅读(3316) 评论(0) 推荐(1) 编辑