myf008

摘要： 上篇文章我们了解到，如果一个topic分区越多，理论上整个集群所能达到的吞吐量就越大。那么，分区数越多就越好吗？显然不是。今天我们来聊下kafka在分区数过多的情况下，会带来哪些弊端。 内存开销 客户端producer有个参数batch.size默认为16KB。它会为每个分区缓存消息，一旦批次数满了 阅读全文

摘要： 原创 雨庄 阿里技术 今天 收录于话题 一 前言技术同学都知道，当表数据超过一定量级，我们就需要通过分表来解决单表的性能瓶颈问题；当数据库负载超过一定水平线，我们就需要通过分库来解决单库的连接数、性能负载的瓶颈问题。本文主要阐述在同时满足以下业务场景： 分表分库存储 需要对分表数量不同的表进行同事务 阅读全文

摘要： 天秤座的架构师 2020-07-04 21:07:39 510 收藏 4分类专栏： 商业操作系统--企业中台实践 架构微学堂 文章标签： 异地多活版权1 什么是异地多活？异地多活，英文Multi-Site High Availability，顾名思义就是分布在异地多个站点同时对外提供服务。与传统灾备 阅读全文

摘要： 高可用解决方案：同城双活？异地双活？异地多活？怎么实现？ 民工哥 2020-11-24 09:03:00 833 收藏 3 文章标签： 数据库 分布式 java redis 大数据 高可用的一些解决方案 高可用，从发展来看，大致经过了这几个过程： 冷备 双机热备 同城双活 异地双活 异地多活 在聊异 阅读全文

摘要： 在使用msyql进行模糊查询的时候，很自然的会用到like语句，通常情况下，在数据量小的时候，不容易看出查询的效率，但在数据量达到百万级，千万级的时候，查询的效率就很容易显现出来。这个时候查询的效率就显得很重要！ 一般情况下like模糊查询的写法为（field已建立索引）： SELECT `colu 阅读全文

摘要： 苏格拉低 2019-10-28 23:39:30 5287 收藏 2分类专栏： 面试积累版权cms回收器执行步骤 1、初始标记：GC roots 可以理解为对象指向的标记 2、并发标记： GC roots Tracing 可以理解为 通过初始标记找到了要删除的对象 也就是堆中的指向对象 3、重新标记 阅读全文

摘要： zookeeper原本不是为高可用性设计的，但很多系统实际上是需要跨机房部署的。出于性价比的考虑我们通常会让多个机房同时工作，而不会搭建N倍的冗余。也就是说单个机房肯定撑不住全流量。由于zookeeper集群只能有一个master，因此一旦机房之间连接出现故障，zookeeper master就只能 阅读全文

摘要： 挑战不可能，努力 2020-08-20 15:19:11 707 收藏 分类专栏： 大数据 版权 Kafka 是一个高度可扩展的分布式消息系统，在海量数据处理生态中占据着重要的地位。 数据处理的一个关键特性是数据的一致性。具体到 Kafka 的领域中，也就是生产者生产的数据和消费者消费的数据之间一对 阅读全文

摘要： 转载：https://honeypps.com/mq/rabbitmq-message-confirm-strategy/ 概述在使用RabbitMQ的时候，我们可以通过消息持久化操作来解决因为服务器的异常奔溃导致的消息丢失，除此之外我们还会遇到一个问题，当消息的发布者在将消息发送出去之后，消息到底 阅读全文

摘要： RocketMQ事务消息实现原理 文章目录 RocketMQ事务消息实现原理 事务消息 RocketMQ事务消息流程概要 1.事务消息发送及提交 2.补偿流程 RocketMQ事务消息设计 1.事务消息在一阶段对用户不可见 2.Commit和Rollback操作以及Op消息的引入 3.Op消息的存储 阅读全文