摘要：
什么是全链路压测? 基于实际的生产业务场景、系统环境，模拟海量的用户请求和数据对整个业务链进行压力测试，并持续调优的过程 全链路压测解决什么问题? 针对业务场景越发复杂化、海量数据冲击下整个业务系统链的可用性、服务能力的瓶颈，让技术更好的服务业务，创造更多的价值 进行到 (业务流量预估阶段)、(系统 阅读全文
摘要：
ClickHouse作为OLAP分析引擎已经被广泛使用，数据的导入导出是用户面临的第一个问题。由于ClickHouse本身无法很好地支持单条大批量的写入，因此在实时同步数据方面需要借助其他服务协助。本文给出一种结合Canal+Kafka的方案，并且给出在多个MySQL实例分库分表的场景下，如何将多张 阅读全文
摘要：
进行数据分析工作的时候会用到很多的工具，比如说数据湖和数据仓库，不过这两者之间的差异和区别，可能会让人困惑。那么大家知道不知道数据湖和数据仓库的区别是什么呢？下面我们就给大家介绍一下数据湖和数据库的相关知识。 2010年，James Dixon提出数据湖（Data Lake）的概念。 2011年Da 阅读全文
摘要：
扩容：增加机器，例如原来三台服务器的kafka集群增加两台机器成为有五台机器的kafka集群，跟搭建差不多 分区重新分配：在原来机器上的主题分区不会自动均衡到新的机器，需要使用分区重新分配工具来均衡均衡 重新分配官方文档地址：点击打开链接 翻译官方文档中文地址：点击打开链接 上面两个链接中的文档描述 阅读全文
摘要：
在 0.9.0.0 之后的 Kafka，出现了几个新变动，一个是在 Server 端增加了 GroupCoordinator 这个角色，另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic（__consumer_offsets） 阅读全文
摘要：
设置消费者properties的两个参数 consumer.group.id properties.setProperty("auto.offset.reset", "earliest”) // latest 注意： 只要不更改group.id，每次重新消费kafka，都是从上次消费结束的地方继续开 阅读全文
摘要：
# yaml格式的pod定义文件完整内容：apiVersion: v1 #必选，版本号，例如v1kind: Pod #必选，Podmetadata: #必选，元数据 name: string #必选，Pod名称 namespace: string #必选，Pod所属的命名空间 labels: #自定 阅读全文
摘要：
转自：https://blog.csdn.net/weixin_43603028/article/details/107253178 比较器 描述BinaryComparator 匹配完整字节数组BinaryPrefixComparator 匹配字节数组前缀BitComparator 匹配比特位Nu 阅读全文
摘要：
转自：https://blog.csdn.net/weixin_51489504/article/details/112251232 雪花算法(SnowFlake) 雪花算法是Twitter开源的分布式ID生成算法. 主要是由64bit的long型生成的全局ID,引入了时间戳和ID保持自增的属性. 阅读全文
摘要：
1、对硬盘要求很高，没上SSD硬盘的不建议使用 2、不支持分区，删除数据是个大坑。 解决方案：set @@session.tidb_batch_delete=1; 3、插入数据太大也会报错 解决方案：set @@session.tidb_batch_insert=1; 4、删除表数据时不支持别名 d 阅读全文