09 2021 档案
摘要:Kafka分区策略 **所谓分区策略是决定生产者将消息发送到哪个分区的算法。**Kafka 为我们提供了默认的分区策略,同时它也支持你自定义分区策略。 常见的分区策略包含以下几种:轮询策略、随机策略 、按消息键保序策略 轮询策略 将消息顺序分配到各个分区中,假设一个主题下有三个分区,第一条消息将被发
阅读全文
摘要:Kafka设计架构 Kafka由生产者(Producer)、消费者(Consumer)、Broker以及Zookeeper集群组成,Zookeeper负责集群元数据的管理以及控制的选举等操作,Producer将消息发送到Broker, Broker负责将受到的消息存储到磁盘中,而Consumer负责
阅读全文
摘要:ES倒排索引基本原理 索引(index)可以分为正序索引(Forward Indexes)和倒排索引(Inverted Index)两种。在关系型数据库中使用索引可以避免数据检索走全表扫描,将检索的时间复杂度从O(n)降到了O(logn)。例如,一本字典在开篇几页记录了每个字和所在页码的映射关系,当
阅读全文
摘要:概述 elaticsearch是一个分布式的搜索引擎,它可以实现各种复杂的数据类型实现近实时的搜索功能,无论是结构化还是非结构化的数据,都能使用elaticsearch存储并且可以快速搜索。elaticsearch广泛应用于网站或者app的搜索功能,以及存储、分析日志、机器学习模型训练,存储分析复杂
阅读全文