01 2021 档案
摘要：1. Kafka的事务和 Exactly Once Kafka 中的事务，它解决的问题是，确保在一个事务中发送的多条消息，要么都成功，要么都失败。注意，这里面的多条消息不一定要在同一个主题和分区中，可以是发往多个主题和 分区的消息。Kafka 的这种事务机制，单独来使用的场景不多。更多的情况下被用来
阅读全文
摘要：文档(Document) Elasticsearch是面向文档的，文档是所有可搜索数据的最小单位 日志文件中的日志项 一本电影的具体信息/一张唱片的详细信息 MP3播放器里的一首歌/一篇PDF文档中的具体内容 文档会被序列化成JSON格式，保存在Elasticsearch中 JSON对象由字段组成，
阅读全文
摘要：CAP 定理（CAP theorem）又被称作布鲁尔定理（Brewer's theorem），是加州大学伯克利分校的计算机科学家埃里克·布鲁尔（Eric Brewer）在 2000 年的 ACM PODC 上提出的一 个猜想。2002 年，麻省理工学院的赛斯·吉尔伯特（Seth Gilbert）和南
阅读全文
摘要：Type可以理解为关系型数据库的Table，那每个字段的数据类型是如何定义的呢？ 实际上每个Type中的字段是什么数据类型，由mapping定义，如果我们在创建Index的时候，没有设定mapping，系统会自动根据一条数据的格式来推断出该数据对应的字段类型， mapping除了自动定义，还可以手动
阅读全文
摘要：如何通过分词生成倒排索引 分词是指将文本转换成一系列单词（term or token）的过程，也可以叫做文本分析，在es里面称为Analysis. Analysis 和Analyzer Analysis - 文本分析是把全文本转换一系列单词（term / token）的过程，也叫分词； Analys
阅读全文
摘要：1. 副本 副本的目的主要是保障数据的高可用性，即使一台ClickHouse节点宕机，那么也可以从其他服务器获得相同的数据。 1.1 副本写入流程 client从clickhouse-a节点写数据，提交写入日志给zookeeper，clickhouse-b有一个监听器来监听zookeeper接收到日
阅读全文
摘要：1. 基本概念 Elasticsearch有几个核心概念，先理解这些概念将有助于掌握Elasticsearch。 近实时(Near Realtime / NRT) Elasticsearch是一个近实时的搜索平台，从生成文档索引到文档成为可搜索，有一个轻微的延迟(通常是一秒钟)。 集群(Cluste
阅读全文
