随笔分类 - ElasticSearch
摘要：解剖 Elasticsearch 集群 之三 本篇文章是一系列涵盖 Elasticsearch 底层架构和原型示例的其中一篇。在本篇文章中，我们会讨论 Elasticsearch 如何提供准实时搜索以及如何在搜索相关度计算与延迟间权衡。 在之前的文章中，我们讨论了 Elasticsearch 如何应
阅读全文
摘要：解剖 Elasticsearch 集群 之二 本篇文章是一系列涵盖 Elasticsearch 底层架构和原型示例的其中一篇。在本篇文章中，我们会讨论 Elasticsearch 是如何处理 3C 问题的（共识性、并发性和一致性）以及分片的内部概念如 translog（Write Ahead Log
阅读全文
摘要：解剖 Elasticsearch 集群 之一 本篇文章是一系列涵盖 Elasticsearch 底层架构和原型示例的其中一篇。在本篇文章中，我们会讨论底层的存储模型以及 CRUD（创建、读取、更新和删除）操作在 Elasticsearch 中是如何工作的。 全文搜索（Full text search
阅读全文
摘要：ELK 性能(4) — 大规模 Elasticsearch 集群性能的最佳实践 介绍 集群规模 集群数：6 整体集群规模： 300 Elasticsearch 实例 141 物理服务器 4200 CPU 核心 38TB RAM 1.5 Pb 存储 索引日志： 100 亿/天 400k/秒 内容 开场
阅读全文
摘要：ELK 性能(3) — 在 Docker 上运行高性能容错的 Elasticsearch 集群 介绍 在 Docker 上运行高性能容错的 Elasticsearch 集群 内容 通常熟悉的开发流程是： 开发环境（Dev） 测试环境（Test） 质量环境（QA） 生产环境（Production En
阅读全文
摘要：ELK 性能(2) — 如何在大业务量下保持 Elasticsearch 集群的稳定 介绍 如何在大业务量下保持 Elasticsearch 集群的稳定？ 内容 当我们使用 Elasticsearch 时，期望获得的是 集群的问题 快速的搜索 设想我们有一个论坛的数据需要索引存储到 Elastics
阅读全文
摘要：ELK 性能(1) — Logstash 性能及其替代方案 介绍 当谈及集中日志到 Elasticsearch 时，首先想到的日志传输（log shipper）就是 Logstash。开发者听说过它，但是不太清楚它具体是干什么事情的： 当深入这个话题时，我们才明白集中存储日志通常隐含着很多的事情，L
阅读全文
摘要：ElasticSearch 2 (37) 信息聚合系列之内存与延时 摘要 控制内存使用与延时 版本 elasticsearch版本: elasticsearch 2.x 内容 Fielddata 聚合使用一个叫 _fielddata_ 的数据结构（在 "Fielddata" 里简单介绍）。Field
阅读全文
摘要：ElasticSearch 2 (38) 信息聚合系列之结束与思考 摘要 版本 elasticsearch版本: elasticsearch 2.x 内容 本小节涵盖了许多基本理论以及很多深入的技术问题。聚合给 Elasticsearch 带来了难以言喻的强大能力和灵活性。桶与度量的嵌套能力，基数与
阅读全文
摘要：ElasticSearch 2 (36) 信息聚合系列之显著项 摘要 （SigTerms）聚合与其他聚合都不相同。目前为止我们看到的所有聚合在本质上都是简单的数学计算。将不同这些构造块相互组合在一起，我们可以创建复杂的聚合以及数据报表。 版本 elasticsearch版本: elasticsear
阅读全文
摘要：ElasticSearch 2 (35) 信息聚合系列之近似聚合 摘要 如果所有的数据都在一台机器上，那么生活会容易许多，CS201 课商教的经典算法就足够应付这些问题。但如果所有的数据都在一台机器上，那么就不需要像 Elasticsearch 这样的分布式软件了。不过一旦我们开始分布式数据存储，算
阅读全文
摘要：ElasticSearch 2 (34) 信息聚合系列之多值排序 摘要 多值桶（ 、`histogram date_histogram`）动态生成很多桶，Elasticsearch 是如何决定这些桶展示给用户的顺序呢？ 默认的，桶会根据 降序排列，这是一个好的默认行为，因为通常我们想要找到文档中与查
阅读全文
摘要：ElasticSearch 2 (33) 信息聚合系列之聚合过滤 摘要 聚合范围限定还有一个自然的扩展就是过滤。因为聚合是在查询结果范围内操作的，任何可以适用于查询的过滤器也可以应用在聚合上。 版本 elasticsearch版本: elasticsearch 2.x 内容 聚合范围限定还有一个自然
阅读全文
摘要：ElasticSearch 2 (32) 信息聚合系列之范围限定 摘要 到目前为止我们看到的所有聚合的例子都省略了搜索请求，完整的请求就是聚合本身。 聚合与搜索请求同时执行，但是我们需要理解一个新概念：范围。默认情况下，聚合与查询是对同一范围进行操作的，也就是说，聚合是基于我们查询匹配的文档集合进行
阅读全文
摘要：ElasticSearch 2 (31) 信息聚合系列之时间处理 摘要 如果说搜索是 Elasticsearch 里最受欢迎的功能，那么按时间创建直方图一定排在第二位。为什么需要使用时间直方图？ 版本 elasticsearch版本: elasticsearch 2.x 内容 如果说搜索是 Elas
阅读全文
摘要：ElasticSearch 2 (29) 信息聚合系列之测试驱动 摘要 我们可以用以下几页定义不同的聚合和它们的语法，但学习聚合的最佳途径就是用实例来说明。一旦我们获得了聚合的思想，以及如何合理地嵌套使用它们，那么语法就变得不那么重要。 版本 elasticsearch版本: elasticsear
阅读全文
摘要：ElasticSearch 2 (28) 信息聚合系列之高层概念 摘要 和查询表达式（query DSL）一样，聚合也有一种可编辑的语法：可以根据我们的需要混合以及匹配使用独立的功能单元。这也就是说我们只要学习很少的基本概念，就能将它们进行无限组合，从而实现不同的功能。 要掌握聚合，只需要理解下面两
阅读全文
摘要：ElasticSearch 2 (27) 信息聚合系列之故事开始 摘要 到目前为止，本书都在着重介绍搜索。对于搜索，我们有查询条件以及与查找到与条件匹配的集合。这个过程就和如大海捞针一样。 对于聚合，我们站在远处总观数据。与查看单个文档不同，我们想要对数据集合进行整体的分析和总结。 版本 elast
阅读全文
摘要：ElasticSearch 2 (26) 语言处理系列之打字或拼写错误 摘要 我们喜欢在对结构化数据（如：日期和价格）做查询时，结果只返回那些能精确匹配的文档。但是，好的全文搜索不应该有这样的限制。相反，我们可以扩大范围，包括更多可能匹配的词语，使用相关度评分将更匹配的文档放置在结果集的顶部。 事实
阅读全文
摘要：ElasticSearch 2 (25) 语言处理系列之同义词 摘要 词干提取有助于通过简化屈折词到它们词根的形式来扩展搜索的范围，而同义词是通过关联概念和想法来扩展搜索范围的。或许没有文档能与查询 “English queen” 相匹配，但是包含 “British monarch” 的文档会很可能
阅读全文