文章分类 - Elasticsearch
摘要：Lucene 简介 核心模块 Lucene 是一种高性能、可伸缩的信息搜索（IR）库，在 2000 年开源，最初由鼎鼎大名的 Doug Cutting 开发，是基于 Java 实现的高性能的开源项目。 Lucene 采用了基于倒排表的设计原理，可以非常高效地实现文本查找，在底层采用了分段的存储模式，
阅读全文
摘要：除了搜索之外，结合 Kibana、Logstash、Beats，Elastic Stack 还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控、信息安全等多个领域。 它可以帮助你探索海量结构化、非结构化数据，按需创建可视化报表，对监控数据设置报警阈值，甚至通过使用机器学习技术，自动识别异常状
阅读全文
摘要：1、场景—：使用Elasticsearch作为主要的后端 传统项目中，搜索引擎是部署在成熟的数据存储的顶部，以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的存储或其他经常需要的功能，如统计。 Elasticsearch是提供持久存储、统计等多项功能的现代搜索引擎。 如果你开始一个新项
阅读全文
摘要：一、前言 数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的 实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。 二、需求说明 项目背景： 在一业务系统中，部分表每天的
阅读全文
摘要：导读： 写优化： 尽量采用批量提交，合理设置磁盘，设置段合并速度，减少refresh次数（从内存刷新到文件缓存中）， 加大flush设置（多大的值之后从文件缓存中flush到磁盘上），减少副本的数量， 内存，文件缓存系统，磁盘 读优化： 避免大结果集合深翻 选择合适的路由 合理的设置SearchTy
阅读全文
摘要：Elasticsearch 集群架构 Elasticsearch 是一个非常著名的开源搜索和分析系统，目前被广泛应用于互联网多种领域中。 尤其是以下三个领域特别突出： 搜索领域，相对于 Solr，真正的后起之秀，成为很多搜索系统的不二之选。 Json 文档数据库，相对于 MongoDB，读写性能更佳
阅读全文
摘要：章的最后提到了倒排索引，不知道有没有勾起大家的好奇心，ES的索引是怎么做，为什么他会被广泛地叫做搜索引擎而不是数据库？根源在它的索引，所以这一篇带你一探究竟。 言归正传，说起索引肯定是绕不开经典的B-Tree，来看两张图简单回顾下你们大学的课本内容。 B-Tree B+Tree B+Tree是B-T
阅读全文
摘要：一. 问题背景 在双十一时，有用户反馈推广平台物料列表出现了耗时严重的情况。筛选排序系统出现过耗时严重的情况，根据业务系统的筛选排序慢接口的traceId, 我们分析了一下请求链路上的瓶颈是ES. 记一次ES的GC问题
阅读全文
摘要：京东到家订单中心系统业务中，无论是外部商家的订单生产，或是内部上下游系统的依赖，订单查询的调用量都非常大，造成了订单数据读多写少的情况。我们把订单数据存储在 MySQL 中，但显然只通过 DB 来支撑大量的查询是不可取的。同时对于一些复杂的查询，MySQL 支持得不够友好，所以订单中心系统使用了 E
阅读全文
摘要：深度分页引发的机器性能问题 最近碰到一个ElasticSearch深度分页搜索，导致cpu占用过高问题，通过查阅ElasticSearch: 权威指南，了解到了深度分页为何会引起机器资源占用： 在集群系统中深度分页 为了理解为什么深度分页是有问题的，让我们假设在一个有5个主分片的索引中搜索。当我们请
阅读全文
摘要：参考： Lucene搜索流程(上) Lucene搜索流程(下) Lucene倒排索引实现原理探秘(3) Lucene倒排索引实现原理探秘(2) Lucene倒排索引实现原理探秘(1) Lucene倒排索引原理探秘(4) Lucene列式存储格式DocValues详解 Lucene 8.0关于DocV
阅读全文
摘要：说实话，es 性能优化是没有什么银弹的，啥意思呢？就是不要期待着随手调一个参数，就可以万能的应对所有的性能慢的场景。 也许有的场景是你换个参数，或者调整一下语法，就可以搞定，但是绝对不是所有场景都可以这样。 性能优化的杀手锏——filesystem cache 你往 es 里写的数据，实际上都写到磁
阅读全文
摘要：Global Aggregation Prepare aggregation request下面是一个如何创建聚合请求的例子: AggregationBuilders .global("agg") .subAggregation(AggregationBuilders.terms("genders"
阅读全文
摘要：Aggregations 使用工厂聚合生成器(AggregationBuilders)，并将查询时要计算的每个聚合添加到搜索请求中: SearchResponse sr = node.client().prepareSearch() .setQuery( /* your query */ ) .ad
阅读全文
摘要：需求说明 项目背景： 在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。 改进版本目标： 1、数据能跨月查询，并且支持1年以上的历史数据查询与导出。 2、按条件的数据查询秒级返回。 ES 检索原理 3.1 关于ES和
阅读全文
摘要：Lucene：一个开源的搜索库 Engine：屏蔽 Lucene 操作细节的抽象层 Http：对外提供 restful api，让不同开发语言的应用都可以接入 空节点 现在我们屏蔽 Elasticsearch 的底层实现，其实一个 Elasticsearch 实例对于我们来说，就是一个节点，一个可以
阅读全文