Prometheus + Grafana（十）系统监控之Elasticsearch
摘要：前言 根據 Promtheus 上的 Exporters and Integrations 頁面 所載，Prometheus 有釋出給 Elasticsearch 所用的 exporter ，也就是 elasticsearch_exporter 。 本文即是根據 elasticsearch_expo
阅读全文
posted @ 2020-01-06 15:32
随笔分类 - ElasticSearch
ElasticSearch——路由(_routing)机制
摘要：前言 一条数据是如何落地到对应的shard上的？ 当索引一个文档的时候，文档会被存储到一个主分片中。 Elasticsearch 如何知道一个文档应该存放到哪个分片中呢？ 首先这肯定不会是随机的，否则将来要获取文档的时候我们就不知道从何处寻找了。实际上，这个过程是根据下面这个算法决定的： shard
阅读全文
posted @ 2019-12-12 16:06
ElasticSearch——数据建模最佳实践
摘要：如何建模 mapping 设计非常重要，需要从两个维度进行考虑： 功能：搜索、排序、聚合 性能：存储的开锁、内存的开销、搜索的性能 mapping 注意事项： 加入新字段很容易（必要时需要 update_by_query） 更新删除字段不允许（需要 reindex 重建数据） 最佳实践 1、不允许自
阅读全文
posted @ 2019-12-09 12:42
ElasticSearch——Curator索引管理
摘要：简介 curator 是一个官方的，可以管理elasticsearch索引的工具，可以实现创建，删除，段合并等等操作。详见官方文档 功能 curator允许对索引和快照执行许多不同的操作，包括： 从别名添加或删除索引（或两者！） 更改分片路由分配 关闭索引 创建索引 删除索引 删除快照 打开被关闭的
阅读全文
posted @ 2019-12-06 15:24
ElasticSearch——索引生命周期管理
摘要：前言 在使用elk的时候，由于数据量较大，时间比较久远的数据就没有那么有价值了，因此就需要定期的清除这些历史数据，所以我们在设置es的索引策略的时候就可以进行数据的冷热策略设置。本文介绍 ElasticSearch 7.14 版本的生命周期： Hot：正在积极更新和查询索引。 Warm：索引不再更新
阅读全文
posted @ 2019-12-05 17:56
ElasticSearch——冷热(hot&warm)架构部署
摘要：背景 最近在做订单数据存储到ElasticSearch，考虑到数据量比较大，采用冷热架构来存储，每月建立一个新索引，数据先写入到热索引，通过工具将3个月后的索引自动迁移到冷节点上。 ElasticSearch版本：6.2.4 冷热架构 官方叫法：热暖架构——“Hot-Warm” Architectu
阅读全文
posted @ 2019-12-05 12:02
ElasticSearch——原始文档和倒排索引
摘要：一、原始文档 如上图所示, 第二象限是一份原始文档，有title和content2个字段，字段取值分别为”我是中国人”和” 热爱共X产党”，这一点没什么可解释的。我们把原始文档写入Elasticsearch，默认情况下，Elasticsearch里面有2份内容，一份是原始文档，也就是_source字
阅读全文
posted @ 2019-11-30 11:11
ElasticSearch——分页查询
摘要：前言 ElasticSearch实现分页查询，有3种方式，他们在数据查询中各自占据着不同的优势，因此在搜索引擎的数据分页过程中，如何更好地利用各自的优势来进行数据查询是一个非常重要的过程。 传统分页（from&size） 按照一般的查询流程来说，如果我们想查询前10条数据： 客户端请求发送给某个节点
阅读全文
posted @ 2019-11-26 18:23
ElasticSearch——集群搭建
摘要：1.准备 1.1.组件 JDK：1.8版本及以上； ElasticSearch：6.2.4版本； 1.2.服务器 3台服务器 2.安装 2.1.下载解压 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6
阅读全文
posted @ 2019-11-09 15:45
Canal——增量同步MySQL数据到ElasticSearch
摘要：前言 本篇只介绍 TCP模式 下详细的canal相关配置。 高可用 请参考文章：【Canal——高可用架构设计与应用】 Kafka模式 请参考文章：【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter】 1.准备 1.1.组件 JDK：
阅读全文
posted @ 2019-11-09 13:00
ElasticSearch、Logstash管理和监控——blocked by: [FORBIDDEN/12/index read-only / allow delete (api)]
摘要：1、某一天出现Kafka堆积大量未消费的记录： 2、该主题是用logstash进行消费的，然后查询logstash的日志（logstash/logs/logstash-plain.log），出现以下提示信息： 3、从上述日志可以看出，是输出到elasticsearch阻塞了，原因是相应的索引变成re
阅读全文
posted @ 2019-11-07 09:56
ElasticSearch——常用命令
摘要：集群相关 --查询集群健康状态 GET _cluster/health --查询所有节点 GET _cat/nodes --查询索引及分片的分布 GET _cat/shards--查询指定索引分片的分布GET _cat/shards/order_stpprdinf_2019-12?v --查询所有插
阅读全文
posted @ 2019-11-04 14:52
ElasticSearch——自定义模板
摘要：output中配置 elasticsearch{ action => "index" hosts => ["xxx"] index => "http-log-logstash" document_type => "logs" template => "opt/http-logstash.json"
阅读全文
posted @ 2019-11-04 12:24
ElasticSearch——Logstash输出到Elasticsearch配置
摘要：位置 在Logstash的.conf配置文件中的output中配置ElasticSearch 示例： output { elasticsearch{ action => "index" index => "%{[fields][product_type]}-transaction-%{+YYYY-M
阅读全文
posted @ 2019-11-04 12:10
ElasticSearch——分词
摘要：前言： 最近在使用elasticSearch中发现有些数据查不出来，于是研究了一下，发现是分词导致的，现梳理并总结一下。 ElasticSearch 5.0以后，string类型有重大变更，移除了string类型，string字段被拆分成两种新的数据类型: text用于全文搜索的,而keyword用
阅读全文
posted @ 2019-11-04 11:34
