随笔分类 - elk
摘要：描述 Dissect过滤器是一种拆分操作。与常规拆分操作(其中一个分隔符应用于整个字符串)不同，此操作将一组分隔符应用于字符串值。Dissect不使用正则表达式，速度非常快。 filter { dissect { mapping => { "message" => "%{ts} %{+ts} %{+
阅读全文
摘要：gsub 使用规则 filter { mutate { gsub => [ # replace all forward slashes with underscore # 用下划线替换所有的斜杠 "fieldname", "/", "_", # replace backslashes, questi
阅读全文
摘要：一个 logstash 实例中可以同时进行多个独立数据流程的处理工作，如下图所示。 而在这之前用户只能通过在单机运行多个 logstash 实例或者在配置文件中增加大量 if-else 条件判断语句来解决。要使用 multiple pipeline 也很简单，只需要将不同的 pipeline 在 c
阅读全文
摘要：使用Logstash从mysql同步用户和用户所有的宠物到ES中。 "register_name": "孟林洁", "id": 80469531, "pets": [ { "breed_name": "万能梗", "birthday": null, "pet_id": 999044, "name":
阅读全文
摘要：MySQL 设置 CREATE DATABASE es_db; USE es_db; DROP TABLE IF EXISTS es_table; CREATE TABLE es_table ( id BIGINT(20) UNSIGNED NOT NULL, PRIMARY KEY (id), U
阅读全文
摘要：shard分配策略 集群分片分配是指将索引的shard分配到其他节点的过程，会在如下情况下触发： 集群内有节点宕机，需要故障恢复； 增加副本； 索引的动态均衡，包括集群内部节点数量调整、删除索引副本、删除索引等情况； 上述策略开关，可以动态调整，由参数cluster.routing.allocati
阅读全文
摘要：把现有的5台节点全做hot节点，另外新增2台节点做warm节点。参考官方bloghot-warm-architecture-in-elasticsearch-5-x架构实现。需要注意的地方主要是：不要让已有的索引分片被ES自动Rebalance到warm节点上去了，并且新创建的索引，只应该分配在ho
阅读全文
摘要：如果你要处理时间序列数据，则不想将所有内容连续转储到单个索引中。 取而代之的是，您可以定期将数据滚动到新索引，以防止数据过大而又缓慢又昂贵。 随着索引的老化和查询频率的降低，您可能会将其转移到价格较低的硬件上，并减少分片和副本的数量。 要在索引的生命周期内自动移动索引，可以创建策略来定义随着索引的老
阅读全文
摘要：ES从6.7版本推出了索引生命周期管理（Index Lifecycle Management ，简称ILM)机制，能帮我们自动管理一个索引策略（Policy）下索引集群的生命周期。索引策略将一个索引的生命周期定义为四个阶段： Hot：索引可写入，也可查询。 Warm：索引不可写入，但可查询。 Col
阅读全文
摘要：hot node：用于支持索引并写入新文档、 warm node：用于处理不太频繁查询的只读索引 Hot node 我们可以使用 hot node 来做 indexing： indexing 是 CPU 和 IO 的密集操作，因此热节点应该是功能强大的服务器 比 warm node 更快的存储 Wa
阅读全文
摘要：主要有如下两种管道聚合方式： parent sibling 下面一一介绍ES定义的管道聚合。 Avg Bucket 聚合 同级管道聚合，它计算同级聚合中指定度量的平均值。同级聚合必须是多桶聚合，针对的是度量聚合(metric Aggregation)。 示例如下： { "avg_bucket": {
阅读全文
摘要：方案选择： 方案一：可对logstash配置output参数： 如下所示： 这种方案在logstash中指定模板文件，由logstash将template写入ES集群； 方案二：直接将template写入ES集群 通过ES提供的API，将JSON格式的template写入目标ES集群的_templa
阅读全文
摘要：1、elasticsearch了解多少，说说你们公司es的集群架构，索引数据大小，分片有多少，以及一些调优手段 。 面试官：想了解应聘者之前公司接触的ES使用场景、规模，有没有做过比较大规模的索引设计、规划、调优。 解答： 如实结合自己的实践场景回答即可。 比如：ES集群架构13个节点，索引根据通道
阅读全文
摘要：面试题 es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？ 面试官心理分析 问这个，其实面试官就是要看看你了解不了解 es 的一些基本原理，因为用 es 无非就是写入数据，搜索数据。你要是不明白你发起一个写入和搜索请求的时候，es
阅读全文
摘要：Elasticsearch（ES）作为NOSQL+搜索引擎的有机结合体，不仅有近实时的查询能力，还具有强大的聚合分析能力。因此在全文检索、日志分析、监控系统、数据分析等领域ES均有广泛应用。而完整的Elastic Stack体系（Elasticsearch、Logstash、Kibana、Beats
阅读全文
摘要：ES JVM参数的配置： 将 Xms 和 Xmx 设置成一样大 避免JVM堆的动态调整给应用进程带来"不稳定"。参考：Heap Tuning Parameters By default, the JVM grows or shrinks the heap at each GC to try to k
阅读全文
摘要：Elasticsearch部署建议 1、选择合理的硬件配置：尽量使用SSD Elasticsearch 最大的瓶颈往往是磁盘读写性能，尤其是随机读取性能。使用SSD（PCI-E接口SSD卡/SATA接口SSD盘）通常比机械硬盘（SATA盘/SAS盘）查询速度快5~10倍，写入性能提升不明显。 对于文
阅读全文
摘要：环境： 6个es节点 冷热配置 es1 master节点 # elasticsearch.yml node.name: "es1" cluster.name: "docker-cluster" network.host: 0.0.0.0 node.master: true node.data: fa
阅读全文
摘要：Python连接elasticserach python连接elasticsearch有一下几种连接方式 pip3 instal elasticsearch from elasticsearch import Elasticsearch es = Elasticsearch() # 默认连接本地el
阅读全文
摘要：内存占用 ES的JVM heap按使用场景分为可GC部分和常驻部分。 可GC部分内存会随着GC操作而被回收； 常驻部分不会被GC，通常使用LRU策略来进行淘汰； 内存占用情况如下图： common space包括了indexing buffer和其他ES运行需要的class。indexing buf
阅读全文
