随笔分类 - ELK
elasticsearch、logstash、kibana
摘要:[TOC] 使用索引别名 通过使用别名,可以使用一个名字来跟多个索引打交道,就像使用一个索引一样。 别名 它是一个或多个索引的一个附加名称,允许使用这个名称来查询索引。一个别名可以对应多个索引,反之,一个索引可以是多个别名的一部分。但是,不能使用对应多个索引的别名来进行索引或实时的GET操作。 创建
阅读全文
摘要:[TOC] 控制集群的再平衡 默认情况下,Elasticsearch视图把分片和副本在集群中均衡分布。大多数情况下是好的,但有时候想人为控制此行为。 再平衡 再平衡是在集群的不同节点之间移动分片的过程。 集群的就绪 索引由分片和副本构成。主分片用于新文档被编入索引以及更新或删除,或者索引发生任何变化
阅读全文
摘要:[TOC] 高查询和高吞吐量 过滤器缓存 过滤器缓存负责存查询中使用到的过滤器。 Elasticsearch包含两种类型的过滤器缓存: 节点过滤去缓存(默认)和索引过滤器缓存 。 节点过滤器缓存被分配在节点上的所有索引共享,可以配置成使用特定大小的内存,或分配给Elasticsearch总内存的百分
阅读全文
摘要:节点发现 启动一个Elasticsearch节点时,该节点会开始寻找具有相同集群名字并且可见的主节点。如果找到主节点,该节点加入一个已经组成了的集群;如果没有找到,该节点成为主节点(如果配置允许)。形成集群和寻找节点的过程称为 发现 。 发现模块有两个目的: 选出一个主节点 发现集群中的新节点 发现
阅读全文
摘要:[TOC] 地理位置索引 空间搜索映射定义 elasticsearch中使用 geo_point 类型定义地理位置。 示例 下面是一些示例数据: location字段是geo_point类型的,可以使用 字符串,数字或者一个对象来提供经纬度 。注意使用字符串和数组来提供经纬度时,经度和纬度参数有不同
阅读全文
摘要:当你对一个无限输入数据流进行操作并搜索特定事件的出现时,可以使用此模型。可以用于检测监控系统中的故障。 在新版本中的知识点位置 "https://www.elastic.co/guide/en/elasticsearch/reference/6.4/query dsl percolate query
阅读全文
摘要:[TOC] 在考虑性能的情况下,允许用户的拼写错误,以及构建一个自动完成功能 可用的建议器类型 term:更正每个传入的单词,在非短语查询中有用,比如单词条查询 phrase:工作的短语上,返回一个恰当的短语 completion:提供高效的自动完成功能 包含建议器 在查询的结果中获得建议。例如,使
阅读全文
摘要:[TOC] 聚合 可用的聚合 度量聚合 1. max、min、sum、avg(用在数值型字段):下面是对字段year求最小值 2. 使用脚本 3. value_count 聚合:统计字段有的所有标记,即该字段不为空的记录数量。有的分析字段在内部被分词,该聚合是统计原始未经分析的版本。 4. stat
阅读全文
摘要:[TOC] 索引树形数据 使用 path_analyzer 分析树形数据字段 索引非扁平数据 数据如下: 注意到characters是个数组类型,author是json类型 那么该索引的映射定义: Elasticsearch是无模式的,不必在创建映射就可以索引数据。Elasticsearch的动态行
阅读全文
摘要:[TOC] Apache Lucene评分 计算文档的评分属性时,考虑如下因素: 文档加权:对文档建立索引时,对文档的加权值 字段加权:查询和索引时,对字段的加权 协调:基于文档条数的协调因子。对包含更多查询词条的文档,它提供更大的值 逆文档频率:基于词条的因子,它告诉评分公式,给定词条出现的频率有
阅读全文
摘要:[TOC] 基本知识 查询结果返回设置:版本值、得分限制、定制返回字段 定制字段的返回,从性能角度考虑,不如直接返回_source 搜索类型 通过search_type设置,请求类型是: 1. query_then_fetch:默认设置。第一步在所有分片上执行查询得到对文档进行排序和分级所需信息,然
阅读全文
摘要:索引 分片和副本 一个索引由多个分片组成,每个分片包含文档集的一部分。副本主要是为了增强容错性,提高吞吐量。 副本的数量可以随时的调整,但是分片的数量设定好后,不能修改 映射配置 类型确定机制 数字类型和日期类型可以通过设置自动检测,这一般是默认开启的。 dynamics_data_formats:
阅读全文
摘要:Lucene基本概念 1. 文档(document):索引与搜索的主要载体,它包含一个或多个字段,存放将要写入索引的或将从索引搜索出来的数据。 2. 字段(field):文档的一个片段,它包含字段的名称和字段的内容两个部分。 3. 词项(term):搜索时的一个单位,代表了文本中的一个词。 4. 词
阅读全文