随笔分类 - ELK Stack
摘要：默认情况下，对字段值进行索引以使其可搜索，但不存储它们 (store)。 这意味着可以查询该字段，但是无法检索原始字段值。在这里我们必须理解的一点是: 如果一个字段的mapping中含有store属性为true，那么有一个单独的存储空间为这个字段做存储，而且这个存储是独立于 的存储的。它具有更快的查
阅读全文
摘要：ElastAlert是一个简单的框架，用于从Elasticsearch中的数据中发出异常，尖峰或其他感兴趣模式的警报。我们可以在地址https://elastalert.readthedocs.io/en/latest/elastalert.html找到它的使用说明。在今天的教程中，我将一步一步地介
阅读全文
摘要：1. 某个字段不被搜索，也就是说不想为这个字段建立inverted index(反向索引)，可以这么做： 通过mapping对user字段进行了修改： 不想我们的整个文档被搜索: 2. 不想存储任何的字段,也就是说不在 中存储数据,它有完好的inverted index供查询，虽然它没有字的sour
阅读全文
摘要：在本篇文章里，我将详细介绍如果启动Logstash的监控及集中管理。 前提条件 安装好Logstash，设置Elasticsearch及Kibana的安全密码。 如何监控Logstash? 我们安装如下的步骤来实现监控Logstash的目的： Step 1: 在Kibana中启动监控： 然后，我们可
阅读全文
摘要：我们可以点击Elasticsearch API以获取所需的响应，但是如果要修改API响应，以便我们更改显示格式或过滤掉某些字段，然后我们可以将这些选项与查询一起应用。 有一些常见的选项可以适用于API，在下面我们来介绍一些常用的选项。 准备数据 我们首先使用Bulk API来把我们的文档导入到Ela
阅读全文
摘要：转载自：https://www.lbbniu.com/6148.html 1、什么是堆内存？ Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。 在 Java 中，堆被划分成两个不同的区域： 新生代 ( Young )、 老年代 ( Old )。 新生代 ( Yo
阅读全文
摘要：官方的操作： 1.安装filebeat,配置filebeat获取nginx日志，来源有两种： 第一种是使用自带的模块进行收集，在modules.d目录中启用模块配置，运行Filebeat时启用模块，在filebeat.yml文件中启用模块配置 第二种是在filebeat.yml中写input日志所在
阅读全文
摘要：Elastic官方博客地址：https://blog.csdn.net/UbuntuTouch 这个地址是在CSDN上面的，看不惯CSDN网站的广告，同时官方博客讲述的也都十分详细，自己保留一份作为参考。 因为文章太多，就没有逐个在文章中表明转载的信息，所以专门写一篇转载的用来说明这个情况。
阅读全文
摘要：我们将介绍使用function_score的基础知识，并介绍一些function core技术非常有用和有效的用例。 介绍 评分的概念是任何搜索引擎（包括Elasticsearch）的核心。评分可以粗略地定义为：找到符合一组标准的数据并按相关性顺序将其返回。相关性通常是通过类似TF IDF的算法来实
阅读全文
摘要：在今天的文章里，我们来主要介绍一下Elasticsearch的refresh及flush两种操作的区别。如果我们从字面的意思上讲，好像都是刷新的意思。但是在Elasticsearch中，这两种操作是有非常大的区别的。本指南将有效解决两者之间的差异。 我们还将介绍Lucene功能的基础知识，例如重新打
阅读全文
摘要：top_hits指标聚合器跟踪要聚合的最相关文档。 该聚合器旨在用作子聚合器，以便可以按存储分区汇总最匹配的文档。 top_hits聚合器可以有效地用于通过存储桶聚合器按某些字段对结果集进行分组。 一个或多个存储桶聚合器确定将结果集切成哪些属性。 选项： from 要获取的第一个结果的偏移量。 si
阅读全文
摘要：本教程向您展示如何将数据从Elasticsearch导出到CSV文件。 想象一下，您想要在Excel中打开一些Elasticsearch中的数据，并根据这些数据创建数据透视表。 这只是一个用例，其中将数据从Elasticsearch导出到CSV文件将很有用。 方法一 其实这种方法最简单了。我们可以直
阅读全文
摘要：默认情况下，大多数字段都已编入索引，这使它们可搜索。 但是，脚本中的排序，聚合和访问字段值需要与搜索不同的访问模式。 搜索需要回答“哪个文档包含该术语？”这个问题，而排序和汇总则需要回答一个不同的问题：“此字段对该文档的值是什么？”。 大多数字段可以将索引时生产的磁盘doc_values(https
阅读全文
摘要：HanLP 中文分词器是一个开源的分词器，是专为Elasticsearch而设计的。它是基于HanLP，并提供了HanLP中大部分的分词方式。它的源码位于： https://github.com/KennFalcon/elasticsearch analysis hanl 从Elasticsearc
阅读全文
摘要：我们可以通过在命令行中对我们的Beats进行管理，比如我们可以启动metric几个模块，我们可以通过如下的命令来执行： 上面的命令启动apache mysql模块。我们也许觉得这个这样做很方便。但是如果我相对许多的机器（比如几千部机器）来做这样的管理，可能也很麻烦，这是因为我们需要到每一台机器上重复
阅读全文
摘要：简单的事情应该简单(Simple things should be simple)，这是Elastic {ON} ‘17的主题之一，Elastics收到了许多关于使用简单易用的UI创建警报的请求。事实证明，创建单个UI以对所有类型的警报均有效地工作非常困难。例如，可以在平均CPU使用率超过50％时创
阅读全文
摘要：在Elasticsearch中，我们可以使用_search终端进行搜索。这个在我之前的文章 “开始使用Elasticsearch （2）” 中有很多的描述。针对这种搜索，我们可以使用强大的DSL进行搜索。在Elasticsearch中，还有一类是基于URI的搜索。对于这种它可以很方便地直接在浏览器中
阅读全文
摘要：建立搜索体验是一项艰苦的工作。 乍一看似乎很容易：建立一个搜索栏，将数据放入数据库，然后让用户输入对该数据库的查询。 但是，在数据建模，底层逻辑以及（当然）总体设计和用户体验方面，有很多事情要考虑。 我们将逐步介绍如何使用Elastic的开源Search UI库构建出色的基于React的搜索体验。
阅读全文
摘要：Beats作为Elastic Stack家族中重要的部分。它可以和方便地让我们把我们的数据发送到Elasticsearch或Logstash之中。如果我们想要生成自己的Beat，请使用GitHub的beats仓库中提供的Beat生成器。在今天的文章中，我们将详细介绍如何一步一步地来创建一个我们自己想
阅读全文
