随笔分类 - ELK Stack
摘要：现在让我们来谈谈Elasticsearch最简单和最有用的功能之一：别名 （alias)。为了区分这里alias和文章“Elasticsearch : alias数据类型”，这里的别名（alias）指的是index的别名。 别名正是他们听起来的样子; 它们是您可以使用的指针或名称，对应于一个或多个具
阅读全文
摘要：就像其他的很多语言一样，我们可以给已有的变量取一个别名（alias）。即便是对高级语言一样，比如我们定义不同的指针变量，指向同一个内存空间。这个有些类似别名的概念。 在Elasticsearch中，我们也可以为index中的一个字段（field）取一个另外的名字： 它可以用来代替搜索请求中的目标（t
阅读全文
摘要：在Elasticsearch中，Join可以让我们创建parent/child关系。Elasticsearch不是一个RDMS。通常join数据类型尽量不要使用，除非不得已。那么Elasticsearch为什么需要Join数据类型呢？ 在Elasticsearch中，更新一个object需要root
阅读全文
摘要：在今天的文章中，我们来介绍如何使用Java来访问Elasticsearch。 首先，我们必须在我们的系统中安装Elasticsearch。 Maven 配置 针对Java的开发，我们必须在pom.xml中配置相应的Elasticsearch的信息。Mavev dependency定义如下： 这也是目
阅读全文
摘要：以后会用到的相关知识：索引中某些字段禁止搜索，排序等操作 当我们学习Elasticsearch时，经常会遇到如下的几个概念： Reverted index doc_values source？ 这个几个概念分别指的是什么？有什么用处？如何配置它们？只有我们熟练地掌握了这些概念，我们才可以正确地使用它
阅读全文
摘要：rollover使您可以根据索引大小，文档数或使用期限自动过渡到新索引。 当rollover触发后，将创建新索引，写别名（write alias)将更新为指向新索引，所有后续更新都将写入新索引。 对于基于时间的rollover来说，基于大小，文档数或使用期限过渡至新索引是比较适合的。 在任意时间ro
阅读全文
摘要：在我们的实际部署中，我们的各个node（节点）的能力是不一样的。比如有的节点的计算能力比较强，而且配有高性能的存储，速度也比较快，同时我们可能有一些node的能力稍微差一点，比如计算能力及存储器的速度都比较差一点。针对这两种情况，我们其实可以把这两种节点用来做不同的用途：运算能力较强的节点可以用来做
阅读全文
摘要：如果您要处理时间序列数据，则不想将所有内容连续转储到单个索引中。 取而代之的是，您可以定期将数据滚动到新索引，以防止数据过大而又缓慢又昂贵。 随着索引的老化和查询频率的降低，您可能会将其转移到价格较低的硬件上，并减少分片和副本的数量。 要在索引的生命周期内自动移动索引，可以创建策略来定义随着索引的老
阅读全文
摘要：Elastic的Medcl提供了一种搜索Pinyin搜索的方法。拼音搜索在很多的应用场景中都有被用到。比如在百度搜索中，我们使用拼音就可以出现汉字： 对于我们中国人来说，拼音搜索也是非常直接的。那么在Elasticsearch中我们该如何使用pinyin来进行搜索呢？答案是我们采用Medcl所创建的
阅读全文
摘要：我们之前看见了在Elasticsearch里的ingest node里，我们可以通过以下processor的处理帮我们处理我们的一些数据。它们的功能是非常具体而明确的。那么在Elasticsearch里，有没有一种更加灵活的方式可供我们来进行编程处理呢？如果有，它使用的语言是什么呢？ 在Elasti
阅读全文
摘要：Elasticsearch最重要的功能之一是它试图摆脱你的方式，让你尽快开始探索你的数据。 要索引文档，您不必首先创建索引，定义映射类型和定义字段 您只需索引文档，那么index，type和field将自动生效。比如： PUT data/_doc/1 { "count": 5 } 上面的命令将自动帮
阅读全文
摘要：默认情况下，每个主分片都有一个副本，但可以在现有索引上动态更改副本数。 永远不会在与其主分片相同的节点上启动副本分片。 分片分布计算公式： 写入到Elasticsearch的文档，在默认的情况下并不马上可以进行搜索。这是因为在Elasticsearch的设计中，有一个叫做refresh的操作。它可以
阅读全文
摘要：curl命令使用账号密码连接es pretty的用法
阅读全文
摘要：安装 因为我们需要使用docker来进行安装，我们必须安装： docker：根据不同的操作系统，请按照要求安装docker。可以到网站https://docs.docker.com/去安装 docker compose。这个可以到网站https://docs.docker.com/compose/i
阅读全文
摘要：Elastic：使用Heartbeat进行Uptime监控 Elastic在6.5的版本中推出Heartbeat。Heartbeat 也就是我们通常所说的心跳。我们知道在医院，医生是用听心跳来判断一个人是否有生命迹象。在Elastic的Heartbeat里，它也是一样的道理。Heartbeat是一个
阅读全文
摘要：Elastic：如何在一个机器上同时模拟多个node 第一步：下载并安装Elasticsearch 先不要运行Elasticsearch。 第二步：运行Elasticsearch实例 现在，我们将展示如何启动您的第一个实例。 为此，请打开终端并转到Elasticsearch的安装目录。 然后使用以下
阅读全文
摘要：Elastic: 使用索引生命周期管理实现热温冷架构 索引生命周期管理 (ILM) 是在 Elasticsearch 6.6（公测版）首次引入并在 6.7 版正式推出的一项功能。ILM 是 Elasticsearch 的一部分，主要用来帮助您管理索引。 在本篇博客中，我们将探讨如何使用 ILM 实现
阅读全文
摘要：需要学习的地方：使用logstash获取数据后，然后根据这些数据再从MySQL数据库中进行匹配，增加一些数据到logstash的数据流中，然后输出到es 在IoT物联网时代，我们经常会遇到从传感器采集数据的情况。这些传感器，可以上传物联网数据，比如温度，湿度。通常这些传感器带有自己的ID，但是它并不
阅读全文
摘要：Logstash：多个配置文件（conf） 对于多个配置的处理方法，有多个处理方法： 多个pipeline 一个pipleline处理多个配置文件 一个pipeline含有一个逻辑的数据流，它从input接收数据，并把它们传入到队列里，经过worker的处理，最后输出到output。这个output
阅读全文
摘要：Logstash：处理多个input Logstash的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标
阅读全文