随笔分类 - elk
摘要：Elastic安装机制 在很多的情况下，出于安全的原因，我们需要对不同的Kibana用户分配不同的用户权限，这样使得他们之间不能互相访问彼此的资源，同时他们也应该对不同的索引拥有不同的权限，比如读，写，管理等等。Elastic Security通过基于角色的功能提供授权存取控制（RBAC-Role
阅读全文
摘要：SQL 实操 检索Elasticsearch schema 信息：DSL vs SQL 首先，我们确定表/索引的schema以及可供我们使用的字段。 我们将通过REST界面执行此操作： POST /_sql { "query":"desc sports" } 上面的命令结果： { "columns"
阅读全文
摘要：当导入数据到Elasticsearch中时，用其他信息丰富文档通常是有益的，这些信息以后可用于搜索或查看数据。丰富化是将权威来源的数据合并到文档中的过程，这些数据被摄入到Elasticsearch中。例如，可以使用GeoIP处理器来进行扩充，该处理器可以处理包含IP地址的文档，并添加有关与每个IP地
阅读全文
摘要：在Elasticsearch 5.0之前，如果我们想在将文档索引到Elasticsearch之前预处理文档，那么唯一的方法是使用Logstash或以编程方式/手动预处理它们，然后将它们索引到Elasticsearch。 Elasticsearch缺乏预处理/转换文档的能力，它只是按原样索引文档。 但
阅读全文
摘要：情况说明：三台es集群，一台kibana es版本要求白金版，基础版不行，可以试用30天白金版 1、三台es都需要配置，修改elasticsearch.yml配置文件 说明，使用QQ邮箱，163邮箱的话，需要注意，在配置发件箱中使用的密码不是登陆这个邮箱使用的密码，而是使用这个邮箱的邮箱授权码 xp
阅读全文
摘要：默认情况下，Filebeat将其所有输出发送到syslog。 在前台运行Filebeat时，可以使用-e命令行标志将输出重定向到标准错误。 例如： filebeat -e 默认配置文件是filebeat.yml（文件的位置因平台而异）。 您可以通过指定-c标志来使用其他配置文件。 例如： fileb
阅读全文
摘要：虽然不像Logstash那样强大和强大，但Filebeat可以在将数据转发到您选择的目标之前对日志数据应用基本处理和数据增强功能。 您可以解码JSON字符串，删除特定字段，添加各种元数据（例如Docker，Kubernetes）等。处理器在每个prospector的Filebeat配置文件中定义。
阅读全文
摘要：新版本的beats默认配置开启了ILM，导致索引命名规则被ILM策略控制。 加上这个配置就好了 filebeat 配置关闭 ILM 即可解决Index Pattern不生效的问题 setup.ilm.enabled: false 具体配置： # Elasticsearch template sett
阅读全文
摘要：GET twitter/_search { "query": { "match": { "city": "北京" } }, "aggs":{ "count_city":{ "terms": { "field": "city" } } } } 执行以上操作报错，报错内容如下： { "error": {
阅读全文
摘要：Refresh及Flush乍一看，Refresh和Flush操作的通用目的似乎是相同的。 两者都用于使文档在索引操作后立即可供搜索。 在Elasticsearch中添加新文档时，我们可以对索引调用_refresh或_flush操作，以使新文档可用于搜索。 要了解这些操作的工作方式，您必须熟悉Luce
阅读全文
摘要：Index 我们可以看到在Kibana右边的窗口中有下面的输出： 在上面，我们可以看出来我们已经成功地创建了一个叫做twitter的index。通过这样的方法，我们可以自动创建一个index。如果大家不喜欢自动创建一个index，我们可以修改如下的一个设置： PUT _cluster/setting
阅读全文
摘要：实现原理 我们采用如下的方法来实现把一个 .pdf 文件导入到 Elasticsearch 的数据节点中： 如上图所示，我们首先把我们的 .pdf 文件进行 Base64 处理，然后上传到 Elasticsearch 中的 ingest node 中进行处理。我们可以通过 Ingest attach
阅读全文
摘要：Cluster Cluster 也就是集群的意思。Elasticsearch 集群由一个或多个节点组成，可通过其集群名称进行标识。通常这个 Cluster 的名字是可以在 Elasticsearch 里的配置文件中设置的。 在默认的情况下，如我们的 Elasticsearch 已经开始运行，那么它会
阅读全文
摘要：Elasticsearch 除了在搜索方面非常之快，对数据分析也是非常重要的一面。正确理解 Bucket Aggregation 对我们使用 Kibana 非常重要。Elasticsearch 提供了非常多的 Aggregation 可以供我们使用。其中 Bucket aggregation 对于初
阅读全文
摘要：正排索引和倒排索引 倒排索引核心组成 单词词典（TermDictionary） 记录所有文档的单词，记录单词到倒排列表的关联关系 单词词典一般比较大，可以通过B+树或者哈希拉链法去实现，以满足高性能的插入与查询 倒排列表（Posting List）-记录单词对应的文档结合，由倒排索引项组成 倒排索引
阅读全文
摘要：ssl分步骤 1、准备工作 为每台机器配置hosts 192.168.1.234 node01192.168.1.233 node02192.168.1.240 node03192.168.1.241 logstash01192.168.1.242 logstash02192.168.1.243 f
阅读全文
摘要：1、内置角色 原文：https://www.elastic.co/guide/en/elasticsearch/reference/7.x/built-in-roles.html Elastic Stack安全功能将默认角色应用于所有用户，包括 匿名用户。默认角色使用户能够访问身份验证端点，更改自己
阅读全文
摘要：logstash java 版本问题 配置logstash收集应用日志时出现报错，说是找不到JAVA_HOME环境变量，但是明明已经设置了 [root@localhost ~]# java -version openjdk version "12" 2019-03-19 OpenJDK Runtim
阅读全文
摘要：elk7以后软件里会集成相应的jdk版本 1、修改elastic的启动脚本文件 bin/elasticsearch # 添加以下代码 export JAVA_HOME=￥ELASTIC_HOME/jdk/ （此处配置为elastic解压后jdk的路径） export PATH=$JAVA_HOME/
阅读全文
摘要：elasticsearch安装路径 /home/elastic/elasticsearch-7.5.1/ 文件 /home/elastic/elasticsearch-7.5.1/modules/x-pack-core/x-pack-core-7.5.1.jar 1、下载反编译软件Luyten 破解
阅读全文
