摘要: 虽然不像Logstash那样强大和强大,但Filebeat可以在将数据转发到您选择的目标之前对日志数据应用基本处理和数据增强功能。 您可以解码JSON字符串,删除特定字段,添加各种元数据(例如Docker,Kubernetes)等。处理器在每个prospector的Filebeat配置文件中定义。 阅读全文
posted @ 2020-05-11 17:18 fat_girl_spring 阅读(5694) 评论(0) 推荐(0) 编辑
摘要: 新版本的beats默认配置开启了ILM,导致索引命名规则被ILM策略控制。 加上这个配置就好了 filebeat 配置关闭 ILM 即可解决Index Pattern不生效的问题 setup.ilm.enabled: false 具体配置: # Elasticsearch template sett 阅读全文
posted @ 2020-05-11 15:09 fat_girl_spring 阅读(376) 评论(0) 推荐(1) 编辑
摘要: GET twitter/_search { "query": { "match": { "city": "北京" } }, "aggs":{ "count_city":{ "terms": { "field": "city" } } } } 执行以上操作报错,报错内容如下: { "error": { 阅读全文
posted @ 2020-05-09 10:52 fat_girl_spring 阅读(1397) 评论(0) 推荐(0) 编辑
摘要: Refresh及Flush乍一看,Refresh和Flush操作的通用目的似乎是相同的。 两者都用于使文档在索引操作后立即可供搜索。 在Elasticsearch中添加新文档时,我们可以对索引调用_refresh或_flush操作,以使新文档可用于搜索。 要了解这些操作的工作方式,您必须熟悉Luce 阅读全文
posted @ 2020-05-08 17:38 fat_girl_spring 阅读(386) 评论(0) 推荐(0) 编辑
摘要: Index 我们可以看到在Kibana右边的窗口中有下面的输出: 在上面,我们可以看出来我们已经成功地创建了一个叫做twitter的index。通过这样的方法,我们可以自动创建一个index。如果大家不喜欢自动创建一个index,我们可以修改如下的一个设置: PUT _cluster/setting 阅读全文
posted @ 2020-05-08 16:45 fat_girl_spring 阅读(2915) 评论(0) 推荐(0) 编辑
摘要: 实现原理 我们采用如下的方法来实现把一个 .pdf 文件导入到 Elasticsearch 的数据节点中: 如上图所示,我们首先把我们的 .pdf 文件进行 Base64 处理,然后上传到 Elasticsearch 中的 ingest node 中进行处理。我们可以通过 Ingest attach 阅读全文
posted @ 2020-05-08 15:53 fat_girl_spring 阅读(1069) 评论(0) 推荐(0) 编辑
摘要: Cluster Cluster 也就是集群的意思。Elasticsearch 集群由一个或多个节点组成,可通过其集群名称进行标识。通常这个 Cluster 的名字是可以在 Elasticsearch 里的配置文件中设置的。 在默认的情况下,如我们的 Elasticsearch 已经开始运行,那么它会 阅读全文
posted @ 2020-05-06 15:18 fat_girl_spring 阅读(462) 评论(0) 推荐(0) 编辑
摘要: Elasticsearch 除了在搜索方面非常之快,对数据分析也是非常重要的一面。正确理解 Bucket Aggregation 对我们使用 Kibana 非常重要。Elasticsearch 提供了非常多的 Aggregation 可以供我们使用。其中 Bucket aggregation 对于初 阅读全文
posted @ 2020-04-27 18:30 fat_girl_spring 阅读(911) 评论(0) 推荐(0) 编辑
摘要: 正排索引和倒排索引 倒排索引核心组成 单词词典(TermDictionary) 记录所有文档的单词,记录单词到倒排列表的关联关系 单词词典一般比较大,可以通过B+树或者哈希拉链法去实现,以满足高性能的插入与查询 倒排列表(Posting List)-记录单词对应的文档结合,由倒排索引项组成 倒排索引 阅读全文
posted @ 2020-04-27 14:26 fat_girl_spring 阅读(187) 评论(0) 推荐(0) 编辑
摘要: ssl分步骤 1、准备工作 为每台机器配置hosts 192.168.1.234 node01192.168.1.233 node02192.168.1.240 node03192.168.1.241 logstash01192.168.1.242 logstash02192.168.1.243 f 阅读全文
posted @ 2020-04-16 18:31 fat_girl_spring 阅读(4187) 评论(0) 推荐(0) 编辑