多个Filebeat输入到Logstash设置不同的索引
摘要：需求 对每一台机器上都装一个filebeat，然后都指向同一个logstash，这时不同的filebeat传输的数据过来，需要输出到不同的索引， 办法 在filebeat的配置文件里添加fields.service: nginx（可自定义） filebeat.prospectors: - type:
阅读全文
posted @ 2020-06-11 21:20
随笔分类 - ELK
Logstash下字段以及嵌套Json字段类型转换
摘要：前言 从filebeat传输到Logstash的数据，某个字段需要由string类型装换成float类型。但是不管怎么改logstash的配置文件都不生效，其实官方文档都有，但是具体细节方面的东西就得自己不断的实践验证最后达到自己想要的目标了。整整一天，都在弄这一个，中间实在想放弃了。但是就如张靓颖
阅读全文
posted @ 2020-06-11 21:15
Elasticsearch之索引的不同含义
摘要：一、Elasticsearch与关系数据库的相关术语的对应关系 Elasticsearch集群可以包含多个索引(indices)(数据库)，每一个索引可以包含多个类型（types）(表)，每一个类型可以包含多个文档（document）（行），每个文档包含多个字段（Filelds)(列)。 二、索引
阅读全文
posted @ 2020-04-22 10:34
Filebeat自定义索引 && 多output过滤
摘要：一、目标 1）实现自定义索引 2）不同的input输出到各自对应的索引，nginx的日志输出到index-nginx的索引，zabbix的日志输出到index-zabbix，app的日志输出到index-app（如图1）；这样不会弄成大杂烩。 图1： 结果图： 二、配置文件 难点： setup.il
阅读全文
posted @ 2019-11-26 06:50
Kibana创建索引成功，但一直不显示出来（Fielddata is disabled on text fields by default. Set fielddata=true........）
摘要：现象 把EFK整个集群搭建完成后，通过Kibana操作界面创建索引（如图1），我创建了lile-zabbix*的索引，显示是创建成功了，但是只要我在重新刷新一次，已经创建的索引就“消失了”。后通过查看Kibana与ES的日志，均报错如下 图1： 一、版本信息 二、解决办法 1、根据官网的信息，是对E
阅读全文
posted @ 2019-11-25 23:27
ES三节点重启后报错no known master node
摘要：问题 一直在研究ES的监控怎么做，想偷点懒，不去通过API获取然后计算，就想找个现成的插件或者监控软件，只要装个agent就可以，然后就找到了x-pack，插件装好了之后，需要重启ES集群，线上的ES集群我想着既然是集群一台一台重启应该不会有问题的，太高估了，重启一台后，整个集群挂了...... 操
阅读全文
posted @ 2019-10-20 11:52
配置文件格式（三）
摘要：一、YAML格式简介 一、YAML格式简介 Beats的配置文件基于YAML，这种文件格式比XML和JSON等常用的数据格式更容易读写。 在Beats中所有的YAML文件都以字典开始，一个无序的键值对。除了字典，YAML还支持列表、数值、字符串和其他的数据类型。相同列表或字典的所有成员必须有相同的缩
阅读全文
posted @ 2019-02-28 15:33
Filebeat工作过程（二）
摘要：Filebeat简介 Filebeat是一个轻量级的收集日志和传输日志的工具（一直以为Filebeat是存储数据，并不是的它只是做一个收集传输功能）；Filebeat安装在每一个你想要收集日志的服务器上，相当于客户端。Filebeat监控你指定的日志文件或者路径，收集日志事件向Elasticsear
阅读全文
posted @ 2019-02-23 09:50
单机安装EFK（一）
摘要：官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started-install.html#getting-started-install 环境信息 系统：AWS Centos7 IP：172.2
阅读全文
posted @ 2019-02-20 18:21
