ELK——Logstash部署及介绍
Logstash简介
官网地址：https://www.elastic.co/products/logstash
Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景，Logstash常用于日志关系系统中做日志采集设备；
Logstash基于java开发的开源项目，是一个数据收集处理转发系统，Logstash的事件（logstash将数据流中等每一条数据称之为一个event）处理流水线有三个主要角色完成：inputs –> filters –> outputs：
inpust：必须，负责产生事件（Inputs generate events），常用：File、syslog、redis、beats（如：Filebeats）
filters：可选，负责数据处理与转换（filters modify them），常用：grok、mutate、drop、clone、geoip
outpus：必须，负责数据输出（outputs ship them elsewhere），常用：elasticsearch、file、graphite、statsd
其中inputs和outputs支持codecs（coder&decoder）在1.3.0 版之前，logstash 只支持纯文本形式输入，然后以过滤器处理它。但现在，我们可以在输入 期处理不同类型的数据，所以完整的数据流程应该是：input | decode | filter | encode | output；codec 的引入，使得 logstash 可以更好更方便的与其他有自定义数据格式的运维产品共存，比如：graphite、fluent、netflow、collectd，以及使用 msgpack、json、edn 等通用数据格式的其他产品等
Logstash最常用于ELK（elasticsearch + logstash + kibane）中作为日志收集器使用
Logstash安装指南
Logstash安装环境：
| 支持系统 | centos6.10 |
| Logstash使用版本 | Logstash-7.2.0 |
| java使用版本 | 1.8.0+ |
1. java安装环境可参考：https://www.cnblogs.com/Huang-Niu/p/11250268.html（ELK——ElasticSearch部署及介绍）
2. Logstash安装（二进制包）
2.1 将Logstash包上传至服务器，解压
tar xf logstash-7.2.0.tar.gz -C /usr/local
2.2 修改配置文件（需要新写一个配置文件，因为对接的是filebeat，所以不单独写Logstash的配置文件）
vim /usr/local/logstash-7.2.0/confignginxlog.conf
input { beats { port => 5044 } }
output {
elasticsearch {
hosts => "192.168.1.130:9200"
index => "nginx-accesslog-%{+YYYY.MM.dd}"
}
}
2.3 收集增加redis配置文件修改
input { redis { host => "192.168.1.128" port => 6379 data_type => "list" key => "test" } }
output {
elasticsearch {
hosts => "192.168.1.130:9200"
index => "nginx-accesslog-%{+YYYY.MM.dd}"
}
}
2.4 配置文件修改完成后，指定配置文件进行启动（可直接使用root启动）
/usr/local/logstash-7.2.0/bin/logstash -f /usr/local/logstash-7.2.0/config/nginxlog.conf
/usr/local/logstash-7.2.0/bin/logstash -f /usr/local/logstash-7.2.0/config/nginxlog.conf > /dev/null 2>&1 & #第一条命令无报错结束后，在执行此命令
2.5 若出现下图报错，为配置文件缩进问题，将从上面复制的配置文件首行缩进在server中重新编写即可
