Log stash学习笔记（一）

Logstash是一款开源的数据收集引擎，具备实时管道处理能力。简单来说，logstash作为数据源与数据存储分析工具之间的桥梁，结合 ElasticSearch以及Kibana，能够极大方便数据的处理与分析。通过200多个插件，logstash可以接受几乎各种各样的数据。包括日志、网络请求、关系型数据库、传感器或物联网等等。

安装

之前我有一篇文章ElasticSearch + Logstash + Kibana 搭建笔记记录了ELK环境的搭建过程，只是简单介绍了一种安装方式，本文记录更多的细节。

logstash 要求Java8的支持。Java9暂时不支持，本文使用的logstash版本为5.5.1。

在Linux环境中，我们可以通过包管理进行安装，例如Unbuntu中的apt、以及CentOS中的yum。也可以从这里下载对应环境的二进制版本。

体验Pipeline

Logstatsh最基本的Pipeline模式如下图所示，其需要两个必需参数input、output，以及一个可选参数filter。

cd logstash-5.5.1
bin/logstash -e 'input { stdin { } } output { stdout {} }'

[2017-08-09T15:40:03,303][INFO ][logstash.pipeline        ] Pipeline main started

hello world
2017-08-09T07:40:46.397Z iZ627x15h6pZ hello world

-e参数允许我们在命令行中直接输入配置，而不同通过-f参数指定配置文件。看到Pipeline main started表示logstash已经启动成功，在命令行输入一些文字后，logstash会加上日期和主机名（IP）输出到终端。这就是Logstash最基本的工作模式，接受输入，然后将信息加工后放入到输出。

处理日志

Logstash收购了Filebeat加入到自己的生态系统中用来处理日志，Filebeat是一个轻量化的日志收集工具，还可以感知后台logstash的繁忙程度来决定日志发送的速度。

首先下载 Filebeat，解压后就可以使用。找到filebeat.yml修改如下：

filebeat.prospectors:
- input_type: log
  paths:
    - /path/to/file/logstash-tutorial.log 
output.logstash:
  hosts: ["localhost:5043"]

配置完成后等logstash启动后再启动Filebeat。

sudo ./filebeat -e -c filebeat.yml -d "publish"

接下来配置logstash，按照如下配置编写一个 filebeat.conf 文件

input {
  beats {
    port => "5043"
  }
}
output {
  stdout { codec => rubydebug }
}

配置文件可以用下面的命令验证是否有问题

bin/logstash -f filebeat.conf --config.test_and_exit

如果验证没有问题，就可以用这个配置文件启动 logstash 了。

bin/logstash -f filebeat.conf

之后再启动Filebeat，就可以在Filebeat终端窗口看到日志信息的输出，同时在logstash这边也能看到有日志输出。这就说明此时logstash已经能够正常接收beats送来的文件了。

参考资料：
1、Logstash Reference
2、Filebeat