logstash安装配置

Logstash是一个数据收集引擎，它支持动态的的从各种数据源获取数据，并对数据进行过滤，分析，丰富，统一格式等操作，然后存储到用户指定的位置。

具体内容可看官网：https://www.elastic.co/cn/products/logstash

系统：CentOS7.2

官网地址：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html#installing-logstash

1. 在/etc/yum.repos.d/下新建logstash.repo  配置YUM源地址 内容如下：

[logstash-6.x]
name=Elastic repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

2. 直接安装：

sudo yum install logstash

安装后可在/etc/systemd/system中查看服务的启动路径和配置文件路径

默认路径：

程序路径：/usr/share/logstash/bin/logstash

配置目录： /etc/logstash

3. 服务启动：

如何启动和停止 Logstash 取决于系统是哪种配置方式：systemd, upstart, or SysV.

Centos7以上系统启动和停止命令如下：

sudo systemctl start logstash.service

sudo systemctl stop logstash.service

 

5. 作为系统服务启动后，无法直接查看logstash的输出，可以直接启动然后开启控制台输出查看调试：

新建配置文件apilog.conf：

input {
    # 从文件读取日志信息
    file {
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
    }
}
output {
    # 标准输出
    stdout { codec => rubydebug }
}

然后直接启动后调试：

cd /usr/share/logstash/bin/
./logstash -f /etc/logstash/conf.d/apilog.conf

 

logstash输入源很多，比如file、redis、kafka、filebeat等等，官网均有比较详细的配置，参考地址：

https://www.elastic.co/guide/en/logstash/current/input-plugins.html