Logstash 安装与配置

一、Logstash 描述

简单而又强大的数据抽取与处理工具，相比于flums一整本书的描述强大而又好用。

还记得我13年用python写了一个数据抽取、校验工具，设计思路也同样是拆解处理过程模板，然后通过插件式的输入、输出、转化校验逻辑实现，设计思路如初一折。

当然当初设计是基于propertise配置实现，logstash则是完备的dsl语言，实现了函数式语言的范式。

当初也想实现函数式，始终不得其法，现在看来豁然开朗。

二、安装

centos环境推荐用yum安装的方式，至于其他方式，请关注官方文档（https://www.elastic.co/guide/en/logstash/current/installing-logstash.html）

1、Download and install the public signing key:

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

2、添加repo

添加如下内容，到/etc/yum.repos.d/ 目录，以.repo结尾，推荐为：logstash.repo

[logstash-5.x]
name=Elastic repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

3、最后执行命令安装；

sudo yum install logstash

三、配置

#1. 复制配置文件到logstash home
cp /etc/logstash /usr/share/logstash/config
#2. 配置路径
vim /usr/share/logstash/config/logstash.yml
 
修改前：
path.config: /etc/logstash/conf.d
修改后：
#path.config: /etc/logstash/conf.d
path.config: /usr/share/logstash/config/conf.d
 