Logstash安装介绍

  • 前言

logstash是ELK日志系统中的一部分,主要承担将收集完成日志进行过滤,并且输出到es的职责。

logstash本身也可以作为客户端部署到应用系统的服务器上进行日志收集,但是由于资源开销占用过大,所以客户端的收集工作交给了beats进行,logstash专心在独立的服务器上完成日志解析处理的工作。

官方文档说明:https://www.elastic.co/guide/en/logstash/

这里比较建议直接看英文的说明文档,找到你对应的版本,别的文档感觉都不如它靠谱(血与泪的教训😭)。

ELK的组件版本建议保持一致,这里我采用的是5.6.10的版本,也就是beats、logstash、kibana和es都是这个版本。


 

  • 系统结构

Logstash的事件(logstash将数据流中等每一条数据称之为一个event)处理流水线有三个主要角色完成:inputs –> filters –> outputs:

inpust:必须,负责产生事件(Inputs generate events),常用:File、syslog、redis、beats(如:Filebeats)
filters:可选,负责数据处理与转换(filters modify them),常用:grok、mutate、drop、clone、geoip
outpus:必须,负责数据输出(outputs ship them elsewhere),常用:elasticsearch、file、graphite、statsd

其中inputs和outputs支持codecs(coder&decoder)在1.3.0 版之前,logstash 只支持纯文本形式输入,然后以过滤器处理它。但现在,我们可以在输入 期处理不同类型的数据,所以完整的数据流程应该是:input | decode | filter | encode | output;codec 的引入,使得 logstash 可以更好更方便的与其他有自定义数据格式的运维产品共存,比如:graphite、fluent、netflow、collectd,以及使用 msgpack、json、edn 等通用数据格式的其他产品等。  


  • 下载安装

这边介绍下我的安装方式,我是在linux centos6.5的操作系统上进行安装的。

第一步,安装JDK1.8,这里不做过多介绍了。

第二步,去官网下载logstash安装包,地址:https://www.elastic.co/cn/downloads/past-releases/logstash-5-6-10,替换后面的版本号找到对应的版本就行。

我下载的tar压缩包logstash-5.6.10.tar.gz,解压完后进入目录。

tar -zxvf logstash-5.6.10.tar.gz -C /usr/
cd /usr/logstash-5.6.10
#在目录下随便建个文件夹用存放conf文件
[root@localhost logstash-5.6.10]# mkdir logstash.conf

第三步,编写一个简单的conf文件测试功能。

[root@localhost logstash-5.6.10]# vi logstash.conf/stdin.conf
#下面是conf文件示例,只构造了标准输入和输出
input {
	stdin {
        add_field => {"key" => "value"}
        codec => "plain"
        tags => ["add"]
        type => "std"
    }
}


output {
    # 标准输出
    stdout { codec => rubydebug }
}

构建完成后保存,启动命令

[root@localhost logstash-5.6.10]# bin/logstash -f logstash.conf/stdin.conf

输入"hello"

至此logstash的安装已经完成,还算简单吧。

  • 安装filebeat

一开始介绍的时候说了,logstash一般扮演日志过滤的角色,日志收集交给beats来完成,filebeat是beats的一个组件,并且高版本的logstash很多插件如input-log4j2-plugin无法使用,相信很多小伙伴用logstash来处理log4j的日志的,官方建议采用beats插件来完成input的功能。

由于beats包括filebeats在后面介绍beats的时候会详细讲解,这边就先简单介绍下安装过程。

官方下载地址:https://www.elastic.co/cn/downloads/past-releases/filebeat-5-6-10,同样的下载tar包后解压就能食用。

tar -zxvf filebeat-5.6.10.tar.gz -C /usr/
cd /usr/filebeat-5.6.10
#修改配置文件filebeat.yml
[root@localhost filebeat-5.6.10]# vi filebeat.yml

filebeat.prospectors:
- input_type: log
path:
#这是filebeat输入的log存放路径,改成你应用的日志存放路径
  - /home/filebeat_log/*.log
#没有安装es集群的先注释掉es的配置,否则运行中日志会warn,打开输出配置,端口号为5044,待会在logstash中需要这个端口号

下面给一个启动filebeat的启动脚本,也可以直接命令行启动:service filebeat start

#!/bin/bash
#注意修改你的home路径 FILEBEAT_HOME="/usr/filebeat-5.6.10" agent="$FILEBEAT_HOME/filebeat" args="-c $FILEBEAT_HOME/filebeat.yml -path.home $FILEBEAT_HOME -path.config $FILEBEAT_HOME -path.data $FILEBEAT_HOME/data -path.logs $FILEBEAT_HOME/logs" test_args="-e -configtest" test() { echo "test config" $agent $args $test_args } start() { pid=`ps -ef |grep $FILEBEAT_HOME/data |grep -v grep |awk '{print $2}'` if [ ! "$pid" ];then echo "Starting filebeat: " test if [ $? -ne 0 ]; then echo exit 1 fi $agent $args & if [ $? == '0' ];then echo "start filebeat ok" else echo "start filebeat failed" fi else echo "filebeat is still running!" exit fi } stop() { echo -n $"Stopping filebeat: " pid=`ps -ef |grep $FILEBEAT_HOME/data |grep -v grep |awk '{print $2}'` if [ ! "$pid" ];then echo "filebeat is not running" else kill $pid echo "stop filebeat ok" fi } restart() { stop start } status(){ pid=`ps -ef |grep $FILEBEAT_HOME/data |grep -v grep |awk '{print $2}'` if [ ! "$pid" ];then echo "filebeat is not running" else echo "filebeat is running" fi } case "$1" in start) start ;; stop) stop ;; restart) restart ;; status) status ;; test) test ;; *) echo $"Usage: $0 {start|stop|restart|status}" exit 1 esac

 保存成filebeat.sh后启动。

sh filebeat.sh start
  • logstash集成filebeat

回到logstash的安装目录,新建conf配置文件log4j2.conf

input {
    beats {
		port => 5044
	}
}

output {
    # 标准输出
    stdout { codec => rubydebug }
}

 对只需要在input里加入beats插件,端口号是你刚刚在filebeat.yml中的端口号,启动logstash

[root@localhost logstash-5.6.10]# logstash -f logstash.conf/log4j2.conf

当你在/home/filebeat_log/*.log中产生日志文件时,logstash就会进行解析。

 

posted @ 2019-04-12 14:38  Epir  阅读(986)  评论(0编辑  收藏  举报