Logstash的插件:

input插件:

File:从指定的文件中读取事件流;

 

使用FileWatch(Ruby Gem库)监听文件的变化。

.sincedb:记录了每个被监听的文件的inode, major number, minor nubmer, pos;

一下是一个收集日志简单的示例:

input {

file {

path => ["/var/log/messages"]

type => "system"

start_position => "beginning"

  }

}

output {

stdout {

codec => rubydebug

  }
}

["/var/log/messages"]中可以包含多个文件[item1, item2,...] start_position => "beginning"表示从第一行开始读

udp:通过udp协议从网络连接来读取Message,其必备参数为port,用于指明自己监听的端口,host则用指明自己监听的地址

collectd:性能监控程序,基于c语言开发,以守护进程方式运行,能够收集系统性能各方面的数据,并将收集的结果存储下来,能够通

过network插件,把自己在本机收集到的数据发送给其他主机

collectd的包在epel源中,yum -y install epel-release;yum -y install collectd, collecctd的配置文件为/etc/collectd.conf

vim /etc/collectd.conf,将Global settings for the daemon下的Hostname设置一个名字:Hostname "node1"

找到LoadPlugin section,将LoadPlugin df去掉注释,LoadPlugin network启动

在<Plugin network> </Plugin> 的下面再定义一段:

<Plugin network>

<Server "192.168.204.135" "25826">

</Server>

</Plugin>

表示将数据传给192.168.204.135主机,此主机监听的端口为25826

service collectd start

192.168.204.135安装了lostash,下面是一个UDP的配置文件示例

input {

udp {

port => 25826

codec => collectd {}

type => "collectd"
  }
}

output {

stdout {

codec => rubydebug
  }
}

codec => collectd {} 将collectd发送过来的信息做专门的编码

type => "collectd" 类型可以随意取名

logstash -f /etc/logstash/conf.d/udp.conf --configtest logstash -f /etc/logstash/conf.d/udp.conf

这是就可以收到来之collectd的信息了

redis插件:

从redis读取数据,支持redis channel和lists两种方式

filter插件:

用于在将event通过output发出之前对其实现某些处理功能

grok:用于分析并结构化文本数据;目前 是logstash中将非结构化日志数据转化为结构化的可查询数据的不二之选。

syslog, apache, nginx

模式定义位置:/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.3.0/patterns/grok-patterns

语法格式:

%{SYNTAX:SEMANTIC}

SYNTAX:预定义模式名称;

SEMANTIC:匹配到的文本的自定义标识符;

例如:1.1.1.1 GET /index.html 30 0.23

{ "message" => "%{IP:clientip} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %

{NUMBER:duration}" }

vim groksample.conf 一个配置示例

input {

stdin {}
  }

filter {

grok {

match => { "message" => "%{IP:clientip} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %

{NUMBER:duration}" }
  }
}

output {

stdout {

codec => rubydebug
  }
}

logstash -f /etc/logstash/conf.d/groksample.conf --configtest

logstash -f /etc/logstash/conf.d/groksample.conf

输入1.1.1.1 GET /index.html 30 0.23, 得出结果

1.1.1.1 GET /index.html 30 0.23

{

"message" => "1.1.1.1 GET /index.html 30 0.231.1.1.1 GET /index.html 30 0.23",

"@version" => "1",

"@timestamp" => "2016-07-20T11:55:31.944Z",

"host" => "centos7",

"clientip" => "1.1.1.1",

"method" => "GET",

"request" => "/index.html",

"bytes" => "30",

"duration" => "0.231"

}

自定义grok的模式:grok的模式是基于正则表达式编写,其元字符与其它用到正则表达式的工具awk/sed/grep/pcre差别不大

自定义的机会一般不大

匹配apache log示例 vim apachesample.conf

input {

file {

path => ["/var/log/httpd/access_log"]

type => "apachelog"

start_position => "beginning"
  }
}

filter {

grok {

match => { "message" => "%{COMBINEDAPACHELOG}" }

  }
}

output {

stdout {

codec => rubydebug
  }
}

nginx log的匹配方式:

将如下信息添加至 /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.3.0/patterns/grok-patterns文

件的尾部

#Nginx log

NGUSERNAME [a-zA-Z\.\@\-\+_%]+

NGUSER %{NGUSERNAME}

NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%

{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %

{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} %{NOTSPACE:http_x_forwarded_for}

yum -y install epel-release;yum -y install nginx;systemctl start nginx

vim nginxsample.conf

input {

file {

path => ["/var/log/nginx/access.log"]

type => "nginxlog"

start_position => "beginning"
  }
}

filter {

grok {

match => { "message" => "%{NGINXACCESS}" }
  }
}

output {

stdout {

codec => rubydebug
  }
}
logstash -f /etc/logstash/conf.d/nginxsample.conf