Logstash

Logstash：

支持多数据获取机制，通过TCP/UDP协议、文件、syslog、windows EventLogs及STDIN等；获取到数据后，它支持对数据执行过滤、修改等操作；
基于JRuby语言，运行于JVM上；
- agent/server模型

配置框架：

input {
...
}
 
filter {
...
}
 
output {
...
}　　 

四种类型的插件：

input
filter
codec
output　　 

数据类型：

Array：[item1, item2,...]
Boolean：true, false
Bytes：
Codec：编码器
Hash：key => value
Number：
Password：
Path：文件系统路径；
String：字符串　　

字段引用：

[ ]　　

条件判断：

==, !=, <, <=, >, >=
=~, !~
in, not in
and, or
()　　 

Logstash的工作流程：

1	`input \| filter \| output, 类似于管道模式，如无需对数据进行额外处理，filter可省略；`

input {
    stdin {}
}
 
output {
    stdout {
        codec => rubydebug
    }
}　　

Logstash的插件：

input插件：

1、File：从指定的文件中读取事件流；
    使用FileWatch（Ruby Gem库）监听文件的变化。
    .sincedb：记录了每个被监听的文件的inode, major number, minor nubmer, pos;　

input {
    file {
        path => ["/var/log/messages"]
        type => "system"
        start_position => "beginning"
    }
}
 
output {
    stdout {
        codec   => rubydebug
    }
}　　

1	`2、udp：通过udp协议从网络连接来读取Message，其必备参数为port，用于指明自己监听的端口，host则用指明自己监听的地址；`

collectd：性能监控程序，通过udp协议可向logstash发送当前主机的性能信息；　
 
CentOS 7 epel源：
# yum install collectd -y
 
# vim /etc/collectd.conf
 
    Hostname    "node3.magedu.com"
    LoadPlugin syslog
    LoadPlugin cpu
    LoadPlugin df
    LoadPlugin interface
    LoadPlugin load
    LoadPlugin memory
    LoadPlugin network
    <Plugin network>
            <Server "172.16.100.70" "25826">
            # 172.16.100.70是logstash主机的地址，25826是其监听的udp端口；
            </Server>
    </Plugin>
    Include "/etc/collectd.d"
 
# systemctl start collectd.service

# logstash端：
 
input {
    udp {
        port    => 25826
        codec   => collectd {}
        type    => "collectd"
    }
}
 
output {
    stdout {
        codec   => rubydebug
    }
}　　

1 2	`3、redis插件:` `从redis读取数据，支持redis channel和lists两种方式`

input {
    redis {
        host    => "localhost"
        port    => "6379"
        data_type   => "list"
        key => "redisdata"
    }
}
 
output {
    stdout {
        codec   => rubydebug
    }
}

filter插件：
- 用于在将event通过output发出之前对其实现某些处理功能。grok　　
- grok：用于分析并结构化文本数据；目前是logstash中将非结构化日志数据转化为结构化的可查询数据的不二之选。　　
  - syslog, apache, nginx　　　　
  - 模式定义位置：/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.3.0/patterns/grok-patterns

语法格式：
 
%{SYNTAX:SEMANTIC}
    SYNTAX：预定义模式名称；
    SEMANTIC：匹配到的文本的自定义标识符；　　 

1.1.1.1 GET /index.html 30 0.23
 
%{IP:clientip} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}
 
input {
    stdin {}
}
 
filter {
    grok {
        match => { "message" => "%{IP:clientip} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
    }
}
 
output {
    stdout {
        codec   => rubydebug
    }
}
 
 
{
       "message" => "1.1.1.1 GET /index.html 30 0.23",
      "@version" => "1",
    "@timestamp" => "2018-01-27T02:13:52.558Z",
          "host" => "node1",
      "clientip" => "1.1.1.1",
        "method" => "GET",
       "request" => "/index.html",
         "bytes" => "30",
      "duration" => "0.23"
}　　

grok：过滤message消息
    remove_field  => "message"
 
grok {
        match => { "message" => "XXX" }
        remove_field  => "message"
}  　　

自定义grok的模式：
    grok的模式是基于正则表达式编写，其元字符与其它用到正则表达式的工具awk/sed/grep/pcre差别不大。
 
    PATTERN_NAME (?the pattern here)　　

# 匹配apache log
 
input {
    file {
        path    => ["/var/log/httpd/access_log"]
        type    => "apachelog"
        start_position => "beginning"
    }
}
 
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}" }
    }
}
 
output {
    stdout {
        codec   => rubydebug
    }
}　　

# 匹配nginx log
 
nginx log的匹配方式：
    将如下信息添加至 /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.3.0/patterns/grok-patterns文件的尾部：
 
    NGUSERNAME [a-zA-Z\.\@\-\+_%]+
    NGUSER %{NGUSERNAME}
    NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} %{NOTSPACE:http_x_forwarded_for}                                       
     
input {
    file {
        path    => ["/var/log/nginx/access.log"]
        type    => "nginxlog"
        start_position => "beginning"
    }
}
 
filter {
    grok {
        match => { "message" => "%{NGINXACCESS}" }
    }
}
 
output {
    stdout {
        codec   => rubydebug
    }
} 

output插件：

1 2	`1、redis插件:` 　　`写入数据到redis中，支持redis channel和lists两种方式`

input {
    file {
    path => ["/var/log/nginx/access.log"]
    type => "nginxlog"
    start_position => "beginning"
    }
}
 
output {
    redis {
        host    => "localhost"
        port    => "6379"
        data_type   => "list"
        key => "logstash-%{type}"
    }
}

1 2	`2、elasticsearch插件:` `写入数据到elasticsearch集群中`

input {
    redis {
        host    => "localhost""
        port    => "6379"
        data_type   => "list"
        key => "logstash-nginxlog"
    }
}
 
output {
    elasticsearch {
        cluster    => "loges"
        index   => "logstath-%{+YYYY.MM.dd}"
    }
} 