ELK 1.4 logstash各种插件

 

kibana各种插件：

1.过虑插件 kv  

（1）KV插件：接收一个键值数据，按照指定分隔符解析为Logstash 事件中的数据结构，放到事件顶层。 

常用字段： 

 

• field_split 指定键值分隔符，默认空

 

示例：

[root@hd1 conf.d]# cat test.conf
input {
    file {
       path => "/var/log/test/*.log"
       exclude => "error.log"
       start_position => "beginning"
       tags => "web"
       tags => "nginx"
       type => "access"
       add_field => {
         "project" => "cloud service"
         "app"  =>  "douyu"
    }
}
}
filter {
  kv{
    field_split => "%&"                #分隔符号自己定义
    }
}
output {
elasticsearch {
hosts =>
["192.168.1.11:9200"]
index => "test-%{+YYYY.MM.dd}"
}
}

（2）重启kibana        systemctl restart logstash

（3）输入内容进去

echo "www.abcd.com?id=1&name=habagou&age=10" >>/var/log/test/access.log

 

 

2.，Grok插件：如果采集的日志格式是非结构化的，可以写正则表 达式提取，grok是正则表达式支持的实现

常用字段： 

• match 正则匹配模式 

• patterns_dir 自定义正则模式文件

 

正则表达式格式： %{IP:client} 中 IP表示正则表达式

Logstash内置的正则匹配模式，在安装目录下可以看到，路径： vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core4.1.2/patterns/grok-patterns

（1）先去kibana上找到开发工具——Grok Debugger进行正则表达测试

 

 

 

(2)测试：192.168.213.4 GET  /index.html  15824  0.055

 

 把测试好的正则表达式写入配置文件中

 

input {
    file {
       path => "/var/log/test/*.log"
       exclude => "error.log"
       start_position => "beginning"
       tags => "web"
       tags => "nginx"
       type => "access"
       add_field => {
         "project" => "ali cloud"
         "app"  =>  "pdd"
    }
}
}

filter {
  grok{
    match {
    message => '%{IP:client} %{WORD:method} %{URIPATHPARAM:url} %{BASE10NUM:bytes} %{BASE10NUM:times}'
}
    }
}

output {
elasticsearch {
hosts =>
["192.168.213.4:9200"]
index => "test-%{+YYYY.MM.dd}"
}
}

(3)重启logstash：systemctl   restart  logstash

(4)输入内容：echo "192.168.1.10 GET /index.html 15824 0.043" >>/var/log/test/access.log

 

 

 

3。GeoIP插件

GeoIP插件：根据Maxmind  GeoLite2数据库中的数据添加有关IP地址位置信息

常用字段： 

• source 指定要解析的IP字段，结果保存到geoip字段 

• database GeoLite2数据库文件的路径 

• fields 保留解析的指定字段

 

(1).在logstash的主机上安装GeoLite2-City软件包，我用的是压缩包,

[root@logstash opt]# tar -xf GeoLite2-City_20201103.tar.gz

 (2)先去