elk系列2之multiline模块的使用
preface
上回说道了elk的安装以及kibana的简单搜索语法，还有logstash的input，output的语法，但是我们在使用中发现了一个问题，我们知道，elk是每一行为一个事件，像Java这类的输出日志，一个事件占用了好几行，导致elk在处理日志的时候，不能够识别多行日志为一个事件，所以我们在kibana上看的时候，明明是一个事件的日志，却拆分了好几段显示，所以我们针对这类一个事件占用多行的日志，得使用elk另一个模块，multiline模块，这个模块能够合并多行当作一个事件呢，使其在kibana显示的时候，同一个事件在一段。下面我们就看看elk更高级的用法。
下面的操作都是在linux-node1下操作
把多行日志合成一个事件
我们需要使用logstash的input里的multiline模块:https://www.elastic.co/guide/en/logstash/2.3/plugins-filters-multiline.html
参考万官方的配置文档以后，我们自己去配置一下，下面就看下配置文件：
[root@linux-node1 ~]# cat /etc/logstash/conf.d/codec.conf
input{
stdin {
codec => multiline{
pattern => "^\[" # 正则表达式，匹配以[开头的行
negate => true # 布尔值，true表示启用，匹配上干活，
what => "previous" # what这参数意思是说匹配上[后，是取[前面的内容还是后面的内容，我这里写的previous，表示拿去[前面的内容。
}
}
}
filter{
}
output{
stdout{
codec => rubydebug
}
}
配置完成后，启动服务：
[root@linux-node1 conf.d]# /opt/logstash/bin/logstash -f codec.conf
测试下，看是否能够匹配以[开头的行
[root@linux-node1 conf.d]# /opt/logstash/bin/logstash -f codec.conf
Settings: Default pipeline workers: 2
Pipeline main started
asdfasdf
xcfv
sdf
swe
rwer
asdf
[fasdfasdf #只要以[开头的行，都匹配上去了。并且都是[前面的内容。
{
"@timestamp" => "2016-12-08T23:25:14.350Z",
"message" => "asdfasdf\nxcfv\nsdf\nswe\nrwer\nasdf",
"@version" => "1",
"tags" => [
[0] "multiline"
],
"host" => "linux-node1"
}
1111111111
2222222222222
33333333333
44444444444
[ #只要以[开头的行，都匹配上去了。并且都是[前面的内容。
{
"@timestamp" => "2016-12-08T23:25:25.374Z",
"message" => "[fasdfasdf\n1111111111\n2222222222222\n33333333333\n44444444444",
"@version" => "1",
"tags" => [
[0] "multiline"
],
"host" => "linux-node1"
}
下面我们就通过这个模块来说说如何匹配java形式的日志
我们这里使用elasticsearch的日志来做分析，elasticsearch的日志形式就是java 的，它的日志路径是/var/log/elasticsearch/myes.log。
我们之前说过，logstash它会有一个文件专门存它需要读取哪些文件，所以再次启动之前，由于读取的是同一个文件（之前的配置文件也配置成了去读该文件），所以这里需要把logstash的sincedb数据库给删除，这样就能从头开始搜集了。同时在head模块里面，把对应的es-log索引也需要删除。
[root@linux-node1 logstash]# find / -name ".since*"
/root/.sincedb_a9b9fed7edff6fd888ffe131a05b5397
/root/.sincedb_1fb922e15ccea4ac0d028d33639ba3ea
/var/lib/logstash/.sincedb_a9b9fed7edff6fd888ffe131a05b5397
/var/lib/logstash/.sincedb_1fb922e15ccea4ac0d028d33639ba3ea
[root@linux-node1 logstash]# cat /root/.sincedb_a9b9fed7edff6fd888ffe131a05b5397
395042 0 2051 5972 #注意看第一列的数字，其实是日志文件的inode
395128 0 2051 5177
[root@linux-node1 logstash]# ls -li /var/log/elasticsearch/myes.log #-li参数是能够显示文本的inode节点
395042 -rw-r--r--. 1 root root 454310 Dec 9 07:02 /var/log/elasticsearch/myes.log # 第一列就是这个文件的inode节点，和/root/.sincedb_1fb922e15ccea4ac0d028d33639ba3ea 一致。
注意，sincedb记录的是日志文件的inode。
删除elaticsaerch记录了myes.log的sincedb文件，同时也在head的web界面删除es-log的索引，让es重新开始搜集日志。
[root@linux-node1 ~]# rm -f /root/.sincedb_a9b9fed7edff6fd888ffe131a05b5397 # 找到记录了myes.log这个inode的sincedb数据库，删除即可
此时我们修改配置文件，使用multiline模块，配置文件请看下面：
[root@linux-node1 conf.d]# cat /etc/logstash/conf.d/codec.conf
input{
file {
path => ["/var/log/messages","/var/log/secure"]
type => "system-log"
start_position => "beginning"
}
file {
path => "/var/log/elasticsearch/myes.log" # 读取es的j
type => "es-log"
start_position => "beginning"
codec => multiline {
pattern => "^\[" # 正则匹配
negate => true
what => "previous" # 使用[之前的
}
}
}
filter{
}
output{
if [type] == "system-log" {
elasticsearch {
hosts => ["192.168.141.4:9200"]
index => "system-log-%{+YYYY.MM}"
}
}
if [type] == "es-log" {
elasticsearch {
hosts => ["192.168.141.4:9200"]
index => "es-log-%{+YYYY.MM}"
}
}
}
确认无误后，我们启动logstash
[root@linux-node1 ~]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/codec.conf
然后我们同时重启elasticsearch在linux-node1和linux-node2上
[root@linux-node1 ~]# service elasticsearch restart # node1节点
[root@linux-node2 ~]# service elasticsearch restart # node2节点
我们重新打开head模块，访问地址是：http://192.168.141.3:9200/_plugin/head/
可以看到有es-log这个新的索引产生了
我们打开kibana页面，地址是http://192.168.141.3:5601
由于我们配置文件与上一篇博客写的不是一样的，上一篇是以年月日来作为索引，这里是使用年月来作为索引，所以这里需要重新增加一个索引。
然后切换到Discovery模版下，切换到es-log下面
此时我们可以看到java 的日志就是把多行合并成一行了，这样就一个事件一段了，不会把一个事件拆分多行显示了。
