十、logstash的安装
10.1 logstash是什么
–logstash是一个数据采集、加工处理以及传输的工具
10.2 logstash特点:
–所有类型的数据集中处理
–不同模式和格式数据的正常化
–自定义日志格式的迅速扩展
–为自定义数据源轻松添加插件
10.3 服务器准备
192.168.0.18 logstash
[root@logstash ~]# echo logstash >/etc/hostname
10.4 配置、/etc/hosts文件
要求所有elasticsearch 的主机、ip
[root@logstash ~]# vim /etc/hosts
192.168.0.10 es1
192.168.0.11 es2
192.168.0.12 es3
192.168.0.21 es4
192.168.0.22 es5
10.5 安装logstash
–Logstash依赖java 环境,需要安装java-1.8.0-openjdk
–Logstash没有默认的配置文件,需要手劢配置
–logstash安装在/opt/logstash目录下
[root@logstash ~]# yum -y install java-1.8.0-openjdk
[root@logstash ~]# yum -y install logstash-2.3.4-1.noarch.rpm
10.6 在kabana服务器上安装Apache
[root@kibana ~]# yum -y install httpd
10.7 logstash工作结构
–{ 数据源} ==>
– input { } ==>
– filter { } ==>
– output { } ==>
– { ES }
注:input:收集日志、filter:对日志加工处理、output:日志输出(写入Elasticsearch)
10.8 logstash里面的类型
–布尔值类型: ssl_enable=> true
–字节类型: bytes => "1MiB"
–字符串类型: name => "xkops"
–数值类型: port => 22
–数组: match => ["datetime","UNIX"]
–哈希: options => {k => "v",k2 => "v2"}
–编码解码: codec => "json"
–路径: file_path=> "/tmp/filename"
–注释: #
10.9 logstash条件判断
–等于: ==
–不等于: !=
–小于: <
–大于: >
–小于等于: <=
–大于等于: >=
–匹配正则: =~
–不匹配正则: !~
10.10 •logstash条件判断
–包含: in
–不包含: not in
–不: and
–或: or
–非与: nand
–非或: xor
–复合表达式: ()
–取反符合: !()