4、ELK-logstash部署-用于收集日志

部署在192.168.177.11服务上

#以下操作 两台服务器都要操作
 
1、下载并安装GPGKey： rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
2、准备yum仓库：vim /etc/yum.repos.d/logstash.repo
--------------------------------------------------
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1                                                #如果不下载第一步的密钥GPGKEY的话、这里要 =0即可
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
-------------------------------------------------------
3、安装logstash： yum install -y logstash
4、安装jdk：yum install -y java
 
5、安装完后会在此路径下有一个logstash执行程序：/opt/logstash/bin/logstash

 

------------------------------使用单行命令收集日志-----------------------------------

1、基本的输入输出：
    ·stdin{}         #收集键盘输入的内容
    ·stdout{}        #输出收集到内容到终端
    
    ·执行命令：/opt/logstash/bin/logstash -e 'input{stdin{}} output{stdout{}}'        #意思是将input{} 从哪里输入的内容、output{}输出到 哪里
        ·-e 执行（后期用-f带 脚本的形式执行）
        ·input{}      输入函数
        ·output{}     输出函数
        ·stdin{}      标准输入
        ·stdout{}     标准输出
        -----------------------------------------------------------------
        Settings: Default filter workers: 2        
        Logstash startup completed                        #表示启动成功 
        123121                                            #我输入的内容
        2023-09-20T12:25:01.307Z logstash 123121          #输出的内容    logstash是主机名
        -------------------------------------------------------------------------------------
        
-------------------------------------------     
使用ruby格式输出日志：
·/opt/logstash/bin/logstash -e 'input{stdin{}} output{stdout{codec=>rubydebug}}'
#ruby是一门语言
-------------------------------------------------------------------------------------------------------------
[root@logstash ~]# /opt/logstash/bin/logstash -e 'input{stdin{}} output{stdout{codec=>rubydebug}}'
Settings: Default filter workers: 2
Logstash startup completed
输 出的日志格式不一样 、ruby是一门语言        #我输入的内容
{
       "message" => "出的日志格式不一、ruby是一门语言",
      "@version" => "1",
    "@timestamp" => "2023-09-20T12:35:36.645Z",
          "host" => "logstash"
}
---------------------------------------------------------------------------------------------------------------
 
 
#将日志推送给elasticsearch：192.168.177.10:9200
· /opt/logstash/bin/logstash -e 'input{ stdin{} } output{ elasticsearch { hosts => ["192.168.177.10:9200"] } }'
#这里只需要推给集群中的一个即可、它们会互相备份
----------------------------------------------------
[root@logstash ~]# /opt/logstash/bin/logstash -e 'input{ stdin{} } output{ elasticsearch { hosts => ["192.168.177.10:9200"] } }'
Settings: Default filter workers: 2
Logstash startup completed
im a xiaoxin
sryd dfgs dfg
#这里将输入的内容推送到es的web网页去了
#登录http://192.168.177.10:9200/_plugin/head/  即可看到输入的内容
---------------------------------------------------------------------------

 

还可以将日志输出到屏幕、并且推送到es：

 #先输出到屏幕、再推送到es
 ·/opt/logstash/bin/logstash -e 'input{ stdin{} } output{ stdout{codec=>rubydebug} elasticsearch { hosts => ["192.168.177.10:9200"] } }'
 ------------------------------------------------------------
 [root@logstash ~]# /opt/logstash/bin/logstash -e 'input{ stdin{} } output{ stdout{codec=>rubydebug} elasticsearch { hosts => ["192.168.177.10:9200"] } }'
Settings: Default filter workers: 2
Logstash startup completed
xiaoxin jinjing nextyears together
{
       "message" => "xiaoxin jinjing nextyears together",
      "@version" => "1",
    "@timestamp" => "2023-09-20T12:53:56.399Z",
          "host" => "logstash"
}
 
#在一个output里写两个推送的目标即可
-----------------------------------------------------------------------------------------------------------------

 

-------------------------------------------------------用配置文件取收集日志（重点）--------------------------------------------------

1、创建logstash的配置文件、用于收集日志：
·vim /etc/logstash/conf.d/messages.conf
------------------------------------------------
input{
file{                                         #file  从文件里输入
path => "/var/log/messages"                   #文件的路径
type => "system"                              #标签  就是收集何种日志
start_position => "beginning"                  #从文件的哪里开始抄日志、beginning 表示从头开始抄（第一行）
}
}
output{
elasticsearch {
hosts => ["192.168.177.10:9200"]
index => "system-%{+YYYY.MM.dd}"                #索引：可自定义  如果是MySQL的日志  ：mysql system-%{+YYYY.MM.dd}
}
}
------------------------------------------------------------
2、启动logstash文件：
·/opt/logstash/bin/logstash -f /etc/logstash/conf.d/messages.conf &        #运行在后台&