随笔- 139 文章- 0 评论- 5 阅读- 11万

构建企业级日志分析系统-ELK

一、ELK介绍

ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部.

1.Elasticsearch

Elasticsearch是基于json的分布式搜索和分析引擎，专为实现水平扩展、高可靠性和管理便捷性而设计。Elasticsearch是一个分布式的RESTful风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。它是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

2. Logstash

Logstash是动态数据收集管道，拥有可扩展的插件生态系统，能够与Elasticsearch产生强大的协同作用。它是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。

3. Kibana

Kibana能够以图表的形式呈现数据，并且具有可扩展的用户界面，供全方位配置和管理Elastic Stack。它是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。

4. Beats

Beats是轻量型采集器的平台，从边缘机器向Logstash和Elasticsearch发送数据。Beats是数据采集的得力工具，将这些采集器安装在服务器中，他们就会把数据汇总到Elasticsearch。如果需要更强大的处理性能，Beats还能将数据输送到Logstash进行转换和解析。

Beats系列—全品类采集器指定所有数据类型，不同数据类型的收集使用不同的插件

5. 架构

二、实现一个基本的日志收集——收集系统日志rsyslog

1. 实现原理

1）通过rsyslog收集本机所有日志

2）filebeat拿日志给elasticsearch

3）elasticsearch分析日志

4）elasticsearch将分析结果给kibana

2. rsyslog的介绍

Linux的日志记录了用户在系统上的一切操作，看日志去分析系统的状态是运维人员必须掌握的基本功。rsyslog日志服务器的优势：1）日志统一，集中式管理；2）日志实时发送到一个更加安全的远端服务器上，真正记录用户行为，使日志的2次更改可能性大大降低，从而能够对日志进行真实回放，便于问题追踪。

rsyslog的新功能：rsyslog是一个加强版的syslog，具有各种各样的新功能：如，直接将日志写入到数据库；日志队列（内存队列和磁盘队列）；灵活的模板机制；可以得到更多输出格式；插件式结构，多种多样的输入，输出模块；可以把日志存放在Mysql，PostgreSQL，Oracle等数据库中。

3. rsyslog配置

1）安装：

[root@web01 ~]# yum install rsyslog -y

2）配置文件

rsyslog.conf中日志规则的定义格式

facitility.priority Target

facitility:日志设备（可以理解为日志类型）

------------------------------------------------------------

auth #pam产生的日志，认证日志

authpriv #ssh，ftp等登录信息的认证信息，认证授权认证

cron #时间任务相关

kern #内核

lpr #打印

mail #邮件

-----------------------------------------------------------------

priority：级别日志级别

-----------------------------------------------------------------

debug #有调试信息的，日志信息最多

info #一般信息的日志，最常用

notice #最具有重要性的普通条件的信息

warning，warn #警告级别

err，error #错误级别，阻止某个功能或者模块不能正常工作的信息。

crit #严重级别，阻止整个系统或者整个软件不能正常工作的信息

alert #需要立刻修改的信息

emerg，panic #内核崩溃等严重信息

------------------------------------------------------------------------------

Target:日志的处理方式

#文件如/var/log/messages

#用户 root， *（表示所有用户）

#日志服务器 @172.16.22.1

#管道 | COMMAND

3）修改配置文件

[root@web01 ~]# vim /etc/rsyslog.conf 
[root@web01 ~]# grep -Ev "^$|^#" /etc/rsyslog.conf 
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imjournal # provides access to the systemd journal
##设置服务协议和端口
$ModLoad imudp
$UDPServerRun 514
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none                /var/log/messages
authpriv.*                                              /var/log/secure
mail.*                                                  -/var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 :omusrmsg:*
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log
##收集日志的方式
*.*                                                     /var/log/testinfo.log

4）启动服务

[root@web01 ~]# systemctl start rsyslog
[root@web01 ~]# systemctl status rsyslog
● rsyslog.service - System Logging Service
   Loaded: loaded (/usr/lib/systemd/system/rsyslog.service; enabled; vendor preset: enabled)
   Active: active (running) since Wed 2020-10-21 16:45:53 CST; 12min ago
     Docs: man:rsyslogd(8)
           http://www.rsyslog.com/doc/
 Main PID: 6407 (rsyslogd)
   CGroup: /system.slice/rsyslog.service
           └─6407 /usr/sbin/rsyslogd -n

Oct 21 16:45:53 web01 systemd[1]: Starting System Logging Service...
Oct 21 16:45:53 web01 rsyslogd[6407]:  [origin software="rsyslogd" swVersion="8.24.0-52.el7_8.2" x-pid="6407" x-info="http://ww...] start
Oct 21 16:45:53 web01 systemd[1]: Started System Logging Service.
Hint: Some lines were ellipsized, use -l to show in full.

5）测试

[root@web01 ~]# touch /var/log/testinfo.log
[root@web01 ~]# logger "rsyslog test from info"
[root@web01 ~]# grep "rsyslog test" /var/log/testinfo.log
Oct 21 17:00:48 web01 root: rsyslog test from info

三、ELK安装

1. jdk安装

下载jdk的安装包，下载页面：

https://www.oracle.com/technetwork/java/javase/downloads/jdk11-downloads-5066655.html

下载安装

[root@web01 tools]# ll
total 20288
drwxr-xr-x 17 test test     4096 Sep 20 14:27 Python-3.5.5
-rw-r--r--  1 root root 20766931 Jul 16 21:35 Python-3.5.5.tgz
[root@web01 tools]# rz

[root@web01 tools]# ll
total 195556
-rw-r--r--  1 root root 179472367 May 19 20:30 jdk-8u251-linux-x64.rpm
drwxr-xr-x 17 test test      4096 Sep 20 14:27 Python-3.5.5
-rw-r--r--  1 root root  20766931 Jul 16 21:35 Python-3.5.5.tgz
[root@web01 tools]# rpm -ivh jdk-8u251-linux-x64.rpm 
warning: jdk-8u251-linux-x64.rpm: Header V3 RSA/SHA256 Signature, key ID ec551f03: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:jdk1.8-2000:1.8.0_251-fcs        ################################# [100%]
Unpacking JAR files...
    tools.jar...
    plugin.jar...
    javaws.jar...
    deploy.jar...
    rt.jar...
    jsse.jar...
    charsets.jar...
    localedata.jar...

设置环境变量

[root@web01 ~]# vim /etc/profile
[root@web01 ~]# tail /etc/profile
unset i
unset -f pathmunge
export TMOUT=300
export HISTSIZE=1000
export HISTFILESIZE=1000
export HISTTIMEFORMAT="`whoami` %F %T"
JAVA_HOME=/usr/java/jdk1.8.0_251-amd64
PATH=$JAVA_HOME/bin:$PATH:$HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH JAVA_HOME CLASSPATH CATALINA_HOME

生效

[root@web01 ~]# source /etc/profile

验证

[root@web01 ~]# java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

2. beats日志搜集器

Beats组件：

Packetbeat（搜集网络流量数据）

Topbeat（搜集系统，进程和文件系统级别的CPU和内存使用情况等数据）

Filebeat（搜集文件数据）

Winlogbeat（搜集Windows事件日志数据）

官网地址:https://www.elastic.co/cn/

官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html

安装指南：https://www.elastic.co/guide/en/elasticsearch/reference/6.x/rpm.html

软件下载：https://www.elastic.co/cn/downloads/

1）yum源设置

导入KEY文件

[root@web01 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

设置yun源

[root@web01 ~]# vim  /etc/yum.repos.d/elastic.repo 
[root@web01 ~]# cat /etc/yum.repos.d/elastic.repo 
[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

2）安装filebeat

[root@web01 ~]# yum install filebeat -y

3）配置文件

[root@web01 ~]# vim /etc/filebeat/filebeat.yml 
[root@web01 ~]# egrep -v "#|^$" /etc/filebeat/filebeat.yml 
filebeat.inputs:
- type: log            #类型为日志
  enabled: true
  paths:
    - /var/log/testinfo.log
  include_lines: ['^ERR','^WARN','sshd']  #优化日志收集
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
output.elasticsearch:   #输出
  hosts: ["10.0.0.7:9200"]
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

4）启动filebeat

[root@web01 ~]# systemctl restart filebeat
[root@web01 ~]# systemctl status filebeat.service 
● filebeat.service - Filebeat sends log files to Logstash or directly to Elasticsearch.
   Loaded: loaded (/usr/lib/systemd/system/filebeat.service; disabled; vendor preset: disabled)
   Active: active (running) since Wed 2020-10-21 21:28:43 CST; 4s ago
     Docs: https://www.elastic.co/products/beats/filebeat
 Main PID: 12128 (filebeat)
   CGroup: /system.slice/filebeat.service
           └─12128 /usr/share/filebeat/bin/filebeat -c /etc/filebeat/fi...

Oct 21 21:28:43 web01 systemd[1]: Started Filebeat sends log files to ....
Hint: Some lines were ellipsized, use -l to show in full.

3. elasticsearch部署

1）elasticsearch安装

[root@web01 ~]# yum install -y elasticsearch

2）修改配置文件

[root@web01 ~]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@web01 ~]# vim /etc/elasticsearch/elasticsearch.yml
[root@web01 ~]# egrep -v "#|^$" /etc/elasticsearch/elasticsearch.yml
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200

3）启动

[root@web01 ~]# /bin/systemctl daemon-reload 
[root@web01 ~]# systemctl status elasticsearch.service 
● elasticsearch.service - Elasticsearch
   Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; disabled; vendor preset: disabled)
   Active: active (running) since Wed 2020-10-21 21:41:49 CST; 6s ago
     Docs: http://www.elastic.co
 Main PID: 13009 (java)
    Tasks: 4
   Memory: 498.2M
   CGroup: /system.slice/elasticsearch.service
           └─13009 /bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupanc...

Oct 21 21:41:49 web01 systemd[1]: Started Elasticsearch.

[root@web01 ~]# netstat -lntup
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      6406/sshd           
tcp6       0      0 :::9200                 :::*                    LISTEN      13009/java          
tcp6       0      0 :::9300                 :::*                    LISTEN      13009/java          
tcp6       0      0 :::22                   :::*                    LISTEN      6406/sshd           
udp        0      0 0.0.0.0:514             0.0.0.0:*                           6596/rsyslogd       
udp6       0      0 :::514                  :::*                                6596/rsyslogd

4）测试

[root@web01 ~]# curl http://10.0.0.7:9200/
{
  "name" : "mQZoCGD",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "jfrASbZhRUyXyDfE4n71rw",
  "version" : {
    "number" : "6.8.12",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "7a15d2a",
    "build_date" : "2020-08-12T07:27:20.804867Z",
    "build_snapshot" : false,
    "lucene_version" : "7.7.3",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

浏览器测试

4. kibana部署

1）kibana安装

[root@web01 ~]# yum install kibana -y

2）修改配置文件

[root@web01 ~]# cp /etc/kibana/kibana.yml /etc/kibana/kibana.yml.bak
[root@web01 ~]# vim /etc/kibana/kibana.yml
[root@web01 ~]# egrep -v "#|^$" /etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://10.0.0.7:9200"]

3）kibana启动

[root@web01 ~]# systemctl daemon-reload
[root@web01 ~]# systemctl start kibana.service 
[root@web01 ~]# systemctl status kibana.service 
● kibana.service - Kibana
   Loaded: loaded (/etc/systemd/system/kibana.service; disabled; vendor preset: disabled)
   Active: active (running) since Wed 2020-10-21 22:10:43 CST; 7s ago
 Main PID: 14739 (node)
    Tasks: 11
   Memory: 157.5M
   CGroup: /system.slice/kibana.service
           └─14739 /usr/share/kibana/bin/../node/bin/node --no-warnings --max-http-header-size=65536 /usr/share/kibana/bin/../src/cli ...

Oct 21 22:10:43 web01 systemd[1]: Started Kibana.

[root@web01 ~]# netstat -lntup
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      6406/sshd           
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      14739/node          
tcp6       0      0 :::9200                 :::*                    LISTEN      13009/java          
tcp6       0      0 :::9300                 :::*                    LISTEN      13009/java          
tcp6       0      0 :::22                   :::*                    LISTEN      6406/sshd           
udp        0      0 0.0.0.0:514             0.0.0.0:*                           6596/rsyslogd       
udp6       0      0 :::514                  :::*                                6596/rsyslogd