ELK(日志审计系统)

ELk简介及工作流程

  ELK即(Elasticsearch + Logstash + Kibana)

 

 

 

下载安装包

  • 系统环境:Contos7.0
  • Java环境:Portal(这是历史下载地址,我的是 jdk-8u151-linux-x64.tar.gz
  • Logstash/Elasticsearch/Kibana/Filebeat:Portal(我都是选的7.0版本)
  • redis:Portal

 

下载完成后传到服务器,全部解压至“/etc/elk”目录下,注意:这里使用的是单机部署(内存应不低于2G)

Java环境配置

tar -zvxf jdk-8u151-linux-x64.tar.gz -C /data/app/
ln -s /data/app/jdk1.8.0_151 /data/app/jdk
cat <<EOF >> /etc/profile   # 追加文件
"""
export JAVA_HOME=/data/app/jdk
PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
CLASSPATH=.$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar
EOF
"""
source /etc/profile
ln -s /data/app/jdk/bin/java /usr/bin/java 
java -version        # 查看是否安装成功

        
命令

elasticsearch部署

elasticsearch安装

rpm -ivh elasticsearch-7.0.0-x86_64.rpm 
# 编辑配置文件
vim /etc/elasticsearch/elasticsearch.yml
"""
path.logs: /var/log/elasticsearch
cluster.name: elk01
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["10.60.53.143",]
cluster.initial_master_nodes: ["10.60.53.143",]
"""
# 具体作用可以看配置文件中的英文解释
systemctl restart elasticsearch  # 启动服务
npm安装步骤

logstash部署

rpm -ivh logstash-7.0.0.rpm

更新中..................

kibana部署

rpm -ivh kibana-7.0.0-x86_64.rpm
# 编辑配置文件
vim /etc/kibana/kibana.yml
"""
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://10.60.53.143:9200"]
"""
# 启动
systemctl  start kibana
systemctl  enable  kibana

filebeat部署

安装

rpm -ivh filebeat-7.0.0-x86_64.rpm 

修改filebeat配置文件“filebeat.yml” and Redis配置文件"6379.conf"

  • filebeat没有运行日志,直接查看系统messages运行日志即可。
  • 配置好filebeat后一定要重启。
  • 重启后查看redis中是否有值,有值则正常。
# 注销bind字段,将protected-mode设置为no
# bind 127.0.0.1
protected-mode no
/etc/redis/6379.conf
filebeat.inputs:
- type: log
  paths:
    - /root/channelHandle-out-2.log
  fields:
    log_file: xsj_channelhandle_out_2
    log_type: a-out-log
  fields_under_root: true
  encoding: utf-8
processors:
  - drop_event:
      when.not.contains:
        message: "收到"
output.redis:
  hosts: ["10.60.53.143:6379"]
  db: 0
  # password: "1234@abcd.com"
  key: "%{[log_file]:xsj}"
  timeout: 5
etc/filebeat/filebaet.yml

相关命令

systemctl  start     filebeat
systemctl  enable  filebeat
systemctl  restart  filebeat
启动关闭重启

 

posted @ 2019-08-14 15:47  CLuke  阅读(3027)  评论(0编辑  收藏  举报
Live2D