【Elastic】Filebeat+ELK日志收集分析方案

一 环境准备

　　1. 安装JDK1.8环境

　　2. ELK相关安装包

• filebeat
• logstash
• elasticseatch
• kibana　　　　

二 运行顺序

　　elasticsearch > kibana > logstash > filebeat

三 安装

1. filebeat安装

• 下载filebeat安装包： https://www.elastic.co/cn/downloads/beats/filebeat

　　

 

• 编辑filebeat.yml

filebeat.inputs:

- type: log
  enabled: true
  paths:
    - E:\software\filebeat-7.9.3-windows-x86_64\data\log\*.log

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 1

setup.kibana:
  host: "localhost:5601"

output.logstash:
  hosts: ["localhost:5044"]

 
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

• 运行filebeat

　　新建run.bat，运行时双击run.bat脚本；内容：

.\filebeat -e -c filebeat.yml

---

 　　2. Logstash安装

• Logstash下载

　　下载地址：https://www.elastic.co/cn/downloads/logstash

• Logstash配置

　　1) logstash>bin 目录下创建logstash.conf
　　2) 输入内容：

input {
    beats {
        port => 5044
    }
}
output {
    stdout{ codec => rubydebug }
    elasticsearch {
        hosts => ["http://localhost:9200"]
        index => "logstash-demo-%{+YYYY.MM.dd}"
        document_type => "logstash-demo"
    }
}

• Logstash运行

　　新建run.bat，运行时双击run.bat脚本；内容：

logstash.bat -f logstash.conf

---

 　3. Elasticsearch安装

• 参考：https://www.cnblogs.com/hanjunjun/p/10405253.html

---

 　4. Kibana安装

• kibana下载

　　下载地址：https://www.elastic.co/cn/downloads/kibana

• kibana配置

　　改配置文件：kibana-6.2.3-windows-x86_64\config\kibana.yml

　　配置文件里面有很多重要的默认配置信息：端口号5601，hostip 0.0.0.0，elasticsearch.url：localhost：9200，kibana.index:.kibana，还有ES的账号密码。

　　这些配置根据需要进行修改，例如：ES和kibana不在一个主机，那就需要改ip。

　　这里软件都在同一个主机，kibana的配置保持不变即可。

• kibana运行

　　双击kibana-7.9.3-windows-x86_64\bin\kibana.bat

　　访问：http://localhost:5601/