windows版本下elk+filebeat项目的搭建和实现日志分析系统

  最想说的就是官网是个好东西

1.elk是一个成套的数据采集,分析,页面展示的框架

2.elk项目搭建,自行百度

3.数据的采集,数据的分析,数据的展示

4.filebeat作为一个轻量级的数据采集工具,比logstash的分析功能弱,相对而言比logstash占用的资源少,可用性强

5.最终设计的适合项目的elk日志分析

6.工具作用的分析

  1.filebeat实现资源的采集,可以采集多种,暂时只采集日志
  2.LogStash将日志进行处理,在fileter里面对数据进行过滤和实现日志的分析
  3.将处理后的值传递给ElasticSearch进行分词
  4.通过Kibana来提供web界面

7.可能遇见的问题

  1.elk这个三个工具需要设置分配的内存大小(Config下面的jvm.options里面的)

  2.filebeat采集日志时候遇见中文乱码问题,windows版本的时候设置成下面就好,如果里面采集数据的环境和elk搭建的环境不一样时候,需要根据当前的操作系统设置对应的编码,

  

  3.采用filebeat+elk这种模式可以有效的降低logstash采集传输数据时候的压力

  4.es可以搭建集群模式,把采集过来的数据在不同的es分析再在Kibana页面进行显示

8.总结

  elk+filebeat项目搭建,熟悉真个体系的话,5分钟搭建完毕,可是如果门外汉可能需要一周,整体来说这个东西不难,难点就在于这个东西你是否了解

9.分享一下我搭建windows环境下遇见的问题和解决过程文档

        http://note.youdao.com/noteshare?id=92f2b5d9248ad94e3dfdca3bc2031a42

posted @ 2018-10-07 20:32  夏天的水果  阅读(1882)  评论(0编辑  收藏  举报