随笔分类 - 日志搜集和分析
摘要:nginx: 0.安装前的准备: CentOS7操作系统jdk1.8(elasticsearch-5.1.1、logstash-5.1.1需要jdk1.8环境的支持)去官网下载ELK(elasticsearch-5.1.1、logstash-5.1.1、kibana-5.1.1) 地址:https:
阅读全文
摘要:logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。 首先将数据传给logstash,它将数据进行过滤和格式化(转成JSON格式),然后传给E
阅读全文
摘要:Logstash 是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理。 一、原理 Input可以从文件中、存储中、数据库中抽取数据,Input有两种选择一个是交给Filter进行过滤、修剪。另一个是直接交给Output Filter能够动态地转换和
阅读全文
摘要:ELK似乎是当前最为流行的日志收集-存储-分析的全套解决方案. 去年年初, 公司里已经在用, 当时自己还山寨了一个统计系统(postgresql-echarts, 日志无结构化, json形式存储到postgresql, 构建统一前端配置生成, 调用统一查询接口, 具体细节), 已经过了一年有余.
阅读全文