摘要: logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。 首先将数据传给logstash,它将数据进行过滤和格式化(转成JSON格式),然后传给E 阅读全文
posted @ 2018-01-25 16:26 sandea 阅读(516) 评论(0) 推荐(0) 编辑
摘要: Logstash 是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理。 一、原理 Input可以从文件中、存储中、数据库中抽取数据,Input有两种选择一个是交给Filter进行过滤、修剪。另一个是直接交给Output Filter能够动态地转换和 阅读全文
posted @ 2018-01-25 16:23 sandea 阅读(191) 评论(0) 推荐(0) 编辑
摘要: ELK似乎是当前最为流行的日志收集-存储-分析的全套解决方案. 去年年初, 公司里已经在用, 当时自己还山寨了一个统计系统(postgresql-echarts, 日志无结构化, json形式存储到postgresql, 构建统一前端配置生成, 调用统一查询接口, 具体细节), 已经过了一年有余. 阅读全文
posted @ 2018-01-25 16:21 sandea 阅读(676) 评论(0) 推荐(0) 编辑