随笔分类 - logstash/elk

【日志处理、监控ELK、Kafka、Flume等相关资料】

摘要：服务介绍随着实时分析技术的发展及成本的降低，用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博，微盘，云存储，弹性计算平台等十多个部门的多个产品的日志搜索分析业务，每天处理约32亿条(2TB)日志。技术架构简单介绍一下服务的技术架构：这是一个再常见不过的架构了：（1）Kafka：接收阅读全文

posted @ 2016-07-01 16:19 junneyang 阅读(9714) 评论(0) 推荐(0) 编辑

【日志处理】logstash性能优化配置

摘要： 2W条数据用时4秒完成，每秒5000条左右，昨天是同时写入到文件和标准输出，看起来是output的问题，这块性能应当可以满足性能要求了后继我会继续把结果输出到tcp,kafka来测试经过grok后的性能阅读全文

posted @ 2016-05-10 10:20 junneyang 阅读(3547) 评论(0) 推荐(0) 编辑