摘要: 1,ELK 日志收集 E: Elasticsearch L: Logstash K: Kibana 为什么用Elasticsearch 来存储日志:因为Elasticsearch方便扩展,本来就是处理PB级别的数据,可以存储足够多的日志数据。 原理图大致如下: 2,为什么需要elk+kafka实现分 阅读全文
posted @ 2019-09-03 16:16 Chris,Cai 阅读(1170) 评论(0) 推荐(0) 编辑
摘要: 1,Logstash 简介 Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。 通俗的说,就是搬运工。 2,Logstash工作原理 Logstash事件处理有三个阶段:inputs → filter 阅读全文
posted @ 2019-09-03 14:35 Chris,Cai 阅读(321) 评论(0) 推荐(0) 编辑
摘要: 1,ES 为什么要实现集群 1, 随着业务量的增大,索引逐渐增大,如果在单台ES 服务器上,由于索引所占内存过大,肯定会影响性能 2, 集群的还有一个好处就是可与备份,如果只有一个服务,挂了,整个ES 服务就挂了 2,ES 如何实现集群 在ES 实现集群中,有一个很重要的技术就是分片技术shards 阅读全文
posted @ 2019-09-03 10:07 Chris,Cai 阅读(272) 评论(0) 推荐(0) 编辑