摘要:转载自博客: https://blog.csdn.net/u012811805/article/details/121347269 一、背景说明 深夜接到客户紧急电话,反馈腾讯云 kafka 中有大量消息堆积未及时消费。每分钟堆积近 100w 条数据。但是查看 ES 监控,各项指标都远还没到性能瓶颈
阅读全文
摘要:必看的一篇博客的文章: https://blog.csdn.net/qq_42150559/article/details/100121453 问题logstash消费速率远低于日志数量,消息堆积 部署背景 架构优点:1、采用kafka作为日志缓冲,在高并发情况下可以通过队列就能起到削峰填谷的作用,
阅读全文
摘要:https://www.cnblogs.com/caoweixiong/p/12691458.html 日志架构 所有日志由Rsyslog或者Filebeat收集,然后传输给Kafka,Logstash作为Consumer消费Kafka里边的数据,分别写入Elasticsearch和Hadoop,最
阅读全文
摘要:1、整个项目周会,不一定全部的人都参加周会,各个模块的小组长参加就可以了。2、整个周会控制人在15人左右,核心模块负责人参加就可以了,超过15人就效率很低下了;3、开周会做得不到的地方在于,在开周会之前,先让项目经理曾义作为项目经理来直接做本周项目的整体汇报,对于小组工作的完成情况,可以简单汇报主要
阅读全文
摘要:转载自博客:https://www.sohu.com/a/445563555_198222 2021-01-19 07:45 说了一个案例是为了说明如何去考量一个Kafka集群的部署,算是一个参考吧,毕竟大家在不同的公司工作肯定也会有自己的一套实施方案。 这次我们再回到原理性的问题,这次会延续 的风
阅读全文
摘要:转载:https://segmentfault.com/a/1190000017893271 今天,栈长分享下 Zookeeper 的集群安装及配置。 下载 下载地址:http://zookeeper.apache.org/ 下载过程就不说了,我们下载了最新的zookeeper-3.4.11。 安装
阅读全文