摘要: 一、Filebeat介绍 Filebeat是一种轻量型,开源的日志采集工具,安装于客户端中来收集指定的日志目录,将收集的日志发送到logstash、es、redis、kafka中,来代替logstash的数据采集方案,logstash在运行过程中相当耗费服务器资源,就算没有在收集日志一样会对CPU, 阅读全文
posted @ 2018-11-21 14:00 蜡笔没小新 阅读(550) 评论(0) 推荐(0) 编辑
摘要: #!/bin/bash#-*- coding: utf-8 -*-#Date: 2018/11/20#Author: Mr.yang KAFKA_HOST="192.168.0.184:9092" #kafka主机IP+端口KAFKA_CMD="/database/kafka/bin/kafka-p 阅读全文
posted @ 2018-11-21 11:07 蜡笔没小新 阅读(1252) 评论(2) 推荐(0) 编辑
摘要: PS:脚本较为简单只是一个while循环读文件,配置文件一定写好,根据需求修改脚本 阅读全文
posted @ 2018-11-20 11:07 蜡笔没小新 阅读(1000) 评论(0) 推荐(0) 编辑
摘要: 在之前的博客中,介绍了Kafka Web Console这 个监控工具,在生产环境中使用,运行一段时间后,发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞。并且这个 Bug也在其他使用者中出现过,看来使用开源工具要慎重!该Bug暂未得到修复,不得已,只能研究下 阅读全文
posted @ 2018-11-20 10:27 蜡笔没小新 阅读(276) 评论(0) 推荐(0) 编辑