11 2016 档案

手动删除Kafka Topic
摘要：一、删除Kafka topic 运行./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】；如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic 阅读全文
posted @ 2016-11-29 22:04 moonandstar08 阅读(771) 评论(0) 推荐(0) 编辑
Kafka删除逻辑
摘要：Kafka的删除逻辑请参见：http://www.cnblogs.com/gaopeng527/p/4950956.html 阅读全文
posted @ 2016-11-29 21:46 moonandstar08 阅读(166) 评论(0) 推荐(0) 编辑
系统磁盘空间/dev/xvda1占满原因分析
摘要：由于项目原因需要定期检查磁盘空间占用情况，常用检查命令如下： 于一日发现在使用Flume + Kafka进行数据同步时，某一局点数据无法进行消费，通过df -lh查看发现系统空间满了，如下： /dev/xvda1 20G 20G 0G 100% / 然后，通过du --max-depth=1 -h 阅读全文
posted @ 2016-11-22 22:45 moonandstar08 阅读(9786) 评论(0) 推荐(1) 编辑
Kafka+Flume跨区域消息同步
只有注册用户登录后才能阅读该文。
posted @ 2016-11-22 22:08 moonandstar08 阅读(51) 评论(0) 推荐(0) 编辑
Flume与Kafka集成
摘要：一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 设计目标： 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种 阅读全文
posted @ 2016-11-10 22:12 moonandstar08 阅读(1973) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示