随笔分类 -  Flume

Flume的可靠性保证：故障转移、负载均衡
摘要：Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力，而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。 下面是官方配置： 从参数类型上可以看出有3种Processors类型：default, fai 阅读全文
posted @ 2020-03-22 10:59 hyunbar 阅读(1125) 评论(0) 推荐(0) 编辑
flume 进阶
摘要：一、flume事务 put事务流程： 1、doPut：将批量数据先写入临时缓冲区putList 2、doCommit：检查Channel内存队列是否足够， （1）达到一定时间没有数据写入到putList （2）达到了putListCapcity容量 3、doRollback：Channel内存队列空 阅读全文
posted @ 2019-11-07 15:58 hyunbar 阅读(197) 评论(1) 推荐(0) 编辑

点击右上角即可分享
微信分享提示