【flume 事务】

事务：

保证组件内部之间传递数据的可靠性~

问题点：

Put事务容易出现数据丢失

Take事务容易出现数据重复

 

 如何提高flume的数据吞吐量：

1. 修改source的putList 的batchsize

2. channel的batchsize & ransaction的batchsize

3. sink的batchsize

 

posted @   -YBP杨社长  阅读(16)  评论(0)  编辑  收藏  举报
相关博文：
· Hashmap实现原理
· 【springboot】约定优于配置
· |NO.Z.00050|——————————|BigDataEnd|——|Hadoop&Flume.V13|——|Flume.v13|高级特性|拦截器|高可用|选择器.v05|
· Flume知识点总结
· 25-Flume
阅读排行：
· 无需6万激活码！GitHub神秘组织3小时极速复刻Manus，手把手教你使用OpenManus搭建本
· Manus爆火，是硬核还是营销？
· 终于写完轮子一部分：tcp代理 了，记录一下
· 别再用vector＜bool＞了！Google高级工程师：这可能是STL最大的设计失误
· 单元测试从入门到精通
点击右上角即可分享
微信分享提示