随笔分类 -  Flume(转载)

摘要:Flume-1 agent(关于agent的一些问题) 1.agent Flume中最核心的角色是agent,flume采集系统就是由一个个agent连接起来所形成的一个或简单或复杂的数据传输通道。 遇到数据被压的问题,我们可以运用avro source的方式创建agent级联,就可以多个agent 阅读全文
posted @ 2024-03-31 21:32 菜鸡一枚 阅读(55) 评论(0) 推荐(0) 编辑
摘要:Flume之 各种 Channel 的介绍及参数解析 一、Channel介绍 Channel被设计为Event中转临时缓冲区,存储Source收集并且没有被Sink读取的Event,为平衡Source收集和Sink读取数据的速度,可视为Flume内部的消息队列。Channel线程安全并且具有事务性, 阅读全文
posted @ 2024-03-31 21:28 菜鸡一枚 阅读(277) 评论(0) 推荐(0) 编辑
摘要:论述flume中batchSize,capacity,transactionCapacity参数之间的关系 举例:a1.sources = r1a1.sinks = k1a1.channels = c1 ##sourcea1.sources.r1.type = execa1.sources.r1.c 阅读全文
posted @ 2024-03-31 20:09 菜鸡一枚 阅读(87) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示